Когда из Петербурга приезжал генерал Суханов, в имении всё бурно оживало — рекой разливалось веселье, устраивались пышные приёмы, балы. Приезжали гости, звучала музыка, кружились в танцах разодетые господа и дамы. «Мы, “дворовые” дети, — вспоминал К. Е. Ворошилов, — наблюдали всё это из укромных мест в гуще садовых кустарников и через ограду. Слушая игру оркестра, обменивались восторженными замечаниями. Может быть, эти первые впечатления детства и заложили в мою душу любовь к музыке, которой я верен и поныне»[8].
Из Смолянинова Ворошиловы переехали в село Васильевка Славяносербского уезда Екатеринославской губернии. Ефрем Андреевич устроился чередником (так называли в селе пастухов) к помещику Алексею Кирилловичу Алчевскому, которому принадлежали почти все земли в округе Васильевки. Здесь на хозяина работали не только Васильевские крестьяне, но и жители соседних деревень.
Васильевка — волостной центр, хотя от других окрестных сёл ничем особенно не выделялась, в 25 верстах от уездного города Славяносербска. Население — 555 человек, дворов — 114, православная церковь, небольшая школа при ней, за версту — железнодорожная станция с одноимённым названием.
С 1795 года Васильевка принадлежала титулярному советнику Николаю Васильевичу Сабо. Жил ли он сам в Васильевке или был только её владельцем, трудно сказать. Крестьяне, которые заселяли село, были «малороссиянами», то есть украинцами. При Сабо в 1808 году здесь был построен единственный в округе храм во имя святителя Николая Мирликийского. Документом Российского государственного исторического архива «Страховая оценка строений, принадлежащих Николаевской церкви в с. Васильевка 3-го благочинного округа Славяносербского уезда Екатеринославской епархии за 1910 год» подтверждается, что церковь была основана в 1808 году. Церковь каменная, с деревянным куполом, крытая железом, окрашенная зелёной масляной краской, колокольня в два яруса до верха карниза. Ближайшая постройка к церкви с северной стороны — экономия Алексеевского горнопромышленного общества, с остальных сторон — сад. Миряне близлежащих деревень в Никольском храме венчались, крестили младенцев, отпевали покойников. Может быть, в связи с этим Васильевка вскоре стала центром волости. В волость кроме самой Васильевки вошли хутор Должик, деревни Головиновка, Каменка, Юрьевка (Петровка) и другие мелкие поселения.
После Сабо владельцем Васильевки стал помещик И. И. Гладков, а с 1879 года большая часть села и прилежащих к нему земель перешла к банкиру и промышленнику Алексею Кирилловичу Алчевскому, остальная часть была под крестьянами-собственниками...
Постоянно работающих в имении Алчевского было немного, это — скотники, конюхи, машинисты, кочегары, кучера, сторожа. Зато так называемых сроковых рабочих и работниц (батраки-сезонники с весны до осени) обычно набиралось больше сотни душ. Их число особенно увеличивалось в уборочную пору.
Ефрему Ворошилову была положена нищенская зарплата — пять рублей в месяц. И ещё периодически выдавались небольшие добавки натурой: мука, пшено, постное масло, а иногда и свиное сало. Однако для нормального проживания семьи всего этого не хватало.
Мария Васильевна вынуждена была пойти в кухарки. Это была изнурительная работа. Ей, чтобы накормить рабочих завтраком, приходилось вставать чуть свет. Потом надо было готовить обед, ужин, трижды за день мыть гору посуды; домой она приходила глубокой ночью совершенно обессиленной.
Несмотря на неимоверный труд, жизнь семьи не улучшалась, а становилась всё более невыносимой. Пришлось определить на заработки тринадцатилетнюю Катю. Вслед за сестрой стал работать пастушком Клим, которому недавно исполнилось семь лет. К. Е. Ворошилов позже вспоминал, что он должен был вставать вместе с матерью ещё затемно и со своим напарником Васей, который был на три года старше, гнать на пастбище стадо телят.
В Васильевке короткое время в 1884 году усилиями иерея Игнатия при Никольской церкви действовала приходская школа, а после того как Игнатий преставился, новый священник не захотел возобновлять занятий. И вот уже несколько лет Васильевские дети не учились. Только с десяток подростков, что успели походить в школу, могли кое-как писать и читать. Все остальные селяне были поголовно неграмотными. В приехавшей в Васильевку семье Ворошиловых тоже никто не владел ни письмом, ни чтением.