Мария через девять месяцев замужества родила ребёнка, на второй год — ещё одного, на неё навалились тяжёлые заботы. Она не роптала, хотя было невыносимо трудно. На руках малые дети: их надо накормить, одеть, обуть, обиходить. Всё — на её плечах. На Ефрема особо не надеялась. За ним она не чувствовала себя как за каменной стеной. Он метался с одного места работы на другое, нередко месяцами оставлял жену и детей одних.
Климент Ефремович вспоминал: «Нужда, невзгоды и беспокойный характер отца тяжело отзывались на её (Марии Васильевны. — Н. В.) жизни, но она не склонила головы и, будучи обременённой семьёй, работала и по дому, и в наймах — была и прачкой, и кухаркой...»
В 1877—1878 годах приключилась Русско-турецкая война, и Ефрема призвали в армию. Более чем на два года осталась Мария с детьми без кормильца. Это время стало для них настоящим испытанием. Как они выжили, про то один Бог знает.
По возвращении Ефрема с войны положение в семье Ворошиловых мало в чём изменилось — нужда никуда не делась.
Семья росла. Кроме Ивана, Катерины, Климента появились ещё две девочки — Аня и Соня.
Климент Ефремович в «Рассказах о жизни» писал, что бедствование семьи никогда не прекращалось. Отец в силу своей неуживчивости непрестанно устраивал ссоры с хозяином или приказчиками, в результате чего сам бросал работу или его увольняли, и он на долгое время оставлял семью, пропадая в поисках хотя бы случайного заработка.
Как ни билась Мария Васильевна, но наступали моменты, когда дети начинали пухнуть от голода, в холода ходили полураздетыми. И тогда она темнела лицом, становилась ещё более молчаливой и посылала Клима и дочь Катю по миру — просить милостыню.
От тяжёлых условий жизни умерли старший сын Ворошиловых Иван и младшая дочь Соня. Климент Ефремович отмечает в воспоминаниях, что для них это было великое горе...
Наконец в середине 1884 года Ефрему Андреевичу удалось подыскать подходящую работу в селе Смолянинове Старобельского уезда. В имении богатого помещика, генерала Суханова, потребовался дополнительный работник для черновых дел. Вместе с Ефремом в генеральское имение была принята подсобницей на кухню и Мария Васильевна.
Суханов почти неотлучно находился в Петербурге и редко наезжал в своё имение. Хозяйством в Смолянинове управлял доверенный человек, в помощниках у него ходили двое разбитных, знавших грамоту молодых людей из местных крестьян, а для выполнения всяких чёрных, тяжёлых работ управляющий держал четверых ломовых мужиков... Жизнь в имении протекала по строго установленному порядку. Саму усадьбу обихаживали дворовые люди: домовая обслуга, конюхи, огородники, садовники, на полях — батраки-подёнщики, в степи пасли стада рогатого скота и отары овец наёмные пастухи.
В имении имелись большой парк, три пруда, фруктовый сад. Всё это тщательно охранялось, но в праздничные дни жителям Смолянинова дозволялось пройтись по тенистым аллеям барских кущ.
Ворошилову врезался в память один эпизод из детства, когда он попал в нереальный для него мир богатства и благолепия. Был тихий погожий летний день. Мария Васильевна, работавшая тогда в имении Суханова, вела сына по барскому саду. Он устал, и она взяла его на руки. В это время им встретились две господские барышни. Они были веселы и стали расхваливать Клима:
— Какой здоровый, крепкий мальчик!
Потом барышни спросили Марию Васильевну:
— Как тебя зовут?
— Мария, — ответила она, смущённо улыбаясь.
— Какое простое и хорошее русское имя, — сказала одна из девушек.
Другая пригласила:
— Маша, пойдёмте с нами.
Они поднялись на второй, затем на третий этаж помещичьего дома. Всё, мимо чего они проходили, поражало своим великолепием: ковры, красивые занавески, блестящие канделябры. Особенно вызвала восхищение комната барышень. На их кроватях лежали яркие покрывала, груды подушек. Пахло духами. Всё было необычно, поразительно красиво. Мария Васильевна боялась сделать лишний шаг, чтобы не задеть что-либо своей простой и грубой одеждой.
Барышни угостили мать с сыном конфетами, пряниками. Кое-что завернули ещё в бумагу — с собой. Лишь после этого их отпустили...
О жизни в Смолянинове у Ворошилова остались светлые впечатления. Во-первых, семья не голодала, во-вторых, Клим на короткое время познал прелесть детской беззаботности. В зрелые годы он вспоминал, что в имении богатого помещика было много чудесных мест, куда ребятня не раз забиралась для игр. У детей под сенью деревьев парка были заветные уголки. Там они могли побегать, пошалить, хотя бывали случаи, их приструнивали барские сторожа и садовники.