Из этого дома Нестор Михайлович уехал на Русско-турецкую войну. Отъезд отца на войну и его возвращение дед описал в своих воспоминаниях: «Я отлично помню 1 августа 1877 года, когда отец, живший с нами в Твери и работавший в качестве старшего врача драгунского полка, отправлялся на Русско-турецкую войну и прощался с семьей. Он подводил каждого из сыновей к иконе, висевшей в зале, благословлял и целовал. Старшему брату Николаю в это время было уже около 17 лет, брату Михаилу было около 14 лет и мне было 4 года. Я помню фигуру матери, которая со слезами на глазах смотрела на эту сцену. Эти необычные действия отца и слезы матери произвели на меня глубокое впечатление, не изгладившееся до сих пор. Остался у меня в памяти и этот зал, и большой цветок филодендрон с крупными прорезными листьями, который стоял в этом зале». По данным своего аттестата, Нестор Михайлович во время военных действий «состоял в Каларажском отряде на Дунае, против крепости Силистрии, в Ольшеницком отряде против крепости Туртукай. По прибытии в деревню Магалу, поступил в состав войск осаждавших город Плевну. После падения Плевны вошёл в состав отряда, оборонявшего Шипку под начальством генерал-лейтенанта Радецкого». В последнем периоде кампании «под командованием генерал-лейтенанта Скобелева 2-го, 28 декабря 1877 года участвовал в сражении под Шейновым и Шипкой. Состоял в 1-м кавалерийском отряде при наступлении от Казанлыка к Адрианополю» и в других местах известных сражений.
Спустя год Нестор Михайлович вернулся. «Возвращение отца с войны, – написал дед, – запечатлелось в памяти в виде какого-то радостного события: отец вошел в парадное крыльцо нашего дома, вслед за ним вошел денщик, который был с ним на войне, у ворот стояла телега, нагруженная вещами, которые тоже были с отцом на войне. Среди этих вещей был железный складной стул, который отец возил с собой в походы… Затем, помнится, в этот же день шли войска, которые проходили по улицам, а на улицах стояли столы, покрытые скатертями и уставленные всякой едой и питьем – тверские жители радостно встречали возвратившихся с войны солдат. В памяти остались мотив и слова песни, которую пели солдаты, возвращавшиеся в Тверь:
За участие в военных сражениях и долгую, честную службу Нестор Михайлович был награжден орденами Св. Владимира III и IV степени с мечами, Св. Анны II степени, Св. Станислава II степени с Императорскою короною и III степени, бронзовыми медалями за кампании 1853–1856 и 1877–1878 гг., Румынским железным крестом. В 1889 году он по выслуге лет вышел в отставку, но остался членом «Бесплатной лечебницы военных врачей в Москве» и продолжал в течение ряда лет прием больных, получил звание почетного члена этой лечебницы и в 1906 году – чин действительного статского советника.
Нестор Михайлович, по словам деда, был очень добрым, скромным, сердечным человеком, безукоризненно честно относившимся к принятым на себя обязанностям, склонным видеть только хорошее во всех людях, имевших с ним дело. Он интересовался художественной литературой, много читал, любил природу, был несколько застенчив и молчалив в обществе. Свои качества и способности он определенно недооценивал. Долголетняя семейная жизнь его протекала вполне счастливо. В 1909 году Нестор Михайлович и Александра Егоровна отпраздновали свою золотую свадьбу, и только потеря дочери, умершей пяти лет от туберкулезного менингита, и старшего сына, погибшего от острого аппендицита, были тяжелыми событиями в их жизни. «В нашей семье, – написал дед, – никогда не было, по крайней мере на моей памяти, ссор, никогда не применялось никаких наказаний детей…».
Нестор Михайлович скончался в Москве в 1913 году в возрасте 86 лет. За четыре года до этого, 26 октября 1909 года, он написал письмо-завещание, в котором распорядился о своих похоронах и о своём небольшом капитале и закончил его следующими словами: «…Простите меня по-христиански, молитесь за мою грешную душу, поминайте, или хоть вспоминайте меня, живите дружно и любите друг друга, как любил Вас Нестор Сперанский». Похоронен он был, согласно его пожеланию, на Дорогомиловском кладбище, на месте которого сейчас находится гостиница «Украина».