28 июня 1816 года в Москве родился Дмитрий Алексеевич Милютин, потом через два года Николай, в 1821 году – Владимир… Через несколько лет Елизавета Дмитриевна писала Павлу Дмитриевичу, что у нее шестеро детей, а содержать их нет средств. Павел Дмитриевич помогал и Алексею Михайловичу в карьере, и Елизавете Дмитриевне в средствах.
Алексей Михайлович занимался сельским хозяйством в своем имении, внимательно следил за суконной и ситцевой фабрикой, за винокуренным и конским заводами, вел переписку с кредиторами, с торговцами и деловыми людьми. Все время был в долгах, но его бурная деятельность позволяла ему брать кредиты и вести барский образ жизни, принимать гостей, вести псовую охоту, бывать в аристократических домах Москвы и Петербурга.
Большое внимание родители уделяли образованию детей. Дмитрий говорил на французском гораздо лучше, чем на русском. Родители и гувернер из Швейцарии мистер Валэ давали первые уроки Дмитрию, отец много занимался с ним русским языком и литературой, показывал ему различные опыты в своем физическом кабинете, где собралось много станков токарных, слесарных, он «изучал физику, механику и любил работать собственными руками». Дмитрий любил бывать в отцовском кабинете, где с каждым уроком расширялись его знания, его видение мира.
Когда Дмитрию исполнилось восемь лет, родители наняли нового гувернера Николая Заржицкого, тридцатилетнего поляка с обширными знаниями и тактичного педагога. Он хорошо знал математику, естественные науки, русский язык и русскую культуру, владел слесарными, токарными и переплетными орудиями труда.
За два года Дмитрий и Николай прочитали все двенадцать томов Карамзина, не только узнали историю России, но и овладели познаниями в русском языке, «мы незаметно и без тяжелого труда учились русской грамматике и стилистике». На уроках Заржицкого Дмитрий с помощью геометрии научился снимать план всего села Титова так, что вся топография села осталась в его памяти. Уроками французского, немецкого и английского занимались выходцы из этих стран. Были получше учителя, были похуже, вместо неотесанного венгерца начал преподавать немецкий язык «приличный поляк». Шестилетнюю Машу, единственную дочь Милютиных, удалось пристроить в Петербургский Екатерининский институт пансионеркой императрицы. Павел Дмитриевич обеспечивал Дмитрия, когда он поступил в Благородный пансион Московского университета, платил за обучение и содержание.
Попытки Алексея Михайловича расплатиться с долгами были безуспешными, он обратился к императору, к графу Закревскому, но неудачно. Наконец Алексей Михайлович в отчаянии написал письмо Павлу Дмитриевичу: «Каждому известно, что я ничего не сделал ни черного, ни бесчестного; что я не проиграл, не промотал имения, дошедшего ко мне не даром, не по наследству; но, будучи жертвою, быть может, планов, предпринятых не вовремя и не под силу, я заплатил за это настоящим моим положением, тогда как стоило бы только отклониться на одну черту от пути чести, чтобы сделаться богачом. В сей уверенности я всякому смотрю в глаза прямо, имея достаточно характера, чтобы быть равнодушным к мнению толпы!..» (То же. С. 84–85).
В Благородном пансионе Московского университета все увлекались литературным творчеством, издавали журналы, сборники, некоторые стихи и статьи преподаватели читали вслух в присутствии начальства. Одно время и Дмитрий Милютин редактировал рукописный журнал «Улей», в котором были опубликованы ранние стихи Лермонтова, только что окончившего пансион. Особенно увлекся литературным творчеством Николай Милютин, принимал участие в театральных постановках, сам пытался писать.
В пансионе Дмитрий и Николай познакомились и подружились с Сергеем Строевым, Арапетовым, двумя братьями Вырубовыми, Гордеевым, Марковым, Зверевым, Перовским, Константином Булгаковым…