Толстой изменил свое первоначальное намерение и решил все же «вступить юнкером в конно-гвардейский полк», но потом снова передумал: «теперь же я этот план оставляю только в том случае, ежели экзамена не выдержу, и война будет серьезная». Вероятно, он не нашел войну достаточно «серьезною», потому что на военную службу не поступил. В конце концов, «наступила весна, и прелесть деревенской жизни снова потянула в имение» – Толстой вернулся в Ясную Поляну и следующие три года жил то в Москве, то в деревне.
Религиозные настроения, доходившие до аскетизма, чередовались с кутежами, картами, поездками к цыганам. В семье его считали «самым пустяшным малым», а сделанные тогда долги ему удалось отдать лишь много лет спустя. Будучи стесненным в деньгах, он замышлял даже торговое предприятие: хотел снять почтовую станцию в Туле. К счастью, из этого ничего не вышло, и Толстой избежал, таким образом, многих бедствий, которые последовали бы, займись он столь несвойственным для него родом деятельности.
В этот период жизни Толстой особенно интересовался музыкой (он недурно играл на рояле и очень любил классических композиторов). Во время поездки в Петербург в 1848 году он где-то встретил опустившегося немца-музыканта, которого привез в свое имение. Немец совершенно спивался, и Толстой решил стать его спасителем. В Ясной Поляне они вместе музицировали: немец на скрипке, а Толстой на рояле. Много времени уходило также на кутежи, игру и охоту.
Все это время граф не вел дневник – ему было некогда. Только с половины 1850 года он снова взялся за записи и начал, конечно, с покаяния и самобичевания, выражая желание откровенно записать свои воспоминания о «беспутно проведенных 3-х годах своей жизни». Его жизнь, по собственному свидетельству писателя, была настолько зряшной и беспутной, что он готов на любое ее изменение. Так, когда один из родственников Льва Николаевича ехал в Сибирь, Толстой вскочил к нему в тарантас в чем был, и не уехал, кажется, только потому, что не надел шапки.
Этот период жизни окончился с внезапным отъездом Льва на Кавказ в 1851 году. Однажды в Ясную Поляну приехал служивший на Кавказе брат Толстого, Николай, и стал звать его с собой. Толстой долго не поддавался на уговоры брата, пока крупный проигрыш в Москве не помог принять решение. Чтобы расплатиться с долгом, надо было сократить расходы до минимума, а в Ясной Поляне это было невозможно – и весной 1851 году Толстой уехал на Кавказ, не имея никакой определенной цели.
Братья выехали из Ясной Поляны 20 апреля и пробыли недели две в Москве, потом заехали в Казань. Там Лев Николаевич встретил Зинаиду Молоствову и влюбился в нее. Но из-за своей застенчивости он так и не решился сказать о своей любви, и увез свое чувство на Кавказ.
Почти три года Толстой прожил в казачьей станице на берегу Терека, выезжая в Кизляр, Тифлис, Владикавказ и участвуя в военных действиях на добровольческих началах. Вскоре он решил поступить на военную службу, но не хватало каких-то бумаг (граф всю жизнь отличался крайним пренебрежением к документам), их пришлось добывать, а тем временем Толстой прожил около 5 месяцев в полном уединении в Пятигорске. Значительную часть времени он проводил на охоте, в обществе казака Епишки, фигурирующего в «Казаках» под именем Ерошки.
Осенью 1851 года Толстой, сдав в Тифлисе экзамен, поступил юнкером в 4-ю батарею 20-й артиллерийской бригады, стоявшей в казацкой станице Старогладове, на берегу Терека, под Кизляром.
Кавказская природа и патриархальная простота казачьей жизни, поразившая Толстого по контрасту с бытом дворянского круга, дали материал для автобиографической повести «Казаки» (1852–1863), отразились в рассказах «Набег» (1853), «Рубка леса» (1855), в поздней повести «Хаджи-Мурат» (1896–1904, опубликована в 1912). Вернувшись в Россию, он записал в дневнике, что полюбил этот «край дикий, в котором так странно и поэтически соединяются две самые противоположные вещи: война и свобода».