Тургеневу он, собственно, ответил — художественной работой, которая никогда не прекращалась, шла подспудно и неустанно. Соответственно не прекращались и поиски новых художественных форм, нового стиля, отчетливо выразившегося не только в народных рассказах, но и в таких шедеврах для «интеллигентного читателя», созданных в основном или всецело именно в 1880-е годы, как «Холстомер», «Смерть Ивана Ильича», «Записки сумасшедшего», «Крейцерова соната», «Дьявол», «Власть тьмы» наряду с «Исповедью», «В чем моя вера?», трактатом «Так что же нам делать?».
Замысел «Холстомера» Тургеневу был известен еще с середины 1850-х годов. Литератор-народник Кривенко приводит рассказ Тургенева об одной деревенской прогулке с Толстым: «Однажды мы виделись с ним летом в деревне и гуляли вечером по выгону, недалеко от усадьбы. Смотрим, стоит на выгоне старая лошадь самого жалкого и измученного вида… Подошли мы к ней, к этому несчастному мерину, и вот Толстой стал его гладить и, между прочим, приговаривать, что тот, по его мнению, должен был чувствовать и думать. Я положительно заслушался. Он не только вошел сам, но и меня ввел в положение этого несчастного существа. Я не выдержал и сказал: „Послушайте, Лев Николаевич, право, вы когда-нибудь были лошадью. Да, вот извольте-ка изобразить внутреннее состояние лошади“».
Таков самый ранний и еще весьма неопределенный контур рассказа, к которому Толстой вернется позже, когда приблизительно в 1860 году известный коннозаводчик Александр Александрович Стахович рассказал ему сюжет повести своего брата Михаила «Похождения пегого мерина», специализирующегося на «лошадиных» сюжетах (автор пьес «Ночное» и «Наездники»), который и был частично использован писателем. Стахович погиб в 1863 году; рассказ Толстого посвящен его памяти. Тогда же была создана и первая, оставшаяся незавершенной редакция рассказа или «песни», как сначала хотел обозначить жанр произведения и подчеркнуть его поэтическую тональность Толстой.
Вернулся он к рассказу после продолжительного временного промежутка осенью 1885 года, вняв просьбе жены, принимавшей энергичное участие в издании сочинений Толстого и в высшей степени заинтересованной в новых рассказах и повестях для «интеллигентной публики». Толстой перечитал некогда брошенный рассказ: чем-то умилился, кое-что вызвало его недовольство. Так, Толстому показалось «ужасно смешно, как мерин говорит, что он в первый раз узнал, что у людей слезы соленые. Я сам-то забыл — писал уж давно, лет двадцать пять назад, — и показалось ужасно смешно». Вспомнил и как он хотел завершить необыкновенно, легко написанный, но неотделанный рассказ: «В голове у меня, сколько помню, была ужасно ясная, живая картина смерти мерина, очень она меня трогала! Но параллель мне кажется немного искусственной».
И Толстой принялся доделывать рассказ. Как обычно, ему понадобились разнообразные сведения из жизни лошадей, а также конюхов и тех, кому они принадлежали. Он попросил М. А. Стаховича, с которым в апреле 1886 года совершил паломничество в Оптину пустынь, оказать ему необходимую помощь, присовокупив: «Напишите вашему отцу, что я мечтаю съездить к нему в Пальну — затеряться в его табунах». Александр Стахович сообщил необходимые сведения о родословной мерина, Хреновском конном заводе, о наиболее знаменитых рысаках. Толстой с благодарностью и с пользой для дела ими воспользовался, уточнив цвет лошади, изменив ее имя и — соответственно название рассказа — с Хлыстомера (неизбежно ассоциировалось с хлыстом) на Холстомер (шагает, словно холсты меряет) — перемены не частные, а весьма существенные.