Петербург не прибавил Тургеневу ни надежд, ни оптимизма. Он постепенно терял веру в благодетельность правительственных реформ. «Время, в которое мы живем, — с горечью замечал писатель, — сквернее того, в котором прошла наша молодость. Тогда мы стояли перед наглухо заколоченной дверью: теперь дверь как будто несколько приотворена, но пройти в нее еще труднее». Вера в истинность идей, провозглашенных реформой, у Тургенева теплилась, но в современной России он не видел общественной силы, которая способна возглавить и повести дело реформы вперед. В правительственной партии он разочаровался, не оправдали надежд и либеральные круги культурного дворянства: после реформы 1861 года и польского восстания они круто повернули вправо. К революционному движению и народническому социализму Герцена Тургенев тоже относился скептически.
Вернувшись из России, он прочел в «Колоколе»! «Корреспондент наш говорит об одной седовласой Магдалине (мужского рода), писавшей государю, что она лишилась сна и аппетита, покоя, белых волос и зубов, мучаясь, что государь еще не знает о постигнувшем ее раскаянии, в силу которого она прервала все связи с друзьями юности». Заметка Герцена глубоко оскорбила Тургенева и даже заставила написать следующее письмо: «Не далеко же ты отстал от покойного Николая Павловича, который также осудил меня, не спросив даже у меня, точно ли я виноват? Если бы я мог показать тебе ответы, которые я написал на присланные вопросы — ты бы, вероятно, убедился, что, ничего не скрывая, я не только не оскорбил никого из друзей своих, но и не думал от них отрекаться…»
Волею судеб и собственными усилиями Тургенев оказался в духовном вакууме: идейные связи с Россией истончились и в основном были порваны, вера в единство либерально мыслящей интеллигенции развеялась как дым. Углублялся философский пессимизм писателя, возникали сомнения в самой возможности устранения социального зла на земле. История человечества представлялась трагикомической борьбой С «неизменяемым» и «неизбежным». Эти сомнений отчетливо прозвучали в двух повестях Тургенева тех лет — «Призраки» (1864) и «Довольно» (1865).
В смутный период духовного бездорожья Тургенев вновь попал в сферу притяжения главного светила своей жизни — Полины Виардо: «Я чувствую на своей голове добрую тяжесть Вашей любимой руки — и так счастлив сознанием, что Вам принадлежу, что мог бы уничтожиться в непрестанном поклонении!»
24 апреля 1863 года в Лирическом театре Парижа состоялось прощальное представление «Орфея» Глюка и «при бесконечных аплодисментах» Полина Виардо простилась с публикой и Парижем. Голос ее сдавал, и она решила оставить сцену и покинуть Францию. В конце апреля 1863 года семья Виардо поселилась в Баден-Бадене, а 3 мая сюда приехал Тургенев. Полина открывала в Баден-Бадене школу вокального искусства и окружила себя целой колонией русских учениц из богатых семейств. Тургенев приехал сюда вместе с дочерью, но постоянно напряженные отношения девушки с семьею Виардо на этот раз закончились навсегда тяжелой сценой и «незаслуженными обвинениями» в адрес хозяйки дома. Дочь оставила Баден-Баден и в семье Виардо больше никогда не появлялась. В 1865 году она вышла замуж за управляющего, а потом и владельца стекольной фабрики в Ружмоне Гастона Брюэра.
Тургенев поселился в Баден-Бадене, а в 1865 году приобрел здесь участок земли, прилегавший к вилле Виардо, и построил дом в стиле Людовика XIII, с мансардами, высокими крышами и трубами — по словам немецкого литератора, друга Тургенева Людвига Пича, — сказочный замок среди леса и полян. Связи писателя с Родиной все более и более ослабевали. Даже любимая страсть — охота — уже не манила его в родные места, на просторы орловского края. Он охотился с Луи Виардо в Шварцвальдских лесах и в письмах к друзьям говорил, что культурно организованная охота имеет ряд преимуществ.
В доме Виардо звучала музыка, обсуждались новинки европейской литературы и искусства, составлялись программы домашних концертов, которые вскоре превратились в музыкальный центр этой летней столицы Европы. На музыкальных «утренниках» играли выдающиеся пианисты, среди которых был А. Рубинштейн, партию фортепиано на одном из концертов исполнял Брамс. Появлялись на вилле Виардо и Бисмарк, и нидерландский король.
Полина стала заниматься сочинением музыки: писала романсы на стихи русских поэтов — Пушкина, Лермонтова, Кольцова и Фета, сочинила оперу «Золушка, или Ночь святого Сильвестра», затем совместно с Тургеневым обратилась к оперетте, и автор «Записок охотника» сочинял ей «всеевропейские» либретто «Слишком много жен» и «Последний колдун».
Для постановки опереток Тургенев отдавал большой зал своей виллы: соорудили сцену, повесили зеленый занавес, несколько кустов олеандров изображали дремучий лес, заставленное окно — хижину. В «Последнем колдуне» Тургенев играл безмолвную роль паши; в момент, когда по сценарию он распластывался на сцене, на неподвижных губах присутствовавшей на представлении баденской кронпринцессы «медленно скользила легкая усмешка презрения». Но чего не мог сделать Тургенев ради прелестной мадам Виардо?! Правда, в письме к Анненкову, описывая этот пассаж, он замечал: «Что-то во мне дрогнуло! Даже при моем слабом уважении к собственной персоне, мне представилось, что дело зашло уж слишком далеко». Так оно и было в действительности. Когда речь шла о Полине Виардо, Тургеневу изменяло не только эстетическое чувство, но подчас и элементарный здравый смысл. «Последнему колдуну» он пророчит большой музыкальный успех на европейской оперной сцене. Некоторые дуэты в нем он ставит в ряд выдающихся явлений оперной музыки.
Но когда «Последнего колдуна» поставил оперный театр в Карлсруэ, где Виардо выступила в роли принца Лемо, спектакль с треском провалился и «под шиканье публики» был «отправлен в могилу». Скандальный провал стал достоянием многих газет, которые с ядовитым сожалением писали о «впавшей в детство» Виардо. Заодно высмеивались и знаменитые писатели, сочиняющие вздор, и знаменитые певицы, пишущие душераздирающую музыку.