6 февраля 1858 года состоялось первое заседание комитета. На нем Вяземский зачитал свою записку о литературе, которую Норов представлял Александру II. «Записка оправдывает литературу от возводимых на нее обвинений, — отметил Никитенко. — Она составлена умно и изложена изящно. Вообще записка эта делает честь князю Вяземскому по светлым идеям в пользу мысли и просвещения, которые он сумел вложить в нее. Он опровергает ею мнения многих, будто он сделался простым аристократом-царедворцем, особенно Герцена, который беспощадно казнит его в каждом номере “Колокола”. Но никакого понимания записка Вяземского не встретила. Большинство членов комитета смотрело на своего председателя с холодным недоумением — в своих “Заметках” бичует расплодившихся либералов, “дикие отголоски чуждого нам направления”, а в официальном документе заявляет нечто прямо противоположное. И как же это понимать?.. Ведь и государь в докладе Вяземского отчеркнул то место, где князь пишет об отсутствии в современной литературе всевозможных косогоров (то есть опасных уклонов), и заметил: “Косогоры, к сожалению, есть”»…
«Идут заседания комитета для пересмотра цензурного устава, — записывал Никитенко 16 февраля. — Много толков, много изменений. Все это составляет хаос, который надо привести в стройный вид и ясное выражение. Князь Вяземский в данном случае умно и благородно смотрит на вещи, но за этот последний труд не берется». С грустной усмешкой прощался Вяземский с давней мечтой быть «советником царю», «положительным государственным человеком», которого угадывал в нем Гоголь… Совместить желание дать литературе дышать свободно и в то же время вернуть ее на пути, проложенные Жуковским и Пушкиным, оказалось невозможно. Мириться с неустраивавшим его положением дел в правительстве Вяземский не собирался — и в глубине души он был даже рад тому, что все козыри оказались на руках его политических противников: это был прекрасный повод вырваться на свободу… Он вспоминал, что писал когда-то не то Дашкову, не то Блудову: «В свете чем выше поднимаешься, тем более человеку, признающему за собой призвание к делу, выходящему из среды обыкновенных дел, должно быть неуязвимым с ног до головы, непроницаемым, непромокаемым, несгораемым, герметически закупоренным, и к тому же еще иметь способность проглатывать лягушек и при случае переваривать ужей». У него самого таких способностей не было никогда.
23 марта 1858 года Норов и Вяземский подали прошения об отставке. На вопрос императора о причине князь ответил: «Я предпочитаю воевать с цензурой как писатель, а не как ее начальник». На самом же деле министр и его заместитель поступили в полном соответствии со старым этическим кодексом несогласного с государем верноподданного. Норова сменил попечитель Московского учебного округа, в прошлом томский губернатор и директор Горного корпуса Евграф Петрович Ковалевский; Вяземского — его давний знакомый Николай Алексеевич Муханов. «Сей час мы получаем известие об отрешении Брока (министр финансов. — В. Б.), Норова и Вяземского, — ликовал в «Колоколе» Герцен. — Это большое торжество разума, большая победа Александра II над рутиной».
Так завершился трехлетний «руководящий период» в жизни Вяземского — и вся его служебная эпопея, начавшаяся еще в допожарном 1807 году. Отныне он был свободен от официальных обязанностей, если не считать деятельности в Сенате, Государственном совете, Академии наук и научных обществах. Отставка была почетная, князь сохранил расположение государя… Но итоги были подведены Вяземским еще 24 июня 1857 года, в Петергофе — тогда он написал стихотворение «Уныние», второе свое «Уныние» после варшавского шедевра 1819-го: