Перед открытием Думы, в совете м-ров, Трепов провел соглашение, что никто из министров не может говорить в Думе без предварительного ознакомления совета с содержанием своей речи. Было известно, что Пуришкевич будет говорить против меня, и я понял, что это направлено в мою сторону. Не возражая, я решил, что напишу свой ответ. Темы Пуришкевича были мне известны от думских товарищей. В день возобновления занятий, после речи Пуришкевича был сделан перерыв и в павильоне я прочел ту речь, которую хотел сказать. Трепов высказал мнение, что ответ мой хорош, но излишний, так как Дума мне «не даст говорить». Я уверен и теперь, что этого бы не было, особенно по содержанию речи и концу, где я хотел сказать о необходимости моей работы только совместно с Думою и вызвать реплики с мест. Во всяком случае, эта речь решила бы мою дальнейшую участь — я очень хотел говорить, но и другие министры поддержали Трепова. Я сказал, что не подчинюсь и буду отвечать, как член Думы. Позвали М. В. Родзянко. В комнате остался с нами один Трепов. Родзянко тоже высказал мнение о том, что речи говорить не надо, «впрочем делайте как хотите», и после нескольких слов о том, что это для меня важно, что я все-таки хочу говорить, он пошел по коридору, я его сопровождал, вдруг он остановился и, обращаясь ко мне, отрывисто сказал: «Уходите — спасите положение!» Я ответил — «поговоримте бога ради минуточку, объясните мне, конечно, я уйду, как только пойму в чем дело». Он ничего не ответил, махнул рукой, и в заседании не дал мне говорить по личному вопросу — в очередь же я не попал. Моя речь осталась несказанной. По поводу речи Бобринского, я просил двух друзей с ним переговорить. Это было сделано. Таким образом, я должен был видеть, что против меня был Трепов, с ним совет (на стороне сильнейшего) и Родзянко с большой частью Думы. С Родзянко, с того времени, как я впутался в газету, — пошло охлаждение: я все это и чувствовал, но недостаточно вдумался в свое положение.
Вскоре Трепов собрал много министров (почти всех за исключением двух-трех) у себя. Макаров, исходя из настроений заседания Думы при возобновлении ее занятий, сделал вывод, что нужна уступка; эта уступка — мой уход. К нему присоединились другие министры, находя эту «жертву собою» (их выражение) с моей стороны полезной для отношений правительства и Думы. Я выразил согласие (после слов Трепова, что я один «смогу уговорить царя»). На следующий день я выехал в ставку. Я рассказал царю ход первого заседания Думы и последнее заседание совета министров. Считая, что остаться мне, при таких обстоятельствах, нельзя, я просил меня отпустить. Царь сказал, что ему дело известно по докладам Трепова. Уступки Думе в это время вряд ли своевременны, надо предвидеть необходимость реформ к концу войны, что и я знаю. Я согласился, что мой уход будет уступка, но сослался на трудность моего положения при создавшейся обстановке и на свое здоровье, которое требовало лечения. Если же он отпускать меня решительно не хочет, то я прошу разрешить мне сдать временно должность товарищу, а самому полечиться. На это царь согласился и я сказал, что предполагаю сдать ее кн. Волконскому. Под конец разговора в вагон вошла царица. Царь рассказал ей кратко про мою просьбу уйти и ее мотивах. Царица поддержала решение царя на мой отпуск временно по болезни. С этим я уехал в Петроград. Кн. Волконский, которому я предложил временно принять министерство (общее руководство оставалось за мною), отказался. Я был очень обижен его отказом. Теперь я вспоминаю, что не сказал ему, что доклады царю я ему охотно предоставлю, но тогда я забыл это сказать. Министерство было передано Куколю, которому я предложил ездить в Царское с докладами, но он отказался. Он действовал как полноправный министр, советовался или доводил до моего сведения лишь то, что считал нужным, и давал мне на подпись те бумаги, кои находил нужным. Все это произошло во второй половине ноября 1916 г. Я опять все же остался. При получении назначения и все время я так хотел сделать добро, так был уверен, что его сделаю и докажу нападавшим на меня, что они неправы. Мне казалось, что если не быть вором, быть доступным, доброжелательным, не преследовать себялюбивых целей, иметь заботу о народе — все будет хорошо. Осуждая моих предшественников, заодно — я не заметил свой грех, что берусь за дело незнакомое в то время, когда учиться некогда. Я уверен был, что найду поддержку в Думе. Оказалось, что я от нее отстал за свою поездку заграницу и, затем, я вернулся в перерыв занятий. Мне казалось, что продовольствие, дороговизна, малая производительность нашей промышленности — больные места русской жизни. В министерстве внутренних дел я не нашел знакомой работы; быстро оторвавшись от своих, в новой работе я оказался окруженным людьми правого толка и незаметно стал приближаться к ним, подчас делая то, что они находили полезным. Ни люди эти, ни печать меня не травили. В совете по вопросам экономики я был при голосовании в одном обществе, по вопросам политики — в другом. Я думал, что русскому народу нужна монархия, и я советовал монарху не бояться проявлять свою волю, главное, — дать народу более счастья и заботу о нем, неудачных министров заменять лучшими, политических же принципов не менять до конца войны. Теперь вижу, что делал не то, что было нужно, но я был как на острове: почти никого не видел, чувствовал себя затравленным. День начинался с того, что спрашивали «какую негодность сегодня про меня написали». Уже при Голицыне я вновь поднял вопрос о своем уходе царю, так как меня слишком заплевали. Он мне ответил: «Я вам сам скажу, когда найду это нужным, подождите, не слушайте других»