После торжественной pакладки дворца строительство фактически не финансировалось. На запрос экспедиции Екатерина отвечала: «Прибавки суммы денег ныне не будет, а производить работы из прежде определенных денег, располагая на что оных стать может». Однако имеющихся, «прежде определенных денег» было ничтожно мало. Екатерина, кроме того, запретила пополнять новыми людьми архитекторскую команду. Она также лишила главного архитектора помощников, загрузив их другой работой.
Кое-кто усиленно распространял слухи, что работы в Кремле обречены на неудачу, так как строительство ведется на неустойчивых почвах, близ реки.
Баженов в своих записках доказывал, что плохой грунт — помеха лишь для безграмотного архитектора. Он отмечал, что практика мирового строительства знает немало примеров, когда здания огромных размеров сооружались на весьма зыбких почвах. Зодчие, умело используя секреты строительства, превратили природные неудобства в достоинство, подспорье: постройки стоят прочно, им не страшны никакие землетрясения. Зыбкая почва служит им периной.
Борьба за осуществление проекта стоила Баженову нервов. Федор Каржавин этой борьбы не выдержал и уехал за границу. Баженов искренне сожалел о потере способного работника, но отговаривать не стал. В глубине его души теплилась надежда на удачу. Трудно было представить, что строительство могут отменить. Шутка ли сказать, почти семь лет напряженной работы!
В чем же причина катастрофы? В литературе разных времен, в том числе при жизни Баженова, высказывалось мнение, что самая вероятная и объективная причина — это финансовые соображения. Да, государственная казна в те годы действительно оскудела. Война с турками сожрала много денег. И все-таки это малоубедительно. Ведь первоначально, когда план строительства только начали разрабатывать, положение с финансами было еще более трудное. Война была в самом разгаре. А сейчас, к 1775 году, она успешно завершилась в пользу России. Империя получила ключи от Крыма, отвоевала стратегически важные крепости, выход из Азова. Турция начала выплачивать солидную контрибуцию. Казалось бы, какой смысл именно в это время прекращать строительство?
Ранее в числе прочего бытовало мнение, что строительство, начатое Баженовым, напесло вред Архангельскому собору и другим старинным постройкам. Вопрос долго и внимательно изучался многими исследователями.
Беспокойства за старые сооружения действительно были. В конце 1773 года, когда Баженов поехал в Петербург, он тщательно наказывал Казакову: «Всякую неделю примечать между контрфорсов и против собора Архангельского, не будет ли отсадки, и для того брать предосторожность упорами». Сооружение контрфорсов продолжалось и в 1774 году.
Поводом для беспокойства и прекращения работ послужил случай, который произошел в отсутствие Баженова: упала старая стена на месте бывшего Черниговского собора.
Измайлову было поручено провести обследование и составить заключение о состоянии старых построек. Этим занимались архитекторы Карл Бланк, Григорий Бартенев и Иван Яковлев. Они представили «Примечание». В нем говорилось, что старая стена в ломку назначена и подрыта с тем, чтоб упала, «дабы тем способнее к разборке рабочим людям приступить было возможно (как-то ныне уже и разбирают), а та упадшая стена никаковому в близости строению вреда не учинила».
Баженов тоже представил объяснение. Он писал, что падение стены было запланировано, а если бы даже в результате земляных работ в каком-либо старом строении появилась небольшая трещина, то это, по мнению архитектора, не представляет большой опасности. Ибо «когда строение новое связывается с старым, то одно давно осело, а другое должно искать своего места по своему грузу, а на оном почти неприступном месте да еще с оставшими забутками и насыпью никакой сумнительной притчины нет, как только почесть осадкою, хотя бы то было свидетельствовано Парижскою художеств Академиею, в чем бы я совершенно не усумнился, да и здешние архитекторы подтвердили самые же некоторые мои мысли, кои еще при самом приступе мною многажды были представлены экспедиции да и всегда взносимы в журнал в присудствии, но обстоятельства не позволяли иметь пропорциональную сумму на столь великое здание, а когда положутся деньги и люди, то поправится порядок, будет успех в течение строения, да и трещины загладятся по притчине той, что одна часть другую будет снабдевать нужным, ибо оное здание просит одно у другого помощи, то есть новое строй, а старое подкрепляй».
Словом, судя по всему, вокруг кремлевской перестройки разгорелись страсти. Екатерина, очевидно, не желала участвовать в этом споре и отдавать предпочтение тому или иному мнению. Она отдала приказ о прекращении строительства. Это решение, видимо, созрело еще раньше. Не хватало лишь повода. Поэтому императрица затягивала финансирование строительства, ждала удобного случая, чтобы отказаться от кремлевской затеи. И вот такой случай представился.