В мае 1776 года началось строительство. Баженов велел заложить три здания вдоль Березовой перспективы, в том числе Кавалерский корпус с круглым залом, а также Фигурный мост, Малый дворец и «Дворец против боку садового» (Оперный дом). Работы шли достаточно успешно. Уже в августе того же года Баженов доносил в Петербург, что строительство Фигурного моста заканчивается, «прочие же три дома в половине уже возведены, которые неотмеено в нынешнее летнее время еовсем к концу приведены будут, есть ли не захватит ненастье».
Однако к концу года начались перебои в поступлении строительного материала, так и не пришло разрешение брать белый камень в селе Коломенском, «которого лежит там несколько тысяч без употребления». Была некоторая неопределенность и в смысле дальнейшего финансирования. Из первоначально выделенных на строительство тридцати тысяч рублей к концу года оставалось только полторы тысячи. Василий Иванович представил «Ведомость употребленным деньгам для строения села Царицына», в которой пояснял, что «Сей остаток должно употребить за четырнадцать тысяч черепицы, жалованья по генварь необходимым чинам при разных должностях, притом на многие расходы, яко то плотникам, за теску камня, за резьбу, что еще производится в селе Царицыне, и на непредвидимое». В своей записке от 12 августа
1776 года, предназначенной для доклада императрице, Баженов спрашивает: «Будет ли что строиться на 1777 год: те ли дворцы, из коих один почти весь выбучен, а другой рвами изготовлен, или что другое в прибавок? …Такая ли же сумма определена будет на строение, или с прибавкою?.. Откуда получать деньги, и на том ли основании, как нынешний 1776 год производилось, или как лутче заблагоразсудится?»
И все же, несмотря на организационные неурядицы, строительство продолжалось. В 1777–1778 годах были закончены ранее начатые строения. В 1777 году появилась возможность приступить к строительству главного дворца. Оно велось в течение двух лет и было закончено в 1782 году. После этого были заложены Большой кавалерский корпус и Управительский дом.
Зодчий мечтал завершить весь объем работ за два-три года, а строительство растянулось на целое десятилетие.
В эти годы Баженов особенно остро ощутил личную материальную неустроенность. Росла семья, увеличивались долги частным лицам.
Гордый и самолюбивый архитектор был вынужден обратиться за помощью. Он пишет Завадомскому «Изъяснение», в котором просит кабинет-секретаря похлопотать о выдаче ему из казны (заимообразно) 15 тысяч рублей, чтобы расплатиться с долгами и хоть как-то поправить свои семейные дела. Однако последовал отказ. Это вынудило Баженовых объявить об очередной продаже дома вместе с библиотекой, собранием художественных работ, дорогих и нужных для архитектора эстампов. В «Московских ведомостях» (№ 9, 10, 11, 1776) было дано объявление:
«Архитектора и артиллерии Капитана Василия Баженова каменный о двух жильях дом, в коем до 16 покоев под лестницею каменная баня, деревянный флигель людской о трех покоях и четвертая топлюшка, два погреба с сушилками, каретный сарай, конюшня на четыре лошади, два анбара для хлеба, сад с прудиком, с редкими яблонями, грушами, вишнями и другими для украшения деревьями; оранжерея, в коей близ ста дерев, в том числе персики, разных родов вишни и сливы, пять больших лимонных и оранжевых деревьев и других по нескольку; также при оранжереях и светлица о четырех покоях для садовников; в доме же его до 50 картин редких мастеров, книг архитектурных до ста, также немалое число эстампов, рисунков и прочего, что до художества принадлежат; да жены Аграфены Баженовой, недвижимое имение, состоящее в Пензенском уезде, в Завальном стану, по обе стороны реки Хопра, село Покровское, Березовка тож, в коем церковь Деревянная, утварью весьма снабженная; крестьян по последней ревизии 190 душ, а на лицо мужеского пола с 240, из коих в выключку назначено 40 душ; лесу дровяного по Хопру рощами верст на 6, мельница об одном поставе, земли по урочищам душ на 500, также и сенных покосов с четвертями, что явится по писцовым книгам; есть ли кто пожелает купить по 80 руб. душу или перевести его долги на себя, те б благоволили явиться к помянутому архитектору самому, в доме его, состоящем на берегу Москвы-реки в Средних Садовниках, в приходе церкви Софии Премудрости божии».
Вообще с приобретением и содержанием собственного дома Баженову не везло всю жизнь. Первую покупку он сделал в октябре 1773 года у фабриканта К. М. Матвеева. Но через три года был вынужден продать дом, чтобы расплатиться с долгами. В 1776 году семья Баженовых переселилась в Царицыно. Здесь они жили как бы на казенной квартире. Года через два Баженов вновь сделал попытку приобрести собственный дом. На этот раз на Воронцовом поле, в приходе церкви Николая Чудотворца. Продал ему этот дом генерал А. А. Волков. Казалось, что дела пойдут на поправку. Радость в семье была безмерная. Баженов даже рискнул частично перестроить дом, надеясь, что на сей раз семья осядет в своем «гнезде» более основательно. Но вскоре пришлось продать и этот дом.