В старом путеводителе, в «Указателе Москвы» за 1793 год говорится, что Пашковы имели в Москве несколько домов. Интересно в связи с этим свидетельство И. М. Снегирева. Он писал, что Баженов построил Пашковы дома. Следовательно, речь идет не только о «замке на холме». Пашковым принадлежал монументальный дом неподалеку от Большого Каменного моста. После пожара 1812 года он был частично перестроен. Другой дом, принадлежавший коллежскому асессору А. И. Пашкову, был перестроен в 1832–1835 годах архитектором Е. Д. Тюриным под «новый университет». И еще один прекрасный дом с большим садом, как свидетельствовали старожилы, находился у Крестьянской заставы. Не исключено, что проектировал эти дома Василий Баженов. Однако точных данных на этот счет не сохранилось. Что же касается «замка на холме», то ему в некотором роде повезло. Дом, правда, горел в 1812 году, но здание сохранилось, его отремонтировали. Отдельные детали (скульптурный герб, прекрасный бельведер, сооруженный для легкости из дерева, и пр.) в прежнем виде не восстановлены. При восстановлении здания архитектор Мельников не совсем удачно изменил бельведер, лишил его коринфских колонок, и вообще почему-то завершил эту легкую ордерную систему (коринфскую) более тяжелой ионической. Были внесены и другие изменения. Например, на гравюре Делабарта 1798 года ясно видно, что галерея, соединявшая павильоны с главной частью здания, была открыта, а не застеклена.
Интересно было окружение «Пашкова дома». Особняк соседствовал с церковью Михаила Малеина и церковью Николы Стрелецкого, а также церковью Николы в Ваганькове. И все это составляло как бы единый ансамбль, ибо Баженов, проектируя здание, учитывал это соседство. В частности, близость к участку церкви Николы в Ваганькове во многом повлияла на планировку парадного двора, на архитектурное решение ворот и всей въездной части.
В 1839 году в «Пашковом доме» расположился университетский дворянский пансион. В 1861 году здание было отдано под Румянцевский музей и Публичную библиотеку. С 1918 года здание принадлежит Государственной библиотеке СССР имени В. И. Ленина.
Баженов проектировал много. Но не все проекты принимались. Опального зодчего сторонились. Василий Иванович был вынужден снизить таксу за свои работы. Архитектор уведомлял: «Особы, желающие воспользоваться приобретенными им знаниями относительно проектирования каких-либо строений, могут быть уверены об точном и скором исполнении их требований. А для избежания всякого неудовольствия нужным почитает назначить платеж за таковые труды на следующем основании. Ежели прожектируемое строение будет на 12 саженях, то за план оного, фасаду и часть профиля с переделкою того, ежели угодно будет, то двух раз требует он не более 125 рублей, половинное число денег наперед; ежели же оное будет более 12 сажен, то за каждую свыше 12-ти платить должно еще до десяти рублей». Эту таксу Баженов включил в прошение, поданное им в Управу благочиния 18 февраля 1790 года (за № 3008) по поводу проекта устройства художественно-архитектурной школы и галереи. Ссылаясь на незанятость «должностями», Баженов просил разрешить собирать учеников и проводить с ними занятия у себя дома, «сообщая им все нужные сведения об архитектуре, живописи, скульптуре, перспективе, оптике, гравировании, мозаичной работе и во всех тех науках и художествах, которые с ними главными искусствами имеют непосредственное свое соотношение». Срок обучения Баженов предлагал около пяти лет, плата — 150 рублей в год. Если же ученик пожелает освоить искусства, «с архитектурою тесную связь имеющие», то плата повышалась до 300 рублей. Но при этом Баженов добавлял, что «бедных и неимущих родителей дети могут приходить к нему обучаться без всякой платы, лишь бы только имели они нужные способности и были бы добронравны».