Позавтракав, посетив ливерпульские доки и новый Таможенный дом, который он подверг резкой критике ("какая экстравагантная трата сил на массивные углы и шпили - очень некачественный камень"), он отправился в Честер на одиннадцатичасовом автобусе. Здесь он увидел новый мост Гросвенор через реку Ди, строительство которого посоветовал его отец и которое сейчас близится к завершению. Очевидно, он был в восторге от этого сооружения, так как назвал его: "Красивейшая, смелая и грандиозная работа - несомненно, самая прекрасная и большая в мире". Затем он вернулся домой через Врексхэм, Шрусбери, Вулверхэмптон и Бирмингем. Выехав из Честера в 6 часов вечера, он был в Бирмингеме в 6.30 утра следующего дня, где сделал деловой звонок, и вернулся в Лондон вечером того же дня. Его хитроумное путешествие длиной в 528 миль обошлось ему ровно в /"18".
Еще большее разочарование, чем схема дока Монквермута, вызвала судьба предложений по строительству нового сухого дока и других работ на военно-морской верфи в Вулвиче. Он потратил много времени на изыскания и пробные скважины в Вулвиче, а также на встречи с представителями военно-морского совета, но все безрезультатно. В итоге от этих планов отказались.
Еще одним неудачным предприятием стало проектирование и строительство обсерватории в Кенсингтоне для мистера (впоследствии сэра) Джеймса Саута. Она включала в себя вращающийся купол, который был полностью разделен апертурой телескопа с механически управляемыми ставнями. И купол, и ставни были построены компанией Maudslay, Sons & Field. Он посвятил этой обсерватории много времени и сил. Однажды ночью, когда купол находился в процессе строительства и был покрыт брезентом, поднялся шторм, и Брюнель, находившийся в Бридж-Хаусе, опасался, что его работу унесет. Пройдя несколько раз по мосту Блэкфрайерс, чтобы оценить силу ветра, он решил в полночь отправиться в Кенсингтон, куда прибыл в ранние часы и перемахнул через частокол, чтобы добраться до обсерватории. Прогуливающийся констебль, которого, очевидно, привлекло столь подозрительное поведение в столь дикую ночь, вскоре помог обеспечить безопасность, после чего Брунель завернулся в свой мокрый плащ и провел остаток ночи на подстилке из стружек на полу обсерватории.
Завершение строительства обсерватории было отпраздновано 20 мая 1831 года, когда компания из сорока пяти человек села обедать на лужайке, а Брунель, по собственным словам Ins, "львил до шести". Его маленький триумф был очень недолгим. Работы превысили первоначальную смету, и сэр Джеймс Саут попытался оправдать свой отказ платить, найдя недостатки в здании, проект которого он первоначально одобрил. Разгорелся жалкий спор, который затянулся до весны следующего года, когда в "Атенеуме" была опубликована анонимная статья, явно вдохновленная, если не написанная сэром Джеймсом, в которой купол обсерватории и ее ставни описывались как "абсурдный проект", который "не имел никакой другой цели, кроме демонстрации tour de force, и был попыткой произвести эффект со стороны архитектора". Брюнель, глубоко уязвленный и возмущенный этим нападением, собирался подать иск о клевете, но его друзья, хотя и приняли его участие в этом деле, посоветовали ему не предпринимать никаких ответных действий.
Среди этих друзей был Эдвард Блор, выдающийся архитектор, ответственный за строительство Абботсфорда Скотта и сказочного тюдоровского замка князя Воронцова в Крыму. Блор выступил в качестве посредника между Брюнелем и сэром Джеймсом, хотя из дневника первого не следует, что его усилия увенчались успехом. В это время Блор, который был другом обоих Брюнелей, собирался приступить к работе над Букингемским дворцом, или Букингем-хаусом, как его тогда называли, и пригласил их осмотреть здание. Джон Нэш ранее начал перестройку и расширение старого городского дома графов Букингемских, но после воцарения принца-регента его сменил Блор. Работу Нэша называют его наименее удовлетворительным достижением, и, судя по откровенным комментариям Брюнеля по поводу его визита, это, несомненно, верно. "Необыкновенная, беззаконная, бездарная, безвкусная, неумелая, расточительная трата денег", - пишет он. 'Стены без фундамента, орнамент без смысла - работа, работа, работа....'. Два года спустя, после очередного посещения дворца, он написал о работе Блора: "Мне совсем не нравятся изменения в садовом фасаде - он совсем испорчен - все остальное очень хорошо".