Такая ситуация в мире железных дорог, неудачный эксперимент с атмосферой и посадка "Великобритании" на мель - все это разочаровало Брюнеля. Он начал подумывать об отставке, а на пенсии - об осуществлении еще одной юношеской амбиции - строительстве дома для себя.
Летом 1847 года, когда он работал на Южно-Девонской железной дороге, Брюнель снял меблированный дом в Торки, а осенью того же года, после долгих раздумий, он приобрел участок в Уоткомбе с видом на залив Баббакомб. Участок состоял из нескольких наклонных полей вблизи Бартона, в трех милях к северу от Торки по дороге на Тигнмут, где в прежние времена он часто останавливал свой экипаж, чтобы полюбоваться видом. После этого каждое лето Брунели навещали Уоткомб, когда позволяли дела, и специальная серия записных книжек свидетельствует о его увлеченности своим загородным поместьем. Семья стала хорошо известна в Бартоне, и Брюнель за свой счет построил небольшую церковь на Черч-роуд, которая сейчас переоборудована под светские нужды.1
По замыслу Брунеля, перед строительством дома он должен был изменить перспективу и разбить сады, и для этого он обратился за советом и помощью к самому известному ландшафтному садовнику того времени - Уильяму Несфилду-старшему, который разбил Риджентс-парк, Сент-Джеймсский парк и реконструировал сады Кью. Молодые деревья перемещались на новые места с помощью специально разработанных инструментов, а многочисленные декоративные деревья и кустарники высаживались в строгом соответствии с планами, тщательно продуманными с учетом визави и продуманных перспектив. Сначала Брюнель набросал для себя готический замок с огромной башней, возвышающейся над морем, но, как он, вероятно, понял, такой вариант больше подходил для более холодного и дикого побережья, чем побережье Южного Девона. Вскоре этот проект был отложен в пользу проекта итальянской виллы с бельведером и террасой с колоннадой. С этой террасы двойная лестница с балюстрадой вела вниз, в итальянский сад, центральной особенностью которого был большой каменный бассейн с фонтаном. Хотя этот проект принадлежит карандашу Брюнеля, на него явно повлиял Несфилд, так как он сильно напоминает работу последнего в Грейт-Уиди в Вустершире для лорда Уорда. Но дом, о котором мечтал Брюнель, так и не был построен.2 Был заложен лишь фундамент, в огромном каменном бассейне не били фонтаны, а женщина и ребенок, изображенные на одном из его рисунков, остались жалкими призраками, прогуливающимися по террасе, которой никогда не существовало. После 1855 года в записных книжках остается все меньше и меньше упоминаний об Уоткомбе, поскольку к этому времени последнее предприятие Брюнеля стало всепоглощающим, а мечта о спокойном отдыхе в Вест-Кантри все дальше уходила на задний план его мыслей.
Хотя они не выдают его личных мыслей и эмоций, наброски и записные книжки Брюнеля очень ясно раскрывают ум инженера за работой. Они показывают, что то же разочарование в железных дорогах, которое заставило частного человека задуматься об отставке, заставляло инженера все больше и больше задумываться о проблемах морской техники. Что может быть естественнее? В то время как Англия превратилась в страну соперничающих железнодорожных спекулянтов, Мировой океан предоставлял гораздо больше возможностей для человека с его неугомонным темпераментом. Книги с набросками точно отражают эту смену акцентов. Среди чертежей нового Паддингтона и схем станций для ширококолейного маршрута в Бирмингем взгляд внезапно останавливается на эскизе необычного парохода длиной в страницу и ощетинившегося воронками и мачтами. Он датирован 25 марта 1852 года. Рисунок озаглавлен "Ост-Индский пароход", а под ним вскользь нацарапано: "Скажем, 600 футов x 65 футов x 30 футов" - размеры, которые любой современный корабельщик воспринял бы с абсолютным недоверием. После этого на страницах книги эскизов появляются гигантские корабли. Они появляются с разными мачтами и оснасткой, иногда с винтом и веслами, иногда с двумя комплектами весел. О том, какую техническую проблему они представляют, говорят упоминания об Австралии и такие заметки, как эта: