Брюнель был в восторге от своей способности подчеркнуть очарование Марии, но не как нувориш, демонстрирующий богатство, которое само по себе его не интересовало, а как ремесленник в своем творчестве. Именно для того, чтобы удовлетворить свою признанную "любовь к славе, или, скорее, к одобрению", он наделил свою жену тем же великолепием, которое отличало его великие инженерные работы.
В 1848 году он приобрел дом, примыкающий к Дюк-стрит, 18. На первом этаже он расширил свои офисы, а наверху устроил большую столовую, которая стала известна как "Шекспировская комната", потому что стены были украшены сценами из пьес, которые он заказывал у известных художников того времени и которые включали часто воспроизводимую "Титанию" Ландсира. Похоже, что господствующая мода к этому времени притупила его хороший вкус, во всяком случае, в том, что касается внутреннего убранства, поскольку воображение разрывается при описании этой столовой с ее чрезмерно сложным подвесным потолком, стенами, обшитыми штукатуркой и имитирующими дуб, венецианскими зеркалами и красными бархатными шторами, массивным обеденным столом, шатающимся, как Атлас, под тяжестью чудовищных позолоченных центральных и боковых предметов, подаренных компанией Great Western Railway Company. Возможно, эта демонстрация великолепия à la mode понравилась Мэри больше, чем ее мужу, который так редко бывал дома, чтобы увидеть ее.
Жизнь Мэри была похожа на жизнь жены морского капитана, и она, как правило, царствовала на Дюк-стрит в одиночестве, практически не принимая участия в повседневной жизни мужа, за исключением таких торжественных случаев, как открытие нового участка железной дороги. Когда слава Брюнеля распространилась на континенте и его попросили провести изыскания двух итальянских железнодорожных маршрутов - линии от Флоренции до Пистойи и трансапеннинского маршрута между Генуей и Алессандрией, он несколько раз брал Мэри с собой за границу. Но она оказалась равнодушной спутницей, настаивая на том, что от созерцания гор у нее кружится голова, и с очень плохой грацией перенося мелкие несчастья и досады, неотделимые от континентальных путешествий того времени. В 1842 году, когда она не смогла сопровождать его через Ла-Манш, , он, похоже, нашел в своем шурине Джоне Хорсли более подходящего компаньона.
На Дюк-стрит у Мэри родилось трое детей: Изамбарда, Генри Марка и Флоренс Мэри. Изамбард был нежным ребенком, родившимся с небольшой деформацией ног. Это можно было исправить в младенчестве с помощью небольшой хирургической операции, но Мэри испытывала ужас перед хирургией, который был так распространен среди женщин ее поколения, и с характерным упрямством хвасталась, что никогда не позволит ножу коснуться ее детей. В результате ее старший сын на всю жизнь остался частичным калекой. Не проявив склонности к инженерному делу и став впоследствии юристом, первенец Брюнеля, к сожалению, разочаровал его, хотя он никогда не изменял ему и заслужил преданность мальчика своей добротой. Генри Марк, напротив, привел отца в восторг, проявляя живейший интерес к его занятиям. Он продолжил семейную профессию и в конце концов вступил в партнерство с сэром Джоном Вулфом Барри, проектировщиком Тауэрского моста. К сожалению, ни один из сыновей не имел потомства, и вместе с ними угасла мужская линия Брунелей. Дочь Брунеля Флоренс, вышедшая замуж за Артура Джеймса, выпускника Итона, продолжила род.
О том, что Брюнель всегда очень любил детей, свидетельствуют многочисленные упоминания в его ранних дневниках о маленьком племяннике Бенджамине Хоусе, "Маленьком Бене", как он называл его, чтобы отличать от отца. Несмотря на свою занятость, он приезжал навестить Малыша Бена в его школе или разыгрывал из себя снисходительного дядю, приглашая его на угощения в Лондон во время каникул. Неудивительно, что, когда он уезжал в свои частые командировки, дети с нетерпением ждали его возвращения. Пока Мэри в грозном виде восседала в своей элегантной длинной гостиной, дети в своей детской с нетерпением ждали знакомых шагов, которые по две ступеньки поднимались по неглубоким пролетам широкой лестницы восемнадцатого века. И тогда они были уверены, что через несколько минут в гостиной он будет с ними, чтобы организовать какую-нибудь замечательную детскую игру или развлечь их фокусами, как это делал их дедушка, когда папа был маленьким мальчиком.