Фергюсону не виповнилося й двох років, як померла його бабця, і це означало, що у нього не лишилося про неї усвідомлених спогадів, але згідно до сімейної легенди Фані була жінкою ексцентричною, з важким характером, схильною до нападів несамовитого вереску та маніакальних вивержень неконтрольованих ридань. Вона лупцювала хлопців віником за кожне бешкетництво, а до декотрих місцевих крамниць входити їй було заборонено через звичку вперто й гучноголосо торгуватися. Ніхто не знав, де вона народилася, але подейкували, що вона опинилася в Нью-Йорку чотирнадцятирічною сиротою і кілька років шила капелюхи в майстерні на горищі без вікон. Стенлі, батько Фергюсона, рідко розповідав сину про своїх батьків, даючи на запитання хлопця лише надзвичайно розпливчасті обережні відповіді. Тому ті крупиці інформації про діда й бабцю по батьківській лінії, які спромігся зібрати юний Фергюсон, він отримав майже винятково від його матері Рози, наймолодшої з трьох невісток другого покоління родини Фергюсон, яка, в свою чергу, отримала більшість своєї інформації від Міллі, дружини Лью, котра мала схильність пліткувати і вийшла заміж за чоловіка значно відкритішого й значно балакучішого за Стенлі та Арнольда. Коли Фергюсону виповнилося вісімнадцять, його матір розповіла йому одну з історій від Міллі, подавши її лише як чутку, непідтверджену вигадку, яка могла бути правдою – а могла й не бути. Якщо вірити тому, що Лью сказав Міллі, або тому, за її словами, він начебто їй сказав, у Фергюсонів була ще й четверта дитина – дівчинка, яка народилася через три чи чотири роки після Стенлі. Народилася вона в той період, коли сім’я осіла в Дулуті, і Айк перебивався, працюючи простим матросом на суднах, що борознили Великі Озера. То були місяці, коли родина жила в страшенних злиднях. Через те, що Айка не було вдома, коли Фані народила дитину, через те, що жили вони у Міннесоті, і була зима, надзвичайно холодна зима в надзвичайно холодній місцині, через те, що їхній будинок опалювався лише одною дров’яною плитою, а також через те, що грошей було вкрай мало, і тому Фані та хлопцям доводилося харчуватися лише один раз на день, думка про майбутню необхідність піклуватися про іще одну дитину наповнила Фані таким жахом, що вона взяла й втопила своє новонароджене немовля у ванні.
Стенлі мало розповідав сину не лише про своїх батьків, він розповідав йому мало й про себе. Через це Фергюсону було важко сформувати чітке уявлення про те, яким хлопцем, юнаком чи молодиком був його батько. Він не знав про це майже нічого взагалі, допоки не одружився з Розою два місяці потому, як йому виповнилося тридцять. Проте з випадкових ремарок, які інколи зривалися з батькових вуст, Фергюсону вдалося виявити, що старші брати часто дражнили й ображали Стенлі, що він, як наймолодший, а отже такий, що провів найменше часу з батьком, відчував найбільшу прив’язаність до Фані, що він був сумлінним та старанним учнем та значно кращим спортсменом, аніж двоє його братів, що він грав нападаючим в футбольній команді, що на легкоатлетичних змаганнях він біг дистанцію чверть милі за свою школу, що завдяки своєму таланту до електроніки він відкрив маленьку майстерню з ремонту радіо того ж літа 1932 року, коли він закінчив середню школу (за словами самого Стенлі, то була «крихітна халупка на Акедемі-стріт в центрі Ньюарку, трохи більша за газетний кіоск»), що коли йому було дванадцять, мати під час одного зі своїх вибриків з віником пошкодила йому око (через що воно стало частково незрячим, і через що його не взяли до війська під час Другої світової), що він терпіти не міг свого прізвиська Санні і відмовився від нього, щойно закінчив школу, що він любив танцювати і грати в теніс, що він ніколи й слова не сказав проти своїх братів, хоч як би нерозумно й презирливо вони не ставилися до нього, що в дитинстві після уроків він підробляв розноскою газет, що він серйозно подумував піти вчитися на юриста, але відмовився від цієї ідеї через брак коштів, що його знали як донжуана, бо у віці двадцяти з гаком років він зустрічався з десятками молодих єврейських жінок, зовсім не збираючись одружуватися з ними, що він здійснив кілька розважальних подорожей на Кубу в тридцятих роках, коли Гавана вважалася столицею гріха в Західній Півкулі, що найбільшою амбіцією його життя було стати мільйонером, людиною такою ж багатою, як і Рокфеллер.