Но Майкрофт, който бил навършил шестнайсет през тази година, не се върнал в Лондон с тях. Вместо това отишъл в Оксфорд.
Докато се намирали „в изгнание“ в „Сметището“ в Йоркшир Дейлс, баща им използвал математическата дарба на сина си Майкрофт, карайки го да преглежда внимателно описанията, давани от собствениците на състезателни коне, и да избира бъдещите чистокръвни победители, предлагани от Татърсол в лондонския Хайд Парк. После Холмс старши, след като телеграфирал на приятелчетата си в града, залагал на същите тези коне на хиподрума Александра Парк, известен и като „Тигана“. Онова, което Шерлок забелязал (а баща му не) било, че Майкрофт — на вид също толкова мързелив и апатичен, колкото дебел и гениален — взимал пари от залозите на баща си, за да прави свои собствени залози при бащиния си букмейкър, който живеел в Лондон, и после прехвърлял малките си, но неизменни печалби в отделна сметка. До 1863 година шестнайсетгодишният Майкрофт Холмс заделил доста парици. И знаел точно за какво ще ги похарчи.
Майкрофт бил приет в Оксфорд на шестнайсет години, плащайки обучението си и пансиона с пари от фонда „Татърсол-Тигана“, както обичал да го нарича, и късно една нощ, след като събудил младия Шерлок и изненадващо се ръкувал за довиждане с по-малкия си брат (Майкрофт мразел да докосва други хора и да бъде докосван от тях), той потеглил за Оксфорд. Със себе си взел единствено картонения си куфар с няколко дрехи вътре и сандвича със сирене, който му приготвил Шерлок.
През следващите няколко години, след като вбесеният му баща се отрекъл от него, Майкрофт изпращал на Шерлок изкусно шифровани писма, в които по-големият брат разказвал как се наслаждава на всичко, което му предлага уважаваното учреждение, включително на приятелството на някакъв професор по математика в Крайст Чърч на име Чарлс Латуидж Доджсън, който скоро щял да стане известен на света под името Луис Карол. Майкрофт и Доджсън станали първи приятели, споделяйки страстта си към математиката (особено към простите числа), сложните шифри и странните комбинации от цифри в такива ежедневни неща като разписанието на влаковете.
Уилям Шерлок Холмс така и не се запознал с Доджсън; по-малкият син прекарал годините в края на шейсетте и началото на седемдесетте, борейки се за оцеляване из жестоките улици на Лондон. В края на седемдесетте Майкрофт Холмс измъкнал по-малкия си брат от улицата и платил за обучението му в Оксфорд. Шерлок отказал да се запише в училището, където по-големият му брат бил позната и уважавана фигура. Тогава Майкрофт използвал парите, за да го прати в Сидни Съсекс Колидж в Кеймбридж с надеждата, че там Шерлок ще съсредоточи вниманието си върху естествените науки. Шерлок харесал някои от заниманията си в химическата лаборатория в Кеймбридж, но мразел учителите и състудентите си, затова скоро бил изключен — два пъти.
За да получи някаква представа за реалните ранни години от живота на Шерлок Холмс — биографията, която никога няма да бъде написана — човек трябва да използва за шаблон младежките години на Джеймс Джойс, с неговия вечно пиян, често жесток баща, който първоначално наемал хубави къщи в квартали като Кенсингтън, а после, бягайки от хазаите, които си искали наема, водел синовете си във все по-мръсни и по-малки къщи, следвани от занемарени стаи в долнопробни пансиони, миришещи на варено зеле. Шерлок не бе получил почти никакво формално обучение, с изключение на краткия му престой в Кеймбридж — никога не беше посещавал училище, частно или обществено, само понякога беше имал частни учители вкъщи (когато баща му правеше „някой удар“ на залаганията или с някое друго незаконно начинание).
Макар в кратките периоди, в които разполагал с пари и не бягал през нощта заедно със синовете си от хазаите, бащата на братята Холмс да имал навика да наема поредица от сравнително безполезни (и скоро готови да вдигнат ръце от младия Шерлок) домашни възпитатели, той похарчил доста пари за отлични учители в пет области: ръкопашен бой, който Шерлок започнал да тренира от седемгодишна възраст, бокс (включително времето, прекарано като спаринг-партньор на неколцина пенсионирани, но все още известни английски професионални боксьори), четиригодишно обучение от тайландски експерт в тънкостите на бойните изкуства Муай Боран, фехтовка (най-скъпото обучение; понякога младият Холмс работел с най-добрите френски експерти, дори когато семейството едва успявало да си купи храна) и стрелба.
Сякаш бащата на Шерлок си представял, че някой ден странният му, буен, но често затворен в себе си и мрачен син щял да стане войник. Разбира се, още във възрастта между осем и четиринайсет години Шерлок Холмс не се интересувал толкова от войнишката кариера, колкото от това да стане първият аеронавт, който е обиколил луната с балон.