А после смерти супруга королева стала все больше и больше полагаться на помощь и поддержку Джона Брауна, когда находилась в Балморале, а в 1862 г. даже взяла его с собой в поездку в Германию. Будучи главным и единственным звеном, которое связывало королеву с ее радостным и счастливым прошлым, Джон Браун зарекомендовал себя как бесстрашный покровитель и даже спаситель королевы, что подтвердилось в двух авариях с королевской каретой. Он был настолько надежным, преданным и верным слугой, так умел утешить королеву в ее горе, что она чувствовала себя в его присутствии уверенной и защищенной. Кроме того, Джон Браун отличался щедростью и часто жертвовал немалые суммы на свадебные подарки для придворных или помогал отдельным слугам. Обычно он прямо высказывал свои мысли, но, к сожалению, подчас злоупотреблял спиртным. Королева, несомненно, восхищалась его мужественной внешностью и твердым характером, что выгодно отличало его от других мужчин. Так, например, она недолюбливала Артура Стэнли, настоятеля Вестминстерского аббатства, который казался ей совершенно бесполым существом — мягким, нерешительным и трусливым.
Даже в грубоватых манерах Джона Брауна она видела истинно мужское начало, завораживающее ее. Однажды он помогал ей надеть шляпу и нечаянно уколол шпилькой ее щеку. «Ну вот, мадам, — недовольно проворчал он, — неужели трудно приподнять голову?» А если он не одобрял ее наряд, то мог откровенно выражать свое недовольство и даже брюзжать: «Зачем вы надели сегодня это платье, мадам?» Бывало, королева жаловалась, что прислуга не убрала ее письменный стол, а Джон Браун и это время мог угрюмо проворчать: «Успокойтесь, мадам, я сейчас что-нибудь придумаю». Однажды одна из придворных дам увидела Брауна с сумкой для пикника и спросила, взял ли он чай для королевы. «Нет, — покачал головой Браун, - она не очень любит чай. Мы взяли с собою бисквит и спирт».
С течением времени Джон Браун становился все более самонадеянным, все более высокомерным и тем самым настраивал против себя других. Остальные слуги завидовали ему, а придворные возмущались его наглостью и люто ненавидели за слишком привилегированное положение. Он стал «слишком властолюбивым и заносчивым, — говорил о нем лорд Карлингфорд. — Ни один слуга не имеет возможности продвинуться по службе, минуя этого хитрого интригана. А он не поддерживает никого, кому не нравятся его манеры... Некоторые из придворных всячески потакают Д.Б. и делают ему дорогие подарки и т.д., а он презирает их за это. Однако при этом он безгранично предан королеве и готов сделать для нее все, что только потребуется». А поскольку королева полностью зависела от Джона Брауна и никогда не выезжала из дворца без преданного слуги, доктор Дженнер и сэр Чарльз Фиппс решили в конце 1864 г., что в интересах здоровья ее величества будет лучше, чтобы Джон Браун перебрался из Балморала в Осборн и как можно чаще находился с ней. По крайней мере он может заставить ее выйти на свежий воздух, что не удавалось никому из других слуг и придворных.
К началу 1865 г. мистер Браун получил повышение по службе и стал руководителем всей королевской прислуги в Балморале, отвечая как за внутренний порядок, так и за все, что происходило за пределами дворца. А к концу 1872 г. его ежегодное жалованье достигло небывалой для такой должности суммы — 400 фунтов. В письмах к Джону Брауну королева стала все чаще употреблять слово «эсквайр» («господин») и называть его своим «другом» и «наиболее доверенным слугой», который, по ее словам, не взял за все это время ни единого выходного дня и ни разу не покинул свой пост. «Он приходит в мою комнату после завтрака и обеда, чтобы получить необходимые распоряжения, — писала королева старшей дочери. — И все он делает правильно и своевременно. У него прекрасная память и сообразительный ум. К тому же он безгранично предан мне и готов выполнить любое поручение. Я всегда чувствую, что в моем доме рядом со мной находится верный и преданный друг, которому можно доверить любое дело. Одному Богу известно, как я сейчас нуждаюсь в такой помощи и поддержке. В большом доме, где много людей, много забот и при этом нет хозяина, такой человек просто необходим». «Он по-настоящему предан мне, — писала королева королю Леопольду, — и меня это очень успокаивает».
А среди окружения королевы недовольство высокомерием Джона Брауна и его доминирующим положением при дворе стало быстро превращаться в откровенную ненависть. Он не любил, когда в комнате для курения собиралось много мужчин, которые дымили там почти всю ночь, поэтому он отдал распоряжение запирать эту комнату сразу после полуночи. Кроме того, ни сыновьям королевы, ни зятьям не позволялось курить в ее присутствии, что тоже вызывало раздражение близких родственников королевы. Сам же Джон Браун пыхтел своей трубкой, ничуть не заботясь о здоровье госпожи. Браун очень не любил, когда его в любое время дня и ночи вызывали для решения самых мелких хозяйственных вопросов, и приказал конюшим не беспокоить его по пустякам, поскольку он просто не в состоянии вникать во все, да к тому же «его придворный статус при этом принижается».