В новых условиях Иван Алексеевич вынужден был мимикрировать, что давалось ему нелегко. О его моральном состоянии очень точно говорит писатель И.И. Лажечников в романе «Ледяной дом»: «Старик Балакирев – кто не знал его при великом образователе России? – дошучивает ныне сквозь слезы свою жизнь между счастливыми соперниками. Он играет теперь второстепенную роль; он часто грустен, жалуется, что у иностранцев в загоне, остроумен только тогда, когда случается побранить их. И как не жаловаться ему? Старых заслуг его не помнят. Иностранные шуты, Лакоста и Педрилло, отличены какими-то значками в петлице, под именем ордена Бенедетто, собственно для них учрежденного. А он, любимый шут Петра Великого, не имеет этого значка и донашивает свой кафтан, полученный в двадцатых годах».
Справедливости ради надо сказать, что Лажечников здесь ошибается: кафтан на Иване был новый, с иголочки. Ведь к Балакиреву императрица явно благоволила. Она часто жаловала его щедрыми денежными субсидиями, «питьем и припасами». Известно также, что когда в 1732 году он женился на дочери посадского Морозова и не получил обещанных ему в приданое 2000 рублей, Анна приказала немедленно «доправить» эти деньги с Морозова и отдать их Балакиреву. В другой раз она организовала в пользу Балакирева специальную лотерею. Монархиня подарила ему и дом в Петербурге, в приходе Воскресения Христова, за Литейным двором.
Иван старался вести себя осторожно, но его вольнолюбивая натура нет-нет, да и давала о себе знать. Как-то раз он позволил себе подшутить над всесильным временщиком Бироном, за что был прилюдно бит палками. В другой раз он нелицеприятно высказался о самой монархине. На Балакирева был сделан донос о произнесении слов, оскорбляющих ее величество, и его препроводили в Тайную канцелярию, где допросили с пристрастием. Анна, однако, смилостивилась и вернула шута во дворец, сделав внушение: не говорить лишнего. Он не раз уклонялся от шутовских потасовок и бывал за это примерно наказан.
Привыкший острить и балагурить вдохновенно, по страсти, Балакирев не мог смириться с необходимостью шутить натужно, из-под палки. По-видимому, из-за полной безысходности своего положения при дворе он пристрастился к зеленому змию. Сохранился именной указ императрицы (она терпеть не могла пьяных!) от 23 мая 1735 года, где, в частности, говорится: «Ежели те, приезжающия к нему, Балакиреву, в дом или он к кому приедет и будет пить, а чрез кого донесено будет, и за то о штрафовании оных людей». К слову, сама же Анна ранее невольно потворствовала сему пороку: она распорядилась отпускать Ивану «каждый день вина по бутылке, один день красного, а на другой день рейнвейну по бутылке, пива три бутылки».
Устав от обязанностей забавника по принуждению, Иван Алексеевич весною 1740 года отпросился на время у императрицы в свои костромские деревни. Там его застало известие о смерти Анны Иоанновны. А совсем скоро новая правительница Анна Леопольдовна упразднила штат придворных дураков и дур и отпустила их всех восвояси, наградив дорогими подарками. Так что ко двору Балакирев уже больше не вернулся.
В русском народном творчестве мы не находим упоминаний о службе Балакиря при дворе Анны Иоанновны. Потому, наверное, что этой императрице вообще не суждено было стать фольклорным персонажем. Но память об этом сохранилась при царском дворе. Воспитатель цесаревича Павла Петровича С.А. Порошин записал 5 декабря 1764 года: «Проезжая по Литейной бывший двор г. Балакирева, рассказывал его превосходительство Никита Иванович Панин. – Л.Б. об оном шуте, также и о графе Апраксине, кои оба во время императрицы Анны Иоанновны были. Его превосходительство о Балакиреве сказывал с похвалою, что шутки его никогда никого не язвили, но еще многих часто и рекомендовали».
Не случайно, будучи уже императором, Павел распорядился выделить потомкам Балакирева несколько сот десятин земли. Ивана Алексеевича вдохновляли воспоминания о том, как когда-то он радовал своими остроумными выходками первого российского императора. Даже знаменитая дубинка Петра, которая в недобрый час нещадно колотила шута по бокам, вызывала у него благодарность и умиление. По преданию, Балакирев завещал, «чтоб по смерти его, тело его обернули рогожей и положили на чистом воздухе, в поле, да просил положить возле себя и Алексеевичеву дубинку (которая в то время стояла праздною и уже никому не была нужна), чтоб ни зверь, ни птица не могли тронуть его тела». Казалось, шут Балакирев наяву грезил о том, чтобы имя его неизменно ассоциировалось с именем великого преобразователя России. И мечты эти сбылись.