В града смятат, че Алесандро е изцяло отговорен за крепостта, но идеята за нейното издигане със сигурност идва от император Карл V. Всъщност той поставя условието да бъде завършена, преди Алесандро да се ожени за дъщеря му Маргарита. През 1534 година умира Климент VII и Алесандро губи своя главен съветник и човека, който го удържа. Вече развитата му склонност към необуздано сексуално поведение достига до крайност и подпомаган и подстрекаван от младия си фаворит и далечен братовчед на Лоренцо де Медичи, Алесандро извършва поредица от лудории, превърнали се в ужасяващи градски клюки. През нощта стените на метосите биват прескачани, млади момичета от добри семейства биват прелъстявани и дори съпругите на изтъкнати граждани — компрометирани. Историите очевидно са доукрасени заради непопулярността му и със сигурност има нотки на снобизъм и расизъм, но отвратителната му репутация не е напълно незаслужена. Онези, които се изказват против Алесандро на заседанията на държавните комисии или се опълчват срещу мнението му, са застрашени от финансов крах посредством пълно данъчно разследване, последвано от огромни сметки, като по общо признание това е предпочитаният от Медичите начин за възмездие още от началото на управлението на Козимо Pater Patriae. Но Алесандро често му придава лека пикантност, като дава да се разбере, че налозите могат да бъдат намалени в замяна на сексуални облаги. Този метод също не е непознат при предишните Медичи — например при Лоренцо Великолепни. Алесандро смята за целесъобразно да се изнесе от двореца Медичи на виа Ларга и да се нанесе в по-добре охранявания дворец на Сеньорията, който след разпускането на Съвета е преименуван на Палацо Векио („Стария дворец“). Той много добре осъзнава голямата символика на този ход, както всъщност и гражданите на Флоренция — Медичите превръщат в свой дом почитаното от векове седалище на властта в града.
Година след смъртта на Климент VII влиятелните граждани във Флоренция решават, че са търпели достатъчно, и изпращат делегация при император Карл V. Тя е подкрепена от могъщите флорентински изгнаници в Рим, като семейство Паци и стария банкерски род Строци. Пратеничеството дори е насърчено от бившия съветник на Климент VII Франческо Гучардини, който сега изпълнява същата роля при Алесандро. Император Карл V е в Тунис, защото най-после е решил да поведе войските си срещу османците в Северна Африка. През 1534 година брат му Фердинанд слага край на настъплението на турците под стените на Виена.
Решават флорентинското пратеническо при император Карл V да бъде предвождано от кардинал Иполито де Медичи, който изпитва огромна завист, защото братовчед му се налага като единствен владетел във Флоренция. На Иполито се гледа и като на очевиден заместник на Алесандро, тъй като вече е показал, че е по-умен, по-отстъпчив и с малко по-добри морални устои. През август 1535 година кардинал Иполито потегля на юг, за да се качи на кораб за Тунис, но стига едва до Итри, намиращ се на около сто и тринадесет километра южно от Рим, където се разболява и умира, почти със сигурност отровен по заповед на Алесандро.
Император Карл V се връща от Тунис и призовава флорентинското пратеничество и Алесандро да се срещнат с него в Неапол. Новият водач на делегацията, историкът Якопо Нарди, излага своите доводи пред императора, като много подробно описва как новопостроената Фортеца да Басо се използва за „затвор и кланица за недоволните граждани.“ Когато приключва, императорът приканва съветника на Алесандро, Гучардини, да изложи своите доводи. Флорентинските пратеници очакват даровитият оратор изкусно да подкопае основите на защитата на Алесандро, като го обрече на провал, използвайки фалшиви хвалби и очевидно несъдържателни подробности. Смайват се обаче, когато Гучардини използва цялата си дарба да убеждава, за да обори твърденията на флорентинците, говорейки за добродетелите на Алесандро и силното уважение, което изпитват към него във Флоренция. Гучардини завършва своята реч с цветистото изречение: „Не виждам смисъл в това да се опитвам да опровергавам всички тези обвинения, свързани с жени, изнасилвания и други подобни клевети, щом става дума за общи неща и не бе споменат нито един конкретен случай.“ Гучардини е обигран политик, който не иска да е на губещата страна и да остане без работа. Разбира, че Карл V няма намерение да свали Алесандро, който ще става негов зет — императорът иска Флоренция да бъде управлявана решително, без значение средствата, защото политическата стабилност е единствената му грижа.