In quel mentre, bisognandomi l'anno 1550 venire per altro a Fiorenza ben due volte, la prima finii la tavola di San Gismondo, la quale venne il Duca a vedere in casa Messer Ottaviano de' Medici dove la lavorai, e gli piacque di sorte, che mi disse, finite le cose di Roma, me ne venissi a Fiorenza al suo servizio, dove mi sarebbe ordinato quello avessi da fare. Tornato dunque a Roma e dato fine alle dette opere cominciate, e fatta una tavola all'altar maggiore della Compagnia della Misericordia di un San Giovanni decollato, assai diverso dagl'altri che si fanno comunemente, la quale posi su l'anno 1553, me ne volea tornare, ma fui forzato, non potendogli mancare, a fare a Messer Bindo Altoviti due logge grandissime di stucchi et a fresco. Una delle quali dipinsi alla sua vigna con nuova architettura, perché essendo la loggia tanto grande che non si poteva senza pericolo girarvi le volte, le feci fare con armadure di legname, di stuoie, di canne, sopra le quali si lavorò di stucco, e dipinse a fresco come se fussero di muraglia, e per tale appariscono e son credute da chiunque le vede, e son rette da molti ornamenti di colonne di mischio, antiche e rare; e l'altra nel terreno della sua casa in ponte, piena di storie a fresco. E dopo per lo palco d'una anticamera quattro quadri grandi a olio delle quattro stagioni dell'anno, e questi finiti fui forzato ritrarre per Andrea della Fonte mio amicissimo una sua donna di naturale, e con esso gli diedi un quadro grande d'un Cristo che porta la croce, con figure naturali, il quale aveva fatto per un parente del Papa, al quale non mi tornò poi bene di donarlo. Al vescovo di Vasona feci un Cristo morto tenuto da Niccodemo e da due Angeli, et a Pierantonio Bandini una Natività di Cristo col lume della notte e con varia invenzione.
Mentre io faceva quest'opere e stava pure a vedere quello che il Papa disegnasse di fare, vidi finalmente che poco si poteva da lui sperare, e che in vano si faticava in servirlo. Per che, non ostante che io avessi già fatto i cartoni per dipignere a fresco la loggia che è sopra la fonte di detta vigna, mi risolvei a volere per ogni modo venire a servire il duca di Fiorenza; massimamente, essendo a ciò fare sollecitato da Messer Averardo Serristori e dal vescovo de' Ricasoli, ambasciatori in Roma di sua eccellenza, e con lettere da Messer Sforza Almeni suo coppiere e primo cameriere.
Essendo dunque trasferitomi in Arezzo, per di lì venirmene a Fiorenza, fui forzato fare a monsignor Minerbetti vescovo di quella città, come a mio signore et amicissimo, in un quadro, grande quanto il vivo, la Pacienza, in quel modo che poi se n'è servito per impresa e riverso della sua medaglia il signor Ercole duca di Ferrara. La quale opera finita, venni a baciar la mano al signor duca Cosimo, dal quale fui per sua benignità veduto ben volentieri; et in tanto che s'andò pensando a che primamente io dovessi por mano, feci fare a Cristofano Gherardi dal Borgo con miei disegni la facciata di Messer Sforza Almeni di chiaro scuro, in quel modo e con quelle invenzioni che si son dette in altro luogo distesamente. E perché in quel tempo mi trovavo essere de' signori priori della città di Arezzo, ofizio che governa la città, fui con lettere del signor Duca chiamato al suo servizio et assoluto da quello obligo; e venuto a Fiorenza trovai che sua eccellenza aveva cominciato quell'anno a murare quell'appartamento del suo palazzo che è verso la piazza del Grano con ordine del Tasso intagliatore et allora architetto del palazzo; ma era stato posto il tetto tanto basso, che tutte quelle stanze avevano poco sfogo et erano nane affatto, ma perché l'alzare i cavagli et il tetto era cosa lunga, consigliai che si facesse uno spartimento e ricinto di travi con sfondati grandi di braccia due e mezzo fra i cavagli del tetto, e con ordine di mensole per lo ritto che facessono fregiatura circa a due braccia sopra le travi; la qual cosa piacendo molto a sua eccellenza, diede ordine subito che così si facesse, e che il Tasso lavorasse i legnami et i quadri, dentro ai quali si aveva a dipignere la geneologia degli dei, per poi seguitare l'altre stanze.
Mentre dunque che si lavoravano i legnami di detti palchi, avuto licenza dal Duca, andai a starmi due mesi fra Arezzo e Cortona, parte per dar fine ad alcuni miei bisogni e parte per fornire un lavoro in fresco cominciato in Cortona nelle facciate e volta della Compagnia del Gesù. Nel qual luogo feci tre istorie della vita di Gesù Cristo, e tutti i sacrificii stati fatti a Dio nel Vecchio Testamento da Caino et Abel infino a Nemia profeta, dove anche in quel mentre accomodai di modelli e disegni la fabrica della Madonna Nuova fuor della città. La quale opera del Gesù finita, tornai a Fiorenza con tutta la famiglia l'anno 1555, al servizio del duca Cosimo; dove cominciai e finii i quadri e le facciate et il palco di detta sala di sopra chiamata degli Elementi, facendo nei quadri, che sono undici, la castrazione di Cielo per l'Aria, et in un terrazzo a canto a detta sala feci nel palco i fatti di Saturno e di Opi, e poi nel palco d'un'altra camera grande tutte le cose di Cerere e Proserpina; in una camera maggiore, che è allato a questa, similmente nel palco, che è ricchissimo, istorie della dea Berecinzia e di Cibele col suo trionfo e le 4 stagioni, e nelle facce tutti e dodici mesi. Nel palco d'un'altra, non così ricca, il nascimento di Giove, il suo essere nutrito dalla capra Alfea, col rimanente dell'altre cose di lui più segnalate. In un altro terrazzo a canto alla medesima stanza, molto ornato di pietre e di stucchi, altre cose di Giove e Giunone. E finalmente nella camera che segue il nascere d'Ercole con tutte le sue fatiche, e quello che non si poté mettere nel palco si mise nelle fregiature di ciascuna stanza, o si è messo ne' panni d'arazzo che il signor Duca ha fatto tessere con mia cartoni a ciascuna stanza, corrispondenti alle pitture delle facciate in alto. Non dirò delle grottesche, ornamenti e pitture di scale, né altre molte minuzie fatte di mia mano in quello apparato di stanze, perché oltre che spero se n'abbia a fare altra volta più lungo ragionamento, le può vedere ciascuno a sua voglia e darne giudizio. Mentre di sopra si dipignevano queste stanze, si murarono l'altre che sono in sul piano della sala maggiore e rispondono a queste per dirittura a piombo, con gran comodi di scale publiche e secrete che vanno dalle più alte alle più basse abitazioni del palazzo.
Morto intanto il Tasso, il Duca, che aveva grandissima voglia che quel palazzo, stato murato a caso et in più volte in diversi tempi e più a comodo degl'ufiziali che con alcuno buon ordine, si correggesse, si risolvé a volere che per ogni modo, secondo che possibile era, si rassettasse, e la sala grande col tempo si dipignesse, et il Bandinello seguitasse la cominciata udienza. Per dunque accordare tutto il palazzo insieme, cioè il fatto con quello che s'aveva da fare, mi ordinò che io facessi più piante e disegni, e finalmente, secondo che alcune gl'erano piaciute, un modello di legname, per meglio potere a suo senno andare accomodando tutti gl'appartamenti, e dirizzare e mutar le scale vecchie che gli parevano erte, mal considerate e cattive. Alla qual cosa, ancor che impresa difficile e sopra le forze mi paresse, misi mano, e condussi, come seppi il meglio, un grandissimo modello, che è oggi appresso sua eccellenza, più per ubbidirla che con speranza mi avesse da riuscire. Il quale modello, finito che fu, o fusse sua o mia ventura, o il disiderio grandissimo che io aveva di sodisfare, gli piacque molto; per che, dato mano a murare, a poco a poco si è condotto, facendo ora una cosa e quando un'altra, al termine che si vede. Et in tanto che si fece il rimanente, condussi con ricchissimo lavoro di stucchi in varii spartimenti le prime otto stanze nuove, che sono in sul piano della gran sala, fra salotti, camere et una cappella, con varie pitture et infiniti ritratti di naturale che vengono nelle istorie, cominciando da Cosimo Vecchio, e chiamando ciascuna stanza dal nome d'alcuno disceso da lui grande e famoso. In una adunque sono l'azzioni del detto Cosimo più notabili, e quelle virtù che più furono sue proprie, et i suoi maggiori amici e servitori, col ritratto de' figliuoli, tutti di naturale; e così sono insomma quella di Lorenzo Vecchio, quella di papa Leone suo figliuolo, quella di papa Clemente, quella del signor Giovanni padre di sì gran Duca, quella di esso signor duca Cosimo. Nella cappella è un bellissimo e gran quadro di mano di Raffaello da Urbino, in mezzo a S. Cosimo e Damiano mie pitture, nei quali è detta cappella intitolata; così delle stanze poi di sopra dipinte alla signora duchessa Leonora, che sono quattro, sono azzioni di donne illustri, greche, ebree, latine e toscane, a ciascuna camera una di queste; perché oltre che altrove n'ho ragionato, se ne dirà pienamente nel Dialogo che tosto daremo in luce, come s'è detto, che il tutto qui raccontare sarebbe stato troppo lungo. Delle quali mie fatiche ancora che continue, difficili e grandi, ne fui dalla magnanima liberalità di sì gran Duca, oltre alle provisioni, grandemente e largamente rimunerato con donativi, e di case onorate e comode in Fiorenza et in villa, perché io potessi più agiatamente servirlo; oltre che nella patria mia d'Arezzo mi ha onorato del supremo magistrato del Gonfalonieri et altri ufizii con facultà che io possa sostituire in quegli un de' cittadini di quel luogo, senza che a ser Piero mio fratello ha dato in Fiorenza ufizi d'utile, e parimente a' mia parenti d'Arezzo favori eccessivi, là dove io non sarò mai per le tante amorevolezze sazio di confessar l'obligo che io tengo con questo signore.