Fu richiamato Michelagnolo con gran preghi alla patria, e fortemente raccomandatogli che non volessi abandonar l'impresa e mandatogli salvo condotto, finalmente vinto dallo amore non senza pericolo della vita, ritornò, et in quel mentre finì la Leda che faceva, come si disse, dimandatali dal duca Alfonso, la quale fu portata poi in Francia per Anton Mini suo creato. Et intanto rimediò al campanile di S. Miniato, torre che offendeva stranamente il campo nimico con due pezzi di artiglieria, di che voltosi a batterlo con cannoni grossi i bombardieri del campo l'avevon quasi lacero e l'arebbono rovinato; onde Michelagnolo, con balle di lana e gagliardi materassi sospesi con corde, lo armò di maniera, che gli è ancora in piedi. Dicono ancora che nel tempo dell'assedio gli nacque occasione per la voglia che prima aveva d'un sasso di marmo di nove braccia venuto da Carrara, che per gara e concorrenza fra loro, papa Clemente lo aveva dato a Baccio Bandinelli; ma per essere tal cosa nel publico, Michelagnolo la chiese al gonfaloniere, et esso glielo diede che facesse il medesimo, avendo già Baccio fatto il modello e levato di molta pietra per abozzarlo. Onde fece Michelagnolo un modello, il quale fu tenuto maraviglioso e cosa molto vaga, ma nel ritorno de' Medici fu restituito a Baccio. Fatto lo accordo, Baccio Valori comessario del Papa ebbe comissione di far pigliare e mettere al Bargello certi cittadini de' più parziali; e la corte medesima cercò di Michelagnolo a casa, il quale dubitandone s'era fuggito segretamente in casa d'un suo grande amico, ove stette molti giorni nascosto, tanto che passato la furia, ricordandosi papa Clemente della virtù di Michelagnolo, fé fare diligenza di trovarlo, con ordine che non se gli dicessi niente, anzi, che se gli tornassi le solite provisioni, e che egli attendessi all'Opera di S. Lorenzo mettendovi per proveditore Messer Giovanbatista Figiovanni, antico servidore di casa Medici e priore di S. Lorenzo. Dove assicurato Michelagnolo cominciò, per farsi amico Baccio Valori, una figura di tre braccia di marmo che era uno Apollo che si cavava del turcasso una freccia, e lo condusse presso al fine, il quale è oggi nella camera del principe di Fiorenza, cosa rarissima, ancora che non sia finita del tutto.
In questo tempo essendo mandato a Michelagnolo un gentiluomo del duca Alfonso di Ferrara, che aveva inteso che gli aveva fatto qualcosa rara di suo mano, per non perdere una gioia così fatta, arrivato che fu in Fiorenza e trovatolo, gli presentò lettere di credenza da quel signore. Dove Michelagnolo fattogli accoglienze, gli mostrò la Leda dipinta da lui che abraccia il cigno, e Castore e Polluce che uscivano dell'uovo in certo quadro grande dipinto a tempera col fiato; e pensando il mandato del Duca al nome che sentiva fuori di Michelagnolo che dovessi aver fatto qualche gran cosa, non conoscendo né l'artificio, né l'eccellenza di quella figura, disse a Michelagnolo: "Oh, questa è una poca cosa". Gli dimandò Michelagnolo che mestiero fussi il suo, sapendo egli che niuno meglio può dar giudizio delle cose che si fanno che coloro che vi sono essercitati pur assai drento. Rispose ghignando: "Io son mercante", credendo non essere stato conosciuto da Michelagnolo per gentiluomo, e quasi fattosi beffe d'una tal dimanda mostrando ancora insieme sprezzare l'industria de' Fiorentini. Michelagnolo che aveva inteso benissimo el parlar così fatto, rispose alla prima: "Voi farete questa mala mercanzia per il vostro signore. Levatevimi dinanzi". E così in que' giorni Anton Mini suo creato, che aveva due sorelle da maritarsi, gliene chiese, et egli gliene donò volentieri, con la maggior parte de' disegni e cartoni fatti da lui, ch'erano cosa divina. Così due casse di modegli con gran numero di cartoni finiti per far pitture e parte d'opere fatte, che venutogli fantasia d'andarsene in Francia gli portò seco, e la Leda la vendé al re Francesco per via di mercanti, oggi a Fontanableò, et i cartoni e disegni andaron male, perché egli si morì là in poco tempo e gliene fu rubati, dove si privò questo paese di tante e sì utili fatiche che fu danno inestimabile. A Fiorenza è ritornato poi il cartone della Leda, che l'ha Bernardo Vecchietti, e così quattro pezzi di cartoni della cappella di ignudi e Profeti condotti da Benvenuto Cellini scultore, oggi appresso agli eredi di Girolamo degli Albizi.
Convenne a Michelagnolo andare a Roma a papa Clemente, il quale benché adirato con lui, come amico della virtù gli perdonò ogni cosa e gli diede ordine che tornasse a Fiorenza e che la libreria e sagrestia di S. Lorenzo si finissero del tutto, e per abreviare tal opera una infinità di statue che ci andavano compartirono in altri maestri. Egli n'allogò due al Tribolo, una a Raffaello da Monte Lupo et una a fra' Giovan Agnolo frate de' Servi, tutti scultori, e gli diede aiuto in esse facendo a ciascuno i modelli in bozze di terra, laonde tutti gagliardamente lavorarono et egli ancora alla libreria faceva attendere, onde si finì il palco di quella d'intagli in legnami con suoi modelli, i quali furono fatti per le mani del Carota e del Tasso fiorentini, eccellenti intagliatori e maestri, et ancora di quadro, e similmente i banchi dei libri lavorati allora da Batista del Cinque e Ciapino amico suo, buoni maestri in quella professione. E per darvi ultima fine fu condotto in Fiorenza Giovanni da Udine divino, il quale per lo stucco della tribuna insieme con altri suo lavoranti et ancora maestri fiorentini, vi lavorò. Laonde con sollecitudine cercarono di dare fine a tanta impresa.