Il palazzo appartenne in antico alla compagnia di Sant'Antonio Abate e dal quarto decennio del XVI secolo fu sede dello Spedale Orfanotrofio di San Gregorio, fondato nel 1223 per accogliere i "gettatelli", ossia i bambini abbandonati. L'edificio fu completamente ristrutturato alla metà del XVIII secolo, insieme all'attigua chiesa anch'essa dedicata a San Gregorio, dall'architetto Romualdo Cilli, ma il progetto, che prevedeva una struttura articolata ad "U" intorno al cortile interno, non fu pienamente realizzato, e rimase privo del corpo di fabbrica previsto sul lato ovest. Nel 1784 il granduca Pietro Leopoldo decretò l'istituzione dei Regi Spedali Riuniti e il trasferimento nell'ospedale del Ceppo dei lattanti, delle balie e di 93 fanciulle, cosiddette "Innocentine". L'edificio passò allora al patrimonio ecclesiastico e l'architetto Stefano Ciardi fu incaricato di redigerne una perizia finalizzata a riadattarlo a nuova sede vescovile, ipotesi che fu presto abbandonata perché ritenuta troppo onerosa, e si preferì costruire un nuovo palazzo vescovile, attiguo a questo, che inglobò anche alcune pertinenze dello spedale di San Gregorio. Su ordine del Granduca, nel 1786 il palazzo fu ristrutturato per accogliere la sede dell'amministrazione del Patrimonio Ecclesiastico, il guardaroba, l'archivio e la Cancelleria Vescovile. Nel 1795 passò di proprietà agli Spedali Riuniti, e, l'anno successivo, fu acquistato da Giuseppe Puccini per conto della moglie Maddalena Brunozzi, che affidò a Giuseppe Manetti il progetto di dividerlo in quattro quartieri da affittare. Nel 1852, alla morte di Niccolò Puccini che lo aveva ereditato dalla madre, grande benefattrice dell'Orfanotrofio, il palazzo fu ristrutturato dall'architetto Angiolo Gamberai e destinato ad accogliere il Conservatorio degli Orfani, al quale Niccolò lasciò in eredità tutto il suo patrimonio. Gli orfani si trasferirono qui dalla fatiscente sede della Calconia di via de' Baroni, con una solenne cerimonia, il 29 aprile 1861. Nel 1907 il Conservatorio degli Orfani fu unito alla Pia Casa di Lavoro Conversini, ente istituito con il lascito testamentario di Tommaso Conversini, con finalità analoghe a quelle dell'Orfanotrofio. Nella casa di lavoro, dove erano ospitati ragazzi orfani di un solo genitore o bisognosi di accoglienza, gli allievi imparavano un mestiere attraverso lezioni di teoria e attività pratica presso aziende convenzionate, in particolare le officine Michelucci per la lavorazione del ferro e la ditta Trinci per la costruzione di carrozze. La Casa di Lavoro aveva sede di fronte alla chiesa di San Vitale, all'angolo tra corso Gramsci e via Niccolò Puccini. Il palazzo Conversini fu completamente distrutto nei bombardamenti dell'ottobre 1943. Qui venne ricostruito negli anni Cinquanta un nuovo edificio, sede, ancora oggi, della scuola professionale "Antonio Pacinotti", che continua idealmente l'attività dell'ente benefico che qui operò. Anche il palazzo di San Gregorio, che dopo l'interruzione della guerra continuò ad accogliere i giovani convittori fino al 1965, ospita oggi una scuola, la media "Guglielmo Marconi". Al primo piano del palazzo, nella cappella disegnata da Angiolo Gamberai si conservano il gruppo scultoreo di Luigi Pampaloni Gli orfani sulla rupe e la tomba di Niccolò Puccini, opera dello scultore Odoardo Fantacchiotti del 1862.