Giorgio Vasari nelle "Vite de' più eccellenti pittori scultori ed architettori …" parlando di Giuliano di Baccio d'Agnolo menziona il palazzo da lui realizzato a San Miniato al Tedesco per commissione di Mons. Ugolino Grifoni e lo definisce "cosa magnifica". Giuliano, figlio maggiore di Baccio d'Agnolo Baglioni, architetto e intagliatore fiorentino, era stato apprezzato dal Grifoni per le costruzioni che in quegli anni andava portando avanti a Firenze e dintorni.

La costruzione di palazzo Grifoni iniziò nel 1551, "nel 1554 il palazzo sanminiatese fu condotto ad affare in parte perfezionato, e la parte imperfetta andò a finirsi a poco a poco fino al 1573, come resulta dai conti di Mes. Michele e dalle scritte dei manifattori che vi operarono". Baccio d'Agnolo opera nel tessuto medioevale della cittadina un taglio netto che interrompe la continuità del fronte stradale e, creando la piazza, permette la visione completa dell'armonica facciata.

Il palazzo Grifoni di San Miniato è considerato uno degli edifici più rappresentativi dell'intera opera di Giuliano di Baccio d'Agnolo e dell'architettura toscana tardorinascimentale. Edificato ex-novo sull'area di due costruzioni trecentesche e di un tratto di mura del fortilizio Ser Ridolfo, l'edificio si presentava con pareti di mattoni a vista incorniciati nella facciata da bozze di bugnato in pietra serena.

L'ampio portone sormontato dallo stemma della famiglia Grifoni è affiancato da due grandi finestre inginocchiate ai lati delle quali se ne aprono altre due più piccole. Il piano nobile è scandito da grandi finestre ad arcotondo, ed infine al piano più elevato un elegante loggiato, costituito da colonne di ordine tuscanico, tipologia tipica dei palazzi signorili fiorentini, si estende per tutta la lunghezza della facciata.

Può sostenersi l'ipotesi che alcuni disegni di Michelangelo Buonarroti siano alla base del progetto elaborato poi da Giuliano di Baccio d'Agnolo. Esistono forti analogie tra alcuni disegni e progetti di Michelangelo e la pianta del palazzo Grifoni a San Miniato, o le finestre inginocchiate della sua facciata, il tutto avvalorato dalla scritta autografa laltopascio, come era chiamato a Firenze Ugolino Grifoni a ragione della carica che ricopriva.

Il carattere michelangiolesco dell'architettura si può avvertire chiaramente osservando la parete che da accesso alla corte: il richiamo alle soluzioni introdotte da Michelangelo con la costruzione della biblioteca Mediceo-Laurenziana (1523) è immediato.

Per la realizzazione dell'edificio Giuliano si affidò a maestranze fiorentine, lo dimostra la vèra monolitica del pozzo del cortile interno. I mattoni per la costruzione del palazzo provenivano dalle fornaci attive a San Miniato in quel periodo, solo in un secondo momento fu necessario ricorrere al materiale ricavato delle antiche mura federiciane.

Da una nota di spese sappiamo che nel 1560 i lavori non erano ancora ultimati, l'annotazione porta a fianco i nomi di Pierino il fornaciaio, Biagio, e di altri muratori. La costruzione del Palazzo si prolungò nel tempo per mancanza di fondi, fin quando il Duca concesse il permesso di sfruttare i materiali delle antiche fortificazioni della rocca (lettera di autorizzazione in data 27 maggio 1573 dei capitani di parte guelfa di Firenze, Archivio Storico di Firenze). Giuliano di Baccio d'Agnolo morì nel 1555 e non vide ultimata la sua opera.

Il cantiere di palazzo Grifoni a San Miniato è stata l'occasione per i Baglioni di eseguire lavori per le famiglie nobili e altri committenti di San Miniato, vedi il palazzo Piccolo, il palazzo Roffia, i palazzi Buonaparte. A San Miniato altro lavoro realizzato dalla bottega dei Baccio d'Agnolo è, molto probabilmente, il pregevole coro ligneo della chiesa di San Francesco.