Appartenuto fin dal medioevo alla famiglia Guidobono-Cavalchini. Nel 1603 passò in eredità a Guglielmo Guidobono Cavalchini con l’obbligo di acquisire il nome di Boniforte Garofoli. Per questa ragione nel XVII secolo l’edificio venne definito Palazzo Garofoli. Tra il 1769 e il 1773 venne completamente ristrutturato dalll’architetto Carlo Riccardi di Milano, assumendo l’aspetto attuale. In quell’occasione fu unito all’adiacente chiesa di San Giacomo, ricostruitta in quegli stessi anni in forme barocche.
Ospitò numerose personalità tra cui Napoleone Bonaparte nel 1796, papa Pio VII nel 1814 e San Giovanni Bosco nel 1863.
La terrazza che guarda verso l’ingresso è circondata da una balaustra in ferro battuto e pietra di notevole pregio mentre nei suoi accoglienti e sontuosi ambienti trovano spazio dipinti ed arazzi di grande livello artistico.
Resta uno degli edifici privati più prestigiosi della città. Non è visitabile.