Costruito in tempi diversi, l’edificio assume il definitivo aspetto nella prima metà cinqucentesca e fu così denominato per la vicinanza di una fonderia o un deposito di cannoni.

Il palazzo, nobile esempio di dimora rinascimentale, venne completato in occasione delle nozze di Alessandro Vitelli e Angela Paola de’ Rossi di San Secondo Parmense. Riccamente affrescato, è caratterizzato dalla decorazione a graffio della facciata che guarda il giardino eseguita da Cristofano Gherardi, detto il Doceno, su disegno del Vasari.

Lo scalone che dà accesso al piano nobile è splendidamente affrescato con una complessa decorazione a carattere celebrativo e simbolico, realizzata da Cola dell’Amatrice.