Costruito su disegno di Angelo da Orvieto, alcuni anni dopo quello del Comune, il palazzo è stato terminato nel 1368.

Sulle lunette, sopra il portale delle botteghe al piano terra, si intravedono di consunti fregi e stemmi di Podestà che governarono la città. Sulla facciata principale lungo corso Cavour, è possibile ammirare le stupende bifore.

La facciata odierna che guarda su piazza Matteotti fu progettata da Nicola Barbioni nel 1687 e il loggiato verso piazza Fanti fu costruito verso il 1620. Caratteristico, oltre al doppio orologio delle ore e dei minuti, il quadrante della rosa dei venti al di sopra di essi.