Lo splendido edificio fu costruito intorno alla metà del XVI secolo per Paolo II Vitelli (1519-1547), celebre condottiero al servizio di Papa Paolo III e di Pierluigi Farnese e per il fratello Chiappino, comandante delle milizie toscane durante il governo del ducato di Cosimo de’ Medici e Maestro di campo generale degli eserciti spagnoli della guerra di Fiandre.

L’edificio, terminato intorno al 1573, si ispira ai migliori esempi di palazzi romani e fiorentini del secolo Cinquecento. Le undici sale interne, tra cui il Salone che narra le gesta della famiglia Vitelli, costituiscono un esempio della pittura manieristica. Grottesche, scene mitologiche e verdure si susseguono negli ambienti interni e in quelli del parco, tra i quali la splendida Palazzina.