Nel corso del XVI secolo la struttura, precedentemente un edificio produttivo, venne convertita in un palazzo di rappresentanza, completato da un giardino maestoso con bossi, cipressi, fontane e grotte. Protagonista del giardino e del palazzo fu Agostino Giusti (1548/1615), uomo colto, appassionato di musica e di pittura, in contatto con i Medici e gli Asburgo, nonché fiduciario dei Veneziani.