Il palazzo fu progettato da Biagio Rossetti per conto di Sigismondo I d’Este, fratello del duca Ercole I d’Este, nel 1492. Il palazzo fu abitato in maniera discontinua da componenti la casa d’Este fino alla devoluzione di Ferrara alla Santa Sede avvenuta nel 1598. In particolare dal 1586 fu la residenza di Cesare d’Este, cugino del duca Alfonso II d’Este e di sua moglie Virginia de’ Medici figlia di Cosimo I e Camilla Martelli. In questo periodo furono decorati i tre ambienti che si affacciano su corso Biagio Rossetti (l’antica via di san Benedetto o dei Prioni) e che costituivano l’appartamento di Virginia de’ Medici. Nel 1641 il palazzo fu ceduto, da Francesco I d’Este, nipote e successore di Cesare d’Este al marchese Guido I Villa. I nuovi proprietari modificarono il portale d’ingresso facendo eseguire le modanature e le due candelabre laterali. Diversi ritratti dei componenti la famiglia Villa sono visibili nella sala d’ingresso della pinacoteca. Nel 1842 il palazzo fu acquistato dal Comune di Ferrara al fine di ospitarvi la pinacoteca e l’Ateneo Civico. Durante i bombardamenti del 1944 che colpirono la città l’edificio fu danneggiato e andarono perdute parte delle opere conservate nei depositi. Dopo il terremoto dell’Emilia del 2012 è stato oggetto di restauro.