L’edificio fu costruito nel 1855 per volontà di Alessandro Nunziante, duca di Migliano, che affidò il progetto ad Enrico Alvino. Il palazzo ha una volumetria impressionante poiché l’architetto volle far sì che divenisse l’elemento finale di una piazza triangolare quale è piazza dei Martiri: infatti, con la sua alta recinzione del giardino detto “delle delizie”, definisce la planimetria stessa della piazza.