L’edificio, di fondazione quattrocentesca, ospitava il convento delle monache benedettine di S. Potito, poi acquisito da Camillo Caracciolo (1563-1617) che lo ampliò riutilizzando le preesistenze architettoniche conventuali. Il Palazzo Caracciolo di Avellino, che solo più tardi assumerà questa denominazione, fu realizzato ai primi del Cinquecento.