La struttura originaria è anteriore al 1500 e, a quell'epoca, apparteneva alla famiglia DESIDERIO, che ne ebbe la proprietà fino agli inizi del 1600.
Nel 1605, infatti, Gio. Francesco Ferrajoli, figlio del notaio Giacomo, sposò Caterina Desiderio, figlia di Fabrizio, che portò in dote una parte del palazzo. Le altre quote furono rilevate da Gio.Francesco per acquisto fattone dai cognati.

Da quel momento l'edificio diventò la residenza ed il simbolo di una delle famiglie più prestigiose di S.Egidio, le cui origini si ritrovano in atti della Città di Amalfi e di Ravello, sin dal 1162.
Essa, nel corso di 400 anni, ha dato 5 Sindaci Universali alla Città di Nocera, 23 Sindaci a S.Egidio e 5 Rettori all'Abazia, oltre a 9 notai, 4 avvocati e 3 ingegneri.

Ad ulteriore dimostrazione della influenza che i Ferrajoli hanno esercitato sulla comunità, va notato che ebbero il diritto di patronato su ben tre altari all’interno dell’Abazia: quello del SS Rosario, quello di S.Giuseppe e quello di S.Antonio e S.Giacomo.

All’interno dell’artistica corte è ancora visibile una stele funeraria del periodo adrianeo, trovata in una dei giardini circostanti di proprietà della famiglia.
Su di essa viene ricordata la prematura morte di una giovane donna, POMPONIAE TYCHE, figlia o moglie di un tal VOLCIUS “NUCERINUS”.