Il castello di San Gregorio, come l'omonima chiesa, devono con ogni probabilità il loro nome a San Gregorio martire, prete spoletino martirizzato sotto Diocleziano e Massimiano.

L'edificazione del Castello di San Gregorio - visibile nella sua struttura originale in arenaria, ciottoli e cotto - risale al X secolo ma nel XVI vi fù una successiva fortificazione.
[img_assist|nid=136|title=|desc=(Credit foto: Wikimedia Commons/Cantalamessa)|link=none|align=left|width=450|height=338] Situato nei pressi di Painello a 279 metri s.l.m., presenta una pianta quadrata con torri agli angoli e mura merlate che cingono un insieme di tipiche case medievali quasi completamente disabitate. Merita attenzione la porta d'accesso, di forma ogivale sovrastata dal torrione, ancora intatta con i segni del ponte levatoio e delle difese piombanti.

Da un'epigrafe incisa sull'altare si evince che la chiesa del castello - dapprima tra le dipendenze della cattedrale d'Assisi e poi dell'abbazia benedettina di Nonantola, in Emilia - anticamente detta San Gregorio de Podio (del poggio), fù consacrata nel secondo decennio del XII secolo. Dell'antica chiesa, che forse si trovava fuori le mura, rimangono solo poche tracce. Nell'oratorio erano presenti affreschi di Francesco Tartaglia, ora ospitati nella Pinacoteca comunale di Assisi. 65118