Il fonte battesimale, formato da una colonna di granito, secondo la tradizione fu trasportato nella Basilica Ugoniana dalla chiesa di Santa Maria Maggiore, che in precedenza aveva il titolo di Cattedrale di Assisi.
In questo fonte furono battezzati San Francesco ( 1181 o 1182), Santa Chiara (1193) San Gabriele dell’Addolorata (1838) e, secondo la tradizione l’imperatore Federico II di Svevia.
La scena del Battesimo di San Francesco venne dipinta dal viennese Francesco de Rohden e da suo figlio Alberto nel 1881. Gli stucchi sono dei perugini Francesco Biscarini e Raffaele Angeletti. Sotto una grata di ferro dinnanzi al fonte è custodita la pietra con l’impronta del ginocchio dell’angelo che, in veste di pellegrino, avrebbe assistito al battesimo del Poverello d’Assisi.

Secondo quanto si narra nel sermone di San Pier Damiani, dopo aver assistito ai numerosi miracoli avvenuti quando il sarcofago che aveva contenuto il corpo di San Rufino venne trasportato nella “parva basilica”, il vescovo Ugo decise di costruire una nuova e più grande chiesa in onore del patrono della città nello stesso luogo in cui, probabilmente a partire dall’VIII secolo, riposavano le sue spoglie mortali.
Della Basilica Ugoniana restano attualmente la torre campanaria, il chiostro dei Canonici e la Cripta. Quest’ultimo ambiente fu rimesso alla luce nel 1895 dal canonico Giuseppe Elisei, il quale lo fece liberare dal materiale che all’epoca ne occludeva l’accesso.
La cripta è divisa in tre navate con abside e con volte a crociera sorrette da colonne collegate da arcate.
La porta originale che conduceva alla navata della Basilica Ugoniana è visibile all’inizio del percorso, se si accede dalla chiesa. Sulla sinistra si può notare un fregio dorico a metope e triglifi con un cane, due delfini e un kantharos (coppa per bere): questo frammento è uno dei tanti elementi e rilievi di età romana inseriti nelle pareti della cripta.
Elementi di spoglio di epoca romana in travertino e in pietra calcarea rosa del Subasio reimpiegati nella costruzione medievale sono anche sei capitelli, sei colonne e due basi all’interno della cripta. Quattro dei suddetti capitelli sono ionici e risalgono ad un periodo compreso tra la fine del II secolo e la prima metà del I secolo a.C.; gli altri due sono invece corinzi, uno a foglie lisce e l’altro non finito, databili tra il IV e il V secolo d.C.
Il sarcofago collocato al centro dell’abside è, per l’appunto, quello che secondo la tradizione per lungo tempo aveva ospitato le spoglie di San Rufino, la cui effige venne dipinta sul retro del manufatto nel 1556 da Raffaello Coda. Realizzato in marmo bianco, il sarcofago, che può essere datato attorno al III secolo d.C., è lavorato ad altorilievo e sul fronte presenta il Mito di Selene ed Endimione.
Nella parete absidale, in origine probabilmente decorata a fresco con una Teoria di Santi, resta soltanto una figura frammentaria che un’iscrizione (oggi purtroppo scomparsa) identificava come San Costanzo, protovescovo e patrono di Perugia. Sulla volta campeggiano i simboli dei quattro Evangelisti (l’angelo di san Matteo, il leone di San Marco, il toro di San Luca e l’aquila di San Giovanni), databili alla metà dell’XI sec

In questo luogo Francesco d’Assisi era solito sostare in preghiera prima di predicare in Cattedrale. Il piccolo sacello è legato inoltre al celebre episodio dell’apparizione del Santo su un carro di fuoco. Narra infatti Bonaventura da Bagnoregio nella Leggenda Maggiore che “una volta il Santo si recò nella città di Assisi, perché era sabato e il mattino della domenica doveva predicare nella chiesa cattedrale, come faceva di solito. L’uomo a Dio devoto, secondo la sua abitudine, passò la notte a pregare Dio, in un tugurio situato nell’orto dei canonici, lontano, con il corpo, dai suoi figli. Ma ecco: verso la mezzanotte – mentre alcuni frati riposavano ed altri vegliavano in preghiera – un carro di fuoco di meraviglioso splendore entrò dalla porta della casa e per tre volte fece il giro dell’abitazione: sopra il carro si trovava un globo luminoso, in forma di sole, che dissipò il buio della notte Furono stupefatti quelli che vegliavano; svegliati e, insieme, atterriti quelli che dormivano – e fu più grande la chiarezza provata nel cuore che quella vista con gli occhi, perché, per la potenza della luce miracolosa, fu nuda la coscienza di ciascuno davanti alla coscienza di tutti.

Tutti reciprocamente videro nel cuore di ciascuno e tutti compresero, con un solo pensiero, che il Signore mostrava loro il padre santo, assente col corpo ma presente in spirito, trasfigurato soprannaturalmente dalla luce dei celesti splendori e dalla fiamma dei celesti ardori, sopra quel carro di luce e di fuoco, per indicare che essi dovevano camminare, come veri Israeliti, sotto la sua guida. Egli, infatti, era stato eletto da Dio, come un nuovo Elia, ad essere cocchio ed auriga degli uomini spirituali. C’è davvero da crederlo: Colui che, alle preghiere di Francesco, aprì il cuore di quei frati così semplici, perché vedessero le meraviglie di Dio, fu quello stesso che un tempo aveva aperto gli occhi al servo perché vedesse il monte pieno di cavalli e di carri di fuoco intorno ad Eliseo”.
La parete dell’oratorio costituita da lastroni squadrati in calcare rosa e bianco è un tratto dell’antica cinta muraria romana.