Vom Kolleg, das auch heute noch als Bühnenhintergrund für das dient, was von der alten Piazza San Francesco übrig geblieben ist, gibt es sichere Nachrichten erst ab 1636, als der Este Andrea Bortoloni, Mitglied einer wohlhabenden und adligen Familie vor Ort, der als franziskanischer Konventualer wurde, mit dem Bau des Klosters begann und vierzig Jahre lang Lehrer im Kloster war.
Was das Projekt des Gebäudes betrifft, so wird angenommen, dass Vincenzo Scamozzi, also der Fortsetzer der klassizistischen Palladio-Tendenz in Venetien, es demjenigen geliefert hat, der dann der Ausführende vor Ort war, nämlich Antonio Zuccato.
Die klassizistische Sprache Scamozzis zeigt sich besonders im Kreuzgang des Klosters, der durch typische Elemente wie die Verwendung von überlagerten Ordnungen, dorisch im unteren Bereich und ionisch im oberen, sowie durch die mit Giebel und doppelter profilierten Balustrade und mit Zähnchen am Ende verzierten Fenstern charakterisiert ist.
Am Perimeter des Kreuzgangs öffnen sich die drei Zugänge zum Gebäude und die Aula Magna, in deren Innerem man das Gemälde "Das Abendmahl in Emmaus" bewundern kann, das an der Rückwand des großen Raumes hängt. Das Thema des Gemäldes und die Größe des Raumes weisen uns deutlich darauf hin, dass dies der Speisesaal des Klosters war, neben dem sich die der Jungfrau gewidmete Kapelle befand.
Der erste Stock hingegen war als Schlafsaal für die Jugendlichen vorgesehen, die im Kolleg studierten.
Der Kreuzgang von San Francesco beherbergt heute Veranstaltungen, Aufführungen, Konferenzen und kulturelle Begegnungen.