Les murs du réfectoire sont en partie ceux des thermes d’Agrippa, construites sur le Champ de Mars à partir de 33 av. J.-C. Au Moyen-âge, les ruines servent de carrière pour la construction de nouveaux bâtiments. Au XVIe siècle, le cardinal Charles Borromée y installe une institution pour filles repenties et au XVIIe les vestiges des thermes sont transformés en réfectoire.
En 1810 les clarisses qui occupaient les lieux sont dispersées et les bâtiments sont vendus en lotissements. Le nouveau propriétaire transforme le réfectoire en écuries.
En 1869, le Séminaire rachète cette partie et les écuries redeviennent réfectoire. Avec la reconstruction du Séminaire en 1883, le réfectoire est agrandi et prend sa forme actuelle.