Avec la période concordataire s’ouvre une nouvelle ère : les évêques ne sont plus, comme les Rohan, des princes qui cumulent l’épiscopat avec des fonctions de grand aumônier à la cour. Quand l’évêque Saurine décède en mai 1813 à l’âge de 80 ans, bien qu’il soit peu apprécié par son clergé, sa dépouille est accueillie dans la cathédrale, où aucun évêque n’a plus été inhumé depuis Conrad de Busnang, en 1471.

Plutôt que de défoncer le sol de la chapelle Saint-Jean ou de la chapelle Saint-André, on choisit d’utiliser un caveau établi au milieu du XVIIIe siècle par les prébendiers de la cathédrale dans le sous-sol de la chapelle Saint-Laurent. Si les membres du Grand Choeur ont choisi cet emplacement, c’est parce qu’ils sont les "patrons" de la paroisse Saint-Laurent – cela signifie qu’ils nomment le prêtre assurant la fonction de curé.

Il y a donc une réelle contradiction à enterrer l’évêque dans la chapelle paroissiale, mais les considérations pratiques l’emportent alors sur la symbolique.

Qu’on en juge : aux dires du chanoine Schickele, qui l’a visité, « le caveau est encore tel qu’il a été creusé en 1743, à l’extrémité de la chapelle Saint-Laurent, près de la petite porte de sortie. Un escalier très raide de 12 marches y conduit à une profondeur de 3m34. L’intérieur forme un appartement muré, divisé en deux parties. La partie principale, destinée à la sépulture, mesure 6,97m de longueur sur 3,28m de largeur, et dans son prolongement, une chambre de 1,35m, séparée par un mur avec porte, dans laquelle il n’y a plus en ce moment que quelques blocs de pierre ».

Avant la Révolution, vingt-et-un prébendiers ont été inhumés en ce caveau, le premier en 1743 et le dernier en 1782. Leurs ossements ont sans doute été regroupés pour faire place à Saurine en 1813, puis à Mgr Le Pappe de Trevern, en 1842. En effet, le prince de Croy est  mort comme archevêque de Rouen et Mgr Tharin, devenu précepteur du petit-fils de Charles X, est enterré au cimetière de Picpus à Paris.

Lorsque Schickele visite "ce souterrain", après la mort de Mgr Fritzen, il explique que les corps des deux premiers évêques inhumés « ont dû céder leur place et ont été déposés dans une tombe creusée dans le sol même du caveau ». Il ajoute qu’on ne voit plus que « trois cercueils posés sur le sol nu, l’un à côté de l’autre, à savoir ceux de Mgr Raess, de Mgr Stumpf et de Mgr Fritzen ».

Ce sont ces trois cercueils, augmentés de celui de Mgr Ruch, en 1945, qui ont dû être déplacés en 1966, au moment où ont été menées des fouilles archéologiques sous la chapelle Saint-Laurent. Ils ont été déposés quelques années plus tard dans le nouveau caveau épiscopal, aménagé dans l’emplacement de l’ancien escalier central conduisant à la crypte. Les ont respectivement rejoints le corps de Mgr Elchinger en 1998 et celui de Mgr Brand en 2013.

Situé à l’aplomb de l’autel et du choeur, ayant son entrée dans la crypte de la cathédrale, ce nouveau caveau manifeste davantage la symbolique du lien central noué entre l’évêque et son peuple.