Dans le jardin du Musée des Antiquités se trouve la fontaine originale de la Croix de Pierre. Datant de 1500, elle a été mutilée, entre autres, en 1562 et 1792. Une restauration entreprise en 1816 n'a néanmoins pas permis de la conserver place de la Croix de Pierre (au carrefour qui relie les rues Saint Vivien et Saint Hilaire) : une copie l'y remplace depuis 1870, date à laquelle la fontaine originale a été installée dans le jardin du Musée des Antiquités. L'édicule, qui s'élève sur trois niveaux, présente six faces qui correspondent à des niches destinées à accueillir des statues. Il n'en reste que deux. L'ensemble est surmonté d'une croix.