Le premier sanctuaire situé à cet emplacement  a peut-être été construit antérieurement à l’an 1000. Il était placé sous l’invocation de saint Pair ou plutôt de saint Paër (ou de saint Paterne, Paternus).
Cette première chapelle devait remonter au X^e siècle. Elle fit d’abord partie d’un manoir appartenant aux abbés de Fécamp. Le fait est déjà attesté en 1006 et la paroisse constituée postérieurement dépendit plus ou moins étroitement de cette puissante abbaye.
Le vocable St-Paër originel a du se muer en St-Pierre peu à peu. Les clefs qui caractérisent ce saint ont pu le transformer en  gardien des portes de la ville. La porte Cauchoise (celle construite initialement au milieu du XII^e siècle à la jonction des rues de Fontenelle et Cauchoise) était toute proche de notre église.
Une charte datée de 1060, concernant la paroisse de St-Sauveur, évoquait également celle de St-Pierre-le-Portier. Elle précise qu’à cette époque, notre église se trouvait hors la ville.

Au XIII^e siècle, vit s’établir dans le quartier le couvent des Jacobins, sur un territoire voisin de St-Sauveur.
Le modeste sanctuaire paroissial ne put s’agrandir et se reconstruire “en solide machonnerie” qu’en 1531.
Réédifiée en 1655 par de la Vigne, curé de la paroisse, l’église vit sa décoration intérieure s’améliorer. Une sacristie fut ajoutée à l’édifice.
Le dessin de Jacques Le Lieur montre une petite église dont la nef semble unique. Le chevet donnait sur la rue St-Pierre (rue de Fontenelle maintenant). Sur le dessin, le chevet paraît plat et doté d’une unique fenêtre. Au milieu de l’église se trouvait une tour carrée. Il n’y avait pas de flèche, mais une petite toiture basse surmontée d‘un coq.
L’entrée principale devait se trouver au sud, précédé d’un porche, vraisemblablement en bois. Il n’y avait pas de grand portail occidental, l’accès de ce côté étant gêné par la proximité de la muraille de la ville.