Les chanoines habitaient des maisons dans le quartier au nord de la cathédrale. Ils devaient faire le détour par la façade occidentale pour entrer dans l'église ce qui était très peu confortable. En 1280, Guillaume de Flavacourt montait sur le trône épiscopale de Rouen. C'était un ancien chanoine de la cathédrale, aussi accepta-t-il facilement les demandes de ses anciens condisciples pour ouvrir un accès direct à la cathédrale dans le bras nord du transept.
Le maître d'œuvre Jean Davi fut chargé de la construction qui dura près d'un demi siècle.
Le décor en est somptueux et déborde sur les constructions avoisinantes.
De chaque côté du portail, des quadrilobes montrent un bestiaire fantastique et les scènes de la genèse. Le tympan incomplet montre un jugement dernier. Au dessus, la magnifique rose rayonnante est comme une roue de lumière.
Comme au portail de la Calende, le tout est encadré de deux énormes tours rendues légères par leur décor ajouré.
Le nom de portail des Libraires vient de la présence de la bibliothèque de la cathédrale dans le bâtiment qui borde la cour à l'ouest. Au moyen âge, les termes de librairie et de bibliothèque étaient synonymes.