Selon certains, son nom viendrait de la couleur de la pierre qui a été utilisée pour sa construction. Alors que l'ensemble de la Cathédrale a été construite avec une pierre locale, la pierre de Caumont, de couleur blanche, cette tour a été construite avec une pierre plus jaune provenant des carrières de la vallée de l'Oise (Saint-Maximin). Cette couleur, proche de celle du beurre, pourrait faire penser que la tour a été sculptée dans une motte de beurre. Une partie des frais de sa construction ayant été couverts par le produit d'une aumône de carême payée par les habitants de Rouen pour pouvoir manger du beurre en cette période de jeûne, les historiens s'accordent plus volontiers à trouver dans cette aumône l'origine de son nom particulier. 
A la fin du moyen âge, la façade de la cathédrale ne comportait qu'une tour. Les chanoines demandèrent à Guillaume Pontif qui s'était illustré avec l'avant-portail des Libraires et le dernier étage de la tour Saint-Romain, de construire une tour au sud. Les travaux commencèrent en 1485. En 1496, Jacques Le Roux devint maître d'œuvre et termina les travaux en 1506.
Lors de ces travaux, un léger affaissement de terrain fit pencher l'édifice vers le sud. Quoique peu accentué, ce fléchissement amena une reconstruction totale du portail central de la cathédrale.
A la base de la tour se trouvait l'église paroissiale de Saint-Etienne la Grande Eglise.
Elle présente les mêmes dispositions verticales que la tour Saint-Romain de près de quatre siècles son aînée. Le dernier étage est d'une éblouissante virtuosité. Il fait passer la tour du plan carré au plan octogonal. C'est un des plus beaux exemple de l'art gothique flamboyant. Il semble que le maître d'œuvre voulait terminer la tour avec une flèche de pierre. Les chanoines, quelque peu effrayés par les coûts, imposèrent une balustrade ouvragée. La statuaire est de première importance, en particulier sur la face est, où elle s'inspire de la légende de l'Ara Coeli.