A cet endroit s’élevait jadis à la tour de Nesle, qui resta dans l’histoire pour avoir abrité les amours illicites de deux rue du roi Philippe le Bel. Le scandale causé par cet adultère bien réel éclata en 1314. Il engendra une légende popularisée par le poète François Villon : cette légende popularisée par le François Lyon : sept celle d’une reine de France précipitant ses amants dans la scène du haut de la tour. L’édifice fut détruit en 1663 pour faire place à la bibliothèque Mazarine, annexe du collège des quatre nations. Le cardinal Mazarin avait décidé de fonder cette institution trois jours avant sa mort, pour y instruire gratuitement des jeunes gens venus des quatre provinces récemment annexées à la France : Artois, Alsace, Roussillon et sa voix. Colbert, son exécuteur testamentaire, avait choisi l’emplacement du nouveau collège, face au Louvre, et son architecte, le veau. Les deux pavillons et leurs célèbres coupoles abritèrent le collège jusqu’à sa fermeture en 1791. En 1805 Napoléon Ier décida d’installer dans les pensés murs les académies, qui siégeait jusque-là au Louvre regroupé au sein de l’institut en 1795, les académies sont depuis 1832 au nombre de cinq : l’Académie française, celle des inscriptions et belles lettres, celle des sciences, celle des Beaux-Arts, celle des sciences morales et politiques.