La iglesia, anteriormente ermita del Pilar, fue construida por el arquitecto de la orden Gabriel Escribano entre 1763 y 1791 gracias a los donativos de los reyes Carlos III y Carlos IV y de otros personajes notables de la época como la duquesa de Benavente o la condesa de Atarés.
Inicialmente, estuvo bajo la advocación de Nuestra Señora de la Portería, pasando la titularidad a San Fernando, bajo el reinado de Carlos III, dando el nombre definitivo al colegio.
La planta de la iglesia es de salón, con capillas laterales, crucero coronado con una gran cúpula y nártex de ingreso. La decoración escultórica es obra de Alfonso Vergaz.
Durante la Guerra Civil, colegio e iglesia fueron incendiados y saqueados. Sobre una parte del solar fueron edificados el Mercado de San Fernando, la Escuela de Trabajo y, posteriormente, un bloque de viviendas.
Tras más de medio siglo de abandono, las ruinas de la iglesia fueron rehabilitadas como Biblioteca Universitaria del Centro Asociado de Madrid UNED, por el arquitecto J.I. Linazasoro entre 1996 y 1999, añadiendo a su vez la construcción de un aulario de nueva planta.