Antes que el Colegio de Cádiz se fundó el de San Fernando. Las señoras de las Conferencias de San Vicente de Paul, deseando fundar un asilo para niñas huérfanas, acudieron a las HH. del Hospital de Cádiz a solicitar hermanas para esto.
El día 7 de Octubre de 1863 un grupo de cuatro Hermanas se encargan del Asilo de huérfanas en San Fernando. Les proporcionaron una casa en la calle Real muy vieja y destartalada y además que había sufrido un incendio. La pobreza era grande y el local inadecuado. Quince meses resistieron en esas condiciones hasta que, al fin, el 1 de Enero de 1865 se trasladaron a la Plaza de La Viñuela.
La dedicación de las Hermanas era atender al grupo de niñas huérfanas que, en esta época, nunca pasaron de 25; sin embargo no siempre bastaban las limosnas y las Hermanas tuvieron que dedicarse a lavar, coser y planchar de encargo a horas extraordinarias.
Cuentan las crónicas hechos de sabor franciscano por su sencillez e ingenuidad como aquello de que en un momento de gran apuro se presentó un borrico cargado de hortalizas, o lo del saquito de dinero, que siempre tenía algo, o el cajón de velas que apareció lleno…
No obstante era preciso hallar una solución para proporcionarse ingresos fijos y se pensó en abrir, junto al asilo, un Colegio con niñas que pudieran pagar. El 28 de Noviembre de 1872 vinieron a San Fernando dos Hermanas para ocuparse de las clases.
El pueblo, por entonces, tenía una población de 24000 habitantes, las escuelas eran insuficientes y se necesitaba educación y formación especialmente para las mujeres. Se abrió Parvulario y 1ª Enseñanza pero las dificultades continuaron y se llegó a pensar que las hermanas tendrían que abandonar la obra emprendida.
El Sr. Obispo de entonces, D. Jaime Catalá acudió al Ayuntamiento para que no consintiera que las hermanas se marcharan dejando el asilo donde estaban acogidas 20 niñas y el colegio que contaba con 60.
A partir de entonces, gracias a la ayuda municipal y especialmente a la independencia administrativa de las hermanas mejoró la situación.
En el antiguo Hospital de San Juan de Dios se instalaron, al cabo de unos años y el 26 de julio de 1888 la Congregación de HH Carmelitas de la Caridad compró dicho edificio situado en la calle Colón. De este edificio primitivo ya no queda casi nada por todas las obras de ampliación que se han ido haciendo.
Cuando la proclamación de la República, en 1931, a pesar de la inestabilidad social, las hermanas continuaron impartiendo sus clases a las “gratuitas” y a las “de pago”, considerando que se hacía una gran labor social.
Al llegar 1936, dado que había expresa prohibición de que ellas pudieran continuar con el Colegio, recurrieron a Doña Dolores Román, maestra nacional, que les prestó un local en la calle Murillo. Esta señora iba todas las mañanas a buscar a las hermanas y las acompañaba para que pudieran continuar su labor de forma camuflada. Las HH Nieves peña y Mª Paz Arguijo son dos de aquellas valientes que, por supuesto sin hábito, se atrevían a exponerse.
Al terminar la Guerra Civil la Srta. Concepción Moreno, hermana de la H. Carmen Moreno, que ejercía una gran labor benéfica en Auxilio Social, llevó al colegio un grupo de niñas necesitadas. Grandes dificultades pasarón, según cuenta la H. Laura Castañón. Con el tiempo, esta situación se terminó y quedó un colegio con Educación Infantil, Primaria y Secundaria. Actualmente cuenta con aproximadamente un millar de alumnos.
Algo que ha caracterizado siempre a este centro ha sido su apertura, su acogida a toda clase de niños de todos los niveles sociales y su disponibilidad a colaborar con las necesidades de la ciudad.