En el año 1753 Blas Jover, miembro del Consejo de Fernando VI, construye su vivienda en unos terrenos obtenidos por la reparcelación de los huertos del Convento de Santa Isabel.
Aquí se sitúa el origen del Palacio.
En 1769, Miguel José María de la Cueva, XIII duque de Alburquerque y IV marqués de la Mina, adquiere y transforma la vivienda. En 1790 Miguel José María de la Cueva, IV Marqués de la Mina y XIII Duque de Alburquerque, encargó al arquitecto Antonio López Aguado las obras del primitivo Palacio de Fernán Núñez.
Tras la muerte del Duque de Alburquerque en 1803 se producen problemas sucesorios y el edificio pasa por diferentes usos, se utiliza como cuartel, hospital y viviendas. Felipe María Osorio de la Cueva, VII conde de Cervellón, hereda la mansión en el año 1815. El conde de Cervellón se casa con María Francisca de Asís, II duquesa de Fernán-Núñez, y deciden reformar la mansión entre los años 1847 y 1849. Encargan la reforma a Martín López Aguado, hijo del anterior arquitecto y muy bien valorado por la aristocracia madrileña por la manera en que conseguía incorporar el clasicismo que era seña de identidad de su padre y la moda romántica que se había puesto de moda en el Madrid isabelino, así surgió el Palacio de estilo romántico que podemos contemplar hoy.
Constituye uno de los ejemplos más significativos de la opulencia con que vivía la aristocracia madrileña durante el "periodo Isabelino". Su sencillez exterior, más en línea con el orden clásico de los palacios dieciochescos –simetría en los huecos, pilastras, balcones- contrasta con el barroquismo y la suntuosidad de su salón de bailes, salones, saletas, piezas de lectura y despachos ricos en frescos, esculturas, estucos, sedas, marqueterías y cristalerías.
El Palacio se celebraban tertulias, certámenes literarios, lujosas fiestas, conciertos y bailes, y a los que solía acudir con frecuencia la mismísima reina Isabel II.
En la década de 1970 fue reformado con objeto de instalar en parte de sus dependencias el Museo del Ferrocarril.
Hoy sede de la Fundación de los Ferrocarriles Españoles.
