La referencia escrita más antigua de El Pardo data de 1312 siendo rey de Castilla y León Alfonso XI. La presencia abundante de caza y su proximidad con la villa de Madrid, convirtieron a El Pardo en un cazadero regio durante la Edad Media y Moderna. En 1405, lo que todavía era un lugar solitario, pero extenso monte, comenzó a proclamarse Sitio Real. La construcción allí del primer pabellón de caza por orden del rey Enrique III de Castilla propició el regio nombre.
En 1547, el Emperador Carlos ordenó sustituir aquel pabellón por un Palacio. La especial predilección que sintió por el lugar en cuanto lo vio le hizo tomar tal decisión. Luis de la Vega fue el encargado de levantar los cimientos de aquel palacio de invierno (y también de la Casa de Oficios anexa).
Convento primitivo de los Padres Capuchinos
Felipe II, seducido también por El Pardo, mandó colgar en las paredes del palacio obras de Tiziano, Sánchez Coello y de Antonio Moro, su pintor de cámara. El 13 de marzo de 1604, un gran incendio destruyó buena parte del edificio. El monarca Felipe III encargó su restauración a Francisco de Mora. En las mismas fechas, concretamente en 1612, se construyó en El Pardo el Convento de Capuchinos, donde destaca el Cristo Yacente tallado por Gregorio Hernández.
A mediados del siglo XVIII, bajo el reinado de Fernando VI, El Pardo fue denominado Real Sitio y en el reinado de Carlos III, El Pardo dejó de ser una mera zona de caza real y comenzaron a construirse viviendas para uso de los empleados del real lugar, conformándose así la base del futuro pueblo. En esta época, el arquitecto italiano Francisco Sabatini concluyó la renovación total del Palacio (en 1772) adquiriendo el aspecto que tiene en la actualidad. Carlos III pasaba en el Palacio Real de El Pardo tres meses cada año, desde el 7 de enero hasta la víspera del Domingo de Ramos.
Momentos históricos y vecinos ilustres
