Este territorio, según los hallazgos arqueológicos encontrados, estuvo poblado en tiempos prehistóricos, y posteriormente por íberos, romanos y árabes, pero la verdadera dimensión histórica de su población hay que situarla en la Edad Media. Remonta su origen a la existencia, con anterioridad al año 1.180, del nombrado castillo del Tormón, aunque dicho castillo se despuebla en el reinado de Alfonso VII y en él se edifica una iglesia donde la tradición popular señala como lugar de aparición de la Virgen del Castellar. Hay autores que creen árabe el origen de este castillo, lo cierto es que formaba parte de las defensas de Toledo en su flanco Norte, junto con los de Oreja, Torrique, Alboer y Alharilla. Debió padecer los abatares y luchas que se sucedieron en torno al de Oreja inmediatamente después de la reconquista de Toledo y ataques posteriores de almohades, episodios relatados con minuciosidad en los Anales Toledanos.
Después de creada la encomienda de Biezma, aldea antecesora de Villarrubia, por Orden de Santiago aparece en 1.204 el documento de carta puebla y por tanto la fundación de Villarrubia por el maestre de Santiago Don Hernán González de Marañón, dándole el fuero de Ocaña al que se acogieron los núcleos de población que existían en torno a la encomienda de Biezma. Tuvo desde el principio jurisdicción civil y criminal y título de villazgo, estableciéndose como encomienda al tiempo de su fundación. Además de estas dos encomiendas existía la de Villoria, que comprendía el ejido de Alboer, Villoria, Villahandín, San Bartolomé y la Dehesa del Castillo. Durante el maestrazgo de Don Pedro Arias figuran unidas las encomiendas de Biezma y Villarrubia y en el siglo XV lo hace también la de Villoria. Por lo tanto, esta villa es sede de tres encomiendas, la de Villarrubia cuyo gobernador era Don Juan de Borja, la de Villoria encomendada a Don Hernán Tello de Guzmán y la de Biezma a Don Pedro Padilla. Poco después de la fundación de Villarrubia, se despobló Biezma y Villoria a favor de la primera, aunque sus territorios no se incorporaron hasta fechas posteriores, posiblemente en el siglo XVI. En Biezma sólo quedó la ermita en el lugar que ocupó el castillo del Tormón y Villoria dicen que se despobló por no tener agua dulce y en el siglo XVI todavía se veían algunas casas y su iglesia.
En 1.576 habitan en Villarrubia una veintena de hidalgos. En 1645 se dice del pueblo que es tierra fértil abundante en ganados, fruta y caza, de donde se deduce el desarrollo progresivo de la población. A principios del siglo XVIII el lugar alto que ocupó el castillo del Tormón fue motivo de disuasión de las tropas del Archiduque que en número de 6.000 hombres al mando de Gallobay pretendía tomar Villarrubia. Aquellas supusieron fortificado el lugar y desistieron del ataque, atribuyendo los vecinos este hecho a la intercesión de la Virgen del Castellar. Villarrubia contaba en 1.712 con 189 vecinos, creciendo a lo largo de este siglo la población hasta 521 que se censan en 1.787, lo que hace un total aproximado de 2.086 habitantes. Formaba parte del territorio de la Orden de Santiago junto con Almendros, Cabezamesada, Corral de Almaguer, Dos Barrios, La Fuente, Fuentidueña, Ontígola, Horcajo, Pozorrubio, Rozalén, Saelices, Santa Cruz, Tarancón, Torrubia, Tribaldos, Villarejo, Villatobas, poblaciones que en el siglo XVIII sumaban un total de 30.000 habitantes.
ERMITA EL CASTELLAR (Siglo XIXXX)
Estilo: Popular
Dirección: El Castellar junto al Tajo
Una nave dividida en tres tramos y cubierta por bóveda de cañón con lunetos. La capilla Mayor cubierta por cúpula de media naranja sobre pechinas, se pasa a ella a través de un gran arco triunfal doble de medio punto.
IGLESIA PARROQUIAL (Siglo S. XV - XVI)
Estilo: Herreriano
De piedra labrada y careada sobre planta de cruz latina, de 47 m de largo y 23 m de ancho y una altura de 18 m. Tiene 8 medias columnas del orden dórico en la nave central que sostienen arcos y bóvedas de medio punto y en el centro del crucero una cúpula de media naranja de 25 m de altura.
La torre es de buena mampostería y sillar, muy bien compuesta por cinco cuerpos y basamento con líneas de imposta molduradas, los tres primeros cuerpos son ciegos, y los otros dos alojan el campanario.
Tiene un magnífico retablo mayor, poligonal de cinco lados, estilo barroco de transición al renacimiento, construido y tallado en madera y dorado en oro fino, con entrepaños estofados en oro.
YACIMIENTO ARQUEOLÓGICO DEL HOYO DE LA SERNA
Este yacimiento está en la línea de una antigua ruta jalonada por asentamientos del Hierro II. En principio no se apreciaba la presencia romana, pero en junio de 1.994 se descubrió una necrópolis carpetana donde se encontraron tumbas y diversos objetos como vasijas, tinajas, platos... que evidencian la celebración de complejos ritos y formas de enterramiento.
LOS MAYOS
Mes: ABRIL (30 de abril, con una duración de Un día)
Cánticos.
FIESTAS PATRONALES
Mes: SEPTIEMBRE (Del 5 al 10 de septiembre, con una duración de Cinco días)
El día 5, Fuegos artificiales y desfile de carrozas. El día 6, se baja al Castellar andando, se sube a la Virgen con mulas y se la deja a un kilómetro y medio del pueblo en una pequeña ermita, a las 9:00 se la lleva en procesión al pueblo. Encierro. El día 7, Encierro y corrida de toros. Salve a la Virgen. Banda "La Retreta". Ofrenda de flores. Bajada de la Virgen. Corrida y Salve a la Virgen. El día 8, es el día de la Virgen, procesión por el pueblo y misa solemne.
SAN MARCOS
Mes: ABRIL (25 de abril, con una duración de Un día)
Romería.
CARNAVALES
Mes: FEBRERO (Fecha variable)
Concurso y desfile de carrozas y comparsas.
LA BAJADA (Romería en el Santuario del Castellar)
Mes: SEPTIEMBRE (Último fin de semana de Septiembre)
Tradicional romería. Se baja a la Virgen "Ntra Sra del Castellar" a su ermita, localizada en el balcón del río Tajo en el término de Villarrubia.
SEMANA CULTURAL
Mes: MAYO (En el mes de Mayo, con una duración de 1 semana)
Teatro, concursos, exposiciones, bailes y espectáculos, conciertos de la banda de música local, aperitivos y vino villarrubiero.
SEMANA DE LA MUJER
Mes: MARZO (En el mes de Marzo, con una duración de 1 semana)
Teatro, concursos, exposiciones, homenajes a mujeres, bailes y espectáculos, aperitivos y comida gigante para todas las mujeres.
