El Hospital Nuestra Señora de la Visitación, fundado por don Francisco Ortiz, Nuncio apostólico del Papa Sixto IV, protonotario, arcediano de Briviesca y canónigo de la Catedral Primada de Toledo, es el antecedente de la actual Residencia Social Asistida “San José”, dependiente de la Diputación Provincial de Toledo.
En 1483, don Francisco Ortiz consiguió bula papal para fundar un hospital en las casas de su propiedad, situadas en el solar que actualmente ocupa la plaza de los Postes de la ciudad de Toledo. En su origen estuvo dedicado a la atención de treinta y tres dementes y de trece niños expósitos; más tarde en 1508, existiendo ya otro centro para expósitos, el Hospital de Santa Cruz, quedó dedicado solamente a enajenados mentales.
Don Francisco Ortiz murió el 5 de junio de 1508 y fue enterrado en la capilla del mismo hospital, como dispuso en su testamento.
En 1790 el Cardenal Lorenzana, mandó construir un nuevo edificio para esta hospitalidad en la calle Real de Toledo, proyectando la obra el arquitecto alicantino Ignacio Haan. Se inauguró en 1793, trasladándose a él los enfermos y a partir de entonces fue denominado comúnmente " Nuncio Nuevo". Estuvo situado en la calle Real de Toledo, en el edificio que actualmente ocupa la Consejería de Economía y Hacienda.
Las leyes desamortizadoras del siglo XIX suprimieron los patronatos particulares que regían estas instituciones benéficas y así el Hospital del Nuncio, pasó a depender primero de la Junta Municipal de Beneficencia y a partir de 1849 de la Junta Provincial de Beneficencia, hasta que por Real Decreto de 17 de diciembre de 1868, quedaron suprimidas dichas Juntas, pasando sus competencias a las Diputaciones Provinciales.
De esta forma, la Diputación de Toledo heredó este Centro benéfico, gobernando y administrando el hospital desde mediados del siglo XIX hasta la actualidad.
El actual edificio situado en el paraje de La Vinagra fue construido por los Servicios Técnicos de la Diputación e inaugurado por el ministro Rodolfo Martín Villa el 20 de abril de 1977, bajo la denominación de Hospital Psiquiátrico San José.
El Centro ha ido transformándose en el transcurso de los años: el 30 de diciembre de 1988 la Diputación aprobó en sesión plenaria el traslado del Hospital Psiquiátrico al Hospital Provincial Nuestra Señora de la Misericordia, como unidad de Psiquiatría del mismo. Los pabellones que quedaron libres se dedicaron a la ampliación de la Residencia Social también en el recinto de La Vinagra, constituyendo un complejo al que pasaron los enfermos crónicos y desapareciendo el Hospital Psiquiátrico en la forma que venía funcionando hasta ese momento.
A partir de 1989 el centro se consolida como Residencia Social Asistida San José, dependiente del Área de Servicios Sociales de la Diputación Provincial, acogiendo también a pacientes con otra problemática social, no solo de carácter psiquiátrico.
Hospital del Nuncio. Testamento de Francisco Ortiz, su fundador