En el número 65 de la antigua calle Torrijos, ahora 53 de Conde de Peñalver, se erigió a principios del siglo XX un edificio que se planteó como seminario, pero que ha sido residencia de ancianas, penal de mujeres y prisión provincial de hombres. Financiado por la filántropa decimonónica Fausta Elorz, cuyo nombre se puede leer aún hoy en su fachada de ladrillo de estilo neomudéjar, hoy es un geriátrico regentado por la Fundación Elorz.

Entre las curiosidades asociadas a este inmueble destaca que en él fueron recluidos durante la segunda República Española personajes como el poeta Miguel Hernández, el dramaturgo Antonio Buero Vallejo o el humorista Miguel Gila.