En esta plaza se encontraba, hasta mediados del siglo XX, el hospital de Caridad, Nuestra Señora del Rosario de Villahermosa, más conocido popularmente como hospitalillo. Estaba situado entre la antigua plazuela del árbol, hoy plaza de la Veracruz y la calle de la Tizne o calle Norte. Su historia se remonta a principios del siglo XVI. Esta institución fue creada y administrada por el Concejo de la villa bajo la protección de la Orden de Santiago.

Su misión principal, cumpliendo con la obra de Misericordia de la orden que obligaba a dar posada al peregrino, fue la caridad. Además de albergar a pobres y transeúntes y de atender a enfermos, también residieron en este hospital vecinos sin recursos económicos o posibilidad de ser atendidos en sus casas.

El encargado del hospital era el hospitalero, persona que carecía de conocimientos médicos y cuya función era mantenerlo todo en orden, tareas como lavado de ropa, compra de mantas, etc. Y quien administraba las cuentas del hospital era el mayordomo, el encargado de rendir cuentas de todo lo gastado ante los visitadores de la orden.

El hospital de Caridad siempre fue modesto, tenía pocas propiedades y sus rentas eran escasas. Con el paso de los siglos su fuente de financiación sigue siendo muy limitada, y a pesar de algunas obras de restauración, el mantenimiento del edificio cada vez es más precario.

En 1879 varios vecinos, temerosos de que se derrumbase y afectase a sus casas, piden al ayuntamiento que derribe parte del hospital y de la ermita de Veracruz, que da nombre a la plaza, alegando que se encuentran en un estado ruinoso y se apunta, por primera vez, la posibilidad con el derribo de abrir una calle que comunique la plaza pública e iglesia parroquial con la calle de la Tizne y toda la parte del pueblo que dicha calle divide, pero la falta de financiación hacen que tanto la Comisión de Beneficencia como el ayuntamiento desestimen el proyecto.

En la primera mitad del siglo XX, el hospital continúa su lenta agonía. En los años cuarenta diversas partidas del presupuesto municipal van dedicadas a su reparación de manera urgente. En 1954, finalmente se abre la calle y termina así la existencia del Hospital de Caridad, una institución emblemática con más de 400 años de historia.

En los años ochenta, parte del antiguo edificio del hospital se acondiciona y se construye, en el solar de la ermita de la Veracruz y aprovechando lo poco que quedaba de ella, un nuevo edificio dándole a este enclave una segunda vida y se ubica allí el archivo Municipal y el Juzgado de Paz.

En el 2009 se hace una nueva remodelación, se conserva el Juzgado y se destina un espacio para la nueva vivienda del párroco de Villahermosa.

Cuenta una leyenda oral que los más mayores para asustar a los niños para que no se acercaran a la Veracruz y a su callejón, les decían que en la ermita habitaba Pedro Portillo, personaje imaginario que podría hacer referencia a una imagen de San Pedro, de aspecto tosco, que estaba en la ermita, como si se tratase del mismo ogro, coco o sacamantecas. Se difundió una coplilla que decía así: