Una vez nacido el Niño, la Sagrada Familia permaneció todavía algún tiempo en Belén, donde tuvo lugar la circuncisión (Lc 2,21). Y, transcurrido el tiempo establecido por la ley mosaica, la Virgen y san José, con el Niño, subieron a Jerusalén para cumplir los ritos de la purificación (Lc 2,22). Por otro lado, los Magos visitaron al Niño Jesús “en la casa” (Mt 2,11).

Por tanto, que la Sagrada Familia vivió un tiempo en Belén tras el nacimiento de Jesús es un hecho atestiguado por el Evangelio; y que estuviera alojada en una casa de la ciudad es muy verosímil. No existe ninguna dificultad en este cambio de la gruta por una casa: san José procedía de Belén y probablemente tenía allí parientes o amigos que, conocedores de su pobreza, fueron generosos con él y lo ayudaron.

En la Edad Media se trató de localizar este recuerdo de san José en Belén. La búsqueda se desarrolló siempre en la parte este de la población, entre la Gruta de la Leche y el Campo de los Pastores, probablemente siguiendo una antigua tradición local. La fijación de la memoria tendrá lugar a mediados del siglo XIV, según el testimonio de dos peregrinos florentinos (Jorge Gucci y Leonardo Frescobaldi). A partir de entonces, la localización quedó determinada para siempre.

La moderna capilla (1890) se levanta sobre roca firme y sobre otras construcciones precedentes recordadas por muchos peregrinos. Todavía hoy se puede ver, a los pies del ábside, una parte de la roca; tras el altar se observa también una peña que tal vez formaba parte del antiguo altar. La “Casa de san José” queda así recordada con esta capilla gracias al legado de Ernestina Audebert. El 20 de marzo de 1893 la iglesia fue bendecida solemnemente por el Padre Custodio de Tierra Santa, fray Santiago Ghezzi.