Reeds in de 12 de eeuw zou er in de parochie Oosterheem een kluis geweest zijn waar vrome vrouwen zich gevestigd hadden. Na verloop van tijd ging deze kluis teloor en werd zij op aansporing van de kluizenaressen vervangen door een mannenklooster. In 1407 stichtte Godefridus van Betlehem het klooster onder de benaming Priorij van Betlehem. Het klooster bleef tot 1412 ingelijfd bij het Kapittel van Groendendael en ging toen over naar het Kapittel van Windesheim.
Van de oorspronkelijke gebouwen van het klooster blijft niets meer over. Ze werden in de 18 de eeuw volledig herbouwd en na de Franse Revolutie samen met de kerk grotendeels afgebroken nadat de Fransen ze als ‘zwart goed’ hadden verkocht. In 1900 kwam het goed in handen van de Gasthuiszusters van Sint-Pieter in Leuven die er aanvankelijk een ziekenhuis (de Universitaire Sint-Jozefkliniek) bouwden. Na de splitsing van de Leuvense Universiteit werd het omgevormd tot het huidige rust- en verzorgingstehuis voor bejaarden.
