Das Anwesen hat eine wechselvolle Historie. 1020 war der mächtige Godizi Herr auf Burg Aspel. Seine Tochter Irmgard widmete sich frommen Werken und ist als große karitativ tätige Frau in die Erinnerungsgeschichte eingegangen. Die Burg Aspel wechselte häufig ihre Besitzer und fiel endgültig Ende des 19. Jahrhunderts. Die heutigen zwei Schlossflügel stehen auf den Mauern der ehemaligen Vorburg. Die gesamte Anlage wurde in verschiedenen Bauphasen im 19. Jahrhundert ausgebaut. Die 1991 realisierte Stätte der Begegnung mit Wohnun- und Meditationsräumen und das Gymnasiium werden zukünftig von den Ordensfrauen als zentraler Altersitz der Ordensgenossenschaft Töchter am Heiligen Kreuz genutzt.