Sidst i 1800 tallet opførte Oberst von Bauditz den oprindelige bygning som herskabsvilla for sig selv og sin familie. Efter hans død i starten af 1900 tallet, overtog sønnen Jagtjunker von Bauditz ejendommen og omdannede det til en planteskole. Men økonomien hang ikke sammen, så efter nogle år måtte han opgive sin forretning og sælge ejendommen.
I 1913 blev ejendommen købt af en kreds af københavnske postbude, der omdannede det til et ferie- og rekreationshjem. I 1979 overtog Dansk Postforbund ejendommen med tilhørende 8 tdr. land, og året efter, den 11. februar, blev ejendommen indviet som forbundets kursuscenter med 29 værelser, 14 huse og diverse konferencerum.
Siden da er Postillonen og Pavillonen blevet opført, og centret er løbende blevet vedligeholdt, således at det i dag fremstår som et moderne og velfungerende kursus- og feriecenter.
I forbindelse med at Dansk Postforbund i 2001 blev sammenlagt med det daværende SID - i dag 3F, blev Rørvig Centret omdannet til et aktieselskab.
