Unweit der Kirche befand sich bereits im 16. Jahrhundert, als Sitz des Gutsherrn, ein stattliches Gebäude das sogenannte "Schlößle".
Dieses wurde zwischen 1764 und 1842 umgestaltet und erhielt die heutige barocke Form. Die Gemeinde übernahm 1833 das Fürstlich Zeil'sche Schlößchen, in welchem ab 1836 das Pfarrhaus beheimatet war.
Nachdem Zimmern unter der Burg ab 1965 keinen eigenen Pfarrer mehr hatte, wurde dieses Gebäude von der Gemeinde 1981 erneut erworben und 1982 bis 1987 grundlegend umgebaut. Seither sind im Bürgerhaus verschiedene Einrichtungen sowie das Rathaus untergebracht.
