Bereits im 13. Jahrhundert befand sich dort eine kleine zollerische Burganlage, auf deren Grundmauern die Grafen von Zollern-Schalksburg um 1370 ein Stadtschloss mit Gesindehaus („Reiterhaus“) errichteten. Im Jahre 1403 verkauften sie das Schloss an Württemberg, welches fortan als Residenz des jeweiligen württembergischen Obervogts - des höchsten Beamten - diente. Etwa im Jahre 1750 ging das gesamte Anwesen in Privathand über, 1920 erfolgte schließlich der Kauf durch die Stadt. Das Schloss war zum damaligen Zeitpunkt in baufälligem Zustand. 1935 wurde es daher komplett abgebrochen und bis 1937 unter teilweiser Verwendung alter Baubestandteile nach altem Vorbild wieder aufgebaut.
Der Wasserturm, der einzige der vier Ecktürme des Zollernschlosses, ist noch an der Südostecke der einstigen Stadtbefestigung zu sehen. Heute beherbergt das Gebäude das Museum für Waagen und Gewichte.
