Seine Erhaltung verdankt der Zoller zum einen seinem Gipfel aus erosionsbeständigem Kalkstein des Weißen Jura beta und zum anderen seiner Lage im Hohenzollerngraben. Denn das, was uns in der Landschaft als mächtiger Berg ins Auge springt, ist in Wirklichkeit ein Teilstück einer in die Erdkruste versenkten, länglichen Gesteinsscholle, die sich von Nordwesten nach Südosten erstreckt.
Die Geologen nennen diese scheinbar paradoxe Situation „Reliefumkehr“. Aufgrund seiner natürlichen Tieferlegung im Hohenzollerngraben blieb der Kalkstein des Weißen Jura beta hier längere Zeit im Untergrund verborgen und dadurch vor Erosion geschützt. Außerhalb des Hohenzollerngrabens hingegen konnte die Erosion den Kalkstein früher angreifen, und wo dieser erst einmal verschwunden war, verlief die Abtragung der darunter liegenden weicheren Schichten relativ rasch. Tektonische Gesteinsverschiebungen im Hohenzollerngraben werden häufig als Ursache für die Erdbeben auf der Alb genannt. Aber bereits ein kurzer Blick auf die Karte zeigt, dass die Epizentren (oder Herde) der drei größeren Erdbeben (1911, 1943, 1978) und zahlreicher schwächerer Erdstöße zwischen Albstadt und Hechingen in einem nord-süd gerichteten Gebiet liegen, das den Hohenzollerngraben zwar quert, aber keineswegs parallel zu ihm liegt. Offenbar ist der geologisch bereits recht alte Hohenzollerngraben heute kaum noch aktiv, im Gegensatz zu einer hier ebenfalls verlaufenden nord-süd-gerichteten Schwächezone der Erdkruste.
