Damals durften die Juden ihre Toten nur weitab von der Stadt am Galgenrain beerdigen. Erst im Jahr 1764 erreichte Madame Kaulla von Fürst Joseph von Hohenzollern - Hechingen die Erlaubnis, das Gräberfeld einzuzäunen, damit Schäden durch das Vieh verhindert wurden.
Unter Fürst Hermann Friedrich Otto (1798-1810) durften die Juden 1800 den Friedhof erweitern und mit einer Mauer umfrieden. Gleichzeitig wurde der Galgen auf der Höhe des Hügels entfernt.
Später ging das Gelände in das Grundeigentum der jüdischen Gemeinde über. Im Jahr 1907 wurde eine Friedhofshalle erbaut. Planer war der Architekt und Landeskonservator Friedrich Wilhelm Laur. Die Inneneinrichtung der Friedhofshalle wurde 1939/1940 zerstört. Heute findet man eine Gedenktafel des Haigerlocher Bildhauers Alfred Vees, auf der 22 Namen von aus Hechingen verschleppten Juden verewigt wurden.
Der jüdische Friedhof in Hechingen ist heute eine Einrichtung der Israelitischen Religionsgemeinschaft Württemberg. Die Juden selbst bezeichneten ihn als „Haus des Lebens“. Er birgt weit mehr als tausend Leiber. Berühmte Persönlichkeiten sind unter den Toten, beispielsweise die Hoffaktorin Madame Kaulla und ihr Bruder, der kaiserliche und königliche Rat Kaulla oder der letzte Hechinger Rabbiner Dr. Samuel Mayer.
