Das Gebäude war der ehemaliger Kornspeicher der württembergischen Obrigkeit aus der zweiten Hälfte des 15. Jahrhunderts. Erst ab der Mitte des 19. Jahrhunderts erwarb die Kräuterhandlung Daniel Groz das Gebäude und lagerte darin getrocknete Kräuter. Aus diesem Grund wird das Gebäude Kräuterkasten genannt.
Seit den 1980er Jahren befindet sich darin zudem ein Museum für Naturkunde. Zudem kann man einen Einblick in die Geschichte, von der Steinzeit bis zum frühen Mittelalter auf der Ebinger Alb, erhalten.
Der Herrschaftliche Fruchtkasten in Albstadt-Ebingen liegt auf der Route des Stadtspazierganges.
