Seit 1829 gab es viele wechselnde Besitzer, die Schwärzloch als landwirtschaftlichen Betrieb nutzten und gelegentlich auch als Gastwirtschaft öffneten. Schon damals wurde das Hofgut zum Ausflugsziel für Spaziergänger und Studenten. Zu den wohl bekanntesten Gästen zählten Mörike, Uhland und Hauff.
1931 kaufte Gotthold Reichert den Hof und seit diesem Zeitpunkt ist der Schwärzlocher Hof im Besitz der Familie Reichert. Von 1986 bis Oktober 2006 war das Ausflugslokal verpachtet an die Familie Horn. Im Oktober 2006 eröffnete der Schwärzlocher Hof neu unter der Leitung von Philipp Reichert, der damit die Familientradition fortsetzt