Die Schenken von Stauffenberg stammen aus schwäbischem Uradel und werden 1251 erstmals urkundlich erwähnt. Ihre namens- gebende Burg „Stauffenberg“ lag bei Hechingen in Württemberg. Der Titel „Schenk“ erklärt sich aus dem Hofamt des Mundschenken, welches sie erblicherweise bei den Grafen von Zollern innehatten, und ist bis heute Bestandteil ihres Namens. Über die Jahrhunderte weg gab es viele berühmte Männer und auch Frauen aus dem Geschlecht der Schenken von Stauffenberg. Sie waren Politiker, Wissenschaftler, Theologen und Kleriker an allen großen Höfen und Bistümern in Deutschland.

In allen Zeiten taten Söhne der Familie ihren Dienst im Militär und wurden hohe Offiziere. Besondere Bedeutung erlangte die Familie der Grafen von Stauffenberg durch den Großonkel des heutigen Besitzers, Oberst Claus Schenk Graf von Stauffenberg, der am 20. Juli 1944 das Attentat auf Hitler verübte und, wie auch sein am Staatsstreich beteiligter Bruder Berthold, mit dem Leben bezahlte. Er war oft Gast auf Schloss Greifenstein; seine Bronzebüste steht an exponierter Stelle.

Nach dem Zweiten Weltkrieg zog Otto Philipp Schenk Graf von Stauffenberg mit seiner 2006 verstorbenen Ehefrau Oculi, geb. Freiin von Lerchenfeld, nach Schloss Greifenstein. Mit großem Engagement haben sie das Schloss umfassend renoviert und in seinen heutigen Zustand versetzt. Gleichzeitig erwarb sich die Gräfin mit dem Aufbau ihres Irish-Terrier-Zwingers „von der Frankenlerche“ weltweite Anerkennung, und ihre Hunde gewannen höchste internationale Auszeichnungen. Otto Philipp Schenk Graf von Stauffenberg ist 2015 verstorben.