Die Besitzer der Herrschaft Starkstadt, das Geschlecht der Freiherren "von Kaiserstein", leiten der Sage nach ihren Ursprung auf einen Ahnherrn zurück, der ein ehrlicher Bäcker war. Der Bäcker fand einmal im nahen Gebirge einen prächtigen Stein. Er gebrauchte denselben Jahre hindurch zum Vorlegen bei der Backofentür, um deren Aufgehen zu hindern. Bald wurde er auch inne, daß der Stein die wunderbare Gabe besaß, im Finstern einer Lampe gleich zu leuchten.
Ein zufällig durch den Ort kommender kaiserlicher Diener, der bei dem Bäcker einkehrte, erkannte in dem Steine den vielgerühmten Karfunkel und erstand ihn für die Krone des Kaisers, der dem Eigentümer die Herrschaft Starkstadt und den Namen "von Kaiserstein" als Gegengabe überließ.