Seit Hunderten von Jahren gehört die Höhenburg zum Ort Harburg und hat ihm sogar seinen Namen gegeben. Viel wichtiger als die Namensgebung war für die Menschen an der Wörnitz jedoch die Rolle der Harburg als sicherer Rückzugsort. So wurde die Stelle vermutlich bereits im 9. oder 10. Jahrhundert befestigt, um sich gegen die Ungarneinfälle dieser Zeit zu wappnen.
Die erste gesicherte Nennung der Harburg geht auf einen Brief aus dem Jahr 1150 zurück. Darin berichtete der Sohn von König Konrad III. von der bevorstehenden Schlacht gegen den Welfenherzog Welf VI. Damals noch in staufischen Besitz ging die Burg 1299 per Verpfändung in den Besitz der Grafen und späteren Fürsten zu Oettingen über. Im Jahr 1418 wurde die Unablösbarkeit dieser Reichspfandschaft durch Kaiser Sigismund erklärt und die Harburg somit zum festen Eigentum der Grafen von Oettingen. Heute ist sie Eigentum der Gemeinnützigen Fürst zu Oettingen-Wallerstein Kulturstiftung.
In der Folge bauten die Oettinger Grafen das Schloss zu einer der mächtigsten Festungen der Region aus und verliehen ihr den bis heute charakteristischen Anblick einer wehrhaften Burg, die den Menschen im Mittelalter und der frühen Neuzeit einen sicheren Rückzugsort bot. Und doch rückten bereits in dieser Zeit auch Annehmlichkeiten in den Fokus des Burgausbaus.
Ein Turmbau als romantische Geste
Ein Beispiel dafür ist das sogenannte Teezimmer im Glockenturm, welches für eine romantische Geste aus der Renaissance steht. Nach dem Tod der ersten Ehefrau Margarethe Gräfin zu Lützelstein ließ Ludwig XVI. anlässlich der Hochzeit mit Susanna von Mansfeld im Jahr 1562 das Zimmer errichten. Der Name Teezimmer wurde allerdings erst nach dem Bau gebräuchlich, als Tee, Kaffee und Kakao nach Europa und beim Adel in Mode kamen.
Über die Burgmauern ragend bietet das Teezimmer einen beeindruckenden Blick über das Wörnitztal und das Nördlinger Ries bis an die angrenzenden Ländereien. Zudem weist das Teezimmer dekorative Wandmalereien auf, auf denen Ludwig XVI. und Susanna von Mansfeld dargestellt sind. Dass die Malereien bis heute erhalten sind, ist eher außergewöhnlich, da viele derartige Wandmalereien in Süddeutschland im Barock oder später übertüncht wurden. Zu sehen sind diese Malereien im Rahmen einer großen Schlossführung oder Sonderführungen.