Ungefähr im Jahr 1285 erfolgte eine Stiftung Leutolds von Chreusbach an die Augustiner Eremiten, die ein Kloster errichteten. Aufgrund von Stadtbränden und Kriegen hatte das Schulgebäude in späterer Folge eine sehr wechselhafte Geschichte, so wurden die Klosterräumlichkeiten teilweise sogar an Badegäste vermietet. Nach einem Stadtbrand im Jahr 1812 wurde das Kloster aufgehoben und vom Freiherr Haan von Haanendal ersteigert. 4 Jahre später wurde das heutige Florastöckerl an der Stelle eines alten Schützenhauses errichtet und das ehemalige Kloster für Wohnzwecke umgestaltet. Im Jahr 1826 erwirbt Kaiser Franz I das Gebäude.
Die eigentliche Schulgeschichte beginnt im Jahr 1866, da das Gebäude teilweise für Schulzwecke als Realgymnasium verwendet wurde. Nach der Fertigstellung des Schulgebäudes in der Biondekgasse übersiedelte das Realgymnsium zur Jahrhundertwende dort hin und in der Frauengasse entstand eine „Höhere Tochterschule“, die 2 Jahre später unter Josefine Malcher in ein Lyzeum umgewandelt wurde. Im Schuljar 1918/1919 wurde die 5. Klasse des Reform-Realgymnasiums an das Lyzeum angeschlossen. 1921, als das Schulgebäude Teil des Kriegsgeschädigtenfonds“ wurde fand die erste Reifeprüfung statt.
1938 ging das Schulgebäude in das Eigentum des Staates über und wurde zu einem Realgymnasium für Mädchen. Trotz Bombenschäden konnte der Schulbetrieb nach dem Krieg wieder aufgenommen werden und aus dem Realgymnasium wurde das Bundesrealgymnasium für Mädchen. Beim ersten Schulumbau zwischen 1955 und 1964 wurde das Florastöckl für Schulzwecke mit einbezogen. Aus diesem Grund konnte auch 1957/58 eine zweite Schultype eröffnet werden, nämlich die Frauenoberschule, die ab 1964 Wirtschaftskundliches Realgymnasium hieß.
Im Jahr 1980 wurde gleichzeitig mit der Einführung der Koedukation das Realgymnasium als dritte Schultype eröffnet. Ab nun wurde das Schulgebäude immer wieder durch Aufstockungen und Umbauten erweitert, um zusätzlichen Platz zu schaffen: So wurde z.B. 1990 an Stelle des ehemalichen Zentralkinos ein zweiter großer Turnsalle gebaut!
Das Hauptgebäude des heutigen Bundesgymnasiums und Bundesrealgymnasiums in der Frauengasse gehört zum ältesten Baubestand von Baden. Eine Tafel an der straßenseitigen Fassade erinnert daran, dass hier durch Jahrhunderte hindurch ein Augustinerkloster war. Das angrenzende Gotteshaus, das seit 1919 den Namen „Frauenkirche“ führt, war früher die Kirche dieses Klosters.