Ungefähr im Jahr 1285 erfolgte eine Stiftung Leutolds von Chreusbach an die Augustiner Eremiten, die ein Kloster errichteten. Aufgrund von Stadtbränden und Kriegen hatte das Schulgebäude in späterer Folge eine sehr wechselhafte Geschichte, so wurden die Klosterräumlichkeiten teilweise sogar an Badegäste vermietet. Nach einem Stadtbrand im Jahr 1812 wurde das Kloster aufgehoben und vom Freiherr Haan von Haanendal ersteigert. 4 Jahre später wurde das heutige Florastöckl an der Stelle eines alten Schützenhauses errichtet und das ehemalige Kloster für Wohnzwecke umgestaltet. Im Jahr 1826 erwirbt Kaiser Franz I das Gebäude.

Die eigentliche Schulgeschichte beginnt im Jahr 1866, da das Gebäude teilweise für Schulzwecke als Realgymnasium verwendet wurde. Nach der Fertigstellung des Schulgebäudes in der Biondekgasse übersiedelte das Realgymnsium zur Jahrhundertwende dort hin und in der Frauengasse entstand eine "Höhere Tochterschule", die 2 Jahre später unter Josefine Malcher in ein Lyzeum umgewandelt wurde. Im Schuljahr 1918/1919 wurde die 5. Klasse des Reform-Realgymnasiums an das Lyzeum angeschlossen. 1921, als das Schulgebäude Teil des Kriegsgeschädigtenfonds wurde, fand die erste Reifeprüfung statt.

1938 ging das Schulgebäude in das Eigentum des Staates über und wurde zu einem Realgymnasium für Mädchen. Trotz Bombenschäden konnte der Schulbetrieb nach dem Krieg wieder aufgenommen werden und aus dem Realgymnasium wurde das Bundesrealgymnasium für Mädchen.

Beim ersten Schulumbau zwischen 1955 und 1964 wurde das Florastöckl für Schulzwecke mit einbezogen. Aus diesem Grund konnte auch 1957/58 eine zweite Schultype eröffnet werden, nämlich die Frauenoberschule, die ab 1964 Wirtschaftskundliches Realgymnasium hieß.

Im Jahr 1980 wurde gleichzeitig mit der Einführung der Koedukation das Realgymnasium als dritte Schultype eröffnet. Ab nun wurde das Schulgebäude immer wieder durch Aufstockungen und Umbauten erweitert, um zusätzlichen Platz zu schaffen: So wurde z.B. 1990 an Stelle des ehemaligen Zentralkinos ein zweiter großer Turnsaal gebaut!

Das Hauptgebäude des heutigen Bundesgymnasiums und Bundesrealgymnasiums in der Frauengasse gehört zum ältesten Baubestand von Baden. Eine Tafel an der straßenseitigen Fassade erinnert daran, dass hier durch Jahrhunderte hindurch ein Augustinerkloster war. Das angrenzende Gotteshaus, das seit 1919 den Namen "Frauenkirche" führt, war früher die Kirche dieses Klosters.

Im jetzigen Musikarchiv befindet sich ein gotisches Steinportal zum Einsäulenraum, das dem ausgehenden 13. Jahrhundert angehört.
Beim ersten großen Schulumbau unseres Jahrhunderts (1955-1964) wurden bedeutende mittelalterliche Teile freigelegt und restauriert, vor allem der schöne Einsäulenraum, jetzt Musikraum, und der Ostflügel des Kreuzganges. Fachleute stellten hier verschiedene Baustile fest. Die Spitzbogenfenster des nördlichen Kreuzgangtraktes und der südliche Kreuzgangflügel mit seinen breiten, flachgewölbten Fensteröffnungen gehören zur ausklingenden Gotik.
Der sogenannte "Zweisäulenraum" hat frühbarocke Gestaltung.

1714 brach in Baden ein großer Stadtbrand aus, der auch Kirche und Kloster der Augustiner zerstörte. So kam es zu einem zweiten barocken Wiederaufbau, der sich aber nur langsam vollzog. Aus dieser Bauperiode stammen u.a. die noch vorhandenen Tonnengewölbe im Erdgeschoss (heute Buffetraum der Schule).
Ab 1811 begann man das Kloster aus Mangel an Ordensleuten aufzulösen. Mitten in der Auflösung richtete der riesige Stadtbrand schwere Verwüstungen an. Danach wurde das Kloster versteigert. Später wurde aus einem Teil des ehemaligen Klosterareals 1816/17 das Floragebäude errichtet.

Das Hauptgebäude des ehemaligen Klosters wurde vom berühmten Architekten Joseph Kornhäusl in ein Wohnhaus umgewandelt. Damals erhielt das heutige Schulgebäude seine für Baden typische stilistische Prägung, gewöhnlich als "Biedermeier" bezeichnet.