Die frühe Geschichte des Annakollegs ist eng verwoben mit der Augsburger Stadtgeschichte und mit der Schulgeschichte des humanistischen Gymnasiums bei St.Anna. Einer Idee Hieronymus Wolfs folgend wurde das Annakolleg im Dezember 1582 eröffnet. Der Direktor des Gymnasiums bei St.Anna hatte beklagt: ”Disziplin und Lerneifer der Schüler leiden darunter, dass sie sich durch geringe Dienstleistungen den Lebens-unterhalt erwerben müssen.” Dieses Bildungshindernis wollte das Annakolleg beseitigen und auch mittellosen Knaben den Besuch des Gymnasiums ermöglichen.

1629 wurden die protestantische Religionsausübung und Schulbildung verboten. Da die Protestanten keine Kirchen mehr nutzen konnten, feierten sie ihre Gottesdienste im Hofe des damaligen Annakollegs.
1635 konnten das Kolleg und das Gymnasium ihren Betrieb wieder aufnehmen.

Mit unwesentlichen Unterbrechungen wurde die Einrichtung durchgängig bis ins 20.Jahrhundert geführt.

Die Stiftung litt stark unter der Inflation von 1923 und konnte sich nur durch Spenden retten. In der Bombennacht im Februar 1944 wurde das Annakolleg völlig zerstört. 1950 konnte nach einer provisorischen Unterbringung im Umland wieder das ursprüng-liche Schülerheim in der Annastraße bezogen werden. Die materielle Not in den Nachkriegsjahren war ebenso groß wie die persönliche Situation vieler Schüler schwierig.

Zum Zeitpunkt des Umzugs in die Heilig-Kreuz-Straße 1956 war bereits deutlich, dass die Aufgabenstellung und die Zielgruppe nicht mehr genau dem Auftrag der Stifter entsprechen konnten und der gesellschaftlichen Entwicklung angepasst werden mussten.

Die Entwicklung zur koedukativen Einrichtung war geprägt von einer langjährigen intensiven Kooperation mit dem Internat der A.B. von Stettenschen Stiftungen, die zur gemeinsamen Leitung, schließlich zum Zusammenschluss der beiden Einrichtungen führte.

Die Augsburgerin ”Anna Barbara von Stetten” stellte in für
die Verhältnisse ihrer Zeit äußerst fortschrittlicher Weise ihr Testament in das Interesse der Mädchenbildung und verfügte, dass 1806 eine ”bürgerliche Töchterschule” und ein Pensionat eröffnet würden. Die evangelischen A.B. von Stettenschen Stiftungen tragen heute eine Realschule und ein Gymnasium für Mädchen.

In deren unmittelbarer Nachbarschaft in der Langen Gasse bezog das Annakolleg 1987 einen Neubau, seine heutige Heimat. 2005 expandierte die Einrichtung und eröffnete einen neuen Hortbereich auf dem Gelände.