1275 kauften die Karmeliter in Augsburg “Haus und Hof an geweihter Stätte” und begannen mit der Klostergründung in Augsburg. Die Karmeliter gehörten zu den im 12. Jahrhundert entstandenen Bettelorden, die als Gegenbewegung zu einer immer reicher und mächtiger werdenden Großkirche entstanden. Zu ihren Rechten gehörte es, Messe zu feiern, kanonische Stunden zu halten, Beichte zu hören, heilsame Buße aufzuerlegen, das Wort Gottes zu verkündigen und die verstorbenen Brüder zu begraben.
Der Orden war beim Volk beliebt wegen seiner besonderen Nähe zu den Menschen und seiner besonderen Beziehung zu Maria, der Mutter Jesu. Zur Tracht der Karmeliter gehörte das Skapulier, das der Legende nach von der Jungfrau Maria einem ihrer Mitglieder, dem späteren Generalprior Simon Stock, verliehen worden war. Verbunden war damit die Zusage, jeden Samstag die in diesem Kleidungsstück verstorbenen Brüder aus dem Fegefeuer zu holen. An dieser Gnadengabe konnten auch Laien Anteil haben, wenn sie sich einer Bruderschaft anschlossen und das Skapulier in verkleinerter und stilisierter Form unter der Kleidung trugen. Vor allem in diesem Brauch war die Beliebtheit des Ordens begründet.
Etwa 12 bis 14 Brüder, dazu fünf Novizen, bewohnten die Zellen rings um den Kreuzgang. 1321 begannen die Brüder mit dem Bau der Kirche, die wohl zunächst der Jungfrau Maria geweiht war. Das Kloster wurde zu einem geistlichen Mittelpunkt für die Bürger der Stadt und zur Herberge für durchreisende Pilger. Von Beginn der Gründung an, war das Gelände rund um Kirche und Kloster auch ein großer Friedhof. In der Nähe der Brüder wollten die Menschen gerne begraben sein. Die ältesten erhaltenen Grabsteine in der St. Annakirche stammen aus dem 14. Jhd. Auch nach der Reformation und Auflösung des Klosters wurde in und um St. Anna beerdigt. Man schätzt, dass von Beginn des Klosters bis 1806 ca. 5000 Menschen in St. Anna beigesetzt worden sind.
Von der ursprünglichen Kirche und Klosteranlage sind heute noch erhalten:
- die große Sakristei von 1321
- die Grundmauern und möglicherweise der Dachstuhl des Ostchores von 1321
- die Goldschmiedekapelle von 1425
- der Kreuzgang mit einem Teil der Fresken von 1446
- die Heilig Grabkapelle von 1508
- die Fuggerkapelle von 1508/1518.
In Teilen des ehemaligen Karmeliterklosters befindet sich heute das Museum Lutherstiege.