Annaberg ist sowohl eine der bedeutersten Wallfahrtstationen an der Heiligen Straße nach Mariazell, als auch ein selbständiger Wallfahrtsort. Das Wahrzeichen, die der St. Anna geweihte Wallfahrtskirche wurde im Jahre 1217 errichtet als bekannte Etappenpunkt mit Rast- und Andachtstätte für die Pilger. Die Kirche mit gotischem Chor des heutigen Annabergs, damals noch unter dem Namen "TANNBERG" war die erste Wallfahrtskapelle zur hl. Anna in Österreich. So findet sich auch im Inneren der Kirche die aus dem Jahr 1440 stammende Anna-Selbdritt-Gruppe, - die Jakob Kaschauer geschaffen haben soll - ein wahres Kleinod hoher gotischer Schnitzkunst. Doch nicht nur sie war das Ziel der Wallfahrer, sondern auch ein kaiserliches Geschenk aus dem Jahr 1660: Die Hirnschale der hl.Anna, zwar zweifellos unecht, aber nichtsdestotrotz in früheren Zeiten angebetete Reliquie.
Unter den Wallfahrern befanden sich übrigens immer wieder Mitglieder der kaiserlichen Familie: abgesehen von Leopold I. fanden sich sogar Maria Theresia samt Gemahl Franz I.Stephan in Annaberg wallfahrenderweise ein.