Alles, was du über (XML) Sitemaps und SEO wissen musst

Sitemaps – das klingt nach SEO von 2001. Doch auch heute sowie in Zukunft haben Sitemaps ihre Daseinsberechtigung und helfen dabei, Inhalte schnell(er) erstmalig oder erneut indexieren zu lassen. Denke immer daran: Ohne Indexierung ist kein Ranking möglich. Deshalb gehört die Nutzung von Sitemaps zu den SEO-Grundlagen. Doch first things first: Was sind überhaupt Sitemaps und wofür solltest du diese einsetzen?

Was ist eine Sitemap und warum ist sie wichtig für Websites?

Der Begriff Sitemap wird für eine Website-Übersicht verwendet. Sitemaps sind folglich eine Auflistung von einzelnen Seiten einer Website. Sitemaps können wahlweise alle, oder nur ausgewählte Seiten umfassen. 

Die grundsätzliche Unterscheidung wird nach HTML-Sitemaps und XML-Sitemaps getroffen. Während HTML-Sitemaps auch von Besucher*innen zur Navigation genutzt werden können, sind XML-Sitemaps vor allem für Suchmaschinen gedacht.

Ein Beispiel für eine HTML-Sitemap ist auf der Website der Bundesregierung zu finden. 

Auf dem Webauftritt der Bundesregierung heißt die Sitemap einfach nur “Übersicht” und bietet Einsprünge zu tieferen Ebenen der Website. Quelle: bundesregierung.de

Bei HTML-Sitemaps ist darauf zu achten, dass diese für Nutzer*innen verständlich sind. Deshalb kann es sinnvoll sein, nur besonders wichtige (Verteiler-)Seiten zu verlinken, anstatt „einmal alles“ aufzulisten.

XML-Sitemaps sind in der Regel das, was Suchmaschinenoptimierer*innen unter einer Sitemap verstehen. XML steht für „extensible markup language“, auf Deutsch „erweiterte Auszeichnungssprache“. Denn bei XML-Sitemaps wird nicht nur eine Adresse aufgelistet, sondern weitere Datenpunkte zu dieser Seite mitgegeben. 

Ein Beispiel für weitere Datenpunkte sind das letzte Aktualisierungsdatum der Seite. Dadurch können XML-Sitemaps das Crawling positiv beeinflussen. Du fragst dich, was Crawling bedeutet? Mit Crawling wird die automatische Erfassung von Webseiten durch die sogenannten Crawler oder Robots von Suchmaschinen bezeichnet. Bei Google heißt der Crawler Googlebot.

Damit ist die Aufgabe von XML-Sitemaps und deren Relevanz für die Suchmaschinenoptimierung bereits umschrieben: (XML-)Sitemaps stellen die Erreichbarkeit vonseiten durch Verlinkungen sicher. Denn nur einer Suchmaschine bekannte Seiten können überhaupt gecrawlt, indexiert und anschließend in den Suchergebnissen erscheinen.

An dieser Stelle der Hinweis: Suchmaschinen wie Google können auch Sitemaps in anderen Dateiformaten wie .atom oder RSS verarbeiten. Aber auch .txt-Dateien können als Sitemap verwendet werden. Siehe zu diesen alternativen Formen von Sitemaps sowie deren Vor- und Nachteilen die Google-Hilfe.

Welche Anforderungen bestehen an XML-Sitemaps?

Standards sorgen dafür, dass das Web gut funktioniert. Das gilt sowohl für „normale“ Webseiten und HTML, die Hyper Text Markup Language, als auch für XML-Sitemaps. Im November 2006 haben sich die damals großen Suchmaschinen Google, Yahoo und Microsoft auf einen gemeinsamen Standard für XML-Sitemaps geeinigt. Unter sitemaps.org ist die offizielle Website zu finden.

XML-Sitemaps können neben verpflichtenden auch optionale Angaben enthalten. Aktuell sind folgende Angaben in der XML-Sitemap verpflichtend:

• <urlset>: Diese öffnende Angabe definiert, dass nachfolgend einzelne Adressen aufgelistet werden. Es handelt sich also um einen „Satz“ an URLs. Daher auch der Name urlset
• <url>: Mit URL wird eine Webadresse bezeichnet. Die Angabe läutet also ein, dass nun eine Webadresse genannt wird, die mittels …
• <loc>: unter der hier genannten Adresse (englisch: Location) zu finden ist.

Optionale Angaben sind:

• <lastmod>: Enthält das Datum der letzten Aktualisierung der Adresse. Dieser Zeitstempel kann für ein zeitnahes (Re-)Crawling einer aktualisierten Seite sorgen
• <changefreq>: Mit dieser Angabe kann die (normalerweise) stattfindende Aktualisierung der Seite angegeben werden. Mögliche Werte sind always, hourly, daily, weekly, monthly, yearly und never. Die Angabe never kann z. B. für mittlerweile archivierte Seiten verwendet werden, während always nur für Seiten genutzt werden sollte, die sich tatsächlich bei jedem Seitenaufruf verändern.
• <priority>: Definiert die relative Priorität einer Seite mit Werten zwischen 1.0 und 0.0. Der Standardwert (= mittlere Priorität) liegt bei 0.5. Die Werte können in 0.1er-Schritten innerhalb des Bereichs von 1.0 und 0.0 angegeben werden.

Lohnen sich die optionalen Angaben? Eigentlich nur dann, wenn sie „richtig“ befüllt werden. 

In der Google-Hilfe schreibt der Suchmaschinenkonzern aus Mountain View:

• Google ignoriert die Werte <priority> und <changefreq>.
• Google verwendet den Wert <lastmod>, wenn er konsistent und nachweisbar korrekt ist, beispielsweise durch einen Vergleich mit der letzten Änderung der Seite.

Hier findest du die entsprechende Quelle von Google.

Unabhängig von Googles Sicht der Dinge: Jeder Seite eine Priorität von 1.0 zuzuweisen, macht z. B. gar keinen Sinn, weil es hier um die relative Wichtigkeit aller in der Sitemap enthaltenen Adressen untereinander geht. 

Auch die Angabe eines „falschen“ <lastmod>-Datums bringt, wie auch Google schreibt, keinen Vorteil. Hier sollte nur eine Aktualisierung vorgenommen werden, wenn sich tatsächlich etwas an der Seite verändert hat. Suchmaschinen sind in der Lage festzustellen, ob eine Seite seit dem letztmaligen Zugriff verändert hat. Falschen Angaben werden deshalb nicht blind gefolgt.

Welche weiteren Anforderungen gelten für XML-Sitemaps?

Damit deine Sitemaps Suchmaschinen und damit der Suchmaschinenoptimierung helfen, musst du Folgendes wissen:

• Maximal 50.000 <loc>-Einträge sind pro Sitemap möglich
• Die maximale Dateigröße für eine Sitemap liegt bei 50 MB
• Eine Website kann mehrere Sitemaps haben
• Für die Codierung der Adressen und weiteren Angaben sollte UTF-8 verwendet werden, damit alle Buchstaben und Zeichen “richtig” interpretiert werden können
• Die Datumsangabe in der Syntax YYYY-MM-DD erfolgen
• Die Stundenangabe bezogen auf die UTC-Zeit ist optional und wird an die Datumsangabe angehängt. Wenn sich die Uhrzeit auf die UTC-Zeit bezieht, wird hinter die Angabe ein Z gesetzt. Um lokale Zeitabweichungen wie z. B. für die deutsche Zeitzone zu setzen, wird auf das Z verzichtet und die Abweichung durch ein + angegeben. Das sieht dann so aus: <lastmod>2023-04-21T07:09:10+01:00</lastmod>.
• Nur absolute Adressen sollten in Sitemaps genannt sein. Gib also Adressen im Format https://www.getindexed.io/knowledge-hub/gecrawlt-zurzeit-nicht-indexiert-beheben/ an, und eben nicht “relativ” mittels /knowledge-hub/gecrawlt-zurzeit-nicht-indexiert-beheben/
• Übermittelte Adressen sollten tatsächlich existieren und von Suchmaschinen gecrawlt und indexiert werden dürfen. Kleinere Probleme wie nicht mehr vorhandene Seiten sind allerdings kein Problem.
• Optional kann eine Sitemap im GNU ZIP-Format komprimiert werden. Das ist ähnlich zu einer .zip-Datei, verwendet allerdings .gz als Dateiendung.

Was sind Image-Sitemaps, News-Sitemaps, Video-Sitemaps und hreflang-Sitemaps?

Sitemaps können nicht nur klassische Webseiten enthalten, sondern auch besondere Dateiformate wie Bilder oder Videos. Dadurch wird sichergestellt, dass die entsprechenden Dateitypen indexiert werden (hier findest du den OMR-Artikel zum Thema Indexierung). Hinsichtlich der notwendigen Angaben gab es von Google im Mai 2022 ein paar Änderungen. So werden für Bilder-Sitemaps die vorher möglichen optionalen Angaben 

• caption (Bildunterschrift)
• geo_location (Aufnahmeort)
• title (Bildtitel)
• license (Lizenzinformation)

nicht mehr unterstützt. Wer diese Angaben weiterhin in seinen Bilder-Sitemaps übermittelt, muss diese Angaben aber nicht löschen. Sie werden einfach von Google nicht mehr ausgewertet. Entsprechend werden nur noch die bisherigen Pflichtangaben <image:image> sowie <image:loc> von Google interpretiert. Weitere Informationen zur Bilderweiterung für Sitemaps gibt es bei Google.

Im selben Blogbeitrag hat Google auch für Video-Sitemaps Veränderungen angekündigt. Auch hier werden ehemals optionale Angaben nicht mehr unterstützt:

• category 
• player_loc[@allow_embed]
• player_loc[@autoplay]
• gallery_loc
• price[@all]
• tvshow[@all]

Für Publisher (mit Listung in Google News) sind News Sitemaps ein wichtiges Thema. Auch zu diesen bietet die Google Hilfe alle wichtigen Informationen.

Rund um das Thema International SEO haben Sitemaps durch die hreflang-Angaben eine Bedeutung. Mittels hreflang können Suchmaschinen darüber informiert werden, unter welcher URL der gleiche Inhalt in einer anderen Sprache, oder für ein anderes Land zu finden ist. Denke hier an einen deutschsprachigen Inhalt für Deutschland und die Schweiz als Zielmarkt. Alles, was du zu hreflang Sitemaps wissen musst, gibt es bei Google zum Nachlesen.

hreflang-Angaben können über XML Sitemaps an Suchmaschinen übermittelt werden. Quelle: Google Search Central

Du musst nicht einzelne Sitemaps pro “Typ” erstellen, sondern die Angaben können kombiniert werden. Sprich, es ist möglich, Bild-Informationen sowie hreflang-Angaben in einer einzelnen Sitemap zu kombinieren.

Sitemaps mit Sitemap-Indexdatei(en) bündeln

Durch die Limitierung auf maximal 50.000 Einträge pro Sitemap kommen große Seiten nicht umhin, mehrere Sitemaps anzulegen. Klassischerweise wird in diesem Zuge eine Segmentierung der Sitemaps nach Seitentyp durchgeführt. So hat sich beispielsweise audible.de, wie in der robots.txt sichtbar, dazu entschieden, separate Sitemaps pro Seitentyp anzulegen.

Wie die robots.txt von audible.de zeigt, segmentiert der Hörbuch-Anbieter seine XML-Sitemaps nach Seitentyp. Quelle: audible.de

Beim Blick auf den Screenshot fällt noch etwas auf: Diese Sitemaps heißen sitemap_index.xml. Unter einer Sitemap-Indexdatei sind unterschiedliche Sitemaps zusammengefasst. Das hat den Vorteil, dass nicht alle einzelnen Sitemaps an Suchmaschinen gesendet werden müssen. Das würden wir allerdings dennoch empfehlen, speziell innerhalb der Webmaster Tools der wichtigen Suchmaschinen. Doch dazu gleich mehr.

Wie eine Sitemap-Indexdatei aussieht, zeigt die Google Hilfe zum Thema.

Weitere Informationen zu Sitemap-Indexdateien gibt es unter anderem in der Google Dokumentation für technische SEO-Themen. Quelle: Google Search Central

Wo sollte die Sitemap abgelegt sein? Und wie soll sie heißen?

Rund um den Speicherort einer XML-Sitemap gibt es einen (theoretischen) Fallstrick, den selbst langjährige Suchmaschinenoptimierer*innen nicht kennen: den Geltungsbereich einer Sitemap. Schauen wir dazu auf die Spezifikationen bei sitemaps.org:

"Vom Speicherort der Sitemap-Datei hängt ab, welche URLs in diese Sitemap aufgenommen werden können. Eine Sitemap-Datei am Speicherort http://example.com/catalog/sitemap.xml kann URLs beginnend mit http://example.com/catalog/ enthalten, jedoch keine URLs beginnend mit http://example.com/images/."

Was bedeutet das? Wenn die XML-Sitemap in einem Unterverzeichnis und nicht im sogenannten Root abgelegt wird, dann gilt diese Sitemap nur für Adressen, die im entsprechenden Unterverzeichnis liegen. 

Es gibt allerdings eine Ausnahme, zumindest im Falle von Google: die Einreichung der Sitemap über die Google Search Console. Dazu steht in der Google Hilfe folgendes:

"Du kannst deine Sitemaps auf deiner Website hosten, aber wenn du sie nicht über die Search Console einreichst, betrifft sie nur Nachfolgerelemente des übergeordneten Verzeichnisses. Daher wirkt sich eine Sitemap, die im Stammverzeichnis der Website veröffentlicht wird, auf alle Dateien der Website aus. Wir empfehlen dir, deine Sitemaps dort zu veröffentlichen."

Kurzum: Google empfiehlt, dass die Sitemap direkt im Stammverzeichnis, dem sogenannten Root abgelegt wird. Dadurch ist sie unter der Adresse https://www.example.com/sitemap.xml erreichbar. Wenn du die Sitemap deiner Website über die Google Search Console einreichst, dann kann die Sitemap auch in einem beliebigen Unterordner abgelegt werden. 

Und nicht nur das: Die Sitemap kann auch unter einer komplett anderen Domain abgelegt werden. Sprich, die XML-Sitemap von omr.com könnte unter stephan-czysch.de liegen. Damit Google dieser Sitemap allerdings traut, muss in der robots.txt von omr.com eine Sitemap: Referenz auf meine private Website gesetzt sein, oder diese Sitemap über die Google Search Console eingereicht werden. Die Idee: Da ich die robots.txt von omr.com nicht verändern kann, muss der Verweis auf die Sitemap vom Website-Inhaber von omr.com gesetzt worden sein und ist deshalb vertrauenswürdig. Worauf hier im Detail zu achten ist, erfährst du wie gewohnt bei Google. 

Hinsichtlich des Namens der Sitemap bist du übrigens frei. Dich zwingt also niemand, z. B. “sitemap.xml” als Dateiname zu verwenden.

Wie kann man eine Sitemap erstellen und welche Tools können dabei helfen?

Ok, jetzt aber Butter bei die Fische! XML-Sitemaps sind also nach wie vor für die Suchmaschinenoptimierung relevant, doch wie lassen sich XML-Sitemaps erstellen? Die meisten Websites werden mit Content-Management-Systemen oder Website-Baukästen erstellt – und diese bringen häufig bereits eine Funktion zur automatischen Erstellung von XML-Sitemaps mit. Im Zweifelsfall einfach einmal nach dem Namen des verwendeten CMS sowie Sitemap suchen. Wenn keine Sitemap-Funktion im CMS eingebunden ist, dann kann häufig über kostenfreie Erweiterungen eine XML-Sitemap (oder mehrere) erstellt werden.

Alternativ helfen Online-Tools, sogenannte Sitemap Generatoren, dabei, durch die Eingabe einer URL-Liste eine XML-Sitemap zu generieren. Doch das hat einen Nachteil, denn die so erzeugte Datei ist statisch. Das bedeutet, dass neu erstelle Adressen nicht automatisch Teil der Sitemap sind. Dadurch ist der eigentliche Zweck einer Sitemap ausgehebelt. Zur Erinnerung: Diese soll sicherstellen, dass Suchmaschinen von der Existenz einer Seite erfahren. Im Zweifelsfall ist eine statische Sitemap aber besser als gar keine Sitemap zu haben.

Übrigens: In vielen Website-Crawling-Tools wie dem Screaming Frog SEO Spider ist die Funktion zur Erstellung von Sitemaps enthalten.

Sitemaps bei Suchmaschinen über die robots.txt, den Sitemap-Ping oder die Webmaster Tools bekannt machen

Die Adresse einer Sitemap kann jeden beliebigen Namen und Speicherort haben. Entsprechend ist es notwendig, dass Suchmaschinen die Adresse der Sitemap kennen. Denn du weißt: Suchmaschinen greifen nur auf bekannte Adressen zu.

Um deine Sitemap(s) bei Suchmaschinen bekannt zu machen, gibt es die Möglichkeit über die robots.txt, eine Ping-Schnittstelle oder alternativ über die Webmaster Tools zu gehen. Im Falle von Google heißen die Webmaster Tools mittlerweile Google Search Console. Doch der Reihe nach.

Die einfachste Möglichkeit, die Adresse der Sitemap allen Suchmaschinen bekannt zu machen, ist die Referenzierung der Sitemap in der sogenannten robots.txt-Datei. Mit der robots.txt kann das Crawling für einzelne Seitenbereiche oder Adressen eingeschränkt werden. Als Standard gilt dabei ein „Opt-Out“: Alle Adressen, die nicht explizit durch ein Disallow: vom Crawling ausgeschlossen wurden, können von Suchmaschinen gecrawlt werden.

Damit Suchmaschinen die Adresse deiner XML-Sitemap kennenlernen, musst du diese über „Sitemap: Adresse-der-sitemap“ in der robots.txt hinterlegen. Das hat allerdings einen kleinen Nachteil: Da die robots.txt von jedem geöffnet werden kann, kennen auch deine Konkurrenten alle Adressen deiner Website. Falls du das nicht möchtest, dann ist die Anmeldung der Sitemaps über die Webmaster Tools die bessere Option.

Durch die Übermittlung der Sitemap-Adressen in den Webmaster Tools der Suchmaschinen hast du mehrere Vorteile. Zum einen kennt dadurch die jeweilige Suchmaschine definitiv die Adresse der Sitemap(s) und kann auf diese zugreifen, zum anderen erhältst du im Falle der Google Search Console detaillierte Daten über den Indexierungsstatus der jeweiligen Sitemaps. Du siehst also, wie viele der übermittelten (oder eingereichten) Seiten von Google indexiert wurden.

Wenn du deine Sitemap(s) in der Google Search Console einreichst, dann kannst du analysieren, welche der über die Sitemap eingereichten Adressen tatsächlich indexiert wurden. Klicke dazu oben links auf den Filter und wähle “Alle eingereichten Seiten” oder die einzelnen Sitemaps. Quelle: Google Search Console

Für den Deep-Dive in den Report zu Seitenindexierung kannst du dir dieses YouTube–Video anschauen:

Aus diesem Grund solltest du definitiv deine Sitemaps in den Webmaster Tools einreichen. Ob du deine Sitemaps auch in der robots.txt verlinkst, ist dir überlassen. Der jeweiligen Suchmaschine reicht es, wenn die Sitemap über die Webmaster Tools bekannt gemacht wurde. Innerhalb der Google Search Console findest du die Einreichungsmaske unter Indexierung => Sitemaps.

Über diese Maske der Google Search Console kannst du deine Sitemap bei Google einreichen. Quelle: Google Search Console

Apropos: Auf die Google Search Console und die Konkurrenzprodukte wie die Bing Webmaster Tools erhältst du nur Zugriff, wenn du dich als Inhaber der Website ausweist. Hier findest du den Artikel zur Einrichtung der Google Search Console.

Eine weitere Alternative ist das Anpingen er offiziellen Sitemap-Schnittstelle von Google. Auch über die Programmierschnittstelle der Google Search Console, der Google Search Console API, ist eine Einreichung der Sitemap möglich. Mehr dazu findest du in der Google Hilfe zur GSC API.

Wie kann man sicherstellen, dass eine Sitemap aktuell und fehlerfrei ist?

Definitionsgemäß sollten XML-Sitemaps nur Seiten enthalten, die von Suchmaschinen (und Nutzer*innen) tatsächlich aufgerufen werden können. Denn warum eine Seite zeigen („verlinken“), die es gar nicht gibt, die Crawler nicht besuchen dürfen (Sperre per robots.txt mittels Disallow:), oder die Suchmaschinen nicht in der Suche anzeigen dürfen?

Der sicherste Weg zu einer stets aktuellen XML-Sitemap ist deren regelmäßige Neugenerierung, z. B. mit jeder Aktualisierung vonseiten, oder dem Veröffentlichen neuer Artikel. Für die Fehlerüberprüfung kann entweder die Google Search Console, oder ein Crawling-Tool verwendet werden. 

Crawler wie der Screaming Frog können nicht nur Sitemaps erstellen, sondern diese zudem als „Ausgangsdatenquelle“ verwenden. Auch ein automatischer Abgleich zwischen den im Crawl gefundenen Adressen und denen in der Sitemap enthaltenen ist mit Crawlern möglich. So kannst du Probleme innerhalb deiner Sitemap aufspüren, beispielsweise nicht mehr vorhandene Seiten oder Adressen, die nicht in Sitemaps übermittelt werden.

XML-Sitemaps lassen sich in Crawling-Tools als “Ausgangsliste” für die Analyse einer Website nutzen. Quelle: Screaming Frog

Ganz grundsätzlich gilt: Auch mit Fehlern können Suchmaschinen deine Sitemaps verarbeiten. Doch das heißt nicht, dass deine Sitemaps „ungepflegt“ sein sollen. 

Braucht eine Website eine XML- oder HTML-Sitemap?

Nein, weder eine XML-Sitemap noch eine HTML-Sitemap wird nicht zwingend benötigt. Doch speziell die Verwendung von XML-Sitemaps ist empfehlenswert, da dadurch das Crawling verbessert werden kann.

Doch wie sieht es mit HMTL-Sitemap aus? Eine solche Übersicht kann sich positiv auf die Website-Struktur und die Erreichbarkeit der einzelnen Seiten auswirken. Im weitesten Sinne ist eine Auflistung aller Einträge eines Glossars oder aller Marken eines Shops eine HTML-(Teil-)Sitemap. Deshalb haben häufig mehr Websites eine HTML-Sitemap im Einsatz als gedacht. Ein Beispiel gefällig? Hier findest du das OMR Glossar. Ich arbeite regelmäßig bei Kundenprojekten im Rahmen meiner Beratungsprojekte mit HTML-Sitemaps. Verpflichtend sind diese allerdings nicht.

Let’s sum it up: Das musst du über XML-Sitemaps wissen

Zeit für ein Fazit findest du nicht auch? Hier kurz und knapp das, was du über XML-Sitemaps wissen solltest:

• XML-Sitemaps helfen Suchmaschinen dabei, deine Seite effizient zu crawlen und neue oder aktualisierte URLs zu finden
• In den meisten Content-Management-Systemen ist eine Funktion zur Erstellung von Sitemaps enthalten. Alternativ kann durch Erweiterungen eine solche Funktion über Erweiterungen nachgerüstet werden. Wenn alle Stricke reißen, dann sind Sitemap Generatoren deine Rettung
• Reiche deine Sitemaps in den für dich wichtigen Webmaster Tools wie der Google Search Console ein
• Eine Nennung der Sitemap in der robots.txt ist optional
• Sitemaps sollten nur tatsächlich vorhandene Seiten enthalten, die von Suchmaschinen zudem gecrawlt und indexiert werden können
• Beachte die Limitierungen wie aktuell maximal 50.000 Adressen pro Sitemap
• Sitemaps dürfen nicht größer als 50 MB sein, um korrekt verarbeitet werden zu können
• Durch eine sogenannte Sitemap-Indexdatei kannst du eine Sitemap für Sitemaps bauen
• XML-Sitemaps für besondere Inhaltstypen wie Bilder oder News sind möglich. Publisher sollten sich zudem mit News Sitemaps beschäftigen. Bei internationalen Websites kann die hreflang-Angabe nicht nur auf den einzelnen Seiten selbst, sondern in der Sitemap übermittelt werden
• HTML-Sitemaps können für Nutzer und Suchmaschinen gleichermaßen hilfreich sein
• Sitemaps können einen beliebigen Namen haben und außerhalb der eigentlichen Website liegen. Dann ist aber eine Bestätigung der “Richtigkeit” dieser “Fremd-Sitemap” durch eine Referenz in der robots.txt, oder über die Google Search Console notwendig. 

 Damit weißt du alles, was rund um das Thema XML-Sitemaps wichtig ist!