XML-Sitemap

Eine XML-Sitemap ist eine für Maschinen geschriebene Liste Ihrer Seiten. Sie liegt meist unter einer Adresse, die auf sitemap.xml endet, und nennt jede Seite, die gefunden werden soll, oft mit dem Datum der letzten Änderung. Kein Mensch blättert darin. Ihr einziger Leser ist das Programm, das entscheidet, welche Teile Ihrer Website es als Nächstes besucht.

Robots.txt ist eine andere Datei mit der umgekehrten Aufgabe. Die Sitemap sagt, hier ist alles, was sich zu lesen lohnt. Robots.txt sagt, bitte bleibt aus diesen Ordnern heraus. Die eine lädt ein, die andere weist ab. Beide liegen nebeneinander ganz oben auf der Website, und oft ändert dieselbe Person sie am selben Nachmittag. Genau da beginnt der Ärger.

Der Unfall ist immer derselbe. Ein Entwickler sperrt einen Bereich, solange er getestet wird. Zwei Zeilen in der robots.txt, und der ganze Shop-Ordner ist tabu. Die Arbeit endet, die Sperre bleibt, und Monate später versteht der Inhaber nicht, warum die Produkte aus der Suche verschwunden sind, während die Seite Über uns in Ordnung ist. Nichts ist kaputt. Die Website hat Google höflich gebeten, draußen zu bleiben. Linkysoft liest diese Datei bei jeder übernommenen Website zuerst, weil sie erstaunlich viele Rätsel erklärt.

Eine Sitemap erzwingt nichts. Eine Seite dort zu nennen ist ein Vorschlag, und Google darf ihn übergehen, wenn die Seite wenig sagt. Der zweite häufige Fehler ist eine Sitemap, die einmal erzeugt und nie wieder angefasst wurde und noch Seiten vom letzten Jahr nennt. Jeder Besuch, den ein Crawler an eine tote Adresse verschwendet, fehlt bei Ihren neuen Seiten. Die Website sollte ihre Sitemap selbst schreiben, sobald eine Seite dazukommt oder verschwindet.

Kleine Websites kommen gut ohne aus. Wenn jede Seite von der Startseite aus anklickbar ist, findet der Crawler sie von allein. Die Sitemap lohnt sich bei einem großen Katalog, einem Nachrichtenbereich oder Seiten, auf die noch nichts verweist. Jede von Linkysoft gestaltete und gebaute Website schreibt ihre Sitemap automatisch, und dasselbe gilt für eine größere Webanwendung, in der täglich Seiten entstehen und verschwinden. Bevor Sie eine neue Website abnehmen, öffnen Sie die Sitemap-Adresse und die robots-Datei im Browser und lesen Sie beide selbst. Beides ist einfacher Text und zwei Minuten wert.