robots.txt und sitemap korrekt konfigurieren
Kapitel 2: Grundlagen der Suche · Frage 30
robots.txt und sitemap.xml sind die beiden grundlegenden Dateien, über die eine Website mit Suchmaschinen "kommuniziert". Erstere teilt Crawlern mit, "was nicht gecrawlt werden soll", Letztere teilt Crawlern mit, "diese Seiten bitte crawlen". Eine korrekte Konfiguration kann die Indexierungseffizienz erheblich steigern; eine fehlerhafte Konfiguration kann dazu führen, dass die gesamte Website aus den Suchergebnissen verschwindet.
Grundlegende Syntax von robots.txt
robots.txt muss im Wurzelverzeichnis der Website liegen (z. B. https://example.com/robots.txt), grundlegende Syntax:
User-agent: Baiduspider
Disallow: /admin/
Disallow: /search?
Allow: /
User-agent: Googlebot
Disallow: /admin/
Allow: /
Sitemap: https://example.com/sitemap.xml
Wichtige Regeln:
User-agent: legt fest, für welchen Crawler die Regel gilt (*steht für alle)Disallow: Pfade, die nicht gecrawlt werden dürfenAllow: Crawlen erlaubt (hat höhere Priorität als Disallow)Sitemap: gibt die sitemap-Adresse an
Welche Pfade sollten blockiert werden?
| Sollte blockiert werden | Ursache |
|---|---|
| /admin/ oder /wp-admin/ | Backend-Verwaltungsseite, kein SEO-Wert |
| /search? oder /s? | Interne Suchergebnisseiten, erzeugen viele minderwertige Duplikatseiten |
| /cart/ /checkout/ | Warenkorb, Checkout-Seite, kein Indexierungswert |
| /?sort= /?filter= | Sortier-/Filterparameter-Seiten, verursachen doppelten Inhalt |
| /tag/ (je nach Situation) | Tag-Seiten mit zu dünnem Inhalt sollten blockiert werden |
| /api/ | API-Adressen, sollten nicht in Suchergebnissen erscheinen |
Was auf keinen Fall blockiert werden darf:
- CSS- und JS-Dateien (Baidu muss Seiten rendern können)
- Bildverzeichnis (es sei denn, du möchtest nicht, dass Bilder indexiert werden)
- MobileSeite
sitemap.xml-Format und Spezifikationen
Standard-sitemap-Format:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/page1</loc>
<lastmod>2025-06-15</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
Best Practices:
- Jede sitemap-Datei darf höchstens 50.000 URLs enthalten und eine Dateigröße von 50 MB nicht überschreiten
- Bei Überschreitung der Limits eine sitemap-Indexdatei zur Aufteilung verwenden:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.com/sitemap-posts.xml</loc>
<lastmod>2025-06-20</lastmod>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap-products.xml</loc>
<lastmod>2025-06-18</lastmod>
</sitemap>
</sitemapindex>
Einreichungskanäle
- Baidu SucheRessourcenplattform: Suchdienst → Normale Indexierung → sitemap-Einreichung (unterstützt txt- und xml-Format)
- Google Search Console: Index → Sitemap → Neue Sitemap hinzufügen
- Bing Webmaster Tools: Sitemap → Sitemap einreichen
Baidu unterstützt zudem die Echtzeit-Einreichung neuer Seiten-URLs über die "aktive Push-API", was besonders für zeitkritische Inhalte (z. B. Nachrichten) nützlich ist.
Empfohlene Aktualisierungsfrequenz für sitemap
| Website-Typ | Aktualisierungsfrequenz | Beschreibung |
|---|---|---|
| News & Informationen | stündlich/Echtzeit | in Kombination mit Baidu Active Push |
| E-Commerce-Website | täglich | häufige Änderungen beim Ein- und Auslisten von Produkten |
| Unternehmenswebsite | Wöchentlich | seltene Inhaltsänderungen |
| Blog-Website | beim Veröffentlichen neuer Artikel | automatische Aktualisierung per CMS möglich |
Häufige Fehler
- robots.txt enthält Disallow: /, aber das Zurücksetzen wurde vergessen: Die gesamte Website ist blockiert – das ist der katastrophalste Fehler
- Die sitemap enthält URLs, die von robots blockiert werden：Logischer Widerspruch, Suchmaschinen werden verwirrt
- sitemap enthält 404-Seiten：Verschwendet Crawling-Kontingent
- lastmod-Datum gefälscht：Jedes Mal das aktuelle Datum eingetragen, Suchmaschinen ignorieren dieses Feld
- sitemap-Position nicht in robots.txt deklariert：Nicht zwingend erforderlich, aber empfohlen
- sitemap-Kodierungsfehler：UTF-8-Kodierung ist Pflicht, Sonderzeichen in URLs müssen escaped werden
Praktische Empfehlungen
- robots.txt vor dem Launch unbedingt prüfen：Viele Websites nutzen in der Entwicklungsphase
Disallow: /die gesamte Website blockiert und nach dem Launch vergessen zu ändern, was zu monatelangem fehlendem Indexing führt - In die sitemap nur die kanonischen URLs aufnehmen, die indexiert werden sollen：Keine doppelten Seiten mit Parametern, keine noindex-Seiten, keine Redirect-Quell-URLs
- Monatliche Überprüfung der sitemap-Gesundheit：Mit Tools wie Screaming Frog scannen, um sicherzustellen, dass die sitemap keine 4xx/5xx-Fehlerseiten enthält
Mit KI-Tools lösen: Generierung der robots.txt- und sitemap-Konfiguration
Szenario 1: robots.txt je nach Webseitentyp generieren
Meine Webseite ist [Unternehmenswebseite/E-Commerce/Content-Blog], basiert auf [WordPress/Eigenentwicklung], nicht zu blockierende Verzeichnisse sind [CSS/JS/Bilder], zu blockierende sind [Backend/Suchseite/Parameterseite]. Bitte generiere eine vollständige robots.txt: getrennt für Baiduspider und Googlebot, Backend und interne Suche blockieren, CSS/JS/Bilder erlauben, am Ende die sitemap-Adresse deklarieren. Kommentiere zudem jede Regelzeile, damit ich sie verstehe.
Szenario 2: sitemap.xml aus einer bestehenden URL-Liste generieren
Dies ist die Liste aller URLs meiner Webseite (sitemap oder URL-Liste einfügen). Bitte: 1) URLs mit Parametern sowie admin/search und ähnliche nicht zu indexierende URLs herausfiltern; 2) XML gemäß sitemap-Spezifikation generieren, jeder Eintrag mit loc, lastmod (mit dem angegebenen Datum), changefreq, priority; 3) bei mehr als 50.000 Einträgen in ein sitemap-index-Format aufteilen.
Szenario 3: Fallstricke in der sitemap prüfen
Dies ist eine sitemap.xml (Inhalt einfügen). Bitte prüfen: 1) Ob alle URLs den Allow-Regeln der robots.txt entsprechen (ich füge die robots.txt ebenfalls bei); 2) Ob noindex-Seiten oder 301-Weiterleitungsquellen enthalten sind; 3) Ob lastmod sinnvoll ist (ob alle von heute sind); 4) Ob XML-Kodierung und Escaping korrekt sind.
Szenario 4: Regex generieren, um parametrisierte doppelte URLs zu blockieren
Meine Webseiten-URLs enthalten diese Parameter: ?sort=, ?filter=, ?page=, ?utm_source=, ?session_id=. Bitte generiere Regex-Regeln für die robots.txt, um diese Parameterseiten zu blockieren, und erläutere jeweils den Abdeckungsbereich und mögliche Fehlblockierungen.
Hinweis: Die Grenzen der KI
- robots.txt ist eine Konfiguration mit "Vetorecht"：Nach der KI-Generierung unbedingt Zeile für Zeile manuell prüfen, insbesondere darf niemals
Disallow: /eine websiteweite Blockierung auftreten; vor dem Go-live die robots.txt direkt im Browser aufrufen und bestätigen - sitemap-Inhalte müssen echt sein: Die KI generiert nur anhand der von dir eingefügten URLs; sie weiß nicht, welche Seiten noindex sind oder gelöscht wurden – du musst vorher selbst filtern
- Lass die KI kein lastmod erfinden: Gefälschte lastmod-Angaben werden von Suchmaschinen ignoriert und senken das Vertrauen; das Datum muss aus der tatsächlichen Änderungszeit deiner Dateien stammen
