Correct configuration of robots.txt and sitemap

Chapter 2: Search Fundamentals · Question 30

robots.txt and sitemap.xml are two foundational files through which a website communicates with search engines. The former tells crawlers "which pages to avoid", while the latter tells them "please crawl these pages." Proper configuration significantly improves indexing efficiency; errors can cause your entire site to disappear from search results.

Basic syntax of robots.txt

robots.txt must be placed in the root directory (e.g., https://example.com/robots.txt), with basic syntax:

User-agent: Baiduspider
Disallow: /admin/
Disallow: /search?
Allow: /

User-agent: Googlebot
Disallow: /admin/
Allow: /

Sitemap: https://example.com/sitemap.xml

Key rules:

• User-agent: specifies the crawler (*represents all crawlers)
• Disallow: disallows crawling of specific paths
• Allow: allows crawling (takes precedence over Disallow)
• Sitemap: declares the sitemap address

Which paths should be blocked?

Do not block:

• CSS and JS files (Baidu needs to render pages)
• Image directories (unless you don’t want images indexed)
• MobilePages

sitemap.xml format and standards

Standard sitemap format:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/page1</loc>
    <lastmod>2025-06-15</lastmod>
    <changefreq>weekly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

Best practices:

• Each sitemap file should contain no more than 50,000 URLs and be no larger than 50MB
• When exceeding limits, use a sitemap index file to split:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://example.com/sitemap-posts.xml</loc>
    <lastmod>2025-06-20</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://example.com/sitemap-products.xml</loc>
    <lastmod>2025-06-18</lastmod>
  </sitemap>
</sitemapindex>

Submission channels

• Baidu RechercheResource platforms: Search service → Normal indexing → Sitemap submission (supports txt and xml formats)
• Google Search Console: Index → Site maps → Add new site map
• Bing Webmaster Tools: Site maps → Submit site map

Baidu also supports real-time submission of new page URLs via the "Push API", especially useful for time-sensitive content such as news.

Sitemap update frequency recommendations

Erreurs courantes

1. robots.txt has Disallow: / but was forgotten to be reverted: Entire site blocked — the most catastrophic error
2. Sitemap contains URLs blocked by robots.txt: Logical contradiction, search engines will be confused
3. Sitemap contains 404 pages: Wastes crawling quota
4. lastmod date falsification: Always writing current date — search engines will ignore this field
5. sitemap location not declared in robots.txt: Not mandatory, but recommended
6. Invalid sitemap encoding : Doit être encodé en UTF-8, les caractères spéciaux dans l'URL doivent être échappés

Practical recommendations

• Vérification obligatoire de robots.txt avant le lancement : Beaucoup de sites utilisent durant la phase de développementDisallow: /Le site entier est bloqué, oublié après le lancement, entraînant plusieurs mois sans indexation
• sitemap ne doit contenir que les URL normales que vous souhaitez indexer : Ne pas inclure les pages redondantes avec paramètres, les pages noindex, ni les URL sources de redirection
• Vérifiez la santé du sitemap une fois par mois : Utilisez des outils comme Screaming Frog pour scanner, assurez-vous qu'il n'y a pas de pages avec erreurs 4xx/5xx dans le sitemap

Utilisez un outil IA pour générer robots.txt et sitemap

Scénario 1 : Génération automatique de robots.txt selon le type de site

Mon site est [site web d'entreprise / e-commerce / blog de contenu], basé sur [WordPress / développé en interne], les répertoires à ne pas bloquer sont [CSS / JS / images], ceux à bloquer sont [back-office / pages de recherche / pages avec paramètres]. Veuillez m'aider à générer un robots.txt complet : séparé pour Baiduspider et Googlebot, bloquant le back-office et la recherche interne, autorisant CSS/JS/images, puis déclarer l'adresse du sitemap. Ajoutez des commentaires pour chaque règle afin que je comprenne.

Scénario 2 : Génération de sitemap.xml à partir d'une liste d'URL existante

Ceci est la liste complète de mes URL (collez le sitemap ou la liste d'URL). Veuillez m'aider à : 1) filtrer les URL contenant des paramètres ou incluant admin/recherche, qui ne devraient pas être indexées ; 2) générer un XML conforme au format sitemap, chaque entrée contenant loc, lastmod (utilisez la date fournie), changefreq, priority ; 3) si elle dépasse 50 000 éléments, diviser en format sitemap index.

Scénario 3 : Vérification des "pièges" dans le sitemap

Ceci est un fichier sitemap.xml (collez le contenu). Veuillez m'aider à vérifier : 1) si toutes les URL respectent les règles autorisées par robots.txt (j'ai également collé mon robots.txt) ; 2) s'il contient des pages noindex ou des sources de redirection 301 ; 3) si lastmod est raisonnable (pas toutes aujourd'hui) ; 4) si l'encodage XML et les échappements sont corrects.

Scénario 4 : Génération de régulières pour bloquer les URL redondantes avec paramètres

Mes URL contiennent ces paramètres : ?sort=, ?filter=, ?page=, ?utm_source=, ?session_id=. Veuillez m'aider à générer des règles d'expression régulière dans robots.txt pour bloquer ces pages avec paramètres, et expliquer la portée de chaque règle ainsi que les cas potentiels de faux positifs.

Attention : les limites de l’IA

• robots.txt est une configuration à veto unique : Après génération par IA, vérifiez chaque ligne manuellement, surtout pour éviter Disallow: / Blocage global, vérifiez directement dans le navigateur avant le lancement
• Le contenu du sitemap doit être authentique : L'IA ne peut générer que selon les URL que vous fournissez, elle ne sait pas quelles pages sont noindex ou supprimées, vous devez les filtrer vous-même
• Ne laissez pas l'IA inventer lastmod : Falsifier lastmod sera ignoré par les moteurs de recherche et réduira votre crédibilité ; la date doit provenir de votre véritable moment de modification du fichier