Correct use of content deduplication and Canonical tags
Chapter 4: Content Marketing · Question 63
You may not have "copied" anyone, but your website likely already contains a large amount of duplicate content— the same article accessed via different URLs. Search engines don't know which version to index, ultimately diluting the ranking of all versions.Canonical tagis the core tool to solve this issue.
What is duplicate content?
Duplicate content isn't necessarily "copying"— it's often caused by technical factors leading to multiple URLs for the same content:
| Causes | Exemple |
|---|---|
| HTTP/HTTPS coexistence | http://example.com/page et https://example.com/page |
| www vs non-www | www.example.com/page et example.com/page |
| URL parameters | /product?color=red et /product?color=red&ref=banner |
| Paginated content | /article et /article?page=1 |
| Separate mobile URLs | m.example.com/page et www.example.com/page |
| Print or AMP versions | /article/print et /article |
How Baidu handles duplicate content
Baidu selects one URL among multiple duplicates as the "representative" for indexing; other versions are filtered or downgraded. However, Baidu's choice isn't always accurate—it might pick the version you don't want. Using a Canonical tag proactively tells Baidu:“Please use this URL as the standard.”
Note: Baidu's official documentation explicitly supports Canonical tags, but processing speed may not be as timely as Google's.
Correct syntax for Canonical tags
Add in the <head> section of HTML:
<link rel="canonical" href="https://www.example.com/preferred-url" />
Usage rules
- Must be placed in
<head>Medium: placement inside<body>has no effect - Use absolute URLs: write full
https://www.example.com/path, do not use relative paths - Only one per page：des balises canonical multiples entraînent l'ignorance de toutes
- pointant vers une page accessible：ne pas pointer vers une page 404 ou bloquée robots.txt de la page
l'importance d'une balise canonical auto-référente
même si la page n'a pas de version redondante, il est recommandé d'ajouter une balise canonical pointant vers elle-même :
<!-- Sur la page https://www.example.com/blog/seo-tips -->
<link rel="canonical" href="https://www.example.com/blog/seo-tips" />
Pourquoi ? pour empêcher toute propagation malveillante par ajout de paramètres (comme ?utm_source=xxx) et pour éviter que les moteurs de recherche ne soient confus par des variations de requête.
Erreurs courantes
✗ Erreur 1 : canonical pointant vers une mauvaise page
le canonical de la page de catégorie A pointe vers la page de catégorie B, ce qui fait disparaître complètement A des résultats de recherche.
✗ Erreur 2 : utilisation abusive du canonical sur du contenu paginé
les pages 2, 3 et 4 sont toutes canoniques vers la page 1 — cela empêche l'indexation des pages suivantes. La pagination doit utiliser rel="next/prev"(pris en charge par Baidu) ou maintenir un index indépendant pour chaque page.
✗ Erreur 3 : conflit entre canonical et robots
la page est interdite au crawl par robots.txt, mais a une balise canonical — le robot ne peut pas voir cette balise.
✗ Erreur 4 : utilisation erronée du canonical cross-domain
indiquer comme canonical une page de son propre site vers un autre site équivaut à « abandonner » tout poids de classement de cette page.
Redirection 301 vs Canonical : comment choisir ?
| Scénario | Solution recommandée |
|---|---|
| ancien URL définitivement abandonné | redirection 301 |
| les deux URLs doivent être accessibles aux utilisateurs | Canonical tag |
| migration HTTP vers HTTPS | redirection 301 |
| une même page avec ou sans paramètres | Canonical tag |
| refonte complète du site avec changement de domaine | redirection 301 |
Principe simple : si l'utilisateur n'a pas besoin d'accéder à l'ancienne URL, utilisez 301; si les deux URLs ont une existence légitime (par exemple, filtres de paramètres), utilisez canonical.
Comment vérifier les contenus dupliqués sur un site
- Baidu RechercheBounding Box Detection : recherche
site:yoursite.com + phrase clé du titre de l'article， vérifier s'il existe plusieurs résultats - Using web crawlers：Outils comme Screaming Frog, 5118, etc., permettent de détecter par lots les titres en double et les pages de contenu dupliquées
- Plateforme de ressources de recherche Baidu : Compare the number of indexed pages with the actual page count; a large discrepancy indicates many pages are not indexed (possibly due to duplication)
- Server log analysis : Observe whether Baidu's crawler is wasting crawl quota on duplicate URLs
Practical recommendations
- Full-site self-referential Canonical : C'est l'opération de base SEO la moins coûteuse et aux rendements les plus certains ; il suffit que le développeur l'ajoute uniformément au niveau du modèle.
- Prioritize parameter-based duplication : Dans la fonction « Configuration des paramètres » de la plateforme de ressources de Baidu, marquez les paramètres sans importance (comme l'ID de session, les codes de suivi) pour indiquer à Baidu de les ignorer
- Perform a duplicate content audit monthly：Scannez l'intégralité du site à l'aide d'un outil de scraping, concentrez-vous sur les paires de pages dont la similarité dépasse 80 %, puis décidez de les fusionner, d'ajouter un tag Canonical ou de les réécrire de manière différentiée
Résoudre avec des outils IA : audit de contenu en double et configuration de Canonical
La plupart de ces étapes peuvent maintenant être simplifiées grâce à des outils d'IA, en particulier les tâches d'analyse et de génération. Voici des combinaisons d'outils prêts à l'emploi et des prompts directement copiables selon les scénarios.
Scenario 1: Batch detection of duplicate content
Le combo le plus simple :Web scraping tools (Screaming Frog / 5118) export data + general AI (ChatGPT / Claude / Kimi / Douyin) analysis。
Method: Use a crawler tool to scrape the entire site and export the content including URL / Title / Nombre de caractères / Description CSV (Screaming Frog's View > All URLs ou Export > CSV），collez le contenu CSV dans l'IA, puis copiez ce prompt :
J'ai téléchargé un rapport d'indexation du site, comprenant les champs URL, titre et nombre de caractères. Aidez-moi à identifier les paires de pages potentiellement redondantes, avec comme critère : une similarité de titres supérieure à 90 %, ou un nombre de caractères proche et une structure d'URL similaire. Pour chaque paire, proposez une solution : fusionner en une seule page / ajouter une balise canonical vers / réécrire différemment, en expliquant la justification.
AI will generate a list with recommendations based on your criteria, so you only need to manually verify the pages it has filtered, rather than scanning through hundreds of lines of data yourself.
Scenario 2: Generate Canonical code
Vous n'êtes pas sûr de la manière d'écrire le framework canonical ? Demandez simplement à l'IA :
Mon site web est [Hugo / WordPress / PHP personnalisé], les fichiers de modèle se trouvent dans [chemin]. Veuillez me générer le code pour "générer automatiquement des balises canonical auto-référentielles sur toutes les pages du site", avec les exigences suivantes : utiliser l'URL absolue de la page actuelle, placée dans
, et uniquement sur les pages non 404.
General AI is well-versed in canonical syntax for mainstream website frameworks, and the generated code can typically be used directly—just have your development colleague review it before going live.
Scenario 3: Analyze URL parameters and determine which ones to ignore
Feed the list of URLs exported from server logs or analytics backend to AI:
Here is a list of site URLs, many of which contain parameters (e.g., ?color=red, ?ref=banner, ?session_id=xxx). Please classify them: which parameters affect page content (must be indexed separately), and which are tracking/session-related (can be ignored via canonical or parameter configuration). Provide a list of regular expressions.
Scenario 4: Generate 301 mapping table during website redesign/migration
My old site has 2,000 URLs about to be migrated to the new site. The old URL list is as follows (first 50 lines pasted). New site URL rules: [rules]. Based on the principle of "closest semantic match," generate corresponding new URLs for each old URL. Output in CSV format: oldURL,newURL, and provide an nginx 301 rewrite rule example.
Scenario 5: Differentiate duplicate content through rewriting
When encountering two highly similar but both valuable pages, ask AI to rewrite one from a different angle:
The two passages below are highly similar. Rewrite the second passage to focus on "practical steps," while keeping the first as "conceptual explanation." Preserve core information but use different sentence structures, formats, and examples. After rewriting, verify: do the two passages still share over 80% consecutive identical sentences? (Paste both passages)
Attention : les limites de l’IA
- AI can analyze and generate, but cannot execute for you: Canonical tags must be actually deployed—server/template changes are required; 301 redirects require nginx edits, only possible with server access rights
- AI’s judgment needs verification: The "duplicate page pairs" it lists may include false positives (e.g., pagination pages wrongly flagged); manual review is mandatory
- Never let AI directly generate 301 targets: Mapping relationships depend on your business understanding; AI can only guess based on "semantic similarity." Critical page mappings must be confirmed by you personally
- Do not paste entire site HTML into free AI tools: There are limits on how much content can be pasted at once; feed content page by page only. Use domestic compliant tools for sensitive data
