콘텐츠 중복 제거와 Canonical 태그의 올바른 사용법
제4장: 콘텐츠 마케팅편 · 제63문
당신은 아마 누구도 "표절"하지 않았겠지만, 당신의 웹사이트에는 이미 대량의 중복 콘텐츠가 존재할 가능성이 높습니다. 같은 글이 서로 다른 URL을 통해 접근되고, 검색 엔진은 어느 것을 인덱싱해야 할지 몰라 결국 모든 버전의 랭킹이 희석됩니다.Canonical 태그가 바로 이 문제를 해결하는 핵심 도구입니다.
중복 콘텐츠란 무엇인가?
중복 콘텐츠는 반드시 "표절"은 아니며, 대부분 기술적 원인으로 동일한 콘텐츠에 여러 URL이 생기는 것입니다:
| 발생 원인 | 예시 |
|---|---|
| HTTP/HTTPS 공존 | http://example.com/page 와 https://example.com/page |
| www와 비-www | www.example.com/page 와 example.com/page |
| URL 파라미터 | /product?color=red 와 /product?color=red&ref=banner |
| 페이지네이션 콘텐츠 | /article 와 /article?page=1 |
| 모바일 전용 URL | m.example.com/page 와 www.example.com/page |
| 인쇄 페이지/AMP 버전 | /article/print 와 /article |
바이두의 중복 콘텐츠 처리 방식
바이두는 여러 중복 URL 중 하나를 "대표"로 선택하여 인덱싱하고, 나머지 버전은 필터링하거나 랭킹을 낮춥니다. 하지만 바이두의 판단이 반드시 정확한 것은 아닙니다. 당신이 원하지 않는 버전을 선택할 수도 있습니다. Canonical 태그를 직접 사용하는 것은 바이두에게 “이 URL을 기준으로 삼으라고 알려주는 것입니다.”
주의: 바이두 공식 문서는 Canonical 태그 지원을 명확히 밝히고 있지만, 처리 속도는 Google만큼 빠르지 않을 수 있습니다.
Canonical 태그의 올바른 문법
HTML의 <head> 부분에 추가:
<link rel="canonical" href="https://www.example.com/preferred-url" />
사용 규칙
- 반드시
<head>중간에 위치해야 함:<body>에 넣으면 무효 - 절대 URL 사용: 전체
https://www.example.com/path를 작성하고, 상대 경로를 사용하지 말 것 - 페이지당 하나만 사용：여러 개의 canonical 태그가 있으면 전부 무시됩니다
- 접근 가능한 페이지를 가리켜야 합니다：404 또는 robots.txt 차단된 페이지를 가리키지 마세요
자기 참조 Canonical의 중요성
페이지에 중복 버전이 없더라도 자신을 가리키는 Canonical 태그를 추가하는 것을 권장합니다:
<!-- 在 https://www.example.com/blog/seo-tips 页面上 -->
<link rel="canonical" href="https://www.example.com/blog/seo-tips" />
왜일까요? 향후 악의적으로 파라미터를 추가해 전파되는 것을 방지하고(예: ?utm_source=xxx), 검색 엔진이 크롤링 파라미터 변화로 혼란을 겪는 것도 방지합니다.
흔한 실수
✗ 실수 1: Canonical이 잘못된 페이지를 가리킴
카테고리 페이지 A의 canonical을 카테고리 페이지 B로 지정해 A가 검색 결과에서 완전히 사라졌습니다.
✗ 실수 2: 페이지네이션 콘텐츠에 남용
2, 3, 4페이지를 모두 1페이지로 canonical 처리 — 이렇게 하면 이후 페이지의 콘텐츠가 인덱싱되지 않습니다. 페이지네이션에는 rel="next/prev"(바이두 지원)을 사용하거나 각 페이지를 독립적으로 인덱싱되게 유지해야 합니다.
✗ 실수 3: Canonical과 robots 충돌
페이지가 robots.txt에 의해 크롤링이 금지되었는데 canonical도 설정 — 크롤러는 이 태그를 아예 볼 수 없습니다.
✗ 실수 4: 교차 도메인 Canonical 오용
자신의 사이트 페이지를 다른 사이트로 canonical 처리하는 것은 이 페이지의 모든 랭킹 가중치를 "포기"하는 것과 같습니다.
301 리다이렉트 vs Canonical: 어떻게 선택할까?
| 상황 | 권장 방안 |
|---|---|
| 기존 URL 영구 폐기 | 301 리다이렉트 |
| 두 URL 모두 사용자가 접근해야 함 | Canonical 태그 |
| HTTP에서 HTTPS로 이전 | 301 리다이렉트 |
| 파라미터가 있는 것과 없는 동일 페이지 | Canonical 태그 |
| 사이트 개편으로 도메인 변경 | 301 리다이렉트 |
간단한 원칙: 사용자가 기존 URL에 접근할 필요가 없다면 301를 사용하고, 두 URL 모두 존재할 필요가 있다면(예: 필터 파라미터) Canonical을 사용하세요.
사이트의 중복 콘텐츠를 검토하는 방법
- 바이두 검색프레임 감지: 검색
site:yoursite.com + 文章标题关键句, 여러 결과가 있는지 확인 - 크롤러 도구 사용: Screaming Frog, 5118 등 도구로 중복 Title과 중복 콘텐츠 페이지를 일괄 감지할 수 있습니다
- 바이두 검색 리소스 플랫폼: "색인량"과 실제 페이지 수의 차이를 확인하세요. 차이가 크면 많은 페이지가 색인되지 않았음을 의미합니다(중복이 원인일 수 있음)
- 서버 로그 분석: 바이두 스파이더가 중복 URL에 크롤링 할당량을 낭비하고 있는지 관찰
실전 제안
- 전체 사이트에 자기 참조 Canonical 배포: 비용이 가장 낮고 효과가 가장 확실한 SEO 기본 작업입니다. 개발자가 템플릿 레벨에서 일괄 추가하면 됩니다
- 파라미터형 중복 우선 처리: 바이두 검색 리소스 플랫폼의 "파라미터 설정" 기능에서 무의미한 파라미터(예: session ID, 추적 코드)를 표시하여 바이두에 해당 파라미터를 무시하도록 알립니다
- 매월 중복 콘텐츠 감사 실시: 크롤러 도구로 전체 사이트를 스캔하고, 유사도 80%를 초과하는 페이지 쌍에 주목하여 병합할지, Canonical을 추가할지, 차별화 재작성할지 결정
AI 도구로 해결: 중복 콘텐츠 감사와 Canonical 설정
위의 많은 단계는 이제 AI 도구로 대부분의 수작업을 줄일 수 있습니다. 특히 "분석"과 "생성" 두 가지 작업에서 그렇습니다. 아래에서 시나리오별로 바로 사용할 수 있는 도구 조합과 복사 가능한 프롬프트를 제시합니다.
시나리오 1: 중복 콘텐츠 일괄 감지
가장 손이 적게 가는 조합:크롤러 도구(Screaming Frog / 5118) 데이터 내보내기 + 범용 AI(ChatGPT / Claude / Kimi / 도우바오) 분석。
방법: 크롤러 도구로 전체 사이트를 크롤링하고 다음을 포함하는 URL / Title / 字数 / 描述 CSV를 내보냅니다(Screaming Frog의 View > All URLs 또는 Export > CSV). CSV 내용을 AI에 붙여넣은 후 이 프롬프트를 복사하세요:
웹사이트 크롤링 보고서를 업로드했습니다. 필드는 URL, 제목, 글자 수를 포함합니다. 중복 콘텐츠로 의심되는 페이지 쌍을 찾아주세요. 판단 기준: 제목 유사도 90% 초과, 또는 글자 수가 비슷하고 URL 구조가 유사. 각 그룹에 대해 하나의 페이지로 병합 / canonical 추가 지정 / 차별화 재작성 중 제안하고 이유를 설명하세요.
AI가 기준에 따라 제안이 포함된 목록을 작성합니다. 수백 행의 데이터를 직접 스캔할 필요 없이 AI가 선별한 페이지 쌍만 수동으로 검토하면 됩니다.
시나리오 2: Canonical 코드 생성
프레임워크에서 canonical을 어떻게 작성하는지 모르겠다면 AI에 바로 물어보세요:
제 웹사이트는 [Hugo / WordPress / 자체 개발 PHP]이고 템플릿 파일은 [경로]에 있습니다. "전체 사이트의 각 페이지에 자기 참조 canonical 태그를 자동 출력"하는 코드를 생성해주세요. 요구사항: 현재 페이지의 절대 URL 사용,
에 배치, 404가 아닌 페이지에만 출력.
범용 AI는 주요 웹사이트 빌더 프레임워크의 canonical 작성법에 능숙하므로 생성된 코드는 거의 바로 사용할 수 있습니다. 배포 전 개발 동료가 한번 확인하도록 하세요.
시나리오 3: URL 파라미터 정리, 어떤 것을 무시할지 결정
서버 로그나 통계 백엔드에서 내보낸 URL 목록을 AI에게 넘기세요:
다음은 매개변수가 붙은 URL이 많은 사이트 URL 목록입니다(예: ?color=red, ?ref=banner, ?session_id=xxx). 분류를 도와주세요: 어떤 매개변수가 페이지 내용에 영향을 주는지(별도 색인이 필요함), 어떤 것이 추적/세션 매개변수인지(canonical 또는 매개변수 설정으로 무시 가능), 그리고 정규식 목록을 제시해 주세요.
시나리오 4: 웹사이트 개편 / 이전 시 301 매핑 테이블 생성
제 구 사이트에는 곧 신 사이트로 이전할 URL 2000개가 있습니다. 구 사이트 URL 목록은 다음과 같습니다(앞 50개 붙여넣기). 신 사이트 URL 규칙은 [규칙]입니다. "의미상 가장 근접" 원칙에 따라 각 구 URL에 대응하는 신 URL을 생성하고, 구URL,신URL 형식의 CSV로 출력하며, 301 재작성 규칙 형태의 nginx 설정 예시도 제시해 주세요.
시나리오 5: 중복 콘텐츠 차별화 재작성
유사도가 높지만 둘 다 존재 가치가 있는 페이지 두 개를 만났을 때, AI에게 한 편을 다른 각도에서 재작성하게 하세요:
아래 두 단락은 유사도가 높습니다. 두 번째 단락을 "실무 단계" 관점으로 재작성하고, 첫 번째 단락은 "개념 설명" 관점을 유지하되 핵심 정보는 보존하면서 문장, 구조, 사례를 모두 다르게 해 주세요. 재작성 후 자체 점검: 두 단락에 80% 이상 연속 중복 문장이 남아 있나요? (두 단락 붙여넣기)
주의: AI의 한계
- AI는 분석하고 생성할 수 있지만 대신 실행할 수는 없습니다: canonical 태그를 실제로 배포하려면 여전히 서버/템플릿을 수정해야 하고, 301은 nginx를 건드려야 하므로 서버 권한이 있는 사람이 조작해야 합니다
- AI의 판단은 재검토가 필요합니다: AI가 나열한 "중복 페이지 쌍"에는 오탐(예: 페이지네이션 페이지 오판)이 있을 수 있으므로 사람의 재검토가 필수입니다
- AI가 301 대상을 직접 지어내게 하지 마세요: 매핑 관계는 비즈니스 이해에 의존하며, AI는 "의미 유사"로만 추측할 수 있으므로 중요한 페이지의 매핑은 반드시 직접 확인해야 합니다
- 전체 사이트 HTML을 무료 AI에 붙여넣지 마세요: 한 번에 붙여넣는 콘텐츠에는 제한이 있으니 페이지 쌍 단위로 넣으면 됩니다. 민감한 데이터가 관련되면 국내 규정 준수 도구를 사용하세요
