대형 웹사이트(10만+ 페이지)의 SEO 관리 전략
제6장: 실전 심화편 · 제92문
웹사이트 페이지 수가 10만, 나아가 100만을 넘어서면 SEO의 핵심 모순은 "콘텐츠를 어떻게 만들 것인가"에서 "콘텐츠를 어떻게 관리할 것인가"로 바뀝니다. 페이지마다 일일이 최적화할 수는 없으므로 체계적인 관리 프레임워크를 구축해야 합니다.
1. 크롤링 예산 관리(Crawl Budget)
검색 엔진이 각 웹사이트에 할당하는 크롤링 리소스는 한정되어 있습니다. 페이지가 많을수록 "낭비"되는 크롤링도 많아집니다.
| 문제 | 증상 | 해결책 |
|---|---|---|
| 저품질 페이지가 빈번하게 크롤링됨 | 필터 페이지, 빈 결과 페이지가 대량의 크롤링을 점유 | Robots.txt 차단 또는 noindex |
| 중요 페이지 크롤링 부족 | 신규 콘텐츠 인덱싱 지연, 핵심 페이지 스냅샷 노후화 | 내부 링크 가중치 부여, Sitemap 우선순위 조정 |
| 파라미터 페이지 폭증 | 패싯 내비게이션이 수만 개의 URL 변형 생성 | Canonical 태그 + 파라미터 차단 |
로그 분석은 필수 과목
서버 로그(Access Log)를 분석하면 다음을 명확히 파악할 수 있습니다:
- 바이두 스파이더가 매일 어떤 페이지를 크롤링하는지
- 어떤 디렉터리가 빈번히 방문되고 어떤 디렉터리가 무시되는지
- 크롤링 피크 시간대와 빈도 변화
추천 도구: Screaming Frog Log Analyser, Botify(바이두 스파이더 인식 지원), 자체 구축 ELK 분석 스택.
2. 템플릿 수준 최적화 vs 페이지 수준 최적화
대형 사이트의 핵심 전략은템플릿 수준 사고：
- 페이지 수준 최적화: 홈페이지, 핵심 카테고리 페이지, 주요 특집 페이지(보통 100개 이하)에 적합
- 템플릿 수준 최적화: 상품 상세 페이지 템플릿, 아티클 템플릿, 목록 페이지 템플릿에 대해 TDK 규칙을 일괄 조정,구조화 데이터、내부 링크로직
예를 들어, 한 이커머스 사이트에 50만 개의 상품 페이지가 있다면 "상품 상세 페이지 템플릿"의 H1 규칙, 브레드크럼 로직, 관련 추천 모듈만 최적화해도 전체 성과를 일괄적으로 향상시킬 수 있습니다.
songbing.com.cn은 100페이지 규모에 불과하지만 마찬가지로 "템플릿 수준 사고"를 활용하고 있습니다. 101개의 Q&A 페이지가 하나의 단일 페이지 템플릿을 공유하며, 제목 구조, 브레드크럼, 좌측 책 목차, FAQPage 구조화 데이터가 모두 템플릿에 의해 일괄 출력됩니다. 템플릿을 한 번 수정하면 101페이지가 동시에 적용됩니다. 이것이 "대형 사이트 사고"를 소규모 사이트에 적용한 예입니다:콘텐츠는 채우기로, 구조는 템플릿으로.
3. 프로그래매틱 SEO(Programmatic SEO)
데이터베이스 + 템플릿을 활용해 검색 수요가 있는 페이지를 대량으로 자동 생성합니다:
- 도시 + 서비스 조합 페이지(예: "베이징 인테리어 업체 순위")
- 브랜드 + 모델 비교 페이지
- Q&A 집계 페이지(사용자의 고빈도 질문을 수집해 자동 생성)
핵심 원칙: 각 프로그래매틱 페이지는 반드시 고유한 가치가 있어야 하며, 단순한키워드치환은 안 됩니다. 바이두는 "브리지 페이지"에 대한 제재가 엄격합니다.
4. 패싯 내비게이션과 페이지네이션 전략
패싯 내비게이션(Faceted Navigation)
이커머스 사이트의 필터 조건(색상, 가격, 브랜드)은 방대한 URL 조합을 생성합니다:
- 검색량이 높은 조합은 색인 허용(예: "빨간 원피스")
- 나머지 조합은 noindex 또는 Ajax 로딩 사용(독립 URL 생성 안 함)
- 다음을 사용하여 canonical 메인 카테고리 페이지로 연결
페이지네이션 처리
- 앞 3-5페이지는 색인 허용, 심층 페이지네이션은 noindex
- 전통적 페이지네이션 대신 "더 보기" 사용(페이지 수 감소)
- 크롤러가 내부 링크를 통해 심층 콘텐츠에 접근할 수 있도록 보장
5. 색인 팽창 제어
정기 점검:site:yourdomain.com 의 색인 수가 실제 유효 페이지 수를 크게 초과하는지 확인.
색인 팽창의 흔한 원인:
- 검색 결과 페이지가 색인됨
- Tag 태그 페이지 과다 생성
- 과거에 남겨진 테스트 페이지, 이전 이벤트 페이지
- 다국어/다지역 버전의 hreflang 미적용
6. 부서 간 협업과 거버넌스
대형 사이트의 SEO는 제품, 기술, 운영, 편집 등 여러 팀이 관련됩니다:
- 구축 SEO 요구사항 검토 메커니즘：URL 구조, 페이지 템플릿에 영향을 주는 모든 변경은 SEO 평가 필요
- 제정 SEO 규범 문서：TDK 명명 규칙, URL 규범, 이미지 ALT 표준
- 사용 우선순위 매트릭스：트래픽 영향 × 실행 난이도로 요구사항 정렬
Botify, DeepCrawl, Screaming Frog 같은 엔터프라이즈 도구로 자동화 모니터링과 경보를 구현할 수 있습니다.
실전 제안
- 먼저 로그 분석부터：스파이더의 실제 행동을 파악하는 것이 추측보다 100배 효과적입니다. 로그를 받으면 가장 먼저 크롤링 분포가 합리적인지 확인하세요
- 템플릿 최적화 목록 수립：사이트 내 모든 페이지 템플릿 유형을 나열하고 트래픽 기여도순으로 정렬해 하나씩 최적화 규칙을 수립하세요
- 매월 인덱스 상태 점검 실시：색인량과 유효 페이지 수를 비교해 팽창 발견 시 즉시 처리
