검색 노출
크롤링
새 페이지를 공개해도 검색엔진이 그 URL을 발견하고 내용을 가져와야 읽을 수 있습니다. 검색엔진의 수집 프로그램이 페이지에 접근해 내용을 가져오는 과정을 크롤링이라고 합니다.
페이지가 공개돼도 robots 설정, 서버 오류, 잘못된 링크 구조 때문에 수집되지 않을 수 있습니다. 새 글을 발행한 뒤 URL이 접근 가능한지 확인합니다.
새 페이지를 공개했어도 다른 페이지에서 링크하지 않고 서버가 오류를 반환한다면 검색엔진이 내용을 읽기 어렵습니다.
수집 문제와 콘텐츠 문제를 구별합니다
검색엔진이 URL을 요청할 수 없는 경우에는 글을 더 길게 써도 해결되지 않습니다. 접근 권한, 서버 상태, robots 지시, JavaScript로만 보이는 핵심 본문을 확인합니다. 사이트맵은 URL을 알리는 데 도움이 될 수 있지만 실제 수집이나 색인을 보장하지 않습니다. robots.txt로 크롤링을 막는 것과 noindex로 검색 색인에서 제외하도록 요청하는 것은 다릅니다. robots.txt로 막힌 페이지의 noindex는 검색봇이 읽지 못할 수 있으므로 두 설정을 함께 쓸 때 특히 확인해야 합니다.
반대로 정상적으로 크롤링되는데 검색 성과가 낮다면 기술 문제만 찾지 말고 페이지의 질문과 답을 봅니다. 같은 내용을 여러 URL에 반복했다면 검색엔진이 대표 페이지를 다르게 선택할 수 있습니다. 검색엔진 도구의 URL 검사와 실제 브라우저 화면을 함께 보아 수집 가능한 원문이 무엇인지 확인합니다.
수집 문제를 어디서 확인하나요?
수집되지 않는 URL은 다음 순서로 좁혀 봅니다.
- URL 검사: 마지막 수집 시점과 표시된 오류를 확인합니다.
- 서버 응답: 응답 코드와 리디렉션 경로를 확인해 특정 URL 문제인지 사이트 전체 문제인지 나눕니다.
- 발견 경로: 목록 페이지와 내부 링크에서 해당 URL로 갈 수 있는지 봅니다.
- 다음 단계: 수집이 확인되면 인덱싱 상태를 별도로 확인합니다.