구글 서치콘솔 색인 요청, 새 글이 검색에 안 뜰 때 (절차 4단계)

새로 만든 사이트에 글 20편을 몰아 올리고 사이트맵까지 제출한 뒤, 이제 검색 유입만 기다리면 되겠다고 생각했다. 그런데 6일이 지나도록 구글 검색에 잡히는 건 홈과 목록 페이지 두 개뿐이었고, 나머지 글은 서치콘솔에서 하나같이 "URL이 Google에 등록되어 있지 않음"으로 떴다. 알고 보니 신생 사이트는 크롤 예산이 거의 없어서, 사이트맵만 내고 기다리면 색인까지 몇 주씩 걸리는 게 이상한 일이 아니었다. 이 글에서는 내 글이 색인됐는지 확인하는 법부터 색인 요청 절차, 요청해도 안 될 때의 보강책, 그리고 어떤 URL부터 요청할지 우선순위까지 직접 겪은 순서대로 정리한다.

결론부터 말하면 색인 요청은 마법이 아니다. 신생 사이트에서 진짜 문제는 크롤 예산이 적다는 것이라, 요청 한 번으로 20편이 한꺼번에 들어오지는 않는다. 그래서 핵심은 두 가지다. 하나는 중요한 URL부터 골라 하루 한도 안에서 색인 요청을 넣는 것, 다른 하나는 이미 색인된 페이지에서 새 글로 내부링크를 걸어 크롤러가 스스로 찾아올 길을 열어 두는 것이다.

내 글이 색인됐는지 확인하는 법 — URL 검사와 site: 검색의 한계

검색에 안 뜬다고 다 색인 문제는 아니다. 순위가 밀려서 안 보이는 것과 아예 색인이 안 된 것은 대응이 완전히 다르다. 그래서 가장 먼저 할 일은 이 글이 색인은 됐는지부터 정확히 가려내는 것이다. 방법은 크게 두 가지인데, 신뢰도가 서로 다르다.

URL 검사 도구 — 한 URL의 실제 상태를 본다

서치콘솔 상단 검색창에 글 주소를 그대로 붙여 넣으면 그 URL이 색인됐는지 아닌지가 바로 나온다. "URL이 Google에 등록되어 있음"이면 색인된 것이고, "등록되어 있지 않음"이면 아직 안 된 것이다. 이게 가장 정확한 방법이라, 나는 특정 글이 왜 안 뜨는지 확인할 때 항상 여기부터 연다.

site: 검색 — 빠르지만 참고용이다

구글에 "site:내도메인"을 치면 색인된 페이지가 대략 나열된다. 한눈에 규모를 보기엔 편하지만 실시간도 아니고 수치도 정확하지 않아서, 여기 안 보인다고 색인이 안 됐다고 단정하면 안 된다. 대략적인 감을 잡는 용도로만 쓰고, 확정은 URL 검사로 한다.

새 글이 색인 안 되는 전형적인 원인 3가지 (신생 사이트)

내 사이트가 그랬듯, 신생 블로그에서 색인이 막히는 이유는 대개 정해져 있다. 글솜씨 문제가 아니라 크롤러가 글까지 도달하지 못하거나, 도달해도 뒤로 밀리는 구조 문제인 경우가 많다.

신생 도메인은 크롤 예산이 거의 없다

구글은 사이트마다 얼마나 자주, 몇 페이지나 크롤할지를 정해 두는데 이걸 흔히 크롤 예산이라 부른다. 갓 만든 도메인은 신뢰가 쌓이지 않아 이 예산이 아주 적다. 그래서 글을 20편 올려도 구글은 그중 몇 개만 천천히 가지러 오고, 나머지는 순서를 기다리는 상태로 남는다.

내부링크가 없으면 크롤러가 길을 못 찾는다

크롤러는 링크를 타고 페이지를 옮겨 다닌다. 홈이나 목록에서 개별 글로 이어지는 링크가 얕으면, 사이트맵에 주소가 있어도 실제로 그 글까지 도달하는 우선순위가 낮아진다. 목록 페이지 두 개만 색인되고 정작 글은 안 됐던 내 상황이 딱 이 경우였다.

"발견됨 - 현재 색인 생성되지 않음" 상태

서치콘솔에서 이 상태가 보이면, 구글이 URL의 존재는 알지만 아직 크롤하러 오지 않았다는 뜻이다. 크롤 예산이 부족할 때 전형적으로 나타난다. 반대로 "크롤링됨 - 현재 색인 생성되지 않음"은 크롤은 했지만 색인에서 뺀 것이라, 이쪽은 크롤 경로보다 콘텐츠 품질을 의심해야 하는 신호다.

서치콘솔 색인 요청 절차 — URL 검사에서 색인 생성 요청까지

상태를 확인했다면 색인이 안 된 글을 직접 요청할 수 있다. 절차 자체는 몇 번의 클릭으로 끝나지만, 하루에 넣을 수 있는 양에 한도가 있어서 무작정 전부 넣는 건 불가능하다.

• 1. 서치콘솔 상단 검색창에 색인을 원하는 글 주소를 붙여 넣는다
• 2. URL 검사 결과가 뜨면 "색인 생성 요청"을 누른다
• 3. 실시간 테스트가 돌아간 뒤 요청이 대기열에 등록된다
• 4. 며칠 지나 같은 URL을 다시 검사해 "색인 생성됨"으로 바뀌었는지 확인한다

요청을 넣는다고 즉시 색인되는 건 아니다. 대기열에 올라가는 것일 뿐이고, 반영까지는 짧으면 하루 이틀, 길면 그 이상 걸린다. 게다가 하루에 개별 요청할 수 있는 URL 수에 한도가 있어서, 글이 수십 편이면 한 번에 다 넣지 못한다. 그래서 우선순위를 정해 나눠 넣는 게 현실적이다.

색인 요청해도 안 될 때 — 크롤 경로와 콘텐츠 보강

요청을 넣고 며칠을 기다려도 "발견됨"이나 "크롤링됨" 상태에서 안 넘어가는 글이 생긴다. 이때는 요청을 반복하기보다 왜 구글이 뒤로 미루는지를 손봐야 한다. 원인은 대개 크롤 경로 부족 아니면 콘텐츠 문제다.

가장 효과가 좋았던 건 이미 색인된 페이지에서 새 글로 링크를 거는 것이었다. 크롤러는 신뢰가 쌓인 페이지를 자주 방문하는데, 그 페이지에 새 글 링크가 있으면 자연스럽게 따라 들어온다. 나는 색인된 홈과 목록, 그리고 잘 잡힌 글 본문에서 아직 색인 안 된 글로 링크를 촘촘히 연결하고 나서 색인 속도가 눈에 띄게 붙었다.

"크롤링됨 - 색인 생성되지 않음"이 계속된다면 크롤 경로보다 콘텐츠 쪽을 봐야 한다. 내용이 얇거나 다른 글과 겹치면 구글이 색인 가치를 낮게 보고 미룬다. 이 판정을 피하는 글의 조건은 저가치 콘텐츠 해결 가이드에 정리해 두었고, 애초에 검색 수요가 있는 주제로 겹치지 않게 쓰는 법은 블로그 키워드 찾는 법에서 다뤘다.

색인 요청 우선순위 — 어떤 URL부터 넣을까

하루 한도가 있으니 아무 글이나 순서 없이 넣으면 정작 중요한 글이 밀린다. 나는 아래 기준으로 우선순위를 매겨, 위에서부터 하루 한도만큼 끊어 요청했다.

실제로 1·2순위를 먼저 색인시키고 그 페이지들에서 나머지 글로 링크를 걸어 두자, 하위 글 상당수는 따로 요청하지 않아도 며칠 안에 색인됐다. 색인 요청은 마중물일 뿐이고, 크롤러가 스스로 돌 수 있는 내부 구조를 만드는 게 결국 더 오래 간다.

자주 묻는 질문

색인 요청하면 얼마 만에 검색에 나오나요?

요청은 대기열에 넣는 것이라 즉시 반영되지 않는다. 빠르면 하루 이틀, 신생 사이트는 그보다 더 걸리기도 한다. 색인이 됐다고 곧바로 상위 노출되는 것도 아니다. 색인은 검색에 나올 자격을 얻는 단계일 뿐, 순위는 그다음 문제다.

하루에 색인 요청은 몇 개까지 되나요?

개별 URL 색인 요청에는 하루 한도가 있고, 그 수는 공식 고객센터 기준으로도 크게 공개돼 있지 않다. 중요한 건 한도가 있다는 사실이라, 수십 편을 한 번에 넣으려 하기보다 우선순위 상위부터 며칠에 나눠 넣는 게 낫다. 사이트맵 제출은 이 한도와 별개다.

사이트맵을 냈는데도 왜 색인이 안 되나요?

사이트맵은 이런 URL들이 있으니 참고하라고 목록을 건네는 것일 뿐, 색인을 보장하지 않는다. 특히 크롤 예산이 적은 신생 사이트에서는 목록만 받아 두고 실제 크롤은 한참 뒤로 미뤄진다. 그래서 사이트맵 제출과 별개로 개별 색인 요청과 내부링크 보강이 필요하다.

정리하면 신생 사이트의 색인 문제는 글이 나빠서가 아니라 크롤 예산이 적고 크롤러가 글까지 갈 길이 없어서인 경우가 많다. URL 검사로 상태를 확인하고, 우선순위대로 색인을 요청하고, 이미 색인된 페이지에서 새 글로 링크를 걸어 크롤 경로를 열어 두면 된다. 오늘 할 일은 하나다. 서치콘솔 URL 검사에 안 뜨는 글 주소 하나를 넣어, 지금 어떤 상태인지부터 확인하자.

다른 가이드