구글 서치콘솔 색인 요청, 새 글이 검색에 안 뜰 때 (절차 4단계)

새로 만든 사이트에 글 20편을 몰아 올리고 사이트맵까지 제출한 뒤, 이제 검색 유입만 기다리면 되겠다고 생각했다. 그런데 6일이 지나도록 구글 검색에 잡히는 건 홈과 목록 페이지 두 개뿐이었고, 나머지 글은 서치콘솔에서 하나같이 "URL이 Google에 등록되어 있지 않음"으로 떴다. 알고 보니 신생 사이트는 크롤 예산이 거의 없어서, 사이트맵만 내고 기다리면 색인까지 몇 주씩 걸리는 게 이상한 일이 아니었다. 이 글에서는 내 글이 색인됐는지 확인하는 법부터 색인 요청 절차, 상태별 원인과 대응표, 요청해도 안 될 때의 보강책, 그리고 어떤 URL부터 요청할지 우선순위까지 순서대로 정리한다.

결론부터 말하면 색인 요청은 마법이 아니다. 신생 사이트에서 진짜 문제는 크롤 예산이 적다는 것이라, 요청 한 번으로 20편이 한꺼번에 들어오지는 않는다. 그래서 핵심은 두 가지다. 하나는 중요한 URL부터 골라 할당량 안에서 색인 요청을 넣는 것, 다른 하나는 이미 색인된 페이지에서 새 글로 내부링크를 걸어 크롤러가 스스로 찾아올 길을 열어 두는 것이다.

내 글이 색인됐는지 확인하는 법 — URL 검사와 site: 검색의 한계

검색에 안 뜬다고 다 색인 문제는 아니다. 순위가 밀려서 안 보이는 것과 아예 색인이 안 된 것은 대응이 완전히 다르다. 그래서 가장 먼저 할 일은 이 글이 색인은 됐는지부터 정확히 가려내는 것이다. 방법은 크게 두 가지인데, 신뢰도가 서로 다르다.

URL 검사 도구 — 한 URL의 실제 상태를 본다

서치콘솔 상단 검색창에 글 주소를 그대로 붙여 넣으면 그 URL이 색인됐는지 아닌지가 바로 나온다. "URL이 Google에 등록되어 있음"이면 색인된 것이고, "등록되어 있지 않음"이면 아직 안 된 것이다. 이게 가장 정확한 방법이라, 나는 특정 글이 왜 안 뜨는지 확인할 때 항상 여기부터 연다.

site: 검색 — 빠르지만 참고용이다

구글에 "site:내도메인"을 치면 색인된 페이지가 대략 나열된다. 한눈에 규모를 보기엔 편하지만 실시간도 아니고 수치도 정확하지 않아서, 여기 안 보인다고 색인이 안 됐다고 단정하면 안 된다. 대략적인 감을 잡는 용도로만 쓰고, 확정은 URL 검사로 한다.

새 글이 색인 안 되는 전형적인 원인 3가지 (신생 사이트)

신생 블로그에서 색인이 막히는 이유는 대개 정해져 있다. 글솜씨 문제가 아니라 크롤러가 글까지 도달하지 못하거나, 도달해도 뒤로 밀리는 구조 문제인 경우가 많다.

신생 도메인은 크롤 예산이 거의 없다

구글은 사이트마다 얼마나 자주, 몇 페이지나 크롤할지를 정해 두는데 이걸 흔히 크롤 예산이라 부른다. 갓 만든 도메인은 신뢰가 쌓이지 않아 이 예산이 아주 적다. 그래서 글을 20편 올려도 구글은 그중 몇 개만 천천히 가지러 오고, 나머지는 순서를 기다리는 상태로 남는다.

내부링크가 없으면 크롤러가 길을 못 찾는다

크롤러는 링크를 타고 페이지를 옮겨 다닌다. 홈이나 목록에서 개별 글로 이어지는 링크가 얕으면, 사이트맵에 주소가 있어도 실제로 그 글까지 도달하는 우선순위가 낮아진다. 목록 페이지 두 개만 색인되고 정작 글은 안 됐던 내 상황이 딱 이 경우였다.

"발견됨"과 "크롤링됨"은 다른 신호다

서치콘솔에서 "발견됨 - 현재 색인이 생성되지 않음"이 보이면, 구글이 URL의 존재는 알지만 아직 크롤하러 오지 않았다는 뜻이다. 크롤 예산이 부족할 때 전형적으로 나타난다. 반대로 "크롤링됨 - 현재 색인이 생성되지 않음"은 크롤은 했지만 색인에서 뺀 것이라, 이쪽은 크롤 경로보다 콘텐츠 품질을 의심해야 하는 신호다.

색인 보고서 상태별 원인·대응표

서치콘솔의 페이지 색인 생성 보고서에는 색인이 안 된 이유가 상태 이름으로 표시된다. 상태마다 공식 설명이 다르고, 그에 따라 색인 요청이 의미가 있는지도 달라진다. 아래 표는 Google 고객센터의 상태 설명을 바탕으로, 신생 블로그에서 자주 보이는 원인과 대응을 붙인 것이다. (출처: Google Search Console 고객센터)

표에서 보듯 색인 요청이 제대로 효과를 내는 상태는 사실상 "발견됨"과 "등록되어 있지 않음" 정도다. 리디렉션·중복·대체 페이지는 구글이 의도대로, 혹은 나름의 판단으로 다른 URL을 대표로 고른 상태라 요청을 넣어도 결과가 바뀌기 어렵다. 이런 URL은 요청 대상에서 빼고, 대표 URL이 색인됐는지만 확인하면 된다.

서치콘솔 색인 요청 절차 — URL 검사에서 색인 생성 요청까지

상태를 확인했다면 색인이 안 된 글을 직접 요청할 수 있다. 절차 자체는 몇 번의 클릭으로 끝나지만, 개별 URL 제출에는 할당량이 있어서 무작정 전부 넣는 건 불가능하다.

• 1. 서치콘솔 상단 검색창에 색인을 원하는 글 주소를 붙여 넣는다
• 2. URL 검사 결과가 뜨면 "색인 생성 요청"을 누른다
• 3. 실시간 테스트가 돌아간 뒤 요청이 대기열에 등록된다
• 4. 며칠 지나 같은 URL을 다시 검사해 "URL이 Google에 등록되어 있음"으로 바뀌었는지 확인한다

요청을 넣는다고 즉시 색인되는 건 아니다. Google 검색 센터 문서도 크롤링은 며칠에서 몇 주까지 걸릴 수 있다고 안내한다. 또 개별 URL 제출에는 할당량이 있고, 같은 URL에 여러 번 요청해도 더 빨리 크롤링되지는 않는다고 명시돼 있다. 글이 수십 편이면 한 번에 다 넣지 못하니 우선순위를 정해 나눠 넣는 게 현실적이다. (출처: Google 검색 센터)

색인 요청해도 안 될 때 — 크롤 경로와 콘텐츠 보강

요청을 넣고 며칠을 기다려도 "발견됨"이나 "크롤링됨" 상태에서 안 넘어가는 글이 생긴다. 이때는 요청을 반복하기보다 왜 구글이 뒤로 미루는지를 손봐야 한다. 원인은 대개 크롤 경로 부족 아니면 콘텐츠 문제다.

가장 효과가 좋았던 건 이미 색인된 페이지에서 새 글로 링크를 거는 것이었다. 크롤러는 신뢰가 쌓인 페이지를 자주 방문하는데, 그 페이지에 새 글 링크가 있으면 자연스럽게 따라 들어온다. 색인된 홈과 목록, 그리고 잘 잡힌 글 본문에서 아직 색인 안 된 글로 링크를 촘촘히 연결하고 나서 색인 속도가 눈에 띄게 붙었다.

"크롤링됨 - 현재 색인이 생성되지 않음"이 계속된다면 크롤 경로보다 콘텐츠 쪽을 봐야 한다. 내용이 얇거나 다른 글과 겹치면 구글이 색인 가치를 낮게 보고 미룬다. 이 판정을 피하는 글의 조건은 저가치 콘텐츠 해결 가이드에 정리해 두었고, 애초에 검색 수요가 있는 주제로 겹치지 않게 쓰는 법은 블로그 키워드 찾는 법에서 다뤘다.

"크롤링됨" 상태 글 점검 체크리스트

크롤링됨 상태는 구글이 이미 글을 읽어 보고 보류한 것이라, 무엇을 고쳤는지가 재요청의 근거가 된다. 아래 항목에서 두 개 이상 걸리면 요청보다 수정이 먼저다.

• 제목의 질문에 대한 답이 첫 두 문단 안에 있는가 — 서론만 길고 답이 뒤에 있으면 보강 대상
• 같은 사이트의 다른 글과 주제·소제목이 절반 이상 겹치지 않는가 — 겹치면 한 편으로 통합 검토
• 이 글에만 있는 요소(비교표, 계산 예시, 체크리스트, 직접 찍은 이미지)가 하나 이상 있는가
• 본문보다 공통 템플릿(메뉴·푸터·관련 글 목록) 비중이 더 크지 않은가
• 이미 색인된 글 2곳 이상에서 이 글로 들어오는 내부링크가 있는가
• 고친 뒤 업데이트 날짜를 갱신하고, 그다음에 색인 요청을 넣었는가

체크리스트를 통과한 글도 바로 색인된다는 보장은 없다. 공식 설명 그대로 "이후에 색인이 생성될 수도 있고 생성되지 않을 수도 있는" 상태이기 때문이다. 그래서 수정한 글은 한 번만 요청하고, 2~3주 정도 지켜본 뒤에도 그대로면 주제 자체를 다른 글과 합치는 쪽을 검토하는 편이 시간 대비 효율이 좋다. 독자가 머무는 구조로 고치는 요령은 체류시간을 늘리는 글 구조를 참고하자.

색인 요청 우선순위 — 어떤 URL부터 넣을까

할당량이 있으니 아무 글이나 순서 없이 넣으면 정작 중요한 글이 밀린다. 아래 기준으로 우선순위를 매겨, 위에서부터 그날 할당량만큼 끊어 요청하면 된다.

가정 시나리오 — 글 30편 신생 블로그의 2주 계획

예를 들어 글 30편을 발행한 신생 블로그에서 색인 보고서를 열었더니 "등록되어 있음" 6편, "발견됨" 16편, "크롤링됨" 5편, "리디렉션이 포함된 페이지" 3편으로 나왔다고 가정해 보자. 숫자는 설명을 위한 가정이다. 이 경우 30편 전부를 요청 목록에 올릴 필요가 없다. 리디렉션 3편은 옛 주소라 제외하고, 크롤링됨 5편은 수정 전까지 보류하면 실제 요청 대상은 발견됨 16편뿐이다.

1·2순위를 먼저 색인시키고 그 페이지들에서 나머지 글로 링크를 걸어 두면, 하위 글 상당수는 따로 요청하지 않아도 색인되는 경우가 많다. 색인 요청은 마중물일 뿐이고, 크롤러가 스스로 돌 수 있는 내부 구조를 만드는 게 결국 더 오래 간다.

이럴 때는 색인 요청하지 말 것

• 리디렉션되는 옛 URL — 최종 도착 URL을 검사하고, 사이트 안 링크를 최종 URL로 바꾸는 게 맞다
• 일부러 noindex를 넣은 페이지(검색 결과 페이지, 로그인·마이페이지 등) — 요청해도 색인되지 않고 할당량만 쓴다
• 같은 URL을 하루에 여러 번 — 공식 문서대로 더 빨리 크롤링되지 않는다
• 내용을 고치지 않은 "크롤링됨" 글을 매주 반복 — 상태가 바뀔 근거가 없다
• Indexing API로 일반 블로그 글 제출 — 이 API는 채용 공고(JobPosting)와 라이브 스트림(BroadcastEvent) 페이지용으로 안내돼 있다 (출처: Google 검색 센터)

자주 묻는 질문

색인 요청하면 얼마 만에 검색에 나오나요?

요청은 대기열에 넣는 것이라 즉시 반영되지 않는다. Google 문서 기준으로 크롤링에는 며칠에서 몇 주가 걸릴 수 있고, 신생 사이트는 그 범위의 뒤쪽일 때가 많다. 색인이 됐다고 곧바로 상위 노출되는 것도 아니다. 색인은 검색에 나올 자격을 얻는 단계일 뿐, 순위는 그다음 문제다.

하루에 색인 요청은 몇 개까지 되나요?

개별 URL 제출에 할당량이 있다는 것은 공식 문서에 나오지만, 구체적인 숫자는 공개돼 있지 않다. 그래서 몇 건이라고 단정하는 정보는 경험치로만 받아들이는 게 좋다. 중요한 건 한도가 있다는 사실이라, 수십 편을 한 번에 넣으려 하기보다 우선순위 상위부터 며칠에 나눠 넣는 게 낫다. 사이트맵 제출은 이 한도와 별개다.

사이트맵을 냈는데도 왜 색인이 안 되나요?

사이트맵은 이런 URL들이 있으니 참고하라고 목록을 건네는 것일 뿐, 색인을 보장하지 않는다. 특히 크롤 예산이 적은 신생 사이트에서는 목록만 받아 두고 실제 크롤은 한참 뒤로 미뤄진다. 그래서 사이트맵 제출과 별개로 개별 색인 요청과 내부링크 보강이 필요하다.

"크롤링됨" 상태인 글은 지우는 게 나을까요?

바로 지울 필요는 없다. 먼저 같은 주제의 다른 글과 합칠 수 있는지 보고, 합친다면 남기는 쪽으로 내용을 옮긴 뒤 지우는 글은 남기는 글로 리디렉션하는 편이 그동안 받은 링크를 잃지 않는다. 독자에게 쓸모가 있는데 아직 얇은 글이라면 체크리스트대로 보강하는 쪽이 먼저다.

정리하면 신생 사이트의 색인 문제는 글이 나빠서가 아니라 크롤 예산이 적고 크롤러가 글까지 갈 길이 없어서인 경우가 많다. 다만 "크롤링됨"은 내용 쪽 신호이니 요청보다 수정이 먼저다. URL 검사로 상태를 확인하고, 상태별 대응표로 요청할 URL과 뺄 URL을 가르고, 이미 색인된 페이지에서 새 글로 링크를 걸어 크롤 경로를 열어 두면 된다. 오늘 할 일은 하나다. 색인 보고서를 열어 내 사이트의 URL이 어떤 상태에 몇 개씩 있는지부터 적어 보자.

다른 가이드