애드센스 크롤러 오류, 수익 손실 막는 해결책 3가지

워드프레스를 야심 차게 개설하고 처음 6개월 동안은 정말 온 힘을 다해 글을 썼습니다. 매일 밤을 새우다시피 하며 정성껏 포스팅을 쌓아 올렸지만, 이상하게도 검색 유입은 제자리걸음이었고 애드센스 수익은 처참한 수준을 벗어나지 못했습니다. 처음에는 ‘내 글의 품질이 부족한가’ 싶어 이미 발행한 본문을 수없이 뜯어고치고 수정하기를 반복했습니다. 하지만 진짜 원인은 글의 내용이나 완성도에 있었던 것이 아니었습니다. 어느 날 답답한 마음에 구글 서치 콘솔과 애드센스 정책 센터를 꼼꼼히 들여다보다가 마주한 붉은색 경고장, 바로 애드센스 크롤러 오류가 제 블로그의 성장판을 가로막고 있던 진짜 주범이었습니다.

구글 검색 결과를 만들기 위해 정보를 수집하는 일반 구글봇(Googlebot)과 달리, 애드센스 전용 크롤러(Mediapartners-Google)는 독자가 광고가 게재된 페이지에 접속해 광고 요청을 보낼 때 실시간으로 해당 페이지를 추적하여 문맥을 읽어냅니다. 즉, 크롤러의 진입로를 미세하게라도 차단해 버리면 광고 송출에 즉각적인 비상이 걸려 직접적인 수익 손실로 이어지게 됩니다. 저 역시 이 문제로 며칠 동안 머리를 싸매며 밤을 지새웠던 기억이 생생합니다. 그때 직접 몸으로 부딪치며 해결했던 결정적인 원인 3가지와 명확한 해결책을 하나씩 정리해 드리겠습니다.

우리가 무심코 잠가버린 대문: robots.txt 애드센스 차단 문제

블로그를 처음 구축하던 초창기 시절, 사이트가 덜 만들어진 모습을 남들에게 보여주고 싶지 않아 최상위 경로에 있는 robots.txt 파일 설정을 손보았습니다. 모든 검색 로봇의 접근을 완전히 차단하는 명령어를 넣어둔 채 작업을 진행했던 것입니다. 이후 사이트가 어느 정도 정돈되자 기쁜 마음으로 애드센스를 신청했지만, 제가 받은 피드백은 “사이트를 사용할 수 없음”이라는 차가운 거절 메시지뿐이었습니다. 원인을 추적해 보니, 작업이 끝난 뒤 robots.txt의 차단 설정을 원래대로 되돌려 놓는 것을 까맣게 잊어버린 탓이었습니다. 문제를 인지하자마자 서버 루트 경로의 robots.txt 파일을 아래와 같이 즉시 수정해 주었습니다.

[기존 차단 설정 (Before)]
User-agent: *
Disallow: /

[수정 후 허용 설정 (After)]
User-agent: *
Disallow: /wp-admin/

User-agent: Mediapartners-Google
Allow: /

핵심 관리자 페이지인 wp-admin 경로를 제외한 모든 영역의 문을 활짝 열어두고, 특히 Mediapartners-Google이라는 애드센스 전용 로봇의 접근을 명시적으로 허용하는 규칙을 추가했습니다. 이렇게 설정을 바로잡고 이틀 정도 지나자, 꽉 막혀 있던 진입로가 뚫리며 정상적으로 애드센스 승인이 떨어졌고 기다리던 광고가 매끄럽게 송출되기 시작했습니다. 이처럼 잘못 건드린 로봇 텍스트 설정은 초보 운영자들이 가장 자주 겪는 대표적인 애드센스 크롤러 오류의 원인이 되므로 가장 먼저 살펴보아야 합니다.

우체부를 쫓아내는 과도한 방화벽: 클라우드플레어 차단 해제

블로그의 규모가 점점 커지면서 예상치 못한 외부 스팸 공격이나 악성 디도스 공격을 막아야 할 필요성을 느꼈습니다. 이를 위해 보안 성능이 뛰어난 Cloudflare(클라우드플레어) 웹 방화벽(WAF) 설정을 다소 타이트하게 강화했습니다. 하지만 보안 장벽을 높이자마자 정책 센터에 광고 수집 실패 경고가 무더기로 쌓이기 시작했고, 하루아침에 수익이 반토막 나는 조마조마한 상황을 겪었습니다. 방화벽이 악성 공격자뿐만 아니라 우리에게 광고를 배달하러 온 구글의 착한 크롤러까지 위험 요인으로 오인해 차단해 버린 것입니다. 이 문제를 해결하기 위해 클라우드플레어 관리자 화면으로 들어가 구글봇을 위한 방화벽 예외 규칙(Bypass)을 꼼꼼하게 설정했습니다.

• 방화벽 화이트리스트 규칙에 Mediapartners-Google의 User-Agent 요청이 들어오면 무조건 통과(Bypass)시키도록 등록했습니다.
• 또한 구글 크롤러가 사용하는 공식 IP 대역이 차단 필터나 챌린지(CAPTCHA) 화면에 걸려 멈추지 않도록 정교하게 예외 규칙을 지정해 두었습니다.

스팸과 공격은 든든하게 막아내면서 구글의 크롤링 로봇은 가볍게 통과시키는 영리한 조치 덕분에, 거짓말처럼 사흘 만에 정책 센터의 경고가 사라졌습니다. 이러한 보안 솔루션의 오작동 역시 예기치 못한 애드센스 크롤러 오류를 유발하는 강력한 요인 중 하나입니다.

비밀번호 뒤에 숨은 콘텐츠: 애드센스 크롤러 액세스 지정

특정 회원들이나 이웃들만 볼 수 있도록 로그인 과정을 거쳐야 하는 폐쇄형 게시판이나 비밀번호가 걸린 페이지에 애드센스 광고를 삽입한 적이 있었습니다. 그런데 글을 불러와도 광고는 나오지 않고 회색빛의 텅 빈 상자만 덩그러니 노출되는 현상이 반복되었습니다. 비밀번호라는 단단한 장벽 뒤에 숨겨진 본문을 크롤러가 읽지 못하니, 어떤 광고를 매칭해야 할지 판단을 내리지 못해 빈 화면을 띄운 것이었습니다. 이러한 접근 제약 상황도 블로그 운영 중에 아주 흔하게 겪는 애드센스 크롤러 오류 유형인데, 다행히 애드센스 콘솔 내부에서 지원하는 자체 도구를 통해 간단하게 실마리를 찾을 수 있었습니다.

• 우선 구글 애드센스 홈페이지에 로그인한 뒤 왼쪽 메뉴에서 [계정] ➔ [액세스 및 승인] ➔ [크롤러 액세스] 메뉴 순서로 차근차근 이동합니다.
• 화면에 보이는 [로그인 정보 추가] 버튼을 클릭하고, 크롤러가 안전하게 들어와서 본문을 읽을 수 있도록 임시로 만든 테스트용 계정의 아이디, 비밀번호와 함께 해당 로그인 페이지의 URL을 정확히 입력해 줍니다.

배고픈 크롤러에게 마음껏 드나들 수 있는 마스터키를 건네주자, 로봇이 스스로 로그인하여 페이지 안의 맥락을 완벽하게 분석해 냈습니다. 그 이후로는 고단가의 관련성 높은 광고들이 제자리를 찾아 정상적으로 매끄럽게 노출되는 모습을 확인할 수 있었습니다.

구글 공식 문서로 이해하는 애드센스 크롤러 오류 작동 원리

골치 아픈 문제들을 하나하나 직접 해결해 나가면서, 근본적인 작동 원리를 배우고 싶어 구글 애드센스 고객센터(Google AdSense Help) 공식 도움말 문서를 정독하며 공부했습니다. 구글이 제시하는 명확한 기술 기준과 원리를 가슴에 새기고 나니, 불필요하게 가슴을 졸이던 심각한 불안감에서 비로소 벗어날 수 있었습니다.

우선, 공식 가이드에 따르면 수집 과정에서 나타나는 오류는 크게 서버 자체의 일시적인 문제, 잘못된 사이트 경로 설정, 그리고 호스팅 업체의 보안 차단 등 세 가지 범주로 명확하게 분류됩니다. 이렇게 애드센스 크롤러 오류의 성격을 정확하게 인지하고 대처하면 문제 해결 시간을 획기적으로 줄일 수 있습니다.

또한, 애드센스 수집 보고서는 실시간으로 매시간 반영되는 시스템이 아니며 대략 주 1회 간격으로 갱신됩니다. 따라서 우리가 설정을 올바르게 고쳤다고 하더라도 정책 센터의 경고 표시가 즉시 사라지지 않으므로, 조급해하지 말고 일주일 정도는 차분한 마음으로 기다려야 합니다.

마지막으로, 이미 삭제하여 완전히 사라진 예전 페이지 때문에 발생하는 404 수집 오류의 경우, 해당 유효하지 않은 페이지에 더 이상 광고 코드가 삽입되어 있지 않다면 굳이 억지로 조치를 취할 필요가 없습니다. 구글의 영리한 시스템이 수집 실패를 거듭하면서 스스로 수집 시도 빈도를 점차 줄여나가고, 결국 몇 주 뒤에는 오류 기록 자체를 자동으로 완전히 소멸시키기 때문입니다.

과거의 저는 그저 남들처럼 매력적인 글쓰기 기교나 현란한 키워드 배치에만 몰두했었습니다. 하지만 아무리 아름다운 정원을 정성껏 꾸며놓아도 대문이 굳게 잠겨 있다면 손님을 단 한 명도 들일 수 없다는 뼈아픈 이치를 깊이 깨달았습니다. 그 사건 이후로는 새로운 블로그를 구축하거나 스킨을 교체할 때, 가장 먼저 크롤러가 드나들 수 있는 길목이 안전하게 열려 있는지를 확인하는 습관이 몸에 배었습니다.

지금 이 순간에도 애드센스 정책 센터에 켜진 빨간색 경고등을 바라보며 한숨을 쉬고 계신다면, 오늘 당장 망설이지 말고 여러분 사이트의 루트 디렉토리에 있는 robots.txt 파일의 상태부터 가볍게 들여다보세요. 소중한 Mediapartners-Google의 접근 허용 상태를 점검하는 단순한 행동 하나만으로도 까다로운 애드센스 크롤러 오류의 상당 부분을 명쾌하게 해결하고, 한동안 꺾여 있던 소중한 광고 수익을 원래의 궤도로 기분 좋게 되돌려놓을 수 있습니다. 점검을 직접 해보시다가 막히는 부분이 생기거나, 혹은 설정을 변경한 뒤에 겪은 크고 작은 변화들이 있다면 언제든 아래 댓글로 편하게 나누어 주세요. 저와 같은 고민을 겪고 계신 동료의 눈높이에서 늘 함께 고민하고 친절하게 이야기를 나누어 드리겠습니다.