구글서치콘솔 메일, "색인이 생성되었으나 robots.txt에 의해 차단됨"

차례

"색인이 생성되었으나 robots,txt에 의해 차단됨" 오류 발생

 

구글서치콘솔로 부터 지난 번에 받은 "itemListElement 입력란이 누락되었습니다"라는 오류 메시지에 이어 이번에는 "색인 생성범위문제가 일부 해결되지 않았습니다"라는 오류 메시지를 받았다

정확히 무슨 오류인지 알 수 없지만 아래 그림과 같이 내용을 보면 "색인이 생성되었으나  robots.txt에 의해 차단됨"이라는 문제라고 알려주고 있다.    구글로 부터 이 정도의 안내 메일을 받은 것이면 대단히 친절하게 안내해준 편이다.  더 이상의 자세한 안내를 받기를 원하면 영문사이트로 가서 몇 페이지에 걸친 장황한 도움말을 읽어봐야 한다.

 

사실 내 수준으로는 도움말을 읽어봐도 무슨 내용인지 이해하기가 어렵다.  그래서 나름대로의 해결 방법을 찾아봐야 한다. 

일단 "문제 세부정보 보기"를 클릭해서 찾아가 보자

 

 

 

 

 

오류 내용 확인

 

"문제 세부정보 보기" 버튼을 클릭하고 구글서치콘솔로 찾아들어와 보면 아래 그림과 같은 안내를 볼 수 있다.  유효성 검사 상태가 실패함으로 된 것을 볼 수 있다.

 

우측의 "세부정보 보기" 버튼을 클릭하면 아래 쪽으로 좀 더 세부내용이 풀다운되어 나타난다.

 

세부정보라고 나온 내용은 

https://**********.tistory.com/manage 와 

https://**********.tistory.com/manage/entry/post 에서 문제가 발생하였다고 보여주고 있다

 

위의 두개의 링크에는 공통으로 manage라는 항목이 있는데 이것은 블로그에서 관리자모드에 있는 경로를 의미하며, 블로그의 관리자만 열람할 수 있고 블로그 방문자는 내용을 볼 수 없도록 차단되어있다.   차단은 티스토리에서 기본적으로 설정된 것이어서 관리자가 별도로 개방할 수 있는 권한도 없다.

 

따라서 문제를 유추해보면,

구글서치가 나름대로 이 티스토리를 크롤링해서 "https://**********.tistory.com/manage"와 같은 경로를 찾아서 구글의 검색에 연결하려 하는데 티스토리는 이 경로가 관리자모드임으로 당연히 크롤링을 차단함으로써 발생된 오류라고 본다.

 

이 문제는 구글의 robots이 티스토리의 관리자모드에 접근하려 한데서 비롯된 것임으로 해결방법은 robot이 티스토리 관리자모드에는 접근하지 말라고 알려주면 되고 이는 robots.txt에 작성해서 블로그 홈페이지의 root에 올려놓으면 된다.

 

하지만 위 해결방법은 티스토리에서 적용할 수가 없다

이유는 블로그관리자는 티스토리의 스킨편집권한은 있어도 티스토리의 폴더나 파일을 생성 편집할 수 있는 권한은 없기 때문이다. 

 

구글링을 해보면 많은 사람들이 나와 동일한 문제를 경험했고 해결방법도 위의 그림과 같이 거의 동일하게 제시하고 있다

 

즉, 위의 오류는 관리자 잘못에 의한 오류가 아니고 또한, robots.txt를 수정할 수도 없으니 현재로서는 그냥 무시하는 것이 답이라는 것이다

 

그러면 진짜 아무 조치도 안하고 무시하는게 정답일까?

 

이 오류를 해결하지 않으면 1-2주 지나 구글서치로 부터 또 동일한 오류메시지를 지속적으로 귀찮도록 받게될 수도 있다.   또한, 나는 현재 구글애드를 승인받은 상태도 아니고, 2차례 구글애드 승인이 거부된 상태이어서 승인나기를 기다리고 있는 상황인데 이 오류가 심사항목의 하나가 되어 또 탈락될 수도 있지 않은가해서 결코 무시할 수가 없다

 

최선이 아니면 차선이라도 찾아보자

 

 

 

내가 선택한 해결 차선책

 

구글서치콘솔에 들어가서 좋은 해결방법이 없을까 찾아보다가 차선책으로 사용할 만한 메뉴를 발견하였다.

바로 구글서치에 등록된 경로를 삭제해달라고 구글서치에 등록하는 것이다

 

단, 이 방법의 단점은 영구적으로 삭제하는 것이 아니고 6개월동안만 삭제하였다가 다시 복원한다는 것이다.   이것이 바로 차선책이라고 한 이유이다.

 

아무튼 구글서치콘솔에서 '삭제'메뉴를 클릭하고 '새요청' 버튼도 클릭해보자

그리고 이전에 오류메시지에서 나왔던 manage 경로를 복사해놓는다.

하위 경로를 모두 포함하기위해 아래에 있는 "이 접두어가 포함된 모든 URL 삭제"를 선택한다.

 

"다음" 버튼을 클릭하여 다음으로 진행한다

 

 

이 접두어가 포함된 모든 URL을 삭제하시겠습니까?

 

예. "요청 제출" 버튼을 클릭하여 다음으로 진행한다

 

 

 

 

아래와 같이 차단되었던 경로가 등록된 것을 확인할 수 있다.

manage의 하위경로는 모두 삭제를 선택하였지만 혹시나 하여 하위경로인 post까지도 삭제요청하였다.

 

 

이제 최소 6개월간은 구글로 부터 동일한 오류메시지를 받지 않아야 하는데 다시 동일한 메시지를 받게 된다면 이 방법은 정확한 해결방법이 아닐꺼다. 

 

오늘이 2020년 3월 16일이니 2020년 9월 15까지 오류메시지가 오지 않을 경우 이 방법이 유효한 것이라고 결과를 기록하도록 하겠다.  물론 그 이전에 동일한 오류메시지를 받게 되면 이 방법이 유효하지 않다고 결과를 기록해야겠지 ㅎ

 

블로그 운영에 초보이다보니 관련 지식이 많이 부족하고 처음 시도하는 것들에 대한 100퍼센트 정답이라는 자신감이 생기지 않는 것 같다.  현재 시도한 방법이 유효한지 여부를 누군가가 판단해준다면 참 좋을 것 같다는 생각을 항상 하게 된다 

 

 

2020년 3월 26일 내용업데이트 ***

 

구글서치에서 또다른 itemListElement 관련 오류가 있다는 메시지를 받아서 해결하는 과정에 구글서치콘솔에 들어가보니 robots.txt 차단 메시지가 아직도 남아있어서 계속 찜찜하게 느껴지길래 구글링해서 해결방법을 찾았다

 

<itemListElement 문제 해결보기>

2020/03/26 - [IT/블로그관리] - 구글서치콘솔 메일받음 "itemListElement 입력란이 누락되었습니다."

 

일단 아래 그럼처럼 3개의오류  Url이 있다.  3개이지만 2개는 manage와 같은 경로를 사용함으로 실제로는 2개의 url만 해결하면 된다

 

일단 에러메시지를 다시 생각해본다

"색인이 생성되었으나 robots.txt에 의해 차단됨"

이 메시지의 의미는 구글봇이 상기 3개의 url을 찾아서 색인으로 생성을 했는데 막상 들어가서 내용을 확인하려고 하니 들어갈 수가 없다는 의미이다.  결과는 구글이 개인의 관리자모드로 접근하려고 하닌 차단하는 것이 당연한 것이다.

그러나 구글에 전화해서 그곳은 관리자모드이니까 접근하지 말라고 전화를 할 수도 없으니 뭔가 조치를 취해야 다음부터는 오류라 인식안하고 아예 접근을 안하게 될 것이다.

 

구글 도움말을 찾던 중에 적정한 url을 찾아서 아래 링크를 넣는다

 

이미지를 클릭하면 구글 robots.txt 테스토로 이동합니다

 

 

 

 

아래 그림은 robots.txt 테스터로 이동하여 내용을 수정한 화면이다

Disallow : ***** 로 표시된 경로는 구글봇이 아예 접근하지 않으며 오류라고 표시하지 않게 된다

Allow: / 라고 되어있는 부분은 Diallow로 지정된 경로 이외에는 모두 색인생성을 허용하겠다는 의미이다

이곳에 "/manage" 와 "/m/search" 경로가 Disallow 되어있는 지 확인하고 없으면 추가하고 아래 제출버튼을 클릭하도록 하자

 

 

 

 

제출버튼을 클릭하면 아래와 같은 팝업창이 뜨는데 "제출" 버튼을 클릭하면 방금 수정한 robots.txt 내용이 구글로 전송된다.

 

robots.txt 수정 제출이 완료되었으면 실제로 구글봇이 차단을 잘 하고 있는지 테스트를 해보자

예로 글쓰기 경로인 "/manager/entry/post/"를 입력하고 테스트 버튼을 클릭하면 아래 그림과 같이 "차단됨"이라는 빨간 글씨가 보인다.  차단이 성공적으로 잘 된 것이다

 

 

 

아래 그림과 같이 유효성 검사가 다시 시작되었다.  이제 구글로 부터 결과를 기다리면 된다.

 

 

그런데 위의 robots.txt 테스터 그림에서 경고 1개가 보인다

경고 내용은 

"Crawl-delay: 30"

이라고 나와 있는데, 의미는 구글이 블로그를 읽어가는데 걸리는 시간이 30초(?)라는 것이다.  30이상이면 시간이 많이 걸린다고 경고 메시지를 주는 것이다.  블로그에 뭔가 시간 지연을 시키는 요소가 있는 것 같다.

 

기회가 되면 이 문제에 대해 별도 포스팅으로 올릴 예정이다