문서의 임의 삭제는 제재 대상으로, 문서를 삭제하려면 삭제 토론을 진행해야 합니다. 문서 보기문서 삭제토론 네이버 (문단 편집) === 검색 로봇 거부 규약 === 검색 엔진들은 검색 로봇(통칭 봇)을 이용하여 검색 데이터를 제공한다. 따라서 웹 사이트 주인이 특정 검색 봇을 거부할 수 있도록 정해진 규약 또한 존재한다.([[http://www.robotstxt.org/|#]]) 그러나 "NaverBot"[* 영어로 쓴 이유는 NaverBot이 봇의 이름이며, "네이버에서 사용하는 봇"으로 오인하는 것을 방지하기 위함이다. 네이버는 2005년 이전까지 이 NaverBot을 사용했으며, 2005년 이후로는 "Yeti"라는 검색 봇 거부 규약을 준수하는 새로운 봇을 사용하고 있다.]은 이러한 규약을 완벽히 무시하였다.[* [[robots.txt]]는 어디까지나 강제가 아니라 자율적인 규약이다. 따라서 해당 봇이 robots.txt 파일을 읽지 않거나, 읽더라도 무시하고 크롤링을 할 경우 이를 막을 방법이 없다.] 이에 따라 사이트 운영자들은 User-Agent[* 해당 웹페이지를 요구하는 브라우저와 같은 클라이언트에 대한 간략한 설명으로, HTTP 헤더에 존재한다.]를 이용한 블랙리스트를 활용하였다. 이렇게 되면 강제적인 접근이 불가능하므로 네이버는 봇의 User-Agent를 짧게는 3개월, 길게는 6개월 정도의 간격으로 바꾸는 방법을 사용했다.[* 신분증을 바꾼다고 생각하면 된다.] 초기 네이버 측은 이를 부인했으나, 개인 IP에서 네이버 봇이 자료를 긁어간 흔적이 공개 되었고 User-Agent 블랙리스트를 이용해 접근을 금지해도 Naverbot5.0, 6.0, 7.0, inbot 5.0 등 UA를 바꿔서 필터를 피해가는 방법으로 페이지를 긁어갔으며 심지어는 [[구글|Google]]의 GoogleBot을 사칭하는 등 기행을 반복했다.[* 구글의 봇과 1글자 차이로 GoogleBot.을 사용하는 것까지 확인되었다.] 게다가 봇 스크립트의 오류인지 같은 페이지를 5분 간격으로 재크롤링하거나 무작위 파일 이름을 대입하여 공개되지 않은 파일에 액세스하는 등 검색 봇으로 보기 힘든 행동을 반복했다.[* 참고로 이러한 행동은 해킹 전 사이트 취약점을 알아내기 위해 자주 사용하는 방법이다(...). 이런 방식을 통해 사이트에서 링크를 타고는 접근할 수 없지만 GET메서드로는 접근 가능한 페이지를 찾아낼 수 있다. 예를들면 웹훅(이건 POST긴 하지만), 어드인 로그인 페이지, API 엔드포인트(SPA의 경우 devToool을 열고 네트워크 탭만 조사해봐도 api서버를 금방 찾을 수 있다)등등을 알아낼 수 있다.] 이러한 비판은 [[파코즈]] 등의 컴퓨터 전문 사이트에서 대두화 되었으나 묻혔으며, 오히려 해외에선 대대적으로 다루고 있다. 특히 네이버 재팬이 있는 [[일본]]의 [[위키백과]](일본어판)에선 네이버 봇이라는 항목을 만들어 이러한 행동을 비판하고 있다. * [[http://offree.net/entry/NaverBot-Yeti|링크 1]] * [[http://weboffice.egloos.com/1090959|링크 2]] * [[http://ja.wikipedia.org/wiki/NaverBot|일본 위키백과 네이버봇 항목]] 다만 [[워드프레스]]닷컴의 블로그 글들은 긁어모으지 못한다. 과거에는 타사가 서비스하는 곳은 긁어오면서 자사의 영역은 루트의 robots.txt를 지정, 타사 검색 엔진의 접근을 거부했고 [[구글]]로 대표되는 표준 규정을 지키는 검색 엔진은 네이버의 자료를 읽을 수 없었다. 그 결과 [[엠파스]]의 '열린검색'과 관련된 일련의 일들로 엠파스에서 네이버의 자료를 검색에 표시한 적이 있다. 이에 대해 네이버 측은 [[내로남불|자신들의 자료를 이용한다고 항의하였으나]] 검색 엔진이란 거 자체가 그냥 웹에서 공개 자료를 긁어오는 거라 설득력이 없었고 이 일로 인해 타 검색엔진 막기나 미칠 듯한 스캐닝 등 네이버의 정책이 널리 알려져 엠파스로 인해 네이버의 자원이 소모된다는 식의 동정론 만들기도 실패했다. 네이버는 게시물 링크 구조를 싹 갈아치워 링크 사이에 일종의 시간값(hash)을 넣어서 오래 전에 검색된 링크들을 죄다 막았다. 그런데 일반 사용자들이 홈페이지 등에 올린 링크(뉴스나 카페 관련 글들)도 모조리 막히고 말았다. 이에 결국 구글에서도 검색이 가능하도록 바뀌어서 검색 편의성은 완화되었다.저장 버튼을 클릭하면 당신이 기여한 내용을 CC-BY-NC-SA 2.0 KR으로 배포하고,기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다.이 동의는 철회할 수 없습니다.캡챠저장미리보기