본문 바로가기

Computer & IT/팁 과 자료

검색로봇 (search robot) 노출 및 차단

검색로봇 [search robot]

전문검색형 검색엔진의 데이터베이스를 작성하기 위하여 웹페이지를 가져오는 프로그램으로 검색 데이터베이스의 내용을 충실하게 보충하거나 이를 점검하는 역할을 한다.

일반적으로 검색포털의 키워드 검색엔진을 통한 카테고리 접근을 말하며, 쉽게 사용자가 정보를 얻기위해 사용되고 있다. 또는 업체홍보용으로 키워드 광고를 노출하는 용도로도 사용됨.

< 관련 글 들 >

자신의 사이트 또는 블로그 검색등록 사이트 목록

검색엔진 메타태그전략

검색엔진 최적화 방법-메타태그속성


- 제목 과 메타태크를 통한 자신의 웹페이지 노출 극대화 전략
- 검색엔진이 접근이 쉽도록 메타태크를 자신의 웹페이지에 삽입

<head> ..... </head> <body>....</body> 사이에 각 포털 검색엔진 접근이 쉽도록
코드를 삽입.. 야후 / 구글 / 등 웹사이트 식별 메타태크를 제공하고 있음..


단점, 중요문서가 있는 DB 공간도 접근함으로 접근권한을 지정하지 않으면
정보 유출의 위험이 있다. 이미 개인정보가 웹페이지 검색등록이 되어 있는 경우
각 검색사이트에 게시중지를 요청함으로서 해결할 수 있는데.
위에 제시한 사이트 또는 블로그 검색에 사이트 목록 에서 등록 과 게시중지를
신청할 수 있습니다.

<중요문서 유출 관련사례>

세븐일레븐 입사지원자 1281명 개인정보 구글에 노출

<게시중지 방법 관련예시>

구글에 검색된 개인정보 삭제

1> 자신의 개인정보가 노출된 검색페이지를 찾는다.
2> 자신의 개인정보가 노출된 검색포털에 해당 링크 게시중지 요청하는 방법임.

- URL 제거 관련 도움말 페이지
http://www.google.co.kr/intl/ko/remove.html

- 구글 자동 url 삭제
http://services.google.com/urlconsole/controller

- 검색로봇 접근 차단

메타태그를 사용하여 검색로봇 차단하기
* 참고 : http://www.robotstxt.org/


개인들은 웹페이지를 검색로봇으로 부터 차단하기위해 아래  메타태그 입력

META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"

를 입력함으로써 보호할수 있음.


참고링크:
http://100.naver.com/100.nhn?docid=792639

타이거팀 글[사이트보안] 1편 - 구글이나 네이버등 검색 로봇의 마구잡이 긁어가기를 막는법

구글의 '자동 url 삭제'를 이용한 개인정보 삭제