키스세븐지식
일반적으로 검색로봇의 접근을 제어설정하기 위해서는 robots.txt를 만들어서 사용합니다.
키스세븐에서는 이 robots.txt파일을 만드는 방법도 따로 포스팅할 생각이지만,
자기 홈페이지 웹호스팅을 받는 것이 아니면 robots.txt파일을 업로드 해 놓을 수 없기 때문에 그에 대한 방법도 소개합니다.
이 방법은 메타태그를 이용하는 방법으로서, 계정에 가입하여 사용하는 블로그 등을 이용하여 운영하는 운영자에게 쓸모 있습니다. 물론 웹호스팅을 사용하는 운영자도 사용이 가능합니다.
1. 검색엔진 로봇은 좋은가? 나쁜가?
검색엔진 로봇이 많이 온다는 것은 일단 좋은 것입니다.
사이트 내의 글들을 인식해 가서 색인을 만들어 놓는다면 검색으로 방문자가 찾아 올 있게 됩니다. 운영자가 일일이 찾아 다니며 홍보를 하지 않아도 자동으로 홍보가 되니 일단 좋은 것이라고 하겠습니다.
검색엔진 로봇이 많이 온다는 것은 어쩌면 나쁜 것입니다.
대부분의 웹호스팅은 방문자들이 읽어 갈 수 있는 데이터용량에 한계를 둡니다. 이 한계를 넘어가면 그 사이트는 자동으로 접속을 할 수 없는 상황이 되는데, 이 것은 트래픽 초과라고 표현합니다.
검색엔진 로봇이 너무 자주 방문하게 되면, 트래픽이 발생하게 되고 초과를 발생시킬 수도 있습니다. 방문자 받기에도 빠듯한 트래픽양을 로봇에게 다 준다면 많이 아까운 일이지요.
2. 메타태그는 어떻게 넣는가?
웹호스팅을 이용하고 있다면....
일반적인 홈페이지 문서는 HTML문서입니다. 그 HTML 문서를 열어서 상단에 메타태그를 입력해 놓으면 됩니다.
만약 PHP나 ASP 등을 쓴다면 head파일을 따로 만들어 사용할 것입니다. 그렇다면 head파일에 메타태그를 입력해 놓으면 됩니다.
보통은 <head>와 </head> 사이의 어느 줄이든 입력해 놓으면 됩니다.
계정 블로그를 이용하고 있다면....
블로그 업체에서 제공하는 사용자 페이지나 Admin설정 페이지로 들어갑니다. 블로그를 운영해 봤다면 그 방법은 대부분 알고 있을 것이지만, 만약 모른다면 해당 업체에 질문하면 알 수 있습니다.
HTML 수정 메뉴에 들어갑니다.
역시 위와 같이 <head>부분을 찾습니다. 잘 모르겠으면 상단 쯤 어느 곳이든 괜찮으니 메타태그를 입력해 놓으면 됩니다.
3. 무엇을 입력하는가?
모든 검색엔진 로봇에게 자신의 사이트의 내용을 긁어가지 못하도록(인덱싱) 하려면 아래와 같이 합니다.
<META NAME=”ROBOTS” CONTENT=”NOINDEX”>
모든 검색엔진 로봇이 사이트 내의 링크들을 따라 돌아다니지 못하게 하려면 이렇게 합니다.
<META NAME=”ROBOTS” CONTENT=”NOFOLLOW”>
만약 특정 검색엔진 로봇만을 제어하여 막고 싶으면 이렇게 바꾸면 됩니다.
(구글 로봇인 경우)
<META NAME=”Googlebot” CONTENT=”NOINDEX, NOFOLLOW”>
다음과 네이버의 검색엔진의 이름은 Daumoa과 Naverbot입니다.
만약 이미들에 대한 접근을 막아서 이미지검색에 나오지 않도록 하려면 이렇게 합니다.
<META NAME=”ROBOTS” CONTENT=”NOIMAGEINDEX”>
NOINDEX와 NOIMAGEINDEX는 색인을 만들지 못하게 하는 것이고, NOFOLLOW는 링크를 따라서 돌아다니지 못하게 하는 것입니다.
robots.txt 파일을 만들어 올리지 못하는데 검색엔진 로봇들의 무차별적인 방문으로 서버가 느려지는 블로그를 가진 운영자라면 해 볼만한 방법입니다.
웹호스팅 운영자라도 트래픽 초과를 완화시킬 수 있는 방법이기도 합니다.
★ 이 정보가 도움이 된다면 아래의 공감을 부탁드립니다! ^^
