관리 메뉴

키스세븐

메타태그를 이용한 검색엔진 로봇 차단 본문

홈피와 블로그

메타태그를 이용한 검색엔진 로봇 차단

키스세븐 2014. 11. 26. 08:52
공유하기 링크
필요하면 공유하세요 ^^
이 블로그를 북마크 하세요! 좋은 정보가 계속 이어집니다.

일반적으로 검색로봇의 접근을 제어설정하기 위해서는 robots.txt를 만들어서 사용합니다. 

키스세븐에서는 이 robots.txt파일을 만드는 방법도 따로 포스팅할 생각이지만, 

자기 홈페이지 웹호스팅을 받는 것이 아니면 robots.txt파일을 업로드 해 놓을 수 없기 때문에 그에 대한 방법도 소개합니다. 

이 방법은 메타태그를 이용하는 방법으로서, 계정에 가입하여 사용하는 블로그 등을 이용하여 운영하는 운영자에게 쓸모 있습니다. 물론 웹호스팅을 사용하는 운영자도 사용이 가능합니다. 

 

 

 

 

 

1. 검색엔진 로봇은 좋은가? 나쁜가?

 

검색엔진 로봇이 많이 온다는 것은 일단 좋은 것입니다. 

사이트 내의 글들을 인식해 가서 색인을 만들어 놓는다면 검색으로 방문자가 찾아 올 있게 됩니다. 운영자가 일일이 찾아 다니며 홍보를 하지 않아도 자동으로 홍보가 되니 일단 좋은 것이라고 하겠습니다. 

검색엔진 로봇이 많이 온다는 것은 어쩌면 나쁜 것입니다. 

대부분의 웹호스팅은 방문자들이 읽어 갈 수 있는 데이터용량에 한계를 둡니다. 이 한계를 넘어가면 그 사이트는 자동으로 접속을 할 수 없는 상황이 되는데, 이 것은 트래픽 초과라고 표현합니다. 

검색엔진 로봇이 너무 자주 방문하게 되면, 트래픽이 발생하게 되고 초과를 발생시킬 수도 있습니다. 방문자 받기에도 빠듯한 트래픽양을 로봇에게 다 준다면 많이 아까운 일이지요. 

 

 

 

 

2. 메타태그는 어떻게 넣는가? 

 

웹호스팅을 이용하고 있다면....

일반적인 홈페이지 문서는 HTML문서입니다. 그 HTML 문서를 열어서 상단에 메타태그를 입력해 놓으면 됩니다. 

만약 PHP나 ASP 등을 쓴다면 head파일을 따로 만들어 사용할 것입니다. 그렇다면 head파일에 메타태그를 입력해 놓으면 됩니다. 

보통은 <head>와 </head> 사이의 어느 줄이든 입력해 놓으면 됩니다.

 

계정 블로그를 이용하고 있다면.... 

블로그 업체에서 제공하는 사용자 페이지나 Admin설정 페이지로 들어갑니다. 블로그를 운영해 봤다면 그 방법은 대부분 알고 있을 것이지만, 만약 모른다면 해당 업체에 질문하면 알 수 있습니다. 

HTML 수정 메뉴에 들어갑니다. 

역시 위와 같이 <head>부분을 찾습니다. 잘 모르겠으면 상단 쯤 어느 곳이든 괜찮으니 메타태그를 입력해 놓으면 됩니다. 

 

 

 

 

 

3. 무엇을 입력하는가? 

 

모든 검색엔진 로봇에게 자신의 사이트의 내용을 긁어가지 못하도록(인덱싱) 하려면 아래와 같이 합니다. 

<META NAME=”ROBOTS” CONTENT=”NOINDEX”> 

모든 검색엔진 로봇이 사이트 내의 링크들을 따라 돌아다니지 못하게 하려면 이렇게 합니다. 

<META NAME=”ROBOTS” CONTENT=”NOFOLLOW”> 

만약 특정 검색엔진 로봇만을 제어하여 막고 싶으면 이렇게 바꾸면 됩니다. 

(구글 로봇인 경우) 

<META NAME=”Googlebot” CONTENT=”NOINDEX, NOFOLLOW”> 

다음과 네이버의 검색엔진의 이름은 Daumoa과 Naverbot입니다. 

 

 

만약 이미들에 대한 접근을 막아서 이미지검색에 나오지 않도록 하려면 이렇게 합니다. 

<META NAME=”ROBOTS” CONTENT=”NOIMAGEINDEX”> 

NOINDEX와 NOIMAGEINDEX는 색인을 만들지 못하게 하는 것이고, NOFOLLOW는 링크를 따라서 돌아다니지 못하게 하는 것입니다.  

 

 

robots.txt 파일을 만들어 올리지 못하는데 검색엔진 로봇들의 무차별적인 방문으로 서버가 느려지는 블로그를 가진 운영자라면 해 볼만한 방법입니다.  

웹호스팅 운영자라도 트래픽 초과를 완화시킬 수 있는 방법이기도 합니다. 

 






★ 이 정보가 도움이 된다면 아래의 공감을 부탁드립니다! ^^

키스세븐지식은 키스세븐과 그룹 사이트입니다.

아래로 더 내려 가 보세요!

혹시 읽을만한 것이 또 있을지도 모르잖아요? ^^

이 블로그를 북마크 하세요! 좋은 정보가 계속 이어집니다.
http://kiss7.tistory.com

공유하기 링크
필요하면 공유하세요 ^^
9 Comments
  • 프로필사진 알 수 없는 사용자 2015.07.09 09:29 안녕하세요. 좋은 정보에 도움받고 갑니다.
    질문이 있어 댓글을 남깁니다.

    noindex, nofollow, noimageindex 세 가지를 모두 적용하고 싶으면
    <META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW,NOIMAGEINDEX”>
    라고 작성하여 <Head>부분에 추가하면 되는건가요?
  • 프로필사진 Favicon of https://kiss7.tistory.com BlogIcon 키스세븐 2015.07.09 02:26 신고 네 쉼표로 구분하고 " "안에 다 쓰면 됩니다. 그런데....
    ROBOTS라고 놔두시면 안 되고 구글이나 다음, 네이버처럼 로봇 이름을 쓰셔야 합니다.
    여러 줄을 써도 괜찮으니 지금 적어주신 것을 각 로봇마다 한줄씩 써 놓으셔도 됩니다.
    도움되셨다는 댓글 보니 기쁘구요... 앞으로도 자주 애용해 주시면 감사하겠습니다. ^^
  • 프로필사진 알 수 없는 사용자 2015.07.09 09:29 감사합니다. 그런데 네이버, 다음, 구글 이외에도 각종 검색포털(네이트, 야후 등)의 로봇의 접근 또한 막고싶은데...ㅠ_ㅠ
    그렇다면 각 포털사이트의 로봇의 이름을 전부 따로따로 추가해야 하는건가요?
    늦은시간에 죄송합니다..
  • 프로필사진 Favicon of https://kiss7.tistory.com BlogIcon 키스세븐 2015.07.09 03:01 신고 네, 말하자면 그렇게 하셔야 해요. 다만 네이트는 다음과 같은 로봇입니다. 야후는 구글과 같은 로봇이구요...
    그리고... 네이버 등 몇몇 기술품질이 낮은 검색로봇은 접근금지를 무시하고 퍼가는 경우도 있으니 참고 바랍니다.
    아.. 오해가 있었군요. 제가 아까 말한 건 특정 로봇을 막을 때구요, 모든 로봇을 다 막고 싶을 때는 ROBOTS를 그대로 쓰시면 됩니다.
  • 프로필사진 익명 2015.07.09 09:29 비밀댓글입니다
  • 프로필사진 Favicon of https://ssamanco99.tistory.com BlogIcon dfsffsfsdfsfs 2015.07.14 17:23 신고 먼저, 좋은 글 올려주셔서 감사합니다!
    그런데 질문이 하나 있는데요.
    여러 줄을 추가해서 써놔도 괜찮다고 말씀하셨는데,
    그렇다면 혹시, 만약을 위해
    <META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>를 쓰고
    밑에
    <META NAME=”Naverbot” CONTENT=”NOINDEX, NOFOLLOW”>
    이렇게 써도 괜찮을까요? 아니면 전혀 쓸 데 없으니 중복해서 사용하여도 괜찮은가요?

    좋은하루되세요!
  • 프로필사진 Favicon of https://kiss7.tistory.com BlogIcon 키스세븐 2015.07.16 11:42 신고 방문 감사드립니다. 답변이 좀 늦었지요? 죄송해요.
    그런데 이 질문은 좀 당혹스럽네요.. 저도 그렇게는 사용해 보질 않았거든요. ^^;
    저는 각각의 로봇별로 따로 여러 줄을 만들어서 사용합니다.
    Ctrl+C버튼 몇번하면 복사가 쉬워서 그냥 사용을....ㅎ

    국내에서는 다음, 구글, 네이버 이거 세개만 조정하셔도 왠만한 건 금지시킬 수 있고, 추가되는 검색엔진이 있다면 방문자 검색통계를 보고 추가할 수도 있습니다.
    참고로 로봇의 종류가 필요하시면 아래에 적은 거 활용하세요.
    네이버 검색로봇 : naverbot, Cowbot
    다음 검색로봇 : DAUMOA
    구글 검색로봇 : Googlebot

    이거라도... ^^ 도움이 될지 모르겠습니다.
    자주 들러 주세요~ ^^;
  • 프로필사진 Favicon of https://hisastro.com BlogIcon 그별 2015.07.25 17:19 신고 네이버는 정말 답이 안나오는 것 같아 저는 그냥 무시하기로 했습니다. ^^
    정말이지 빨리 문 닫아야 하는데... 라는 생각을 하면서...ㅎ
  • 프로필사진 Favicon of https://kiss7.tistory.com BlogIcon 키스세븐 2015.07.25 17:40 신고 저도 요즘 미치겠는 게, 새로 블로그를 하나 만들었는데 네이버 검색에 신청했음에도 하나도 안 뜨고.ㅠㅠ 네이버 등록 비법 같은 거 좀 없나요?
댓글쓰기 폼