안녕하세요.
카페24 호스팅입니다.

검색 로봇을 들어오지 못하게 하려면,

www 폴더 안에 robots.txt 를 만들고 그안에 다음과 같은 내용을 적어 두면 됩니다.

파일의 내용은 크게 세 부분으로 나뉩니다.
주석(#), 로봇의 이름을 적는 부분(User-agent) , 방문을 허용하지 않을 디렉토리를 적는 부분(Disallow)으로 구분됩니다.

User-agent:*
Disallow:/

위처럼 적으면 모든 로봇에서 모든 디렉토리에 대한 검색을 불가능하게 하겠다는 뜻을 담고 있습니다.
[*]는 User-agent에서만 사용가능한데 [모든 로봇]이라는 뜻을 지니고 있습니다.
Disallow의 [/]는 디렉토리에 있는 모든 폴더를 나타냅니다.

※검색 로봇이 들어오지 못하게 할경우 검색 포탈 사이트에 해당 홈페이지가 검색이 안될수 있습니다.
(고객님이 검색 사이트에 검색 등록을 했을 경우는 검색이 됩니다.)

특정 디렉토리를 차단하는 방법:

User-agent: *
Disallow: /blog

위는 모든 로봇[*]에게 [blog]디렉토리 아래에 있는 부분에 대해서는 접근을 차단한다는 내용을 담고 있습니다.
/blog와 /blog/는 다르며 /blog는 디렉토리와 파일까지도 포함하고, /blog/는 디렉토리만을 의미합니다.

특정 로봇을 차단하는 방법:

User-agent: Cowbot
Disallow: /

Cowbot은 네이버 로봇의 이름이며 네이버 로봇이 검색을 하지 못하게 됩니다.

구글과 네이버는 허용하고 그 외에는 모두 차단하는 방법:

User-agent: Cowbot
Disallow:

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

이미지 로봇을 차단하는 방법:

User-agent: Googlebot-Image
Disallow: /*.gif$
Disallow: /*.jpg$

참고: 원래는 Disallow항목에 *표시를 넣을 수 없으며 이 명령어는 구글과 MSN등에서만 통용되고 파일명 뒤에 반드시 $표시를 해주셔야 합니다.
즉 모든 검색엔진에서 통용되지는 않습니다.

주로 쓰는 로봇의 이름은 아래와 같으며 보다 많은 검색로봇의 이름은 검색사이트에서 찾아보시기 바랍니다.

구글: Googlebot
구글 이미지 : googlebot-image
네이버 : cowbot
야후 : Slurp
야후 이미지 : Yahoo-MMCrawler
엠파스봇 : empas
MSN : MSNBot
첫눈: 1Noonbot 1.0
Baidu: baiduspider

다른문의가 있으시면 언제든지 게시판으로 문의주시기 바랍니다.

성심성의껏 안내해 드리겠습니다.

감사합니다.