AI 크롤러를 위한 robots.txt: 허용할 봇과 고민해 볼 봇
ChatGPT, Claude, Perplexity, Gemini 뒤에 있는 user agent와 각각의 역할, 그대로 가져다 쓸 수 있는 robots.txt, 그리고 robots.txt보다 우선하는 방화벽 설정까지 정리했습니다.
AI 회사들은 저마다 크롤러를 여러 개 운영하며, 각 크롤러가 하는 일은 다릅니다. 어떤 크롤러는 어시스턴트가 실시간 답변에서 인용할 수 있도록 페이지를 가져옵니다. 다른 크롤러는 향후 모델을 위한 학습 데이터를 수집합니다. 앞의 것을 막으면 지금의 답변에서 사라집니다. 뒤의 것을 막으면 향후 모델이 무엇을 학습하는지에만 영향을 줍니다. 이 둘을 한 묶음으로 취급하는 것이 저희가 가장 자주 보는 robots.txt 실수입니다.
중요한 크롤러
| 회사 | User agent | 하는 일 |
|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT 검색 결과에 쓸 페이지를 색인 |
| OpenAI | ChatGPT-User | 사용자 대화에 필요할 때 페이지를 가져옴 |
| OpenAI | GPTBot | 학습 데이터 수집 |
| Anthropic | Claude-SearchBot | Claude 검색에 쓸 페이지를 색인 |
| Anthropic | Claude-User | 사용자가 Claude에게 페이지에 대해 물을 때 가져옴 |
| Anthropic | ClaudeBot | 학습 데이터 수집 |
| Perplexity | PerplexityBot | Perplexity 답변에 쓸 페이지를 색인 |
| Perplexity | Perplexity-User | 사용자 질문에 따라 페이지를 가져옴 |
Googlebot | AI Overviews를 포함한 Google 검색을 위해 크롤링 | |
Google-Extended | 콘텐츠를 Gemini 모델에 사용할지 제어하며, 검색에는 영향 없음 | |
| Microsoft | Bingbot | Bing을 위해 크롤링하며, Copilot 등 여러 어시스턴트가 Bing을 검색 |
업체들은 user agent를 추가하거나 이름을 바꾸므로, 1년에 한두 번은 각 업체의 크롤러 문서를 확인하세요.
출발점으로 쓸 수 있는 robots.txt
아래 설정은 검색 엔진과 모든 AI 크롤러를 허용하고, 비공개 경로는 막고, 사이트맵 위치를 알려 줍니다.
User-agent: *
Allow: /
Disallow: /account/
Disallow: /api/
Sitemap: https://yourdomain.com/sitemap.xmlUser-agent: * 그룹은 자기만의 그룹이 없는 모든 크롤러에 이미 적용됩니다. 문제는 User-agent: GPTBot 뒤에 Disallow: /가 붙은 오래된 규칙이 남아 있을 때 생깁니다. AI 학습 차단이 유행처럼 기본값이 되었던 2023년에 추가된 경우가 많은데, 이 규칙은 지금도 그대로 적용됩니다.
실시간 답변에는 남되 학습에서는 빠지기로 했다면, 학습용 user agent만 막으세요.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /OAI-SearchBot, Claude-SearchBot, PerplexityBot, -User 계열 크롤러, Googlebot, Bingbot은 허용 상태로 두세요.
학습 크롤러: 실제로 따져 봐야 할 선택
학습 크롤러를 막으면 우리 콘텐츠가 향후 모델 버전에 들어가지 않습니다. 대신 그 모델들은 검색 없이 답할 때 우리 브랜드에 대해 덜 알게 됩니다. 독자적인 콘텐츠를 판매하는 퍼블리셔라면 차단이 맞는 선택일 수 있습니다. 추천받고 싶은 소프트웨어 회사라면 대개 허용하는 편이 더 유리합니다.
방화벽이 robots.txt보다 우선할 수 있습니다
robots.txt는 요청일 뿐입니다. CDN이나 방화벽은 크롤러가 파일을 읽기도 전에 거부할 수 있습니다. Cloudflare는 클릭 한 번으로 AI 크롤러를 차단하는 설정을 제공하며, 일부 신규 도메인에서는 이를 기본값으로 바꿨습니다. Vercel, Akamai 등 다른 호스팅의 봇 차단 기능도 같은 결과를 낳을 수 있습니다.
외부에서 크롤러의 user agent로 페이지를 요청해 확인해 보세요.
curl -s -o /dev/null -w "%{http_code}\n" \
-A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
https://yourdomain.com/403, 429 또는 확인 페이지가 나온다면 실제 크롤러도 거부되고 있을 가능성이 높습니다. 무료 AI 준비도 진단은 AI 크롤러 4종에 대해 이 테스트를 실행하고, 11종에 대한 robots.txt 규칙을 읽어 줍니다.
FAQ
AI 크롤러마다 규칙을 따로 만들어야 하나요?
아니요. User-agent: * 그룹이 크롤링을 허용한다면, 자기만의 그룹이 없는 모든 크롤러가 허용됩니다. 특정 user agent에 다른 규칙을 적용하고 싶을 때만 그룹을 따로 만들면 됩니다.
Google-Extended를 막으면 AI Overviews에서 빠지나요?
아니요. Google은 Google-Extended가 Google 검색에 영향을 주지 않는다고 밝히고 있으며, AI Overviews는 검색의 일부입니다. 둘 다 Googlebot이 관할합니다.
llms.txt는 어떤가요?
llms.txt는 언어 모델을 위해 사이트를 요약하는 파일로 제안된 형식입니다. 추가하는 데 드는 비용은 적지만, 주요 어시스턴트가 이 파일을 읽겠다고 밝힌 적은 없습니다. 선택 사항으로 보고, robots.txt와 방화벽부터 제대로 설정하세요.