AI에게 내 글을 줄 것인가 — 크롤러 7종과 robots.txt
2026-09-18
학습하는 봇과 답변에 인용하는 봇은 이름이 다릅니다. 무엇을 막고 무엇을 열지 이름표와 함께 정리했습니다.
AI가 내 사이트를 읽어갑니다. 막을 수도 있습니다. 그런데 다 막으면 AI 답변에 인용될 길도 같이 막힙니다. 봇마다 하는 일이 다르기 때문입니다. 이름과 함께 정리했습니다.
한 줄로 먼저
학습하는 봇과 답변에 인용하려고 찾아오는 봇은 다른 이름을 씁니다. 학습만 막고 인용은 열어 두는 것이 지금 가장 많이 쓰이는 방법입니다.
봇은 세 갈래입니다
이름을 외울 필요는 없고, 무엇을 하러 왔는지로 나누면 됩니다.
| 갈래 | 무엇을 하나 | 막으면 |
|---|---|---|
| 학습 | 모델을 가르칠 자료로 긁어간다 | 내 글이 학습에 안 들어간다. 대신 아무것도 돌려받지 못한다 |
| 검색 색인 | AI 검색이 인용할 목록에 담는다 | AI 답변에 내 사이트가 안 나온다 |
| 즉석 방문 | 사용자가 링크를 주면 그때 열어 본다 | 사용자가 내 주소를 붙여도 못 읽는다 |
이름표 일곱 개
2026년 기준으로 실제로 걸리는 것들입니다.
| 이름 | 주인 | 갈래 |
|---|---|---|
GPTBot | OpenAI | 학습 |
OAI-SearchBot | OpenAI | 검색 색인 |
ChatGPT-User | OpenAI | 즉석 방문 |
ClaudeBot | Anthropic | 학습 |
PerplexityBot | Perplexity | 검색 색인 |
Google-Extended | 학습(Gemini) | |
Applebot-Extended | Apple | 학습 |
여기에 CCBot(Common Crawl)이 하나 더 있습니다.
AI 회사가 직접 긁는 것은 아니지만, 그 자료를 여러 모델이 가져다 씁니다.
헷갈리기 쉬운 것 — Google-Extended
이름에 Google이 붙어 있어서 막으면 구글 검색에서 빠질까 봐 겁이 납니다. 구글 문서가 그 점을 못 박아 두었습니다.
Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.
— 구글 크롤러 문서
즉 Gemini 학습에만 쓰이는 표식이고, 검색 색인이나 순위와는 관계가 없습니다. 다만 구글 문서는 AI 개요(AI Overviews)에 대해서는 말하지 않습니다. 거기까지 빠진다고 단정하지 마세요.
지금 많이 쓰는 방법
Cloudflare 망에서 robots.txt를 훑은 2026년 9월 조사를 보면, 상위 사이트의 약 30%가 같은 모양을 하고 있습니다.
학습 봇은 막고, 검색 봇은 연다.
내 글을 공짜로 가져가 모델을 살찌우는 것은 싫지만, AI가 답할 때 내 사이트를 출처로 대 주는 것은 반갑다 — 그 마음이 그대로 규칙이 됩니다.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /적는 순서가 중요합니다
robots.txt는 가장 잘 맞는 이름표 하나만 봅니다.
User-agent: * 에 Disallow: / 를 적어 두고 아래에서 따로 열어 주는 식이 아니라,
이름마다 블록을 따로 적어야 합니다.
이름이 정확히 적혀 있으면 * 규칙은 그 봇에게 적용되지 않습니다.
막는 것이 정답은 아닙니다
개인 사이트나 작은 사업체라면 셈이 다릅니다. 큰 언론사는 잃을 것(구독·광고)이 있어서 막는 쪽이 이득이지만, 알려지는 것 자체가 목적인 사이트는 반대입니다.
| 이런 사이트라면 | 대체로 |
|---|---|
| 유료 구독·회원제 콘텐츠 | 학습 봇을 막는다 |
| 포트폴리오 · 소개 · 무료 도구 | 거의 다 연다 |
| 서버가 약해서 부하가 걱정 | 속도 제한을 걸거나 무거운 경로만 막는다 |
막아도 지켜 주는 봇만 지킵니다. robots.txt는 자물쇠가 아니라 약속입니다. 정말로 막아야 하는 것은 서버에서 차단하거나 로그인 뒤에 두어야 합니다.
연 다음에 할 일
문을 열어 두는 것만으로 인용되지는 않습니다. AI가 인용하려면 무엇에 대한 글인지 기계가 알아볼 수 있어야 합니다. 구조화 데이터와 사이트맵이 그 일을 합니다.
이어서 읽기
근거
- Google 검색 센터 — 공통 크롤러 문서의 Google-Extended 설명
- OpenAI — GPTBot · OAI-SearchBot · ChatGPT-User 안내
- Cloudflare 망 robots.txt 조사(2026년 9월) — 학습 봇 차단 · 답변 봇 허용 비율
2026년 9월 18일에 확인했습니다. 크롤러 이름과 정책은 자주 바뀝니다. 적용 전에 각 회사의 문서를 한 번 더 보세요.