AI 크롤러 AI Crawler
정의
AI 회사가 학습·인용용으로 웹을 읽어 가는 봇 — GPTBot·ClaudeBot·PerplexityBot 등.
한눈에
학습용GPTBot → 모델의 기억
→
검색 색인용OAI-SearchBot → 답변의 출처
→
사용자 요청ChatGPT-User → 그 답 한 번
알아둘 점
robots.txt에서 이들을 막으면 검색엔진에는 보여도 AI 답변에는 오르지 못합니다.
예시
이해를 돕기 위한 가상의 예입니다.
- 학습용GPTBot — 모델 학습용 수집
- 검색 색인용OAI-SearchBot · PerplexityBot — 검색 답변에 쓸 문서를 색인
- 사용자 요청ChatGPT-User · Perplexity-User — 사용자가 링크를 주거나 찾아 달라 할 때 그 페이지를 가져옴
흔한 오해
GPTBot을 막으면 ChatGPT 답변에서 빠진다
GPTBot은 학습용입니다. 검색 답변 노출은 OAI-SearchBot이 정합니다
봇이 다녀갔으면 인용된 것이다
수집과 인용은 다른 단계입니다
이 콘솔에서
사이트 진단(AI 크롤러 접근성) 화면에서 확인합니다.
GEO 가이드 · AI 크롤러 — 열 것과 닫을 것에서 실무로 이어 읽기 →
출처
최종 갱신