robots.txt
정의
어떤 봇이 어디를 읽어도 되는지 적어 두는 파일. 사이트 최상위에 둡니다.
한눈에
봇 도착OAI-SearchBot
→
robots.txt 확인허용?
→
페이지 수집허용될 때만
알아둘 점
AI 크롤러를 여기서 막으면 콘텐츠를 아무리 고쳐도 답변에 오르지 않습니다. 콘텐츠보다 먼저 볼 자리입니다.
예시
이해를 돕기 위한 가상의 예입니다.
- 모두 허용User-agent: * / Allow: /
- 학습만 차단User-agent: GPTBot / Disallow: / — 검색 답변용 봇은 열어 둠
- 실수로 전부 차단User-agent: * / Disallow: / — 개발 서버 설정이 운영에 남아 모든 봇을 막음
흔한 오해
robots.txt로 보안을 지킨다
안내일 뿐 강제력이 없습니다. 비공개 정보는 로그인 뒤에 둡니다
이 콘솔에서
사이트 진단(robots.txt) 화면에서 확인합니다.
GEO 가이드 · AI 크롤러 — 열 것과 닫을 것에서 실무로 이어 읽기 →
출처
최종 갱신