이는 요청이지 잠금장치가 아닙니다
robots.txt는 하나의 관례입니다. 잘 동작하는 크롤러는 이를 읽고 따르지만, 웹 자체가 강제하지는 않습니다. 이를 무시하거나 목록에 없는 크롤러는 여전히 공개 페이지를 가져올 수 있습니다. 이는 의도의 신호이지 기술적 장벽이 아닙니다.
스니펫 빌더
이 예시들을 영구적인 진리가 아니라 출발점으로 사용하십시오. 사용자 에이전트 이름, 제품, 크롤러 동작은 바뀌므로 배포하기 전에 항상 공식 페이지를 확인하십시오.
정적 도구
크롤링하지 말아 달라고 요청하고 싶은 크롤러를 선택하십시오. 이 생성기는 브라우저에서만 실행됩니다. 데이터를 어디에도 전송하지 않습니다. 배포하기 전에 현재의 공식 사용자 에이전트 이름을 확인하십시오.
# AI 크롤러 제어: 배포하기 전에 현재 사용자 에이전트 이름을 확인하십시오.
# 이것은 자발적입니다. robots.txt는 법적 잠금장치가 아닙니다.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: CCBot
Disallow: /경고: 사용자 트리거 방식 또는 검색 관련 에이전트를 차단하면 AI 지원 발견, 미리보기 또는 인용이 줄어들 수 있습니다.
복사·붙여넣기 블록
아래는 여러 AI 관련 크롤러를 다루는 시작 블록입니다. 사용자 에이전트 이름은 바뀌고 제품마다 다르므로, 이를 템플릿으로 취급하고 배포하기 전에 각 이름을 운영자의 공식 문서에 대조하여 확인하십시오.
# 예시일 뿐입니다. 모든 사용자 에이전트 이름을 공식 문서에 대조하여 확인하십시오.
# robots.txt는 자발적입니다. 이미 존재하는 사본을 제거하지 않으며,
# 이를 따르기로 선택한 크롤러에만 영향을 미칩니다.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Applebot-Extended
Disallow: /| 사용자 에이전트 (확인 요망) | 연관된 곳 | 일반적인 용도 |
|---|---|---|
| GPTBot | OpenAI | 모델 학습에 사용될 수 있는 웹 콘텐츠 크롤링 |
| Google-Extended | 특정 AI 제품에 콘텐츠 사용을 제한하기 위한 제어 토큰 | |
| CCBot | Common Crawl | 많은 다운스트림 데이터셋이 사용하는 공개 Common Crawl 아카이브 구축 |
| ClaudeBot / anthropic-ai | Anthropic | Claude와 관련된 크롤링; Anthropic 문서에서 현재 토큰을 확인하십시오 |
| PerplexityBot | Perplexity | 답변 및 검색 기능을 위한 크롤링 |
| Bytespider | ByteDance | ByteDance 제품과 연관된 광범위한 크롤링 |
| Applebot-Extended | Apple | Apple AI 학습에 콘텐츠 사용을 제한하기 위한 제어 토큰 |
이 중 일부는 실제 크롤러 사용자 에이전트이고, 다른 일부는 페이지를 가져오는 봇이 아니라 제어 토큰입니다. 이름, 의미, 동작은 바뀌므로 의존하기 전에 각각을 운영자의 공식 문서에서 확인하십시오.
할 수 없는 것
robots.txt는 하나의 관례입니다. 잘 동작하는 크롤러는 이를 읽고 따르지만, 웹 자체가 강제하지는 않습니다. 이를 무시하거나 목록에 없는 크롤러는 여전히 공개 페이지를 가져올 수 있습니다. 이는 의도의 신호이지 기술적 장벽이 아닙니다.
오늘 disallow 규칙을 추가해도 이미 크롤링되거나, 캐시되거나, 아카이브되거나, 다른 곳에 복사된 콘텐츠에는 아무런 영향을 주지 않습니다. 사람들이 직접 AI 도구에 붙여넣는 데이터에도 영향을 주지 않습니다. 이를 과거를 되돌리는 것이 아니라 미래의 노출을 줄이는 것으로 생각하십시오.
더 강력한 계층
웹 애플리케이션 방화벽이나 서버 규칙은 단지 정중하게 요청하는 것이 아니라, 사용자 에이전트, IP 범위 또는 동작에 따라 요청을 실제로 차단하거나 검증할 수 있습니다. 이는 요청이 아니라 강제이지만, 크롤러의 신원이 바뀜에 따라 유지 관리가 필요하고 때때로 정당한 방문자를 걸리게 할 수 있습니다.
noindex robots 메타 태그나 X-Robots-Tag 헤더 같은 페이지 수준 지시어는 규정을 준수하는 크롤러가 페이지를 어떻게 취급하는지에 영향을 줍니다. robots.txt와 마찬가지로 이들은 협력에 의존하며, 이를 무시하는 크롤러를 막지는 못합니다.
로그인을 요구하거나, 속도를 제한하거나, 민감한 자료를 인증 뒤에 두면 그것을 열려 있고 크롤링 가능한 페이지에서 완전히 제외할 수 있습니다. 접근을 제한하는 것은 정말로 비공개로 유지해야 하는 콘텐츠에 대해 어떤 자발적 텍스트 파일보다 대개 훨씬 더 신뢰할 수 있습니다.
작동 여부 확인
https://yourdomain.com/robots.txt를 직접 로드하여 파일이 사이트 루트에서 올바르게 제공되는지 확인하십시오.이 페이지는 교육 정보이지 법률 자문이 아니며, 여기 표시된 사용자 에이전트 이름은 오래된 것일 수 있습니다. 의존하기 전에 항상 운영자의 공식 문서에서 현재 토큰과 동작을 확인하십시오.
관련 읽을거리
워크플로를 선택하기 전에 AI 모델을 비교하십시오.
ChatGPT Alternatives chatgpt-alternatives.com하나의 AI 제공업체로 충분하지 않을 때 중립적인 대안을 찾으십시오.
AI Subscription Guide aisubscriptionguide.com실제 업무에 맞는 AI 구독이 무엇인지 알아보십시오.
OpenAI 크롤러 문서 platform.openai.com/docs/gptbot현재 OpenAI 크롤러 및 사용자 에이전트 안내를 확인하십시오.
Google 크롤러 문서 developers.google.com/search/docs/crawling-indexing/overview-google-crawlersGoogle 크롤러 이름, 색인 동작, AI 관련 제어를 확인하십시오.
Anthropic 지원 support.anthropic.com/현재 Claude 계정, 데이터, 크롤러 안내를 확인하십시오.
FAQ
노출을 줄일 수는 있지만, 사진이 일단 공개되면 완전한 통제를 보장할 수 없습니다. 민감한 사진은 비공개로 유지하고, 플랫폼 설정을 검토하고, 공개된 고해상도 업로드를 피하고, 자신의 웹사이트에는 크롤러 제어를 사용하십시오.
작업에 필요하지 않은 세부 정보를 제거한 후에만 하십시오. 이름, 주소, 전화번호, 생년월일, 서명, 고용주의 비밀, 추천인은 대개 자리표시자로 대체할 수 있습니다.
조심하십시오. 진료 소견서, 여권, 학교 서류, 법률 문서, 은행 파일, 가족 기록에는 다른 사람에 관한 민감한 데이터가 포함될 수 있습니다. 승인된 개인정보 설정을 사용하거나 업로드하지 마십시오.
제품, 계정 유형, 설정에 따라 다릅니다. 일부 제공업체는 데이터를 다르게 취급하는 제어 기능, 팀 요금제, API 약관을 제공합니다. 민감한 정보를 입력하기 전에 현재 설정을 확인하십시오.
단일 기술 스위치로는 안 됩니다. robots.txt는 규정을 준수하는 크롤러에게 접근하지 말아 달라고 요청할 수 있지만, 이는 자발적이며 이미 다른 곳에 존재하는 사본을 제거하지 못합니다.
robots.txt는 그 자체로 계약이 아니라 기술적 관례입니다. 이는 정책적 입장을 뒷받침할 수 있지만, 법적 문제는 관할권, 약관, 저작권, 계약, 집행에 따라 달라집니다.