Schnipsel-Generator
Verwenden Sie diese Beispiele als Ausgangspunkt, nicht als dauerhafte Wahrheit. User-Agent-Namen, Produkte und Crawler-Verhalten ändern sich, prüfen Sie daher vor der Bereitstellung stets die offiziellen Seiten.
Statisches Werkzeug
Wählen Sie die Crawler aus, die Sie bitten möchten, nicht zu crawlen. Dieser Generator läuft ausschließlich in Ihrem Browser. Er sendet keine Daten irgendwohin. Überprüfen Sie vor der Bereitstellung die aktuellen offiziellen User-Agent-Namen.
# KI-Crawler-Steuerungen: aktuelle User-Agent-Namen vor der Bereitstellung prüfen.
# Dies ist freiwillig. robots.txt ist keine rechtliche Sperre.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: CCBot
Disallow: /Warnung: Das Blockieren von nutzergesteuerten oder suchbezogenen Agents kann KI-gestützte Auffindbarkeit, Vorschauen oder Zitate verringern.
Kopier-Block
Nachfolgend finden Sie einen Starter-Block, der mehrere KI-bezogene Crawler abdeckt. User-Agent-Namen ändern sich und variieren je nach Produkt, behandeln Sie dies daher als Vorlage und prüfen Sie jeden Namen anhand der offiziellen Dokumentation des Betreibers, bevor Sie ihn bereitstellen.
# Nur ein Beispiel. Jeden User-Agent-Namen anhand der offiziellen Doku prüfen.
# robots.txt ist freiwillig. Sie entfernt keine bereits vorhandenen Kopien
# und wirkt sich nur auf Crawler aus, die sich entscheiden, sie zu befolgen.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Applebot-Extended
Disallow: /| User-Agent (prüfen) | Verbunden mit | Typischerweise verwendet für |
|---|---|---|
| GPTBot | OpenAI | Crawlen von Webinhalten, die möglicherweise für das Modelltraining verwendet werden |
| Google-Extended | Ein Steuerungs-Token, um die Nutzung von Inhalten für bestimmte KI-Produkte zu begrenzen | |
| CCBot | Common Crawl | Aufbau des offenen Common-Crawl-Archivs, das von vielen nachgelagerten Datensätzen genutzt wird |
| ClaudeBot / anthropic-ai | Anthropic | Crawlen im Zusammenhang mit Claude; aktuelle Tokens in der Anthropic-Doku prüfen |
| PerplexityBot | Perplexity | Crawlen für seine Antwort- und Suchfunktionen |
| Bytespider | ByteDance | Umfangreiches Crawlen im Zusammenhang mit ByteDance-Produkten |
| Applebot-Extended | Apple | Ein Steuerungs-Token, um die Nutzung von Inhalten für das KI-Training von Apple zu begrenzen |
Einige davon sind echte Crawler-User-Agents und andere sind Steuerungs-Tokens statt Bots, die Seiten abrufen. Namen, Bedeutungen und Verhalten ändern sich, bestätigen Sie daher jeden einzelnen in der offiziellen Dokumentation des Betreibers, bevor Sie sich darauf verlassen.
Was sie nicht leistet
robots.txt ist eine Konvention. Wohlerzogene Crawler lesen sie und befolgen sie, aber sie wird vom Web selbst nicht erzwungen. Ein Crawler, der sie ignoriert oder der nicht auf Ihrer Liste steht, kann öffentliche Seiten dennoch abrufen. Sie ist ein Signal der Absicht, keine technische Barriere.
Das Hinzufügen einer Disallow-Regel heute ändert nichts an Inhalten, die bereits gecrawlt, zwischengespeichert, archiviert oder anderswo kopiert wurden. Ebenso wenig wirkt es sich auf Daten aus, die Menschen von Hand in KI-Werkzeuge einfügen. Betrachten Sie es als Verringerung künftiger Exposition, nicht als Rückgängigmachen der Vergangenheit.
Stärkere Ebenen
Eine Web Application Firewall oder eine Serverregel kann Anfragen anhand von User-Agent, IP-Bereich oder Verhalten tatsächlich blockieren oder herausfordern, statt nur höflich zu bitten. Dies ist eine Durchsetzung statt einer Bitte, erfordert jedoch Pflege, wenn sich Crawler-Identitäten ändern, und kann gelegentlich legitime Besucher erfassen.
Direktiven auf Seitenebene wie ein noindex-robots-Meta-Tag oder ein X-Robots-Tag-Header beeinflussen, wie konforme Crawler eine Seite behandeln. Wie robots.txt beruhen sie auf Kooperation und halten einen Crawler nicht auf, der sie ignoriert.
Eine erforderliche Anmeldung, Ratenbegrenzung oder das Ablegen sensiblen Materials hinter einer Authentifizierung hält es vollständig von offenen, crawlbaren Seiten fern. Das Beschränken des Zugriffs ist bei Inhalten, die wirklich privat bleiben müssen, in der Regel weit zuverlässiger als jede freiwillige Textdatei.
Überprüfen, ob es funktioniert
https://yourdomain.com/robots.txt direkt in einem Browser und bestätigen Sie, dass die Datei korrekt im Stammverzeichnis der Website ausgeliefert wird.Diese Seite ist eine informative Bildungsressource, keine Rechtsberatung, und die hier gezeigten User-Agent-Namen können veraltet sein. Bestätigen Sie stets die aktuellen Tokens und das Verhalten in der offiziellen Dokumentation des Betreibers, bevor Sie sich darauf verlassen.
Weiterführende Lektüre
Vergleichen Sie KI-Modelle, bevor Sie einen Workflow wählen.
ChatGPT Alternatives chatgpt-alternatives.comFinden Sie neutrale Alternativen, wenn ein KI-Anbieter nicht ausreicht.
AI Subscription Guide aisubscriptionguide.comErfahren Sie, welches KI-Abonnement zu Ihrer tatsächlichen Arbeit passt.
OpenAI-Crawler-Doku platform.openai.com/docs/gptbotPrüfen Sie die aktuellen Hinweise zu OpenAI-Crawlern und User-Agents.
Google-Crawler-Doku developers.google.com/search/docs/crawling-indexing/overview-google-crawlersÜberprüfen Sie Google-Crawler-Namen, Indexierungsverhalten und KI-bezogene Steuerungen.
Anthropic-Support support.anthropic.com/Prüfen Sie die aktuellen Hinweise zu Claude-Konten, Daten und Crawlern.
FAQ
Sie können die Exposition verringern, aber sobald Fotos öffentlich sind, können Sie keine vollständige Kontrolle garantieren. Halten Sie sensible Fotos privat, überprüfen Sie die Plattformeinstellungen, vermeiden Sie öffentliche Uploads in hoher Auflösung und nutzen Sie Crawler-Steuerungen für Ihre eigene Website.
Nur nachdem Sie Angaben entfernt haben, die Sie für die Aufgabe nicht benötigen. Namen, Adressen, Telefonnummern, Geburtsdaten, Unterschriften, Betriebsgeheimnisse und Referenzen können oft durch Platzhalter ersetzt werden.
Seien Sie vorsichtig. Arztbriefe, Reisepässe, Schuldokumente, juristische Unterlagen, Bankdateien und Familienunterlagen können sensible Daten über andere Personen enthalten. Nutzen Sie freigegebene Datenschutzeinstellungen oder laden Sie sie nicht hoch.
Das hängt vom Produkt, der Kontoart und den Einstellungen ab. Einige Anbieter bieten Steuerungen, Team-Tarife oder API-Bedingungen an, die Daten unterschiedlich behandeln. Prüfen Sie die aktuellen Einstellungen, bevor Sie sensible Informationen eingeben.
Nicht mit einem einzigen technischen Schalter. robots.txt kann konforme Crawler bitten, fernzubleiben, aber sie ist freiwillig und entfernt keine Kopien, die anderswo bereits vorhanden sind.
robots.txt ist eine technische Konvention, für sich genommen kein Vertrag. Sie kann Ihre Richtlinienposition unterstützen, aber rechtliche Fragen hängen von Gerichtsbarkeit, Bedingungen, Urheberrecht, Verträgen und Durchsetzung ab.