Zum Hintergrund
KI-Crawler: worum es dabei geht
Was hier genau geprüft wird
Die Prüfung liest die robots.txt Ihrer Domain und wertet sie für zwölf bekannte Programme einzeln aus: GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI, ClaudeBot und Claude-User von Anthropic, PerplexityBot, Google-Extended, Applebot-Extended, Bytespider, CCBot, den Agenten von Meta und Amazonbot. Für jedes zeigt sie, ob es lesen darf — und aus welcher Regel sich das ergibt.
Was ein Fund bedeutet
Die drei Sorten muss man auseinanderhalten. Trainings-Crawler sammeln Texte für künftige Modellversionen. Antwort-Crawler holen Inhalte, wenn gerade jemand etwas fragt — für die Antwort, die in diesem Moment entsteht, meist mit Quellenangabe. Nutzergesteuerte Abrufe passieren, wenn ein Mensch eine Adresse in ein KI-Werkzeug eingibt.
Daraus folgt der Fehler, der ständig gemacht wird: Wer GPTBot sperrt, hält seine Inhalte aus dem Training heraus, bleibt in der Suche innerhalb von ChatGPT aber sichtbar — dafür ist OAI-SearchBot zuständig. Und wer meint, „alle KI-Bots“ geblockt zu haben, hat oft nur die Trainings-Crawler erwischt.
Was Sie damit tun
Für die meisten Unternehmenswebsites gilt: Antwort-Crawler zulassen, bei den Trainings-Crawlern nach Geschmack entscheiden. Wer von Empfehlungen lebt, lässt alles offen. Wer mit eigenen Texten Geld verdient, hat einen echten Grund, das Training auszuschließen — und sollte das dann gezielt tun statt pauschal.
Die Grenze dieser Prüfung
Die robots.txt ist ein Hinweisschild, kein Schloss. Sie enthält eine Bitte; die großen Anbieter halten sich nach eigener Aussage daran, aggressive Scraper nicht. Und eine Sperre wirkt nie rückwirkend: Was bereits in ein Modell eingeflossen ist, lässt sich nicht zurückholen.