Dieser Beitrag beantwortet eine andere Frage als der über die llms.txt und die KI-Suche. Dort geht es darum, ob und wie Sie in KI-Antworten vorkommen. Hier geht es um die Vorfrage: wer Ihre Seite überhaupt lesen darf — und was Ihre robots.txt darüber gerade aussagt, ohne dass Sie es wissen.
Drei Sorten Besucher, die man gern in einen Topf wirft
Trainings-Crawler sammeln Texte für künftige Modellversionen. Dazu gehören GPTBot von OpenAI, ClaudeBot von Anthropic, CCBot von Common Crawl und Google-Extended. Was sie mitnehmen, fließt in ein Modell ein, das irgendwann erscheint.
Antwort-Crawler holen Inhalte, wenn gerade jemand etwas fragt — für die Antwort, die in diesem Moment entsteht, meist mit Quellenangabe und Link. Dazu gehören OAI-SearchBot und PerplexityBot.
Nutzergesteuerte Abrufe passieren, wenn ein Mensch eine Adresse in ein KI-Werkzeug eingibt und sagt: sieh dir das an. ChatGPT-User und Claude-User gehören dazu.
Der Unterschied ist nicht akademisch. Er entscheidet darüber, ob Sie Ihre Inhalte aus dem Training heraushalten und trotzdem als Quelle empfohlen werden — oder ob Sie beides verlieren.
Der Fehler, der ständig gemacht wird
Wer GPTBot sperrt, hält seine Inhalte aus dem Training künftiger Modelle heraus. In der Suche innerhalb von ChatGPT bleibt er sichtbar — dafür ist OAI-SearchBot zuständig, der davon gar nicht betroffen ist.
Umgekehrt gilt genauso: Wer in der Annahme, „alle KI-Bots“ zu blockieren, nur die Trainings-Crawler in seine robots.txt schreibt, hat den Zugriff auf seine Inhalte nicht verhindert — er hat nur die Verwertung für Modelle eingeschränkt, die ohnehin die geringste direkte Auswirkung auf sein Geschäft hat.
Für eine lokale Dienstleistung ist die Rechnung meistens einfach: Sie wollen, dass ein Antwort-Crawler Sie findet, wenn jemand „Zahnarzt in Fürth mit Abendsprechstunde“ fragt. Ob Ihre Öffnungszeiten in einem Modelltraining landen, ist Ihnen vermutlich gleichgültig.
Was steht bei Ihnen drin? Der KI-Crawler-Check liest Ihre robots.txt und sagt für zwölf bekannte Programme einzeln, ob sie lesen dürfen — einschließlich der Regel, aus der sich das ergibt.
Zwei Dinge, die man wissen sollte, bevor man etwas sperrt
Die robots.txt ist ein Hinweisschild, kein Schloss. Sie enthält eine Bitte. Die großen Anbieter halten sich nach eigener Aussage daran; Anthropic bezieht das ausdrücklich auf alle drei Bot-Typen, OpenAI und Perplexity weisen darauf hin, dass nutzergesteuerte Abrufe die Datei möglicherweise ignorieren. Wer nicht gefunden werden will, kommt um echte technische Sperren nicht herum.
Eine Sperre wirkt nicht rückwirkend. Was bereits in ein Modell eingeflossen ist, lässt sich nicht zurückholen. Die Entscheidung betrifft ausschließlich die Zukunft — was auch heißt: Man kann sie jederzeit treffen und jederzeit revidieren.
Eine brauchbare Voreinstellung
Für die meisten Unternehmenswebsites: Antwort-Crawler zulassen, Trainings-Crawler nach Geschmack. Wer von Empfehlungen lebt, lässt alles offen. Wer mit eigenen Texten Geld verdient — Verlage, Fotografen, Kursanbieter — hat einen echten Grund, das Training auszuschließen, und sollte es dann auch gezielt tun statt pauschal.
Was Sie auf keinen Fall tun sollten: die Entscheidung ungeprüft einem Baukasten oder einem Erweiterungsmodul überlassen. Etliche Systeme haben in den vergangenen zwei Jahren KI-Sperren als Voreinstellung eingebaut — stillschweigend, und in beide Richtungen.