Sollte ich KI-Crawler auf meiner Website zulassen?

Crawler sind Programme, die Websites automatisch besuchen und lesen. Neben dem Googlebot kommen heute viele weitere vorbei: von OpenAI, Anthropic, Perplexity, Apple, Meta und anderen. Manche sammeln Texte, um künftige KI-Modelle zu trainieren. Andere suchen live nach Quellen, wenn jemand ChatGPT oder Claude eine Frage stellt. Ob du sie hereinlässt, bestimmst du in der robots.txt, einer kleinen Textdatei im Hauptverzeichnis deiner Website.

Die Frage betrifft jede Website, auch wenn du dich nie damit beschäftigt hast. Denn irgendeine Einstellung hast du immer: entweder die Standardregel deines Website-Systems, eine Sperre deines Hosters oder Firewall-Anbieters, oder gar keine Regel, was meistens „alles erlaubt“ bedeutet. In diesem Artikel lernst du, die Crawler zu unterscheiden, eine bewusste Entscheidung zu treffen und sie sauber umzusetzen.

1 Training, Suche und Nutzerabruf unterscheiden

Der wichtigste Gedanke vorweg: KI-Crawler haben drei verschiedene Aufgaben, und die großen Anbieter haben dafür getrennte Crawler.

Training: Der Crawler sammelt Texte, mit denen künftige Sprachmodelle trainiert werden. Du bekommst dafür keinen Link und keine Nennung, dein Wissen fließt nur allgemein ins Modell ein.
Suche: Der Crawler baut einen Suchindex auf, aus dem der Assistent bei Fragen Quellen auswählt und verlinkt. Das ist die Grundlage dafür, in KI-Antworten genannt zu werden.
Nutzerabruf: Ein Mensch bittet den Assistenten, eine bestimmte Seite zu lesen, oder der Assistent ruft für eine konkrete Frage eine Seite auf. Diese Abrufe gelten als vom Nutzer ausgelöst, deshalb gelten robots.txt-Regeln dafür teilweise nicht.

Die wichtigsten KI-Crawler im Überblick

Name in der robots.txt	Anbieter	Aufgabe	Folge einer Sperre
GPTBot	OpenAI	Training	Inhalte fließen nicht in künftiges Training
OAI-SearchBot	OpenAI	Suche in ChatGPT	keine Nennung in Antworten der ChatGPT-Suche
ChatGPT-User	OpenAI	Nutzerabruf	robots.txt gilt laut OpenAI hier unter Umständen nicht
ClaudeBot	Anthropic	Training	Inhalte fließen nicht in künftiges Training
Claude-SearchBot	Anthropic	Suche in Claude	weniger Sichtbarkeit in Suchergebnissen von Claude
Claude-User	Anthropic	Nutzerabruf	Claude kann deine Seite für Nutzerfragen nicht abrufen
PerplexityBot	Perplexity	Suche, laut Perplexity kein Training	keine Nennung in Perplexity
Perplexity-User	Perplexity	Nutzerabruf	ignoriert die robots.txt laut Perplexity in der Regel
Google-Extended	Google	Steuerung für Gemini-Training und Gemini-Apps, kein eigener Crawler	kein Einfluss auf die Google-Suche und die KI-Übersichten
Applebot-Extended	Apple	Steuerung für Training von Apple-KI, kein eigener Crawler	Inhalte bleiben in Siri und Spotlight auffindbar
meta-externalagent	Meta	Training und Produktverbesserung	Inhalte fließen nicht in Meta-KI ein
CCBot	Common Crawl	offenes Web-Archiv, das viele KI-Firmen fürs Training nutzen	nicht mehr in künftigen Archiv-Abzügen

Stand dieser Tabelle ist Oktober 2026, sie beruht auf den Dokumentationen der Anbieter. Neue Crawler kommen regelmäßig dazu, deshalb lohnt ein Blick einmal im Jahr.

Zwei Punkte werden oft missverstanden. Erstens: Google-Extended sperrt dich nicht aus den KI-Übersichten. Google stellt klar, dass dieser Eintrag die Google-Suche nicht beeinflusst, die Übersichten hängen am normalen Googlebot. Mehr dazu in Was bedeuten die KI-Übersichten bei Google?. Zweitens: Eine Sperre wirkt nur für die Zukunft. Was ein Crawler früher schon gelesen hat, verschwindet dadurch nicht aus bestehenden Modellen oder Archiven.

2 Deine Entscheidung treffen

Es gibt drei sinnvolle Haltungen. Welche passt, hängt davon ab, wovon du lebst.

Haltung	Für wen sie passt	Ergebnis
Alles erlauben	Dienstleister, Handwerk, Praxen, Beratung: Deine Website soll Anfragen bringen	maximale Sichtbarkeit in KI-Antworten und Training
Suche ja, Training nein	Wer eigene Fachtexte schützen will, aber in Antworten auftauchen möchte	Nennung in KI-Antworten, kein Beitrag zum Training
Alles sperren	Verlage, Kursanbieter, Fotografen: Deine Inhalte selbst sind das Produkt	kaum Nennungen in KI-Antworten

Für die meisten unserer Kunden ist „Alles erlauben“ die richtige Wahl. Eine Coachin in Köln oder eine Schreinerei in Hamburg verkauft keine Texte, sondern ihre Arbeit. Je besser KI-Systeme verstehen, was sie anbietet, desto eher wird sie empfohlen. Wir haben uns für die eigene Website genauso entschieden.

Beispiel: Eine Steuerberatung schreibt seit Jahren ausführliche Fachartikel, die auch Kolleginnen lesen. Sie möchte in ChatGPT und Perplexity als Kanzlei für Photovoltaik-Steuerfragen genannt werden, aber nicht, dass ihre Artikel ungefragt in Trainingsdaten landen. Sie wählt „Suche ja, Training nein“: OAI-SearchBot, Claude-SearchBot und PerplexityBot erlaubt, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent und CCBot gesperrt.

3 Die robots.txt anpassen

Die robots.txt liegt immer unter deinedomain.de/robots.txt. So änderst du sie:

Aktuelle Datei ansehen: Ruf die Adresse im Browser auf und kopiere den Inhalt in eine Textdatei als Sicherung.
Datei öffnen: In WordPress mit Yoast SEO unter „Yoast SEO > Werkzeuge > Datei-Editor“, mit Rank Math unter „Rank Math SEO > Allgemeine Einstellungen > robots.txt bearbeiten“. Bei anderen Systemen oder statischen Websites über den Dateimanager deines Hosters oder per FTP im Hauptverzeichnis.
Regeln eintragen: Je eine Gruppe aus User-agent: und Allow: oder Disallow:, wie in den Vorlagen unten.
Speichern und aufrufen: Lade deinedomain.de/robots.txt neu und prüfe, ob die Änderung sichtbar ist. Ein Cache-Plugin kann die alte Fassung noch kurz ausliefern.
Bei Google gegenprüfen: In der Search Console unter „Einstellungen“ im Abschnitt „Crawling“ öffnest du den robots.txt-Bericht. Dort siehst du, welche Fassung Google zuletzt gelesen hat und ob sie Fehler enthält.

Vorlage „Suche ja, Training nein“

User-agent: *
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://www.deinedomain.de/sitemap.xml

Die Such-Crawler wie OAI-SearchBot, Claude-SearchBot und PerplexityBot fallen hier unter die allgemeine Regel User-agent: * und dürfen alles lesen.

Vorlage „Alles erlauben“

Wenn deine robots.txt nur User-agent: * mit Allow: / enthält, sind alle Crawler erlaubt. Du kannst die KI-Crawler zusätzlich ausdrücklich nennen, um die Absicht klar zu machen. So halten wir es in unserer eigenen robots.txt: Dort sind GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Perplexity-User, Google-Extended und Applebot-Extended einzeln mit Allow: / aufgeführt.

Eine Falle beim Schreiben

Ein Crawler, für den es eine eigene Gruppe gibt, liest nur diese Gruppe und ignoriert die Regeln unter User-agent: *. Hast du unter * etwa Disallow: /intern/ stehen und legst eine eigene Gruppe für GPTBot mit Allow: / an, darf GPTBot auch /intern/ lesen. Wiederhole wichtige Sperren deshalb in jeder eigenen Gruppe.

4 Firewall, Hoster und Plugins prüfen

Die robots.txt ist eine Bitte, keine Mauer. Umgekehrt kann eine Mauer vorhanden sein, von der du nichts weißt:

Cloudflare: Seit Juli 2025 werden bekannte KI-Crawler bei neu angelegten Domains standardmäßig blockiert. Im Dashboard findest du die Einstellung im Bereich zur KI-Crawler-Kontrolle. Prüfe dort, ob Such-Crawler durchgelassen werden, sonst nützt die freundlichste robots.txt nichts.
Sicherheits-Plugins: Manche WordPress-Plugins sperren Bots mit unbekanntem Namen oder hoher Abrufrate. Schau in deren Einstellungen unter Bot-Schutz oder Firewall nach.
Hoster: Einige Hoster filtern Bots auf Serverebene. Frag im Zweifel beim Support nach, ob GPTBot, OAI-SearchBot und PerplexityBot durchgelassen werden.

Wer Crawler wirklich sicher aussperren will, braucht genau diese Ebene. Nicht jeder Bot hält sich an die robots.txt, und Nutzerabrufe sind laut OpenAI und Perplexity teilweise ausgenommen. Anthropic und OpenAI veröffentlichen Listen ihrer IP-Adressen, mit denen du echte Crawler von Nachahmern unterscheiden kannst.

5 Rechtliche Seite: Nutzungsvorbehalt nach Urheberrecht

In Deutschland erlaubt § 44b UrhG das automatisierte Auswerten frei zugänglicher Inhalte, das sogenannte Text und Data Mining, auch für KI-Training. Rechteinhaber können dem widersprechen. Bei Online-Inhalten muss dieser Vorbehalt aber maschinenlesbar sein.

Das Oberlandesgericht Hamburg hat im Dezember 2025 im Verfahren eines Fotografen gegen den Verein LAION entschieden, dass ein Vorbehalt nur in Nutzungsbedingungen, also in normaler Sprache, dafür nicht ausreichte (Az. 5 U 104/24). Die Revision zum Bundesgerichtshof wurde zugelassen, die Frage ist also nicht abschließend geklärt. Eine Sperre in der robots.txt gilt in der Fachdiskussion als naheliegende maschinenlesbare Form, höchstrichterlich entschieden ist das bisher nicht. Hinzu kommt: Im freiwilligen Verhaltenskodex der EU für Anbieter allgemeiner KI-Modelle verpflichten sich die Unterzeichner, die robots.txt beim Sammeln von Trainingsdaten zu beachten.

Willst du deine Inhalte vom Training ausnehmen, sperre die Trainings-Crawler in der robots.txt und ergänze auf Wunsch einen Satz im Impressum. Für deinen konkreten Fall, etwa wenn deine Texte oder Bilder dein Geschäftsmodell sind, lass dich von einer Anwältin oder einem Anwalt für Urheberrecht beraten. Dieser Abschnitt ist keine Rechtsberatung.

Häufige Fehler und wie du sie vermeidest

GPTBot und OAI-SearchBot gleichsetzen: Wer „ChatGPT“ sperren will und beide einträgt, verschwindet aus der ChatGPT-Suche. Für den Trainingsschutz reicht GPTBot.
Google-Extended als Schutz vor KI-Übersichten: Wirkt dort nicht. Die Übersichten lassen sich nur über Snippet-Einstellungen oder den Googlebot steuern.
Vorlagen blind kopieren: Eine Zeile User-agent: * mit Disallow: / sperrt alle Suchmaschinen, auch Google. Prüfe jede Änderung vor dem Speichern. Wenn deine Website danach bei Google fehlt, hilft Warum ist meine Website nicht bei Google zu finden?.
Die Firewall vergessen: Die robots.txt erlaubt, aber Cloudflare oder ein Plugin blockiert. Das Ergebnis ist dasselbe wie eine Sperre.
Tippfehler im Namen: Groß- und Kleinschreibung spielt bei den Crawler-Namen keine Rolle, ein zusätzlicher Bindestrich schon. User-agent: GPT-Bot trifft keinen echten Crawler. Übernimm die Namen exakt aus der Tabelle.

Kosten und Zeitaufwand

Die Umsetzung kostet kein Geld, nur Zeit. Die robots.txt anzupassen dauert mit Vorlage 15 bis 30 Minuten. Die Prüfung von Firewall, Plugins und Hoster braucht etwa eine weitere Stunde, wenn du Zugang zu allen Konten hast. Rechne einmal im Jahr mit 30 Minuten, um neue Crawler nachzutragen.

Lässt du es machen, ist das bei Fachleuten meist eine Sache von ein bis zwei Arbeitsstunden. Teurer wird es nur, wenn du Crawler technisch hart aussperren willst, etwa mit Firewall-Regeln und Prüfung der Server-Logs.

Woran du erkennst, dass es funktioniert

deinedomain.de/robots.txt zeigt im Browser die neue Fassung
Der robots.txt-Bericht in der Search Console meldet keine Fehler
In den Zugriffsprotokollen deines Hosters tauchen die erlaubten Crawler mit Statuscode 200 auf, gesperrte nicht mehr bei normalen Seiten
Nach einigen Tagen erscheinen in Google Analytics Besuche mit Quelle chatgpt.com oder perplexity.ai, sofern du dort genannt wirst
Im Cloudflare-Dashboard, falls genutzt, sind die Such-Crawler als zugelassen markiert

Bei OpenAI dauert es nach eigener Angabe etwa 24 Stunden, bis eine geänderte robots.txt in der Suche berücksichtigt wird.

Häufige Folgefragen

Schadet es meinem Google-Ranking, wenn ich KI-Crawler sperre?

Nein, solange du den Googlebot nicht sperrst. Auch Google-Extended hat laut Google keinen Einfluss auf das Ranking. Du verlierst nur Sichtbarkeit in den KI-Diensten, deren Crawler du sperrst.

Belasten KI-Crawler meinen Server?

Bei kleinen Websites selten spürbar. Wird es zu viel, kannst du einzelne Crawler sperren oder bei Anthropic die Abrufrate mit Crawl-delay drosseln, das die Firma ausdrücklich unterstützt.

Kann ich bereits trainierte Inhalte zurückholen?

Nein. Eine Sperre wirkt nur für künftige Abrufe. Inhalte, die schon in Trainingsdaten oder Archiven wie Common Crawl stecken, bleiben dort.

Muss ich jede Subdomain einzeln regeln?

Ja. Jede Subdomain wie shop.deinedomain.de braucht ihre eigene robots.txt, darauf weist auch Anthropic hin.

Ist eine llms.txt dasselbe?

Nein. Die robots.txt regelt den Zugang, eine llms.txt ist eine freiwillige Übersicht für KI-Systeme. Den Unterschied erklärt Was ist eine llms.txt?.

Werde ich automatisch in ChatGPT genannt, wenn ich alles erlaube?

Nein. Die Freigabe ist nur die Voraussetzung. Was darüber hinaus zählt, steht in Wie werde ich in ChatGPT genannt?.

Wie quik dabei hilft

Im SEO Fundament unserer SEO-Pakete richten wir robots.txt, Sitemap und Search Console sauber ein und stimmen die Regeln für KI-Crawler mit dir ab. Wenn du unsicher bist, welche Haltung zu deinem Geschäft passt, klären wir das im kostenlosen Erstgespräch über Kontakt.

Deine Privatsphäre