Kurzantwort: KI-Systeme lesen Ihre Website wie ein Besucher ohne JavaScript: Sie brauchen Zugang für ihre Crawler, schnelle, serverseitig gelieferte Seiten und Inhalte ohne Login. Sieben Prüfpunkte entscheiden darüber, ob ChatGPT, Perplexity oder Google Sie überhaupt zitieren können – ein Spezialformat wie Markdown gehört nicht dazu.
Dieser Leitfaden gehört zur Säule Gefunden werden: KI-Sichtbarkeit und GEO. Er beantwortet die technische Vorfrage jeder Sichtbarkeit: Kommt die KI überhaupt an Ihren Inhalt heran? Wie Sie danach messen, ob Sie genannt werden, steht im Leitfaden KI-Sichtbarkeit messen.
Welche KI-Crawler gibt es, und was tun sie?
Drei Arten: Crawler, die Trainingsdaten sammeln (GPTBot, ClaudeBot), Crawler, die einen Suchindex für KI-Antworten aufbauen (OAI-SearchBot, PerplexityBot, Googlebot), und Abrufe im Moment der Nutzerfrage (ChatGPT-User). Die dritte Art ist die wichtigste und wird am häufigsten übersehen: Laut Profounds Experiment mit 380 Seiten stammten 73 Prozent des gesamten KI-Bot-Verkehrs von ChatGPT-User – also von Nutzern, die ChatGPT live im Web suchen ließen.
| Crawler | Betreiber | Wofür | Folge einer Sperre |
|---|---|---|---|
| GPTBot | OpenAI | Trainingsdaten für künftige Modelle | Ihre Inhalte fließen nicht ins Modellwissen; Suche und Live-Abruf bleiben möglich |
| OAI-SearchBot | OpenAI | Suchindex für Antworten mit Quellen in ChatGPT | Sie erscheinen nicht als Quelle in ChatGPT-Suchantworten |
| ChatGPT-User | OpenAI | Abruf einer Seite, wenn ein Nutzer ChatGPT im Web suchen oder eine URL lesen lässt | ChatGPT kann Ihre Seite auf Nachfrage nicht öffnen |
| PerplexityBot | Perplexity | Suchindex für Perplexity-Antworten | Keine Zitate in Perplexity |
| ClaudeBot | Anthropic | Trainingsdaten und Abrufe für Claude | Kein Modellwissen, kein Abruf durch Claude |
| Googlebot | Google-Suche, AI Overviews und AI Mode | Sie verschwinden aus Suche und KI-Antworten von Google zugleich | |
| Google-Extended | Steuert nur die Nutzung für Gemini-Training und -Grounding | Gemini nutzt Ihre Inhalte nicht; Suche und AI Overviews bleiben unberührt | |
| Bingbot | Microsoft | Bing-Suche und Copilot | Keine Zitate in Copilot |
Die Zuordnung folgt den Crawler-Dokumentationen von OpenAI und Google (siehe Quellen). Die Verteilung im Profound-Experiment (Januar bis Februar 2026): ChatGPT-User 73 Prozent, Meta-Crawler 20 Prozent, OAI-SearchBot 4 Prozent, ClaudeBot 2 Prozent, GPTBot 1 Prozent. Wer nur an „Training“ denkt und GPTBot sperrt, trifft den kleinsten Posten – und übersieht, dass die eigentliche Sichtbarkeit über Suchindex und Live-Abruf entsteht.
Wie prüfen Sie Ihre robots.txt?
Rufen Sie ihre-domain.de/robots.txt auf und lesen Sie jede Zeile mit „Disallow“. Alles, was dort für „User-agent: *“ oder für einen KI-Crawler namentlich gesperrt ist, existiert für diesen Crawler nicht. Eine offene robots.txt für eine WordPress-Seite braucht nur drei Regeln: Admin-Bereich sperren, die Ajax-Schnittstelle freigeben, die Sitemap nennen.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ihre-domain.de/sitemap_index.xmlWas die robots.txt nicht zeigt: Sperren durch Sicherheits-Plugins, Hoster-Firewalls oder ein CDN. Viele dieser Systeme bieten einen Schalter „KI-Bots blockieren“, manche haben ihn voreingestellt. Prüfen Sie die Einstellungen von Firewall, Bot-Schutz und Rate-Limiting – und ob ein Bot statt der Seite eine Prüfseite oder ein CAPTCHA bekommt. Profounds Markdown-Experiment nennt genau das als Grundregel: keine aggressiven Ratenbegrenzungen, keine bot-feindlichen CAPTCHAs.
Wie groß der Effekt einer Sperre ist, zeigt laut Profound und Tinuiti das Beispiel Amazon: Der Konzern sperrt rund 50 Crawler, darunter alle drei von OpenAI, lässt aber Googlebot zu. Ergebnis im Januar 2026: 0,3 Prozent der ChatGPT-Zitate, aber 3,3 Prozent bei Google AI Mode und AI Overviews – und praktisch keine Nennung bei Perplexity und Gemini. Wer Crawler aussperrt, entscheidet damit, welche KI-Systeme ihn zitieren können.
Warum muss der Inhalt im Quelltext stehen?
Weil KI-Crawler laut Profounds AEO-Guide weder scrollen noch Skripte ausführen: Was nicht im ersten Seitenaufruf als HTML ankommt, wird übersprungen. Der einfachste Test ist der Quelltext Ihrer Seite (im Browser „Seitenquelltext anzeigen“): Steht Ihre Kernaussage dort als lesbarer Text, kann die KI sie verwenden. Steht sie nur in einem Bild, einem nachgeladenen Element oder hinter einem Klick, ist sie unsichtbar.
- Serverseitig gerendert: WordPress liefert Inhalte als fertiges HTML – gut. Seiten, die Text erst per JavaScript aufbauen (manche Page-Builder, Single-Page-Apps), brauchen serverseitiges Rendering.
- Keine versteckten Inhalte: Akkordeons, Tabs und „Mehr lesen“-Schalter sind unproblematisch, solange der Text im HTML steht; Inhalte, die erst beim Klick nachgeladen werden, nicht.
- Tabellen als Tabellen: Zahlen in einem Bild oder Screenshot kann kein Modell lesen. Echte HTML-Tabellen mit Kopfzeile, Listen als Listen.
- Beschreibende Alt-Texte: Was die Grafik zeigt, nicht wie sie aussieht.
- Transkripte für Video und Audio: Ein eingebettetes Video ist für die KI leer; der Text daneben nicht. Profound empfiehlt, das vollständige Transkript auf die Seite zu stellen.
Bringt Markdown oder eine llms.txt etwas?
Nein, nach heutigem Stand nicht. Profound hat Anfang 2026 ein kontrolliertes Experiment mit 380 Seiten auf sechs Websites durchgeführt: Die eine Hälfte lieferte KI-Crawlern Markdown, die andere normales HTML. Ergebnis: kein statistisch signifikanter Unterschied im Bot-Verkehr (Median 7 gegenüber 6 Besuche je Seite). Google und Microsoft raten laut Search Engine Land von separaten Markdown-Seiten ab; eine Studie von OtterlyAI fand keinen Zusammenhang zwischen llms.txt und Crawler-Aktivität.
Die Erklärung der Autoren: Die Modelle sind auf Milliarden HTML-Seiten trainiert und lesen HTML problemlos. Investieren Sie die Zeit in das, was wirkt – crawlbare, hochwertige Inhalte, klare Struktur mit Überschriften, Listen und Tabellen, schnelle Ladezeit und freien Zugang für Bots. Auf perrone.de gibt es deshalb weder Markdown-Auslieferung noch llms.txt.
Was dürfen Sie nicht hinter Login, Paywall oder Formular verstecken?
Alles, was Ihre Glaubwürdigkeit belegt. Laut Spotlight und Profound ignorieren KI-Systeme gated PDFs, Paywall-Inhalte und loginpflichtige Analystenberichte; zitiert wird, was öffentlich, strukturiert und von Dritten bestätigt ist. Für Berater und Mittelständler heißt das: Referenzen, Fallstudien, Vorträge und Kundenstimmen gehören als Text auf die eigene Website – nicht nur in ein LinkedIn-Profil, das hinter dem Login liegt, und nicht nur in ein PDF, das es gegen eine E-Mail-Adresse gibt.
Wenn Sie Inhalte bewusst schützen wollen, empfiehlt Profounds AEO-Guide eine indexierte Zusammenfassung: Die Kernaussagen stehen offen auf der Seite, der vollständige Report bleibt hinter dem Formular. So kennt die KI den Inhalt, und Sie behalten den Kontakt. Mein eigenes Buchkapitel liegt bei Springer hinter einer Paywall – die offene Zusammenfassung dazu steht auf perrone.de.
Wie schnell muss die Seite sein, und was ist mit Caching?
Schnell genug, dass ein Abruf im Moment der Nutzerfrage nicht abbricht. ChatGPT-User holt die Seite, während der Nutzer auf die Antwort wartet; Profounds AEO-Guide formuliert es knapp: Die KI wartet nicht auf langsame Seiten. Ein Seiten-Cache hilft, solange er Bots dasselbe HTML liefert wie Menschen und keine Prüfseite vorschaltet. Prüfen Sie außerdem drei Dinge, die auch für Google gelten: eine aktuelle XML-Sitemap, saubere Canonical-Tags ohne Duplikate und keine versehentlichen noindex-Anweisungen auf wichtigen Seiten.
Woran erkennen Sie, ob KI-Crawler tatsächlich kommen?
Nur an den Server-Logs. Die Search Console zeigt Googlebot, aber keinen GPTBot und keinen PerplexityBot. Lassen Sie sich vom Hoster die Zugriffsprotokolle geben und filtern Sie nach den User-Agent-Namen aus der Tabelle oben: Welche Bots kommen, welche Seiten rufen sie ab, wie schnell nach einer Veröffentlichung? Profound empfiehlt, KI-Crawler wie jeden anderen wichtigen Besucher zu behandeln und das regelmäßig zu prüfen.
Auf perrone.de sperrt die robots.txt nur den Admin-Bereich, das Sicherheits-Plugin blockiert keine Bots, die Seiten kommen serverseitig gerendert aus dem Cache. Was ich noch nicht sehen kann, ist das Log: ob und wie oft ChatGPT-User, OAI-SearchBot und PerplexityBot die Seiten abrufen. Die Auswertung der Zugriffsprotokolle trage ich hier nach, sobald sie vorliegt – mit Datum.
Checkliste: sieben Prüfpunkte in einer Stunde
| Prüfpunkt | So prüfen Sie es | In Ordnung, wenn … |
|---|---|---|
| 1. robots.txt | ihre-domain.de/robots.txt aufrufen | kein Disallow für KI-Crawler oder ganze Verzeichnisse mit Inhalten |
| 2. Firewall, Bot-Schutz, CDN | Einstellungen des Sicherheits-Plugins, Hosters und CDN durchsehen | kein Schalter „KI-Bots blockieren“ aktiv, kein CAPTCHA für Bots |
| 3. Quelltext | „Seitenquelltext anzeigen“ auf drei wichtigen Seiten | Kurzantwort, Überschriften, Tabellen und FAQ stehen als Text im HTML |
| 4. Gated Inhalte | Liste aller PDFs, Downloads und Login-Bereiche | zu jedem geschützten Inhalt gibt es eine offene Zusammenfassung |
| 5. Ladezeit | PageSpeed Insights oder ein vergleichbares Werkzeug | Hauptinhalt in unter zwei Sekunden sichtbar, keine Prüfseite vor dem Inhalt |
| 6. Sitemap und Canonicals | sitemap_index.xml aufrufen; Quelltext nach rel=“canonical“ und noindex durchsuchen | Sitemap aktuell, Canonical zeigt auf die Seite selbst, kein noindex auf Inhaltsseiten |
| 7. Server-Logs | Zugriffsprotokoll beim Hoster nach User-Agents filtern | ChatGPT-User, OAI-SearchBot und PerplexityBot erscheinen innerhalb von Tagen nach einer Veröffentlichung |
Wer alle sieben Punkte bestanden hat, hat die Technik erledigt – und kann sich dem zuwenden, was tatsächlich über Zitate entscheidet: der Struktur und Tiefe der Inhalte. Dazu der Leitfaden Wie strukturieren Sie Seiten, damit KI sie zitiert?.
Häufige Fragen
Was ist der Unterschied zwischen GPTBot und ChatGPT-User?
GPTBot sammelt Trainingsdaten für künftige Modelle und besucht Seiten unabhängig von Nutzern. ChatGPT-User ruft eine Seite in dem Moment ab, in dem ein Nutzer ChatGPT im Web suchen oder eine URL lesen lässt. Wer GPTBot sperrt, schützt Inhalte vor dem Training; wer ChatGPT-User sperrt, macht sich für Nutzer unsichtbar. Laut Profound stammten 73 Prozent des KI-Bot-Verkehrs von ChatGPT-User.
Sollte ich GPTBot sperren, um mein Wissen zu schützen?
Das ist eine Abwägung, keine Technikfrage. Eine Sperre hält Ihre Texte aus künftigem Modelltraining heraus, kostet aber die Chance, als Wissensquelle im Modell selbst vorzukommen. Suche (OAI-SearchBot) und Live-Abruf (ChatGPT-User) bleiben von einer GPTBot-Sperre unberührt, wenn Sie nur diesen einen Crawler nennen.
Reicht es, wenn Google meine Seite indexiert hat?
Für Googles AI Overviews und AI Mode ja, denn beide nutzen den Googlebot-Index. ChatGPT, Perplexity, Copilot und Claude haben eigene Crawler und eigene Indizes. Eine Seite kann bei Google auf Platz eins stehen und in ChatGPT nicht existieren – laut Profounds AEO-Guide überschneiden sich nur 11 Prozent der zitierten Domains zwischen Google-Suche und ChatGPT.
Hilft ein CDN oder ein Sicherheits-Plugin, oder schadet es?
Beides kann helfen, solange die Einstellungen stimmen. Caching beschleunigt die Auslieferung, Bot-Schutz hält Angreifer fern. Schädlich wird es, wenn pauschale Regeln KI-Crawler mit Spambots gleichsetzen, ihnen Prüfseiten vorschalten oder sie drosseln. Prüfen Sie nach jedem Plugin-Update, ob die KI-Crawler noch durchkommen.
Quellen
- Profound: Does Markdown Increase LLM Bot Traffic? A Randomized Controlled Experiment (Brandon Punturo, Februar 2026) – 380 Seiten, Bot-Verteilung, Empfehlungen
- Profound und Tinuiti: AI Citations Trend Report Q1 2026 (26.02.2026) – Amazon-Beispiel, Zitatanteile je Plattform
- Profound: Answer Engine Optimization Ultimate Guide (17.12.2025) – technische Checkliste, Quelltext-Regel, 11-Prozent-Überschneidung (ohne Quellenangabe im Guide)
- Spotlight und Profound: Influence Orchestration in the GenAI Era (September 2025) – was KI-Systeme ignorieren
- OpenAI: Overview of OpenAI Crawlers – GPTBot, OAI-SearchBot, ChatGPT-User
- Google: Overview of Google crawlers and fetchers – Googlebot, Google-Extended
- Search Engine Land: Google & Bing don’t recommend separate Markdown pages for LLMs (Februar 2026)
Stand: Oktober 2026
Dazu biete ich an: den GEO-Check – eine Prüfung Ihrer Website auf Crawler-Zugang, Struktur und Zitierfähigkeit, mit priorisierter Maßnahmenliste.