Erreichen KI-Crawler deine Website?
ChatGPT, Claude, Gemini und Perplexity ziehen ihr Wissen aus dem Web — aber nur, wenn sie deine Seite abrufen dürfen. Der Bot-Check prüft in einem Durchlauf, welche KI-, SEO-, Such- und Social-Bots bei dir durchkommen: robots.txt, HTTP-Antwort und Meta-Robots je Bot. Kostenlos, ohne Anmeldung.
104 Bots · robots.txt · HTTP-Probe · Meta-Robots — meist in 30–60 s
Das Wichtigste in Kürze
- Der Bot-Check misst die Erreichbarkeit deiner Seite für KI- und SEO-Crawler — die technische Vorstufe von KI-Sichtbarkeit.
- Geprüft wird pro Bot: robots.txt, HTTP-Antwort auf den echten User-Agent und Meta-Robots im HTML.
- "CDN-geschützt" heißt: per UA-Test nicht eindeutig prüfbar — nicht automatisch blockiert und nie automatisch erlaubt.
- Erreichbarkeit ist Voraussetzung, aber keine Garantie für Indexierung, Training oder Zitation.
Nicht jeder Block bedeutet dasselbe
KI-Bots übernehmen drei verschiedene Aufgaben. Ob ein blockierter Bot ein Problem ist, hängt von seiner Rolle ab.
KI-Bots — Trainingsdaten
Füttern das parametrische Wissen der Modelle. Ein Block wirkt erst in künftigen Modell-Generationen — dann fehlt die Marke im "Gedächtnis" der KI.
KI-Bots — KI-Suchindex
Bauen den Index, aus dem KI-Suchen (ChatGPT Search, Perplexity, Claude ...) ihre Quellen ziehen und zitieren. Änderungen greifen mit dem nächsten Crawl — laut Anbietern frühestens nach ~24 Stunden.
KI-Bots — Live-Abruf
Holen Seiten auf direkte Nutzeranfrage. robots.txt wird bis zu 24 Stunden gecacht (DuckDuckGo: 72 h) — und einzelne Fetcher ignorieren robots.txt offiziell ganz; dort blockt wirksam nur eine HTTP-/WAF-Sperre.
Die wichtigsten KI-Crawler im Überblick
42 der insgesamt 104 geprüften Bots gehören zu KI-Systemen. Maßgeblich für robots.txt ist der Token, nicht die Versionsnummer im User-Agent.
| Bot | Betreiber | Rolle | User-Agent / Token | Zweck | Quelle |
|---|---|---|---|---|---|
| GPTBot | OpenAI | KI-Bots — Trainingsdaten | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot) | Trainiert OpenAIs Foundation-Modelle (ChatGPT-Grundwissen). | Doku |
| OAI-SearchBot | OpenAI | KI-Bots — KI-Suchindex | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot) | Zitations-Index für ChatGPT Search — unabhängig von GPTBot steuerbar. | Doku |
| ChatGPT-User | OpenAI | KI-Bots — Live-Abruf | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ChatGPT-User/1.0; +https://openai.com/bot) | Nutzerinitiierter Live-Abruf; robots.txt greift laut OpenAI evtl. nicht. | Doku |
| ClaudeBot | Anthropic | KI-Bots — Trainingsdaten | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com) | Sammelt Web-Inhalte fürs Claude-Training. | Doku |
| Claude-SearchBot | Anthropic | KI-Bots — KI-Suchindex | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +claudebot@anthropic.com) | Verbessert Claudes Suchergebnis-Qualität (Zitations-Index). | Doku |
| Claude-User | Anthropic | KI-Bots — Live-Abruf | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +claudebot@anthropic.com) | Live-Abruf, wenn Nutzer Claude fragen; respektiert robots.txt. | Doku |
| Google-Extended | KI-Bots — Trainingsdaten | Google-Extendednur robots.txt-Token, kein eigener UA | Opt-out-Token für Gemini-Training/Grounding — kein eigener User-Agent. | Doku | |
| PerplexityBot | Perplexity | KI-Bots — KI-Suchindex | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) | Index, über den Perplexity Seiten als Quelle zitiert. | Doku |
| Perplexity-User | Perplexity | KI-Bots — Live-Abruf | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexitybot) | Nutzerinitiierter Abruf; ignoriert robots.txt in der Regel. | Doku |
| Bingbot | Microsoft | KI-Bots — KI-Suchindex | Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) | Bing-Index = Grounding-Quelle für Microsoft Copilot. | Doku |
| Applebot-Extended | Apple | KI-Bots — Trainingsdaten | Applebot-Extendednur robots.txt-Token, kein eigener UA | Opt-out-Token gegen Apple-KI-Training — crawlt selbst nicht. | Doku |
| CCBot | Common Crawl | KI-Bots — Trainingsdaten | CCBot/2.0 (https://commoncrawl.org/faq/) | Common Crawl — offener Korpus, Basis vieler LLMs. | Doku |
Welchen Bot muss ich erlauben?
| Ziel | Relevanter Bot |
|---|---|
| In ChatGPT Search erscheinen | OAI-SearchBot |
| OpenAI-Training erlauben/verhindern | GPTBot |
| Nutzerinitiierte ChatGPT-Abrufe | ChatGPT-User |
| In Perplexity erscheinen | PerplexityBot |
| Perplexity-Live-Abrufe | Perplexity-User |
| In Claude-Antworten zitiert werden | Claude-SearchBot |
robots.txt-Vorlagen nach Ziel
KI-Suche erlauben, Training blocken
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /Alle wichtigen KI-Suchbots erlauben
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Applebot
Allow: /Nur nutzerinitiierte Abrufe
User-agent: ChatGPT-User
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: OAI-SearchBot
Disallow: /Achtung: ChatGPT-User und Perplexity-User können robots.txt laut Anbieter-Doku ignorieren — dieser Zustand ist nicht zuverlässig konfigurierbar.
Komplette Sperre aller KI-Crawler
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /robots.txt ist eine Bitte, keine Sperre. Für eine echte Sperre zusätzlich eine WAF-/Firewall-Regel setzen (Cloudflare: Bot-Management; WordPress: Sicherheits-Plugin).
robots.txt vs. Meta-Robots vs. HTTP-Sperre
| Mechanismus | Wirkung | Erzwingung |
|---|---|---|
| robots.txt | Bitte an seriöse Crawler, ganze Pfade zu meiden | Freiwillig — nutzerinitiierte Bots können sie ignorieren |
| Meta-Robots / X-Robots-Tag | Steuert Indexierung/Snippet pro Seite (noindex, nosnippet) | Freiwillig, aber von großen Anbietern respektiert |
| HTTP-/WAF-Sperre | Blockt den Request technisch (401/403) — auch für Fake-Bots | Erzwungen — trifft aber auch echte Bots, wenn zu grob |
Erreichbarkeit ist erst der Anfang
- 1Crawlen
- 2Indexieren
- 3Verstehen
- 4Quelle wählen
- 5Zitieren
Der Bot-Check beantwortet die erste Stufe: Kommt die KI überhaupt rein? Zitiert wird nur, was sie danach auch lesen, verstehen und als Quelle auswählen kann. Wie gut du in KI-Antworten genannt wirst, misst die vollständige Analyse.
Fehler beheben
robots.txt blockiert den Bot
Den Disallow-Eintrag für den betroffenen User-agent entfernen oder auf Allow ändern.
Meta-Robots / X-Robots-Tag blockiert
noindex/none im <head> oder im HTTP-Header entfernen, wenn die Seite auffindbar sein soll.
HTTP 401/403
Server- oder .htaccess-Regel prüfen, die den User-Agent aussperrt — trifft sonst auch den echten Bot.
WAF/CDN erkennt den simulierten Bot nicht
Normal bei Cloudflare & Co. — echte Bots werden per IP/rDNS verifiziert. Im CDN-Dashboard gegenprüfen, ob der echte Bot durchkommt.
Redirect-Schleife
Weiterleitungen (http→https, www) auf maximal einen Hop reduzieren.
Timeout / keine Antwort
Serverlast, Ratenbegrenzung oder eine Bot-Tarpit prüfen; Antwortzeiten unter ~8 s halten.
Nur die Startseite ist erreichbar
Interne Verlinkung und Sitemap prüfen — Bots finden Unterseiten sonst nicht.
JavaScript-App liefert eine leere HTML-Shell
Server-Side-Rendering oder Prerendering einsetzen — viele KI-Crawler führen kein JavaScript aus.
Kurz erklärt
- GEO
- Generative Engine Optimization — Sichtbarkeit in KI-Antworten (ChatGPT, Perplexity & Co.) statt nur in der klassischen Suche.
- User-Agent
- Kennung, mit der sich ein Bot beim Abruf zu erkennen gibt (z. B. "GPTBot/1.0").
- Meta-Robots
- HTML- oder HTTP-Angabe, die Indexierung und Snippet pro Seite steuert (noindex, nosnippet).
- CDN
- Content Delivery Network / Web Application Firewall (Cloudflare, Imperva …), das Anfragen filtert und echte Bots per IP verifiziert.
- eTLD+1
- Registrierbare Domain — z. B. beispiel.de bei a.beispiel.de. Fasst alle Subdomains einer Organisation zusammen.
Methodik & Grenzen
- Geprüft werden robots.txt, die HTTP-Antwort auf den echten User-Agent und Meta-Robots im HTML.
- Der Test läuft per User-Agent-Spoofing von unseren Servern — er kann nicht die echte Bot-IP verifizieren.
- Erreichbarkeit ist keine Garantie für Indexierung, Training oder Zitation.
- Die Bot-Rollen-Klassifikation stammt aus der offiziellen Anbieter-Dokumentation (Quellen je Bot verlinkt).
- "CDN-geschützt" markiert Fälle, die per UA-Test nicht eindeutig prüfbar sind — nur das CDN-Dashboard des Betreibers gibt Gewissheit.
Zuletzt aktualisiert: 13. Juli 2026
Häufige Fragen
zum Bot-Check
Der Bot-Check ruft deine Startseite mit dem echten User-Agent jedes Bots ab und wertet drei Signale aus: die robots.txt (erlaubt/verbietet sie den Bot?), die HTTP-Antwort (kommt der Request durch oder blockt ihn eine Firewall?) und die Meta-Robots-Angaben im HTML. Daraus ergibt sich pro Bot ein Status: erlaubt, blockiert, teilweise, unklar oder CDN-geschützt.
Nein. Der Bot-Check stellt nur lesende Anfragen (robots.txt und einen HEAD-Request pro Bot). Es werden keine Formulare abgeschickt, nichts gespeichert und nichts verändert.
Cloudflare, Imperva und ähnliche Dienste verifizieren echte KI-Bots über deren IP-Adresse und Reverse-DNS. Unser Test kommt von anderen IPs und gibt sich nur per User-Agent als Bot aus — ein CDN kann das als möglichen Fake einstufen und blocken, obwohl der echte Bot durchkommt. Deshalb zählt "CDN-geschützt" nie als "erlaubt", aber auch nicht als hart "blockiert".
Das ist eine Abwägung. GPTBot sammelt Daten für das Training künftiger OpenAI-Modelle — ein Block wirkt erst in späteren Modell-Generationen. Wer in ChatGPT Search zitiert werden will, sollte hingegen OAI-SearchBot erlauben; der wird über eine separate robots.txt-Regel gesteuert. Eine pauschale Empfehlung gibt es nicht — es hängt davon ab, ob du eher auf Reichweite in KI-Antworten oder auf Kontrolle über deine Trainingsdaten setzt.
GPTBot sammelt Trainingsdaten für OpenAIs Modelle. OAI-SearchBot baut den Index auf, aus dem ChatGPT Search seine Quellen zitiert. ChatGPT-User ruft deine Seite live ab, wenn ein Nutzer in ChatGPT danach fragt — dieser Abruf ist nutzerinitiiert, weshalb robots.txt-Regeln laut OpenAI hier möglicherweise nicht greifen.
Mit einem User-agent-Block und Allow/Disallow. Beispiel: "User-agent: GPTBot" gefolgt von "Disallow: /" sperrt GPTBot komplett. Wichtig: robots.txt ist eine Bitte, keine technische Sperre — seriöse Crawler halten sich daran, nutzerinitiierte Abrufe (ChatGPT-User, Perplexity-User) können sie aber ignorieren. Eine echte Sperre erfordert eine Firewall-/WAF-Regel.
Nichts. Der Bot-Check ist kostenlos und ohne Anmeldung nutzbar. Es gibt ein faires Tageslimit gegen Missbrauch; für regelmäßiges Monitoring gibt es die vollständige Analyse mit Konto.
Aktuell nicht. Eine llms.txt ist derzeit kein belegtes Ranking- oder Zitations-Signal: Google unterstützt sie ausdrücklich nicht, und in einer Auswertung über hunderte Millionen KI-Bot-Zugriffe rief kaum ein Bot die Datei überhaupt ab. Die großen Anbieter crawlen HTML direkt. Wir haben unser eigenes llms.txt-Tool deshalb bewusst zurückgebaut und bewerten das Fehlen der Datei nicht als Nachteil.
Offizielle Quellen
Erreichbarkeit geprüft — jetzt die Sichtbarkeit
Der Bot-Check zeigt, ob KI-Systeme reinkommen. Die vollständige Analyse zeigt, ob und wie sie dich empfehlen — mit Prompt-Monitoring, Wettbewerbsvergleich und konkreten To-dos.