Ratgeber
KI-Crawler in der robots.txt
Welche Such-, Abruf- und Trainings-Crawler Sie zulassen sollten, mit Beispiel-robots.txt.
Kostenlos · ohne Anmeldung · keine Speicherung
Welche KI-Crawler lässt Ihre robots.txt zu?
Der Checker liest Ihre robots.txt so, wie Crawler sie auslegen, und zeigt für 25 Bots von Google, OpenAI, Anthropic, Perplexity und weiteren Anbietern, ob sie hineindürfen und welche Regel das entscheidet.
–von 100
Ergebnis für
Prüfungen im Detail
Was geprüft wird
Der Checker ruft /robots.txt Ihrer Domain ab und wendet sie auf 25 Crawler an, gruppiert nach ihrer Aufgabe: KI-Suche, Abruf auf Nutzeranfrage, klassische Suche und Modelltraining. Für jeden Bot sehen Sie den Status und die Regel, die ihn betrifft. Dieselbe Liste verwenden unsere Artikel und der KI-Sichtbarkeits-Check.
Was er nicht sieht
Die robots.txt ist eine Bitte an Crawler, keine Sperre. Firewalls, CDN-Regeln und Bot-Schutz entscheiden oft unabhängig davon, und Abrufe auf Nutzeranfrage behalten sich einige Anbieter vor, ohne robots.txt durchzuführen. Welche Bots Sie wofür zulassen sollten und wie eine sinnvolle robots.txt aussieht, steht im Artikel über KI-Crawler in der robots.txt.
Häufige Fragen
Warum kosten gesperrte Trainings-Crawler keine Punkte?
Weil sie nicht darüber entscheiden, ob Ihre Seite in KI-Antworten genannt wird. GPTBot, ClaudeBot oder Google-Extended sammeln Trainingsdaten; ob Sie das erlauben, ist eine Frage der Inhaltsrechte. Punkte kosten nur Sperren von Such- und Abruf-Crawlern, eine Sperre von Googlebot oder Bingbot setzt den Wert auf null.
Die robots.txt erlaubt alles, trotzdem kommen keine KI-Crawler. Warum?
Meist sperrt eine Ebene davor: Firewall, CDN oder ein Bot-Schutz des Hosters. Diese Regeln sieht der Checker nicht, weil er nur die robots.txt liest. Prüfen Sie die Einstellungen dort und Ihre Server-Logs.
Wie liest der Checker die robots.txt?
Nach den Regeln, die Google und der Standard RFC 9309 beschreiben: Für jeden Bot gilt die Gruppe, deren User-agent genau seinen Namen trägt, mehrere solche Gruppen werden zusammengeführt, sonst gilt die Gruppe für *. Innerhalb davon gewinnt die längste passende Regel, bei Gleichstand Allow vor Disallow. Platzhalter wie * und $ werden berücksichtigt. Antwortet die robots.txt mit einem Serverfehler (5xx), wertet der Checker das wie Google als Sperre der ganzen Website.
Weiterlesen und prüfen
Passend dazu
Werkzeug · Gesamtcheck
KI-Sichtbarkeits-Check
Die vier Prüfungen unten in einem Durchgang, mit gewichtetem Gesamtwert und den fünf wichtigsten nächsten Schritten.
Werkzeug · Inhalt
Zitierfähigkeits-Check
Ob sich aus einer Seite eine Antwort herauslösen lässt: direkte Antwort, Fragen als Überschriften, Listen, Datum, Text im HTML.