Kostenlos · Serverseitige Prüfung
KI-Bot-Zugriffsprüfer
Fügen Sie eine Domain ein und sehen Sie, ob robots.txt GPTBot, ChatGPT-User, ClaudeBot, Perplexity, Googlebot, Bingbot und andere Crawler zulässt — mit genauer Regelgrundlage und kopierfertigen Korrekturen.
Auf einen Blick
- Prüft wichtige Suchmaschinen-Crawler, KI-Antwort-Bots und Modelltrainings-User-Agents in einem Durchgang.
- Zeigt die genaue Allow- oder Disallow-Regel samt Zeilennummer, die jeder Zugriffsentscheidung zugrunde liegt.
- Erstellt praktische robots.txt-Vorlagen und trennt dabei Suchzugriff von Trainingszugriff.
Was das bedeutet
robots.txt ohne Mythen
robots.txt ist eine freiwillig befolgte Anweisungsdatei im Stammverzeichnis einer Website. Crawler lesen sie vor dem Abruf von Seiten und gleichen ihren User-Agent anschließend mit den Regeln Allow und Disallow ab. Die längste zutreffende Regel gewinnt; bei gleicher Länge hat Allow Vorrang. Dieser Prüfer macht die Entscheidung für die Bots sichtbar, nach denen derzeit besonders häufig gefragt wird.
Was prüft dieses Werkzeug genau?
Es ruft die öffentliche /robots.txt-Datei der Website ab und wendet die üblichen Regeln mit dem längsten Treffer auf wichtige Such-, Live-Antwort- und Trainings-Crawler an. Soweit möglich zeigt es die Anweisung und Zeilennummer, die zu jeder Entscheidung geführt hat.
Garantiert das Zulassen eines Bots KI-Sichtbarkeit?
Nein. Es bedeutet lediglich, dass robots.txt den Zugriff nicht sperrt. Ob ein KI-Produkt Ihre Inhalte zitiert, indexiert oder zum Training verwendet, hängt von den Systemen und Richtlinien des jeweiligen Anbieters ab.
Warum werden Live-Antwort-Bots und Trainings-Crawler getrennt?
Viele Websitebetreiber möchten öffentliche Seiten für Suchmaschinen und Antwortsysteme zugänglich halten, zugleich aber umfangreiche Trainings-Crawls begrenzen. Die Vorlage bildet diese verbreitete Richtlinie ab: Bots für Live-Abruf und Zitate zulassen und trainingsorientierte Crawler nach Wunsch sperren.
Wird die geprüfte URL gespeichert?
Nein. Der Server ruft robots.txt ab, weil CORS Browser bei vielen Websites daran hindert. Die Prüfung erfolgt im Arbeitsspeicher, lehnt private und interne Ziele ab und speichert oder protokolliert eingegebene URLs nicht.