Traffic durch robots.txt blockiert

Ihre robots.txt-Datei steuert, welche Crawler auf Ihre Site zugreifen können. Wenn KI-Agenten selektiv für Inhalte blockiert werden, auf die ansonsten allgemeine Crawler zugreifen können, können diese Agenten diese Inhalte nicht indizieren oder zitieren, was die Sichtbarkeit Ihrer Marke in KI-generierten Antworten direkt beeinträchtigt.

Die Opportunity „Traffic blockiert durch robots.txt“ analysiert Ihre robots.txt-Datei im Vergleich zu Ihren Top-Seiten und identifiziert Regeln, die KI-Agenten am Zugriff auf Inhalte hindern, die sie erreichen sollten. Er zeigt Ergebnisse auf der Ebene einzelner robots.txt an, sodass Sie bestimmte Anweisungen überprüfen und aktualisieren können, anstatt die gesamte Datei manuell zu überprüfen.

Sie zeigt zwei Schlüsselmetriken auf einen Blick:

Funktionsweise

LLM Optimizer ruft Ihre robots.txt ab und vergleicht Ihre Top-Seiten mit sechs wichtigen Benutzeragenten des KI-Agenten:

Eine URL wird nur gekennzeichnet, wenn sie für den Platzhalter(*)-Benutzeragenten zulässig, aber nicht für einen bestimmten KI-Agenten). Eine generelle Blockierung, bei der alle Crawler gleichermaßen eingeschränkt sind, wird nicht gemeldet. Der Audit zielt speziell auf den selektiven Ausschluss von KI-Agenten ab, der für GEO den umsetzbarsten Befund darstellt.

Die Ergebnisse werden auf zwei Registerkarten angezeigt: robots.txt und Blocked Traffic Details by Agent.

robots.txt

Auf dieser Registerkarte wird Ihre vollständige robots.txt-Datei mit rot markierten Sperranweisungen angezeigt. Jede hervorgehobene Zeile steht für eine Regel, die selektiv einen oder mehrere KI-Agenten am Zugriff auf eine URL hindert, die ansonsten öffentlich zugänglich ist.

Durch Klicken auf eine hervorgehobene Anweisung werden weitere Informationen über ihre Auswirkungen und die vorgeschlagene Fehlerbehebung angezeigt.

Details zum blockierten Traffic nach Agent

Diese Registerkarte enthält eine Aufschlüsselung des blockierten Traffics, der nach KI-Agent organisiert ist. Für jeden blockierten Agenten wird Folgendes angezeigt:

Jeder Agent (z. B. OAI-User, GPTBot, OAI-SearchBot) verfügt über eine eigene Unterregisterkarte, sodass Sie Blöcke pro Agent adressieren können.

Fehlerbehebung

Um einen blockierten Agent-Fund zu beheben, öffnen Sie die robots.txt-Datei und suchen Sie die Zeilennummer, die neben den einzelnen betroffenen URLs auf der Registerkarte Details zum blockierten Traffic nach Agent angezeigt wird. Aktualisieren oder entfernen Sie die Disallow-Anweisung für den entsprechenden KI-Agenten, um den Zugriff auf die betroffene URL zu ermöglichen.

Um beispielsweise GPTBot von einer bestimmten Seite zu entsperren, entfernen oder aktualisieren Sie die Anweisung:

User-agent: GPTBot
Disallow: /blog/cold-brewing-101

Nachdem Ihre robots.txt aktualisiert und erneut veröffentlicht wurde, erkennt LLM Optimizer die Änderung beim nächsten Audit-Durchgang und markiert den Vorschlag als aufgelöst.

In der Demo ausprobieren

Sehen Sie sich die Opportunity „Traffic blockiert von robots.txt“ in Aktion an, indem Sie die Demo-Umgebung von Frescopa verwenden.

Traffic Blocked by robots.txt in der Frescopa Demo ansehen

Häufig gestellte Fragen

Warum ist das Blockieren von KI-Agenten für GEO wichtig?

Für die Optimierung der generativen Engine ist es erforderlich, dass KI-Crawler auf Ihre Website-Inhalte zugreifen und diese indizieren können. Durch das Blockieren von KI-Agenten werden Ihre Seiten direkt in KI-generierten Antworten nicht angezeigt, was die Zitate, die Markenerwähnung und die allgemeine KI-Sichtbarkeit reduziert. Selbst eine einzige blockierte Seite mit hohem Traffic-Aufkommen kann einen erheblichen Verlust an KI-gesteuerter Markenerfahrung darstellen.

Was ist der Unterschied zwischen pauschalem und selektivem Blockieren?

Eine generelle Blockierung bedeutet, dass alle Crawler - einschließlich der allgemeinen Web-Crawler - von einer Seite aus gesperrt sind. Selektive Blockierung bedeutet, dass allgemeine Crawler-Benutzende auf die Seite zugreifen können, bestimmte KI-Agenten jedoch nicht. Bei dieser Gelegenheit wird nur auf selektive Blockierung hingewiesen, da dies einen beabsichtigten oder versehentlichen Ausschluss von KI-Agenten aus ansonsten öffentlichen Inhalten darstellt, was den umsetzbarsten Fund darstellt.

Welche KI-Agenten überprüft LLM Optimizer?

LLM Optimizer prüft auf ClaudeBot, GPTBot, OAI-SearchBot, OAI-User, PerplexityBot und Perplexity-User.

Was passiert, wenn ich bestimmte KI-Agenten absichtlich blockieren möchte?

Sie können jede gekennzeichnete Anweisung überprüfen und den Block absichtlich beibehalten. Abgelehnte Vorschläge werden über Audit-Durchgänge hinweg beibehalten und erst dann wieder angezeigt, wenn sich die robots.txt ändert und die Regel erneut angezeigt wird.

Wie verfolgt LLM Optimizer Änderungen an meiner robots.txt im Laufe der Zeit?

LLM Optimizer verwendet Hashing, um Ihre robots.txt Inhalte über mehrere Ausführungen hinweg zu verfolgen. Wenn eine zuvor aufgelöste Blockierungsregel erneut angezeigt wird - z. B. nach einer robots.txt Aktualisierung -, wird sie als neuer Vorschlag wieder angezeigt.

Wie werden die Top-Seiten festgelegt?

Seiten werden aus einer Kombination Ihrer SEO-Seiten mit dem höchsten Traffic, der von KI-Agenten besuchten Top-URLs aus CDN-Protokollen und allen benutzerdefinierten URLs, die in Ihrer Site-Konfiguration angegeben sind, bezogen.