Die Registerkarte bots
Auf dieser Registerkarte finden Sie Informationen, die erklären, wie Sie feststellen können, ob und welche bots Site-Probleme verursachen.
Allgemeine Übersicht über bots:
-
Ein bot ist eine Software, die sich wiederholende automatisierte Aufgaben ausführt. Mit künstlicher Intelligenz und der Evolution des maschinellen Lernens verändern sich die Aufgaben, Methoden und Interaktionen von bots. Es gibt gute bots, die Websites nutzen, indem sie durchsuchen und zu Internet-Suchmaschinen hinzufügen. Dies führt dazu, dass Internetnutzer durch Suchmaschinenergebnisse zur Website geleitet werden. Ein Gut-bot respektiert in der Regel die Grenzen, die dem bot durch eine
robots.txt-Datei oder Einstellungen in einer Suchmaschinenkonsole zugewiesen werden. Grenzen können den Zugriff auf die Site oder Teile der Site einschränken. -
Böswillige bots ignorieren die
robots.txt-Datei oder sie können eine gute bot über das Feld „Benutzeragenten anfragen“ der HTTP-Anfragedaten spoofen. Einige Dinge, die böswillige bots tun:- Laden Sie eine Site, um berechtigten Benutzern den Zugriff auf die Site zu verweigern.
- Inhalte ohne Genehmigung abfangen und wiederverwenden.
- Registrieren Sie gefälschte Konten, um E-Mail-Dienste oder -Adressen zu überfluten oder zu anderen Websites umzuleiten (SPAM bots).
- Erstellen gefälschter Ansichten (Viewbots).
- Kaufen Sie Produkte oder Tickets (Focused bots).
-
Verwalten von bots
-
Observation for Adobe Commerce hat Aussicht auf bot Traffic:
-
Es zeigt die Gesamtzahl der nicht zwischengespeicherten bot an, die die Last anzeigt, die ein bot zu einer Site hinzufügt, sowie den Zeitpunkt, zu dem diese Last auftritt.
-
Es zeigt die bots, die Fehler erzeugen. Wenn ein bot eine Last hinzufügt, die zu Site-Problemen führt, weist diese bot oder IP-Adresse in der Regel die höchste Fehlerhäufigkeit auf.
-
Es zeigt bot (Werte für Benutzeragenten-Felder der Anfrage) und IP-Adressen an, die verwaltet werden sollen über:
- Fastly (Ratenbegrenzung oder VCLs, die IP-Adressen, Bereiche oder bots nach Namenswert blockieren).
- Hinzufügen guter bot zum
robots.txt field, um die Zugriffsrate auf die Site einzuschränken oder zu beschränken. - Verwalten von Bing oder Google bots über die Suchmaschinenkonsole
-
-
Experimental Potential Malicious Bots frame
Der Experimental Potential Malicious Bots frame Frame umfasst 12 separate, komplexe Abfragen. Es erkennt böswillige IP-Anfragensignaturen und aggregiert dann die Ergebnisse, summiert und sortiert sie nach Anzahl in absteigender Reihenfolge. Die Abfragen enthalten eine Vielzahl von Datensignaturen von CVE-Exploits und anderen böswilligen Anfragen. Auch wenn die Exploits durch Sicherheitskorrekturen/Patches blockiert werden und keine Bedrohung für die Site darstellen, muss die Anfrage dennoch von der Website verarbeitet werden. Die Anzahl der Anfragen kann in kurzer Zeit erheblich zunehmen. In diesem Frame werden nicht alle Anforderungen von der IP-Adresse angezeigt, sondern Anfragen mit Signalen, die darauf hinweisen, dass die Anfrage verdächtig war.
Stellen Sie sicher, dass der Traffic verdächtig ist und nicht von einer Content Distributed Network (CDN)-Adresse stammt, die möglicherweise auch gültige Anfragen sendet. Wenn die Anfragen von einer CDN-IP-Adresse stammen, wenden Sie sich bitte an diesen Dienstleister, um Unterstützung bei der Blockierung des verdächtigen Traffics über das Netzwerk zu erhalten. Informationen zum Blockieren der Adresse oder der Anfrage-URL finden Sie unter Blockieren von bösartigem Traffic für Adobe Commerce auf Fastly -Ebene in der Wissensdatenbank für den Adobe Commerce-Support.
Rate of HTTP request per second (top 25) during requested time period
Der Rate of HTTP request per second (top 25) during requested time period zeigt die höchsten Anforderungen pro Sekunde an IP-Adressen während des ausgewählten Zeitraums an. Wenn diese Adressen auch in der obigen Tabelle aufgeführt sind, stellen Sie sicher, dass es sich nicht um CDN-Adressen und böswillige Adressen handelt, und blockieren Sie sie über Fastly.
Total Bot traffic by bot name:
Die Total Bot traffic by bot name during selected time period Tabelle enthält die aggregierte Anzahl nicht zwischengespeicherter Anfragen, bei denen das request_user_agent eine Zeichenfolge mit bots im Wert aufweist. Dies kann, muss aber nicht der benannte bot sein, da der Wert des request_user_agent Feldes gefälscht werden kann. Der Wert unter der Spalte Count ist der wichtigste.
Total Bot Traffic by Bot name/IP address
Die Tabelle Total Bot Traffic by Bot name/IP address during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt zeigt dieselben Daten wie die vorherige Tabelle, fügt jedoch IP-Adressen hinzu, die die Anfragen im Namen der benannten bot stellen. Als böswillige bots-Spoofing-bots sollten die IP-Adressen über Websites, die missbräuchliche IP-Adressen identifizieren, oder über whois-Services oder DNS lookups verifiziert werden. Beispielsweise veröffentlicht Google seine googlebot IP-Adressen und Microsoft verfügt über ein Verifizierungs-Tool für Bingbots.
Graph - Bots with HTTP status errors
Das Graph - Bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt Diagramm zeigt Fehler bei bots an, die sich im Feld für den Anforderungsbenutzeragenten selbst deklarieren. Dies bedeutet nicht unbedingt, dass der Fehler durch das Volumen des bot oder anderen Traffics verursacht wird. Die Fehler können darin bestehen, dass der bot Informationen anfordert, die nicht vorhanden sind, oder dass die Anfrage ein anderes Problem enthält.
Wenn es während der Instabilität oder des Ausfalls einer Website eine Spitze von Fehlern bei IP-Adressen gibt, könnten sie verdächtig sein, wenn es sich um das Problem der Website handelt.
Table - IPs that do not identify as bots
Die Table - IPs that do not identify as bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt Tabelle zeigt IP-Anfragen mit Nicht-200-HTTP-Status-Codes an, die sich NICHT selbst als im Feld „Benutzeragenten für Anfragen“ bots identifizieren. Bei diesen IP-Adressen kann es sich um bösartige IP-Adressen handeln, insbesondere wenn die Anzahl für den ausgewählten Zeitraum hoch ist.
Wenn die Anzahl der Nicht-200-HTTP-Status-Codes niedrig ist und die IP-Adressbereiche nicht ähnlich sind, tragen die Adressen möglicherweise nicht zu den Problemen der Site bei.
Table – Cache Status ‘ERROR’
Wenn IP-Adressen eine hohe Fehlerhäufigkeit erzeugen, fragen Sie, was sie tun? In der Table – Cache Status ‘ERROR’ detail table (what are these IPs doing?) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt Tabelle wird die angeforderte URL zusammen mit dem HTTP-Statuswert für Anfragen mit einem Cache-Status-ERROR angezeigt. Die Häufigkeit wird durch die URL facettiert, sodass die Anzahl niedrig sein kann. Beachten Sie, dass die IP-Adresse während des ausgewählten Zeitraums möglicherweise Tausende von Anfragen stellt. Dies ist eine Ansicht für bis zu 2000 Anfragen während des Zeitrahmens (das Limit für die Datensatzanzeige).
Show 5XX status distribution
Der Show 5XX status distribution across IP addresses (top 200 addresses) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt Rahmen ist leistungsstark. Es werden die IP-Adressen angezeigt, die während des ausgewählten Zeitraums 5XX-HTTP-Status-Codes aufweisen. Wenn eine IP-Adresse eine große Anzahl von Anfragen stellt und die Website so stark betroffen ist, dass sie den Traffic nicht mehr verarbeiten kann, weisen die IP-Adressen mit der höchsten Anfragehäufigkeit normalerweise die höchste Fehlerquote auf. 5XX-HTTP-Status-Codes zeigen normalerweise eine Website an, die Schwierigkeiten hat, auf Anfragen zu reagieren.
Je breiter der Balken ist, desto größer ist der Prozentsatz der Fehler, die die IP-Adresse in Bezug auf die Gesamtzahl der 5xx-Fehler in diesem Zeitraum hat. Hinweis: Eine IP-Adresse kann mehrere Segmente im Diagramm enthalten, wenn sie mehrere HTTP-Status-Codes aufweist (Beispiel 502- und 503-HTTP-Status).
Die typische Verteilung wird in Richtung der rechten Seite des Balkens angezeigt, wo die IP-Adressen gleich breit sind oder es würde einige breite Balken mit sehr niedrigen Zahlen geben.
Wenn Sie den Mauszeiger über das Balkensegment bewegen, wird die Anzahl der angezeigten Fehler während des ausgewählten Zeitraums angezeigt.
IP cache status (MISS, PASS, ERROR) and HTTP status
Dieser IP cache status (MISS, PASS, ERROR) and HTTP status during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt zeigt die Anzahl der HTTPS-Status-Codes und die nicht zwischengespeicherten Anfragen nach IP im ausgewählten Zeitraum an. Dies zeigt die proportionale Auslastung jeder IP-Adresse und das Gesamtvolumen an. Es werden die IP-Adressen mit den meisten Anfragen angezeigt.
Fastly Cache Summary for selected time period
Wenn Sie auf das Error im folgenden Diagramm klicken, können Sie die letzten beiden Diagramme miteinander vergleichen. Auf diese Weise lässt sich erkennen, wo die Auslastung zu Standortproblemen beiträgt.
Graph - IPs that do not identify as bots
Im Graph - IPs that do not identify as bots without error during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt Frame werden das Feld für den Anforderungs-Benutzeragenten, die IP-Adresse und der Status-Code für Anfragen angezeigt, bei denen im Feld für den Anforderungs-Benutzeragenten kein bot angegeben ist. In diesem Frame können hochfrequente Anfragen von jeder IP-Adresse angezeigt werden. Achten Sie jedoch auf hochfrequente Anfragen, insbesondere in einem Zeitraum, in dem die Site möglicherweise Probleme aufweist.
Graph - Suspicious Non-Bot traffic
Das Graph - Suspicious Non-Bot traffic during selected time period Diagramm sucht nach dem Wert für den Anforderungs-Benutzeragenten von „go-http-client“, wird jedoch auf andere verdächtige Werte für den Anforderungs-Benutzeragenten erweitert. Dieser Wert des Anforderungs-Benutzeragenten wird von Sites für die Verbindung mit -Services verwendet und kann gültig sein, wird aber auch von böswilligen bots verwendet.
Graph - Bot traffic by Bot name
Der Graph - Bot traffic by Bot name during selected time period zeigt dieselben Daten wie der gesamte Bot-Traffic nach Bot Namen während des ausgewählten Zeitraums in der Tabelle oben auf der Registerkarte an. Die Daten werden über die Zeitleiste angezeigt, damit Sie sehen können, wann die Anfragen des bots erfolgen und wie sie verteilt sind.
Graph - Top 250 Bot Names and IP addresses
Im Graph - Top 250 Bot Names and IP addresses during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt werden dieselben Daten angezeigt wie in der Tabelle Traffic-Bot insgesamt nach Bot-Namen/IP-Adresse während des ausgewählten Zeitraums oben in der Registerkarte. Die Daten werden über die Zeitleiste angezeigt und nach IP-Adresse facettiert. Dies zeigt an, wann die Anfragen des bots erfolgen, welche IP-Adresse Anfragen stellt, und wie die Anfragen verteilt sind.
Blocked Bot name / IP addresses (in Fastly)
Im Blocked Bot name / IP addresses (in Fastly) during selected time period. This graph displays bot traffic and IPs that were returned a 403 Forbidden HTTP Status code werden der Bot-Name und die blockierten IP-Adressen angezeigt. In diesem Diagramm können Sie sehen, wie in Fastly Zukunft alle Anfragen blockiert werden.
Blocked non-Bot name / IP addresses (in Fastly)
Der Blocked non-Bot name / IP addresses (in Fastly) during selected time period graph displays non-bot traffic and IPs that were returned a 403 Forbidden HTTP Status code Rahmen zeigt IP-Adressen an, die sich nicht als bot identifizieren, die durch Fastly blockiert wurden.
This table shows the number of user agents per IP address, number of successful, unsuccessful and blocked requests:
Bösartige bots verfälschen andere bots häufig durch den Wert des Request User Agent. Diese Tabelle zeigt, wie viele eindeutige Werte die IP-Adresse in diesem Feld hat. Je höher der Wert im Feld Request User Agent ist, desto verdächtiger ist die IP-Adresse.
IP with non-200 status errors
Der IP with non-200 status errors – without 403 status zeigt die Verteilung von IP-Adressen mit anderen HTTP-Status-Codes als 200 über den ausgewählten Zeitraum an. Wenn für eine einzelne IP-Adresse oder eine Gruppe von IP-Adressen höhere Werte angezeigt werden, müssen diese weiter untersucht werden.
IP with 403 status codes:
Der IP with 403 status codes Frame zeigt nicht zwischengespeicherte Anfragen ohne cache_status=ERROR mit dem HTTP-Status 403 an. Dies kann darauf hinweisen, dass der Ursprungs-Server die Quelle des 403 (nicht autorisiert) ist und nicht ein Block von Fastly.
Top 5 with non-200 status codes
Die Top 5 with non-200 status codes showing cache_status zeigt auf IP-/Status-Ebene die Zählungen der einzelnen mit dem cache_status Wert an.
Pageview Latency will show as spikes
Der Pageview Latency will show as spikes on this graph: Frame zeigt die Seitenladezeit/API-Reaktionslatenz an, die mit dem bot Traffic übereinstimmen kann.