Onglet bots
Cet onglet contient des informations qui expliquent comment identifier et quelles bots provoquent des problèmes sur le site.
Vue d’ensemble de haut niveau des bots :
-
Un bot est un logiciel qui exécute des tâches automatisées répétitives. Avec l’intelligence artificielle et l’évolution du machine learning, les tâches, les méthodes et les interactions des bots évoluent. Il existe de bonnes bots qui profitent aux sites en les explorant et en les ajoutant aux moteurs de recherche Internet. Ainsi, les internautes sont guidés vers le site par le biais des résultats des moteurs de recherche. Une bonne bot respecte généralement les limites placées sur le bot par un fichier
robots.txtou des paramètres dans une console de moteur de recherche. Les limites peuvent restreindre l’accès au site ou à des parties du site. -
Les bots malveillants ignorent le fichier
robots.txtou peuvent usurper une bonne bot par le biais du champ agent utilisateur de requête des données de requête HTTP. Certaines choses que les bots malveillants font :- Ajoutez une charge à un site pour refuser aux utilisateurs légitimes l’accès au site.
- Gratter et réutiliser du contenu sans autorisation.
- Enregistrez de faux comptes pour inonder les services de messagerie ou les adresses ou redirigez-les vers d'autres sites (SPAM bots).
- Créez de fausses vues (Viewbots).
- Acheter des produits ou des billets (Focused bots).
-
Gestion des bots
-
Observation for Adobe Commerce offre une vue sur le trafic bot :
-
Il affiche l’activité bot totale non mise en cache qui affiche la charge qu’un bot ajoute à un site et le moment où cette charge se produit.
-
Il affiche les bots qui génèrent des erreurs. En règle générale, si un bot ajoute une charge qui entraîne des problèmes de site, cette adresse bot ou IP présente la fréquence d’erreurs la plus élevée.
-
Elle affiche les noms de bot (valeurs de champ Demander l’agent utilisateur) et les adresses IP à gérer via :
- Fastly (limitation du débit ou VCLs qui bloque les adresses IP, les plages ou les bots par valeur de nom).
- Ajout d’informations de bonne bot au
robots.txt fieldpour restreindre ou limiter le taux d’accès au site. - Gestion des Bing ou des Google bots via la console du moteur de recherche.
-
-
Experimental Potential Malicious Bots frame
Le cadre Experimental Potential Malicious Bots frame exécute plus de 12 requêtes distinctes et complexes. Il détecte les signatures de requêtes IP malveillantes, puis agrège les résultats, les additionne et les trie par nombre dans l’ordre décroissant. Les requêtes contiennent une multitude de signatures de données d’exploits CVE et d’autres requêtes malveillantes. Même lorsque les exploits sont bloqués par des correctifs/correctifs de sécurité et ne constituent pas une menace pour le site, la demande doit toujours être traitée par le site web. Le volume des demandes peut devenir assez important en peu de temps. Cette trame n’affiche pas le nombre total de requêtes provenant de l’adresse IP, mais plutôt les requêtes qui comportent des signaux indiquant que la requête avait une intention suspecte.
Assurez-vous que le trafic est suspect et qu’il ne provient pas d’une adresse Content Distributed Network (CDN) qui peut également diffuser des requêtes valides. Si les requêtes proviennent d’une adresse IP de réseau CDN, contactez ce fournisseur de services pour l’aider à bloquer le trafic suspect via son réseau. Si vous devez bloquer l’adresse ou l’URL de requête, reportezvous à la section Fastly Bloquer le trafic malveillant pour Adobe Commerce au niveau de la base de connaissances du support technique d’Adobe Commerce.
Rate of HTTP request per second (top 25) during requested time period
La période Rate of HTTP request per second (top 25) during requested time period affiche les demandes les plus élevées par seconde d’adresses IP pendant la période sélectionnée. Si ces adresses se trouvent également dans le tableau ci-dessus, assurez-vous qu’elles ne sont pas des adresses CDN ni malveillantes et bloquez-les via Fastly.
Total Bot traffic by bot name :
La table Total Bot traffic by bot name during selected time period contient le nombre agrégé de requêtes non mises en cache où le champ request_user_agent contient une chaîne de bots dans la valeur . Il peut s’agir ou non du bot nommé, car la valeur du champ request_user_agent peut être usurpée. La valeur située sous la colonne Count est la plus importante.
Total Bot Traffic by Bot name/IP address
Le tableau Total Bot Traffic by Bot name/IP address during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche les mêmes données que le tableau précédent, mais ajoute des adresses IP qui effectuent les requêtes au nom du bot nommé. Comme les bots malveillants usurpent de bonnes bots, les adresses IP doivent être vérifiées par le biais de sites web qui identifient les adresses IP abusives ou par le biais de services ou de ** whoisDNS lookups. Par exemple, Google publie ses googlebot adresses IP et Microsoft dispose d’un outil de vérification pour les Bingbots.
Graph - Bots with HTTP status errors
Le graphique Graph - Bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche les erreurs sur les bots qui se déclarent dans le champ Demander l’agent utilisateur . Cela ne signifie pas nécessairement que l’erreur est due au volume du bot ou à d’autres trafics. Les erreurs peuvent être que le bot demande des informations qui n’existent pas ou qu’il y a un autre problème dans la demande.
En cas de pic d’erreurs sur les adresses IP lors de l’instabilité ou de la panne du site, elles peuvent être suspectées d’être responsables du problème de site.
Table - IPs that do not identify as bots
Le tableau Table - IPs that do not identify as bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche les requêtes IP avec des codes d’état HTTP autres que 200 qui NE S’auto-identifient PAS comme bots dans le champ Demander l’agent utilisateur . Ces adresses IP peuvent être des adresses IP malveillantes, en particulier si le nombre est élevé pour la période sélectionnée.
Si le nombre de codes d’état http non 200 est faible et que les plages d’adresses IP ne sont pas similaires, les adresses peuvent ne pas contribuer aux problèmes de site.
Table – Cache Status ‘ERROR’
Lorsque les adresses IP génèrent une fréquence d’erreurs élevée, demandez-vous ce qu’elles font ? Le tableau Table – Cache Status ‘ERROR’ detail table (what are these IPs doing?) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche l’URL demandée avec la valeur de statut HTTP pour les requêtes dont la valeur de ERROR de statut du cache. La fréquence est facettisée par l’URL, de sorte que le nombre peut être faible. N’oubliez pas que l’adresse IP peut envoyer des milliers de requêtes au cours de la période sélectionnée. Il s’agit d’une vue par rapport à 2 000 requêtes au maximum pendant la période (limite d’affichage des enregistrements).
Show 5XX status distribution
Le cadre Show 5XX status distribution across IP addresses (top 200 addresses) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt est puissant. Elle affiche les adresses IP qui possèdent des codes d’état HTTP 5XX au cours de la période sélectionnée. Si une adresse IP effectue un volume élevé de requêtes et que le site est affecté au point où il ne peut pas gérer le trafic, les adresses IP qui effectuent la fréquence de requêtes la plus élevée auront généralement le volume d’erreurs le plus élevé. Les codes d’état http 5XX indiquent généralement un site qui a du mal à répondre aux requêtes.
Plus la barre est large, plus le pourcentage d'erreurs que l'adresse IP a dans le nombre total d'erreurs 5xx pendant cette période est élevé. Remarque : une adresse IP peut comporter plusieurs segments dans le graphique si elle comporte plusieurs codes d’état http (par exemple, les états 502 et 503 http).
La répartition type est indiquée vers la droite de la barre lorsque les adresses IP sont égales en largeur ou il y a quelques barres larges avec des nombres très faibles.
Si vous pointez sur le segment de barre, le nombre d’erreurs indiquées pendant la période sélectionnée s’affiche.
IP cache status (MISS, PASS, ERROR) and HTTP status
Ce cadre IP cache status (MISS, PASS, ERROR) and HTTP status during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche le nombre de codes d’état HTTPS et les requêtes non mises en cache par adresse IP sur la période sélectionnée. Indique la charge proportionnelle de chaque adresse IP et le volume total. Elle affiche les adresses IP qui ont le plus de requêtes.
Fastly Cache Summary for selected time period
Si vous cliquez sur l’icône Error dans le graphique ci-dessous, vous pouvez comparer les deux derniers graphiques. Cela peut aider à indiquer où la charge contribue aux problèmes du site.
Graph - IPs that do not identify as bots
Le cadre Graph - IPs that do not identify as bots without error during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche le champ Demander l’agent utilisateur, l’adresse IP et le code d’état pour les demandes pour lesquelles le champ Demander l’agent utilisateur n’indique pas de bot. Cette trame peut afficher des requêtes haute fréquence provenant de n'importe quelle adresse IP mais prêter attention aux requêtes haute fréquence, en particulier pendant une période où le site peut avoir des problèmes.
Graph - Suspicious Non-Bot traffic
Le graphique Graph - Suspicious Non-Bot traffic during selected time period recherche une valeur d’agent utilisateur de requête de Go-http-client, mais sera étendu pour examiner d’autres valeurs d’agent utilisateur de requête suspectes. Cette valeur de l’agent utilisateur de requête est utilisée par les sites pour la connexion à partir des services et peut être valide, mais elle est également utilisée par des bots malveillants.
Graph - Bot traffic by Bot name
Le cadre Graph - Bot traffic by Bot name during selected time period affiche les mêmes données que le trafic total de robots par nom de Bot au cours de la période sélectionnée dans le tableau en haut de l’onglet. Il affiche les données via la chronologie de sorte que vous puissiez voir à quel moment les requêtes du bots sont effectuées et leurs distributions.
Graph - Top 250 Bot Names and IP addresses
Le cadre Graph - Top 250 Bot Names and IP addresses during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche les mêmes données que le trafic Bot total par nom/adresse IP de robot au cours de la période sélectionnée dans le tableau en haut de l’onglet. Il affiche les données via la chronologie et les facette par adresse IP. Cela indique le moment où les requêtes du bots sont effectuées, l’adresse IP qui effectue les requêtes et les distributions des requêtes.
Blocked Bot name / IP addresses (in Fastly)
Le cadre Blocked Bot name / IP addresses (in Fastly) during selected time period. This graph displays bot traffic and IPs that were returned a 403 Forbidden HTTP Status code affiche le nom et les adresses IP des robots qui sont bloqués. Vous pouvez voir dans ce graphique comment toutes les requêtes sont bloquées dans Fastly à l’avenir.
Blocked non-Bot name / IP addresses (in Fastly)
La trame Blocked non-Bot name / IP addresses (in Fastly) during selected time period graph displays non-bot traffic and IPs that were returned a 403 Forbidden HTTP Status code affiche les adresses IP qui ne s’identifient pas comme un bot qui ont été bloquées via Fastly.
This table shows the number of user agents per IP address, number of successful, unsuccessful and blocked requests:
Les bots malveillants usurpent souvent d’autres bots par la valeur du champ Request User Agent. Ce tableau indique le nombre de valeurs uniques de l’adresse IP dans ce champ. Plus la valeur du champ Request User Agent est élevée, plus l’adresse IP est suspecte.
IP with non-200 status errors
L’image IP with non-200 status errors – without 403 status affiche la répartition, sur la période sélectionnée, des adresses IP avec des codes d’état HTTP autres que 200. Lorsque des valeurs plus élevées sont affichées sur une seule adresse IP ou sur un groupe d’adresses IP, une enquête plus approfondie est nécessaire.
IP with 403 status codes:
Le cadre IP with 403 status codes affiche les requêtes non mises en cache sans cache_status=ERROR ayant un statut HTTP défini sur 403. Cela peut indiquer que le serveur d’origine est la source de l’adresse 403 (non autorisée) plutôt qu’un bloc de l’adresse Fastly.
Top 5 with non-200 status codes
Le tableau Top 5 with non-200 status codes showing cache_status indique, au niveau de l’adresse IP/du statut, le nombre de chaque avec la valeur cache_status.
Pageview Latency will show as spikes
Le cadre Pageview Latency will show as spikes on this graph: affiche la latence de réponse du chargement de page/de l’API qui peut correspondre au trafic bot.