Onglet bots
Cet onglet contient des informations qui expliquent comment identifier si et ce que bots causent des problèmes sur le site.
Présentation générale de bots :
-
Un bot est un logiciel qui exécute des tâches automatisées répétitives. Avec l’intelligence artificielle et l’évolution de l’apprentissage automatique, les tâches, les méthodes et les interactions de bots changent. Il existe good bots qui bénéficient aux sites en les analysant et en les ajoutant aux moteurs de recherche sur Internet. Les internautes sont ainsi guidés vers le site par les résultats des moteurs de recherche. Un bon bot respecte généralement les limites placées sur le bot par un fichier
robots.txtou des paramètres dans une console de moteur de recherche. Les limites peuvent restreindre l’accès au site ou à certaines parties du site. -
Malveillant bots ignorez le fichier
robots.txtou ils peuvent fausser un bot correct par le biais du champ de l’agent utilisateur de requête des données de requête HTTP. Certaines choses que malveillant bots font :- Ajoutez la charge à un site pour refuser aux utilisateurs légitimes l’accès au site.
- Videz et réutilisez du contenu sans autorisation.
- Enregistrez des faux comptes pour inonder les services de messagerie ou les adresses ou rediriger vers d’autres sites (SPAM bots).
- Créez des vues falsifiées (Viewbots).
- Achetez des produits ou des billets (Focused bots).
-
Gestion de bots
-
Observation for Adobe Commerce a des vues du trafic bot :
-
Il affiche l’activité bot totale non mise en cache qui affiche la charge qu’un bot est en train d’ajouter à un site et le moment où cette charge est en cours.
-
Il affiche les bots qui génèrent des erreurs. En règle générale, si un bot ajoute une charge qui entraîne des problèmes sur le site, cette bot ou adresse IP a la fréquence d'erreurs la plus élevée.
-
Il affiche bot noms (valeurs de champ de l’agent utilisateur de requête) et adresses IP à gérer par :
- Fastly (limitation de débit ou VCLs qui bloquent les adresses IP, les plages ou bots par valeur de nom).
- Ajout de bonnes bot informations à
robots.txt fieldpour restreindre ou limiter le taux d'accès au site. - Gérer Bing ou Google bots via la console du moteur de recherche.
-
-
Experimental Potential Malicious Bots frame
L’image Experimental Potential Malicious Bots frame s’exécute sur 12 requêtes complexes et distinctes. Il détecte les signatures de requête IP malveillantes, puis agrège les résultats, les additionne et les trie par nombre dans l’ordre décroissant. Les requêtes contiennent une multitude de signatures de données d’exploits CVE et d’autres requêtes malveillantes. Même lorsque les exploits sont bloqués par des correctifs ou correctifs de sécurité et ne constituent pas une menace pour le site, la demande doit toujours être traitée par le site web. Le volume de demandes peut devenir très important en peu de temps. Ce cadre n’affiche pas le nombre total de demandes provenant de l’adresse IP, mais plutôt les demandes qui contiennent des signaux indiquant que la demande a eu des intentions suspectes.
Veillez à vérifier que le trafic est suspect et qu'il ne provient pas d'une adresse Content Distributed Network (CDN) qui peut également diffuser des requêtes valides. Si les demandes sont déterminées comme provenant d'une adresse IP du réseau CDN, veuillez contacter ce fournisseur de services pour aider à bloquer le trafic suspect via leur réseau. Si vous devez bloquer l’adresse ou l’URL de demande, reportez-vous à la section Bloquer le trafic malveillant pour Adobe Commerce sur Fastly level dans la base de connaissances de prise en charge d’Adobe Commerce.
Rate of HTTP request per second (top 25) during requested time period
L’image Rate of HTTP request per second (top 25) during requested time period affiche les demandes les plus élevées par seconde d’adresses IP au cours de la période sélectionnée. Si ces adresses figurent également dans le tableau ci-dessus, vérifiez qu’elles ne sont pas des adresses CDN et malveillantes et bloquez-les via Fastly.
Total Bot traffic by bot name :
La table Total Bot traffic by bot name during selected time period contient le nombre agrégé de requêtes non mises en cache où le champ request_user_agent a une chaîne bots dans la valeur. Il peut s’agir de la valeur bot nommée, car la valeur de champ request_user_agent peut être mise en file d’attente. La valeur sous la colonne Count est la plus importante.
Total Bot Traffic by Bot name/IP address
La table Total Bot Traffic by Bot name/IP address during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche les mêmes données que la table précédente, mais ajoute des adresses IP effectuant les demandes pour le compte du nom bot. Comme bots est malveillant bots, la ou les adresses IP doivent être vérifiées par le biais de sites web qui identifient les adresses IP abusives ou par les services whois ou DNS lookups. Par exemple, Google publie ses googlebot adresses IP et Microsoft dispose d’un outil de vérification pour Bingbots.
Graph - Bots with HTTP status errors
Le graphique Graph - Bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche des erreurs sur bots qui se déclarent dans le champ de l’agent utilisateur de requête. Cela ne signifie pas nécessairement que l’erreur est provoquée par le volume de bot ou d’un autre trafic. Les erreurs peuvent être que le bot demande des informations qui n’existent pas ou qu’il y a un autre problème dans la requête.
S’il y a un pic d’erreurs sur les adresses IP en cas d’instabilité ou de panne du site, elles peuvent être suspectées d’affecter le problème du site.
Table - IPs that do not identify as bots
La table Table - IPs that do not identify as bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affichera les requêtes IP avec des codes d’état http non-200 qui NE S’auto-identifient PAS comme bots dans le champ de l’agent utilisateur de requête. Ces adresses IP peuvent être des adresses IP malveillantes, en particulier si le nombre est élevé pour la période sélectionnée.
Si le nombre de codes d’état http non 200 est faible et que les plages d’adresses IP ne sont pas similaires, les adresses peuvent ne pas contribuer aux problèmes du site.
Table – Cache Status ‘ERROR’
Lorsque les adresses IP génèrent une fréquence élevée d’erreurs, demandez-vous ce qu’elles font ? La table Table – Cache Status ‘ERROR’ detail table (what are these IPs doing?) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affichera l’URL demandée avec la valeur d’état HTTP pour les requêtes ayant un état de cache ERROR. La fréquence est facettée par l’URL, de sorte que le nombre peut être faible. N’oubliez pas que l’adresse IP peut effectuer des milliers de demandes pendant la période sélectionnée. Il s’agit d’une vue par rapport à 2 000 demandes au cours de la période (limite d’affichage des enregistrements).
Show 5XX status distribution
L’image Show 5XX status distribution across IP addresses (top 200 addresses) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt est puissante. Elle affiche les adresses IP qui comportent des codes d’état http 5XX au cours de la période sélectionnée. Si une adresse IP effectue un volume élevé de requêtes et que le site est affecté au point où il ne peut pas gérer le trafic, alors les adresses IP qui enregistrent la fréquence la plus élevée des requêtes auront généralement le volume d’erreurs le plus élevé. Les codes d’état http 5XX indiquent généralement un site qui a du mal à répondre aux requêtes.
Plus la barre est grande, plus le pourcentage d’erreurs de l’adresse IP est élevé dans le nombre total d’erreurs 5xx durant cette période. Remarque : une adresse IP peut comporter plusieurs segments dans le graphique si elle comporte plusieurs codes d’état http (par exemple, 502 et 503 états http).
Une distribution type serait indiquée vers la droite de la barre où les adresses IP sont égales en largeur ou il y aurait quelques barres larges avec des valeurs très faibles.
Si vous passez la souris sur le segment à barres, le nombre d’erreurs indiquées s’affichera au cours de la période sélectionnée.
IP cache status (MISS, PASS, ERROR) and HTTP status
Cette image IP cache status (MISS, PASS, ERROR) and HTTP status during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche le nombre de codes d’état HTTPS et de requêtes non mises en cache par IP sur la période sélectionnée. Cela indique la charge proportionnelle provenant de chaque adresse IP et le volume total. Les adresses IP présentant le plus de requêtes sont alors affichées.
Fastly Cache Summary for selected time period
Si vous cliquez sur l’icône Error du graphique ci-dessous, vous pouvez comparer les deux derniers graphiques l’un à l’autre. Cela peut aider à indiquer où la charge contribue aux problèmes du site.
Graph - IPs that do not identify as bots
L’image Graph - IPs that do not identify as bots without error during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche le champ de l’agent utilisateur de requête, l’adresse IP et le code d’état pour les demandes pour lesquelles le champ de l’agent utilisateur de requête n’indique pas de bot. Ce cadre peut afficher des demandes à haute fréquence provenant de n’importe quelle adresse IP, mais prêter attention aux demandes à haute fréquence, en particulier pendant une période où le site peut rencontrer des problèmes.
Graph - Suspicious Non-Bot traffic
Le graphique Graph - Suspicious Non-Bot traffic during selected time period recherche une valeur d’agent utilisateur de demande Go-http-client, mais sera étendu pour examiner d’autres valeurs d’agent utilisateur de demande suspectes. Cette valeur de l’agent utilisateur de requête est utilisée par les sites pour se connecter à partir de services et peut être valide, mais elle est également utilisée par le malveillant bots.
Graph - Bot traffic by Bot name
L’image Graph - Bot traffic by Bot name during selected time period affiche les mêmes données que le nom du trafic total de robots Bot lors de la période sélectionnée dans la partie supérieure de l’onglet. Il affiche les données via la chronologie afin que vous puissiez voir le moment où les requêtes de bots sont effectuées et leur distribution.
Graph - Top 250 Bot Names and IP addresses
L’image Graph - Top 250 Bot Names and IP addresses during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt affiche les mêmes données que le trafic total Bot par nom de robot/adresse IP lors de la période sélectionnée dans la partie supérieure de l’onglet. Il affiche les données via la chronologie et les facette par adresse IP. Cela indique le moment où les requêtes de bots sont effectuées, l’adresse IP qui effectue des requêtes et la distribution des requêtes.
Blocked Bot name / IP addresses (in Fastly)
Le cadre Blocked Bot name / IP addresses (in Fastly) during selected time period. This graph displays bot traffic and IPs that were returned a 403 Forbidden HTTP Status code affiche le nom du robot et les adresses IP bloquées. Vous pouvez voir dans ce graphique comment toutes les demandes sont bloquées dans Fastly à l’avenir.
Blocked non-Bot name / IP addresses (in Fastly)
L’image Blocked non-Bot name / IP addresses (in Fastly) during selected time period graph displays non-bot traffic and IPs that were returned a 403 Forbidden HTTP Status code affiche les adresses IP qui ne s’identifient pas comme bot et qui ont été bloquées via Fastly.
This table shows the number of user agents per IP address, number of successful, unsuccessful and blocked requests:
Les bots malveillants faussent souvent d'autres bots par le biais de la valeur du champ Request User Agent. Ce tableau indique le nombre de valeurs uniques de l’adresse IP dans ce champ. Plus la valeur du champ Request User Agent est élevée, plus l’adresse IP est suspicieuse.
IP with non-200 status errors
L’image IP with non-200 status errors – without 403 status montre la distribution sur la période sélectionnée des adresses IP avec des codes d’état HTTP autres que 200. Lorsque des valeurs plus élevées s’affichent sur une seule adresse IP ou un groupe d’adresses IP, elles doivent faire l’objet d’une enquête plus approfondie.
IP with 403 status codes:
L’image IP with 403 status codes affiche les requêtes non mises en cache sans cache_status=ERROR dont l’état HTTP est 403. Cela peut indiquer que le serveur d’origine est la source du 403 (non autorisé) plutôt qu’un bloc de Fastly.
Top 5 with non-200 status codes
La table Top 5 with non-200 status codes showing cache_status affiche, au niveau de l’IP/de l’état, les nombres de chacun avec la valeur cache_status.
Pageview Latency will show as spikes
L’image Pageview Latency will show as spikes on this graph: affiche la latence de chargement de page/réponse de l’API qui peut être en ligne avec le trafic bot.