A guia bots
Esta guia tem informações que explicam como identificar se e o que bots está causando problemas no site.
Visão geral de alto nível de bots:
-
O bot é um software que executa tarefas repetitivas automatizadas. Com a evolução da inteligência artificial e do aprendizado de máquina, as tarefas, os métodos e as interações do bots estão mudando. Há bons bots que beneficiam os sites rastreando-os e adicionando-os aos mecanismos de pesquisa da Internet. Isso faz com que os usuários da Internet sejam guiados para o site por meio dos resultados do mecanismo de pesquisa. Um bom bot geralmente respeita os limites colocados no bot por um arquivo
robots.txtou as configurações em um console de mecanismo de pesquisa. Limites podem restringir o acesso ao site ou a partes do site. -
Mal-intencionado bots ignora o arquivo
robots.txtou pode falsificar um bom bot através do campo agente de usuário de solicitação dos dados de solicitação HTTP. Algumas coisas que o malicioso bots faz:- Adicione carga a um site para negar acesso ao site a usuários legítimos.
- Remover e reutilizar conteúdo sem permissão.
- Registre contas falsas para inundar serviços ou endereços de email ou redirecionar para outros sites (SPAM bots).
- Criar exibições falsas (Viewbots).
- Comprar produtos ou tíquetes (Focused bots).
-
Gerenciando bots
-
Observation for Adobe Commerce tem exibições de tráfego bot:
-
Ela mostra a atividade total de bot não armazenada em cache que exibe a carga que um bot está adicionando a um site e quando essa carga está acontecendo.
-
Ele mostra bots que estão gerando erros. Normalmente, se um bot estiver adicionando carga que cause problemas no site, esse bot ou endereço IP terá a maior frequência de erros.
-
Ele mostra bot nomes (valores de campo do agente do usuário de solicitação) e endereços IP para gerenciar por meio de:
- Fastly (limite de taxa ou VCLs que bloqueia endereços IP, intervalos ou bots por valor de nome).
- Adicionando boas informações de bot ao
robots.txt fieldpara restringir ou limitar a taxa de acesso ao site. - Gerenciando Bing ou Google bots por meio do console do mecanismo de pesquisa.
-
-
Experimental Potential Malicious Bots frame
O quadro Experimental Potential Malicious Bots frame executa mais de 12 consultas complexas separadas. Ele detecta assinaturas de solicitações de IP mal-intencionadas e agrega os resultados, soma e classifica por contagem em ordem decrescente. Os queries contêm uma infinidade de assinaturas de dados de explorações CVE e outras solicitações mal-intencionadas. Mesmo quando as explorações são bloqueadas por correções/patches de segurança e não são uma ameaça para o site, a solicitação ainda tem que ser tratada pelo site. O volume de solicitações pode se tornar bastante significativo em um curto período de tempo. Esse quadro não mostra o total de solicitações do endereço IP, mas sim solicitações que têm sinais que indicam que a solicitação tinha intenção suspeita.
Verifique se o tráfego é suspeito e se não é originário de um endereço Content Distributed Network (CDN) que também possa estar entregando solicitações válidas. Se as solicitações forem determinadas como provenientes de um endereço IP CDN, entre em contato com esse fornecedor de serviços para obter ajuda no bloqueio do tráfego suspeito por meio de sua rede. Se precisar bloquear o endereço ou solicitar a URL, consulte Bloquear tráfego mal-intencionado para o Adobe Commerce no Fastly nível da Base de Dados de Conhecimento de Suporte da Adobe Commerce.
Rate of HTTP request per second (top 25) during requested time period
O quadro Rate of HTTP request per second (top 25) during requested time period mostra os endereços IP com o maior número de solicitações por segundo durante o período selecionado. Se esses endereços também estiverem na tabela acima, verifique se não são endereços CDN e maliciosos e os bloqueie por meio de Fastly.
Total Bot traffic by bot name:
A tabela Total Bot traffic by bot name during selected time period contém a contagem agregada de solicitações não armazenadas em cache nas quais o campo request_user_agent tem uma cadeia de caracteres de bots no valor. Este pode ou não ser o bot nomeado, pois o valor do campo request_user_agent pode ser falsificado. O valor na coluna Count é o mais importante.
Total Bot Traffic by Bot name/IP address
A tabela Total Bot Traffic by Bot name/IP address during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt mostra os mesmos dados que a tabela anterior, mas adiciona endereços IP que fazem as solicitações em nome da bot nomeada. Como um bots mal-intencionado falsifica o bots bom, o(s) endereço(s) IP deve(m) ser verificado(s) por meio de sites que identificam endereços IP abusivos ou por meio de serviços whois ou DNS lookups. Por exemplo, Google publica seus googlebot endereços IP e Microsoft tem uma ferramenta de verificação para Bingbots.
Graph - Bots with HTTP status errors
O gráfico Graph - Bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt mostra erros em bots que se declaram no campo agente do usuário da solicitação. Isso não significa necessariamente que o erro é causado pelo volume do bot ou outro tráfego. Os erros podem ocorrer porque bot está solicitando informações que não existem ou porque há outro problema na solicitação.
Se houver um pico de erros nos endereços IP durante a instabilidade ou a interrupção do site, eles poderão ser suspeitos do problema do site.
Table - IPs that do not identify as bots
A tabela Table - IPs that do not identify as bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt mostrará solicitações de IP com códigos de status http não 200 que NÃO SE autoidentificam como bots no campo agente do usuário da solicitação. Esses endereços IP podem ser endereços IP mal-intencionados, especialmente se as contagens forem altas para o período selecionado.
Se as contagens de código de status http não 200 forem baixas e os intervalos de endereço IP não forem semelhantes, os endereços podem não estar contribuindo para os problemas do site.
Table – Cache Status ‘ERROR’
Quando os endereços IP estiverem gerando uma alta frequência de erros, pergunte o que eles estão fazendo? A tabela Table – Cache Status ‘ERROR’ detail table (what are these IPs doing?) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt mostrará a URL solicitada junto com o valor de status HTTP para solicitações com um valor de status de cache ERROR. A frequência é facetada pelo URL, portanto, a contagem pode ser baixa. Lembre-se de que o endereço IP pode estar fazendo milhares de solicitações durante o período selecionado. Essa é uma visualização em relação a até 2000 solicitações durante o período de tempo (o limite de exibição do registro).
Show 5XX status distribution
O quadro Show 5XX status distribution across IP addresses (top 200 addresses) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt é poderoso. Ele mostra os endereços IP que têm códigos de status http 5XX durante o período selecionado. Se um endereço IP estiver fazendo um grande volume de solicitações e o site for afetado até o ponto em que não consegue lidar com o tráfego, os endereços IP que estão fazendo a maior frequência de solicitações normalmente terão o maior volume de erros. Os códigos de status http 5XX geralmente indicam um site que está com dificuldades para responder a solicitações.
Quanto maior a barra, maior a porcentagem de erros que o endereço IP tem no número total de erros 5xx durante esse período. Observação: um endereço IP pode ter vários segmentos no gráfico se tiver vários códigos de status http (exemplo, status http 502 e 503).
A distribuição típica seria indicada na direção do lado direito da barra, onde os endereços IP são iguais em largura, ou haveria algumas barras largas com contagens muito baixas.
Se você passar o mouse sobre o segmento de barra, ele mostrará o número dos erros indicados durante o período selecionado.
IP cache status (MISS, PASS, ERROR) and HTTP status
Este quadro IP cache status (MISS, PASS, ERROR) and HTTP status during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt mostra a contagem de códigos de status HTTPS e solicitações não armazenadas em cache por IP no intervalo de tempo selecionado. Isso indica a carga proporcional de cada endereço IP e o volume total. Ele mostrará os endereços IP com mais solicitações.
Fastly Cache Summary for selected time period
Se você clicar no ícone Error no gráfico abaixo, será possível comparar os dois últimos gráficos uns com os outros. Isso pode ajudar a indicar onde a carga contribui para problemas do site.
Graph - IPs that do not identify as bots
O quadro Graph - IPs that do not identify as bots without error during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt mostra o campo agente do usuário da solicitação, o endereço IP e o código de status de solicitações em que o campo agente do usuário da solicitação não indica um bot. Esse quadro pode mostrar solicitações de alta frequência de qualquer endereço IP, mas preste atenção a solicitações de alta frequência, especialmente durante um período em que o site possa ter problemas.
Graph - Suspicious Non-Bot traffic
O gráfico Graph - Suspicious Non-Bot traffic during selected time period procura um valor de agente de usuário de solicitação do Go-http-client, mas será estendido para procurar outros valores de agente de usuário de solicitação suspeitos. Este valor de agente de usuário de solicitação é usado por sites para conexão de serviços e pode ser válido, mas também é usado por bots mal-intencionado.
Graph - Bot traffic by Bot name
O quadro Graph - Bot traffic by Bot name during selected time period está mostrando os mesmos dados que o tráfego Total de bots pelo nome Bot durante a tabela de período selecionada na parte superior da guia. Ela mostra os dados por meio da linha do tempo para que você possa ver quando as solicitações de bots estão sendo feitas e suas distribuições.
Graph - Top 250 Bot Names and IP addresses
O quadro Graph - Top 250 Bot Names and IP addresses during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt está mostrando os mesmos dados que o Tráfego Bot Total por Nome de bot/Endereço IP durante a tabela de período selecionada na parte superior da guia. Ele mostra os dados por meio da linha do tempo e os encaminha pelo endereço IP. Isso mostra quando as solicitações de bots são feitas, que IP está fazendo solicitações e as distribuições das solicitações.
Blocked Bot name / IP addresses (in Fastly)
O quadro Blocked Bot name / IP addresses (in Fastly) during selected time period. This graph displays bot traffic and IPs that were returned a 403 Forbidden HTTP Status code mostra o nome do bot e os endereços IP bloqueados. Você pode ver neste gráfico como todas as solicitações foram bloqueadas em Fastly.
Blocked non-Bot name / IP addresses (in Fastly)
O quadro Blocked non-Bot name / IP addresses (in Fastly) during selected time period graph displays non-bot traffic and IPs that were returned a 403 Forbidden HTTP Status code mostra endereços IP que não se identificam como bot bloqueados por meio de Fastly.
This table shows the number of user agents per IP address, number of successful, unsuccessful and blocked requests:
bots mal-intencionado frequentemente faz spoof de outros bots através do valor do campo Request User Agent. Esta tabela mostra quantos valores únicos o endereço IP tem nesse campo. Quanto maior o valor no campo Request User Agent, mais suspeito será o endereço IP.
IP with non-200 status errors
O quadro IP with non-200 status errors – without 403 status está mostrando a distribuição pelo período selecionado de endereços IP com códigos de status HTTP diferentes de 200. Quando você vê valores mais altos em um único IP ou grupo de endereços IP, eles exigem mais investigação.
IP with 403 status codes:
O quadro IP with 403 status codes mostra solicitações não armazenadas em cache sem cache_status=ERROR com status HTTP 403. Isso pode mostrar que o servidor de origem é a origem do 403 (não autorizado) em vez de um bloqueio de Fastly.
Top 5 with non-200 status codes
A tabela Top 5 with non-200 status codes showing cache_status mostra, em um nível de IP/status, as contagens de cada uma com o valor cache_status.
Pageview Latency will show as spikes
O quadro Pageview Latency will show as spikes on this graph: mostra a latência de resposta da API/carregamento de página que pode estar alinhada com o tráfego bot.