Het tabblad bots
Dit tabblad bevat informatie die aangeeft hoe u kunt bepalen of en welke bots siteproblemen veroorzaken.
Overzicht op hoog niveau van bots :
-
Een bot is een stuk software dat herhaalde geautomatiseerde taken uitvoert. Met kunstmatige intelligentie en het leren van machines evolueren de taken, de methodes, en de interactie van bots. Er zijn goed bots die plaatsen door te kruipen en hen toe te voegen aan de motoren van het Internet ten goede komen. Hierdoor worden internetgebruikers door zoekprogrammaresultaten naar de site geleid. A goed bot respecteert typisch grenzen die op bot door een
robots.txtdossier of montages in een console van de onderzoeksmotor worden geplaatst. Grensgrenzen kunnen de toegang tot de site of delen van de site beperken. -
Kwaadwillig bots negeert het
robots.txtdossier of zij kunnen van een goed bot door het gebied van de verzoekgebruikersagent van de HTTP- verzoekgegevens bederven. Sommige dingen die kwaadaardig zijn bots doen het volgende:- Voeg lading aan een plaats toe om wettige gebruikers toegang tot de plaats te ontkennen.
- Inhoud zonder toestemming scrubben en opnieuw gebruiken.
- Registreer valse accounts om e-mailservices of adressen te overstromen of om te leiden naar andere sites (SPAM bots).
- Maak valse weergaven (Viewbots).
- Koop producten of tickets (Focused bots).
-
Beheren bots
-
Observation for Adobe Commerce heeft weergaven van bot -verkeer:
-
De code toont de totale niet-in cache geplaatste bot activiteit die de lading toont die bot aan een plaats toevoegt en wanneer die lading gebeurt.
-
Hierin worden de bots weergegeven die fouten genereren. Doorgaans geldt dat bot - of IP-adres de hoogste frequentie van fouten heeft als een bot bezig is met het toevoegen van een belasting die siteproblemen veroorzaakt.
-
Het toont bot namen (de gebiedswaarden van de verzoekgebruikersagent) en IP adressen om door te leiden:
- Fastly (snelheidsbeperkend of VCLs die IP adressen, waaiers, of bots door naamwaarde blokkeren).
- Goede bot -informatie aan
robots.txt fieldtoevoegen om de snelheid van sitetoegang te beperken of te beperken. - Bing of Google bots beheren via de console van de zoekmachine.
-
-
Experimental Potential Malicious Bots frame
Het Experimental Potential Malicious Bots frame -frame wordt uitgevoerd over twaalf afzonderlijke, complexe query's. Het ontdekt kwaadwillige IP verzoekhandtekeningen en voegt dan de resultaten samen, sommen en sorteert hen door telling in dalende orde. De query's bevatten een groot aantal gegevenshandtekeningen van CVE-misbruiken en andere kwaadaardige verzoeken. Zelfs wanneer de explosies worden geblokkeerd door beveiligingsoplossingen/patches en een niet-bedreiging vormen voor de site, moet het verzoek nog steeds door de website worden afgehandeld. Het aantal verzoeken kan in een korte periode aanzienlijk worden. Dit kader toont geen totale verzoeken van het IP adres maar eerder verzoeken die signalen hebben die erop wijzen dat het verzoek verdachte bedoeling had.
Controleer of het verkeer verdacht is en niet afkomstig is van een Content Distributed Network (CDN)-adres dat ook geldige aanvragen kan afleveren. Als de verzoeken om van een adres CDN IP worden bepaald, gelieve te contacteren die dienstverlener om te helpen met het blokkeren van het verdachte verkeer door hun netwerk. Als u het adres of verzoek URL moet blokkeren, verwijs naar het kwaadwillige verkeer van het Blok voor Adobe Commerce op Fastly niveauin de Kennisbank van de Steun van Adobe Commerce.
Rate of HTTP request per second (top 25) during requested time period
Het Rate of HTTP request per second (top 25) during requested time period kader toont de hoogste verzoeken per tweede IP adressen tijdens het geselecteerde tijdkader. Als deze adressen ook in de lijst hierboven zijn, zorg ervoor dat zij geen adressen CDN en kwaadwillig zijn en hen via Fastly blokkeren.
Total Bot traffic by bot name:
De tabel Total Bot traffic by bot name during selected time period bevat de geaggregeerde telling van aanvragen die niet in de cache zijn geplaatst en waarbij het veld request_user_agent een tekenreeks van bots in de waarde heeft. Dit kan wel of niet de naam bot hebben omdat de veldwaarde request_user_agent voor spoofed kan worden gebruikt. De waarde onder de kolom Count is het belangrijkst.
Total Bot Traffic by Bot name/IP address
De tabel Total Bot Traffic by Bot name/IP address during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt bevat dezelfde gegevens als de vorige tabel, maar voegt IP-adressen toe die de aanvragen namens de benoemde bot uitvoeren. Als kwaadwillige bots goed bots, zou het IP adres(sen) door websites moeten worden geverifieerd die misbruik IP adressen of door identificeren wie de diensten of DNS lookups is. Bijvoorbeeld, Google publiceert hun googlebot IP adressenen Microsoft heeft een controlerend hulpmiddel voor Bingbots.
Graph - Bots with HTTP status errors
In de grafiek Graph - Bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt worden fouten in bots weergegeven die zichzelf in het veld voor de gebruikersagent van de aanvraag declareren. Dit betekent niet noodzakelijk dat de fout door volume van bot of ander verkeer wordt veroorzaakt. De fouten zouden kunnen zijn dat bot om informatie verzoekt die niet bestaat of er een ander probleem in het verzoek is.
Als er een piek van fouten op IP adressen tijdens plaatsinstabiliteit of stroomonderbreking is, zouden zij in het plaatsprobleem kunnen zijn verdacht.
Table - IPs that do not identify as bots
In de tabel Table - IPs that do not identify as bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt worden IP-aanvragen weergegeven met niet-200 http-statuscodes die NIET zichzelf identificeren als bots in het veld voor de gebruikersagent van de aanvraag. Deze IP adressen zouden kwaadwillige IP adressen kunnen zijn, vooral als de tellingen hoog voor de geselecteerde tijdspanne zijn.
Als de aantallen niet-200 http statuscode laag zijn en de IP adreswaaiers niet gelijkaardig zijn, zouden de adressen niet aan de plaatskwesties kunnen bijdragen.
Table – Cache Status ‘ERROR’
Wanneer IP de adressen een hoge frequentie van fouten produceren, vraag wat zij doen? In de tabel Table – Cache Status ‘ERROR’ detail table (what are these IPs doing?) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt wordt de aangevraagde URL weergegeven, samen met de HTTP-statuswaarde voor aanvragen met de cachestatus ERROR . De frequentie wordt beperkt door URL zodat het aantal laag kan zijn. Herinner dat het IP adres duizenden verzoeken tijdens de geselecteerde tijdspanne kan maken. Dit is een weergave tegen maximaal 2000 verzoeken tijdens het tijdframe (de weergavelimiet voor records).
Show 5XX status distribution
Het frame Show 5XX status distribution across IP addresses (top 200 addresses) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt is krachtig. Het toont de IP adressen die 5XX http statuscodes tijdens de geselecteerde tijdspanne hebben. Als een IP adres een hoog volume van verzoeken maakt en de plaats wordt beïnvloed aan het punt waar het niet het verkeer kan behandelen, dan zullen de IP adressen die de hoogste frequentie van verzoeken maken typisch het hoogste volume van fouten hebben. 5XX http de statuscodes wijzen typisch op een plaats die worstelt om op verzoeken te antwoorden.
Hoe breder de balk, des te groter het percentage fouten dat het IP-adres bevat in het totale aantal fouten van 5 x gedurende die periode. Nota: een IP adres zou veelvoudige segmenten in de grafiek kunnen hebben als het veelvoudige http statuscodes (voorbeeld 502 en 503 http statussen) heeft.
De typische distributie zou aan de rechterkant van de bar worden aangewezen waar de IP adressen in breedte gelijk zijn of er zouden een paar brede bars met zeer lage aantallen zijn.
Als u de muisaanwijzer boven het staafsegment houdt, wordt het aantal aangegeven fouten tijdens de geselecteerde tijdsperiode weergegeven.
IP cache status (MISS, PASS, ERROR) and HTTP status
In dit IP cache status (MISS, PASS, ERROR) and HTTP status during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt -frame worden het aantal HTTPS-statuscodes en aanvragen die niet in de cache zijn geplaatst, via IP over het geselecteerde tijdframe weergegeven. Dit wijst op de evenredige lading van elk IP adres en het totale volume. Het zal de IP adressen met de meeste verzoeken tonen.
Fastly Cache Summary for selected time period
Als u op het pictogram Error in de onderstaande grafiek klikt, kunt u de laatste twee grafieken met elkaar vergelijken. Zo kunt u aangeven waar het laden bijdraagt aan siteproblemen.
Graph - IPs that do not identify as bots
Het Graph - IPs that do not identify as bots without error during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt kader toont het gebied van de agentenagent van de verzoekgebruiker, het IP adres, en statuscode voor verzoeken waar het gebied van de agentenagent van de verzoekgebruiker geen bot wijst. Dit kader kan hoge frequentieverzoeken van om het even welk IP adres tonen maar aandacht aan hoge frequentieverzoeken, vooral tijdens een periode waarin de plaats kwesties kan hebben.
Graph - Suspicious Non-Bot traffic
De grafiek Graph - Suspicious Non-Bot traffic during selected time period zoekt een waarde van de de agentenagent van de verzoekgebruiker van Go-http-cliënt maar zal worden uitgebreid om andere verdachte waarden van de agentenagent van de verzoekgebruiker te bekijken. Deze de agentenwaarde van de verzoekgebruiker wordt gebruikt door plaatsen voor het verbinden van de diensten en kan geldig zijn maar ook door kwaadwillige bots gebruikt.
Graph - Bot traffic by Bot name
In het frame Graph - Bot traffic by Bot name during selected time period worden dezelfde gegevens weergegeven als in de naam Totaal aantal bits per Bot tijdens de geselecteerde tabel met tijdpunten boven aan het tabblad. De gegevens worden weergegeven via de tijdlijn, zodat u kunt zien wanneer de aanvragen van de bots worden gedaan en hoe ze worden gedistribueerd.
Graph - Top 250 Bot Names and IP addresses
In het frame Graph - Top 250 Bot Names and IP addresses during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt worden dezelfde gegevens weergegeven als in het vak Totaal Bot verkeer op naam/IP-adres tijdens een geselecteerde tijdsperiode boven aan het tabblad. Het toont de gegevens via de chronologie en beperkt het door IP adres. Dit toont wanneer de verzoeken van bots worden gemaakt, welke IP verzoeken doet, en de verdelingen van de verzoeken.
Blocked Bot name / IP addresses (in Fastly)
In het frame Blocked Bot name / IP addresses (in Fastly) during selected time period. This graph displays bot traffic and IPs that were returned a 403 Forbidden HTTP Status code worden de beide namen en IP-adressen weergegeven die zijn geblokkeerd. In deze grafiek ziet u hoe alle aanvragen zijn geblokkeerd in Fastly .
Blocked non-Bot name / IP addresses (in Fastly)
Het frame Blocked non-Bot name / IP addresses (in Fastly) during selected time period graph displays non-bot traffic and IPs that were returned a 403 Forbidden HTTP Status code bevat IP-adressen die niet worden aangeduid als een bot die zijn geblokkeerd via Fastly .
This table shows the number of user agents per IP address, number of successful, unsuccessful and blocked requests:
Kwaadwillig bots vaak spoofend van andere bots door de waarde van het Request User Agent gebied. Deze lijst toont hoeveel unieke waarden het IP adres op dat gebied heeft. Hoe hoger de waarde in het veld Request User Agent , hoe meer verdacht het IP-adres is.
IP with non-200 status errors
Het IP with non-200 status errors – without 403 status kader toont de distributie over het geselecteerde tijdkader van IP adressen met de statuscodes van HTTP buiten 200. Wanneer u hogere waarden op één enkel IP of een groep IP adressen ziet, vereisen zij verder onderzoek.
IP with 403 status codes:
In het frame IP with 403 status codes worden niet-in de cache opgeslagen aanvragen zonder cache_status=ERROR weergegeven met een HTTP-status van 403. Dit kan aantonen dat de oorspronkelijke server de bron is van de 403 (niet-geautoriseerd) in plaats van een blok van Fastly .
Top 5 with non-200 status codes
De tabel Top 5 with non-200 status codes showing cache_status toont op IP-/statusniveau de tellingen van elk niveau met de waarde cache_status .
Pageview Latency will show as spikes
In het frame Pageview Latency will show as spikes on this graph: wordt de vertraging van de paginabelasting/API-reactie weergegeven die mogelijk overeenkomt met het bot -verkeer.