「bots」タブ
このタブには、サイトの問題を引き起こしているかどうかと、その原因を特定す bots 方法を説明する情報が表示されます。
bots の概要：
-
bot は、繰り返し自動化されたタスクを実行するソフトウェアです。 人工知能と機械学習の進化により、bots ーザーのタスク、方法、やり取りは変化しています。 サイトをクロールしてインターネット検索エンジンに追加すると、サイトに利益をもたらす 良い bots があります。 その結果、インターネットユーザーは検索エンジンの結果を通じてサイトに誘導されます。 通常 良い bot は、bot ファイルまたは検索エンジン コンソールの設定によって
robots.txtージに配置された境界を尊重します。 境界は、サイトまたはサイトの一部へのアクセスを制限できます。 -
悪意のある bots が
robots.txtファイルを無視するか、HTTP 要求データの要求ユーザーエージェントフィールドを介して良 bot を偽装する可能性があります。 悪意のある bots ーザーが実行する操作の一部：- サイトに負荷を追加して、サイトへの正規のユーザーのアクセスを拒否します。
- 許可なくコンテンツを削除して再利用します。
- 偽のアカウントを登録して、メールサービスやアドレスをあふれさせるか、他のサイト（SPAM bots）にリダイレクトさせる。
- フェイクビュー（Viewbots）を作成します。
- 商品またはチケットを購入する（Focused bots）。
-
bots の管理
-
Observation for Adobe Commerce には、bot トラフィックのビューがあります。
-
キャッシュされていない bot アクティビティの合計を表示します。このアクティビティでは、bot ーザーがサイトに追加している読み込みと、その読み込みが行われている時間が表示されます。
-
エラーが発生している bots が表示されます。 通常、サイトの問題を引き起こす負荷を bot ーザーが追加している場合、その bot または IP アドレスのエラーの頻度が最も高くなります。
-
bot 名（リクエストユーザーエージェントフィールドの値）と、管理対象の IP アドレスが表示されます。
- Fastly （IP アドレス、範囲または VCLs を名前値でブロックするレート制限または bots）。
- サイトへのアクセス率を制限または制限するために、適切な bot 情報を
robots.txt fieldに追加します。 - 検索エンジンコンソールによる Bing または Google bots の管理。
-
-
Experimental Potential Malicious Bots frame
Experimental Potential Malicious Bots frame フレームは、12 個の個別の複雑なクエリで構成されます。 悪意のある IP リクエストのシグネチャを検出し、結果を集計し、合計して、降順でカウント別に並べ替えます。 クエリには、CVE の悪用やその他の悪意のあるリクエストの多数のデータ署名が含まれています。 悪用がセキュリティ修正/パッチによってブロックされ、サイトに対する脅威ではない場合でも、リクエストは Web サイトで処理する必要があります。 リクエストの量は、短期間にかなり多くなる可能性があります。 このフレームには、IP アドレスからのリクエストの合計ではなく、リクエストに疑わしい意図があることを示すシグナルを持つリクエストが表示されます。
トラフィックが疑わしく、Content Distributed Network （CDN）アドレスから発信されたものではないこと、また有効なリクエストを配信している可能性があることを確認します。 リクエストが CDN IP アドレスからのものであると判断した場合は、そのサービスの提供者に連絡して、ネットワークを通過する疑わしいトラフィックをブロックするように依頼してください。 アドレスまたはリクエスト URL をブロックする必要がある場合は、Adobe Commerce サポートナレッジベースの Adobe Commerceの悪意のあるトラフィックのブロック Fastly レベル を参照してください。
Rate of HTTP request per second (top 25) during requested time period
Rate of HTTP request per second (top 25) during requested time period フレームには、選択した時間枠内の 1 秒あたりの IP アドレスあたりの最大リクエスト数が表示されます。 これらのアドレスが上記の表にも含まれている場合は、CDN アドレスと悪意がないことを確認し、Fastly 経由でブロックします。
Total Bot traffic by bot name:
Total Bot traffic by bot name during selected time period テーブルには、request_user_agent フィールドの値に bots の文字列が含まれている、キャッシュされていない要求の集計数が含まれています。 bot フィールド値はスプーフィングされる可能性があるので、これは名前付き request_user_agent である場合もあれば、そうでない場合もあります。 Count 列の値が最も重要です。
Total Bot Traffic by Bot name/IP address
Total Bot Traffic by Bot name/IP address during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt のテーブルには、前のテーブルと同じデータが表示されますが、指定された bot ーザーの代わりにリクエストを行う IP アドレスが追加されます。 悪意のある bots 偽の良 bots として、IP アドレスは、悪用される IP アドレスを識別する Web サイト、または whois サービスまたは DNS lookups を通じて検証する必要があります。 例えば、Google は googlebot IP アドレス を公開し、Microsoft には Bingbots の検証ツールがあります。
Graph - Bots with HTTP status errors
Graph - Bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt のグラフは、リクエストユーザーエージェント フィールドで自身を宣言する bots に関するエラーを示します。 これは、必ずしもエラーが bot または他のトラフィックからのボリュームによって引き起こされることを意味しません。 エラーは、bot が存在しない情報を要求しているか、要求に別の問題がある可能性があります。
サイトの不安定または停止中に IP アドレスでエラーのスパイクが発生した場合は、サイトの問題の疑いがある可能性があります。
Table - IPs that do not identify as bots
Table - IPs that do not identify as bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt の表は、リクエストユーザーエージェントフィールドで bots のように自己識別されない 200 以外の HTTP ステータスコードを持つ IP リクエストを表示します。 特に、選択した期間にカウントが多い場合、これらの IP アドレスは悪意のある IP アドレスである可能性があります。
200 以外の HTTP ステータスコードの数が少なく、IP アドレスの範囲が似ていない場合、アドレスがサイトの問題に貢献していない可能性があります。
Table – Cache Status ‘ERROR’
IP アドレスで頻繁にエラーが発生する場合は、何をしているのかを問い合わせます。 Table – Cache Status ‘ERROR’ detail table (what are these IPs doing?) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt テーブルには、リクエストされた URL と、キャッシュステータスの値が指定されたリクエストの HTTP ステータス ERROR が表示されます。 頻度は URL でファセット化されるので、カウントが少ない場合があります。 選択した期間に、IP アドレスが何千ものリクエストを行う可能性があることに注意してください。 これは、期間中の最大 2000 件のリクエストに対する表示です（レコードの表示制限）。
Show 5XX status distribution
Show 5XX status distribution across IP addresses (top 200 addresses) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt のフレームは強力です。 選択した期間の 5XX HTTP ステータスコードを持つ IP アドレスが表示されます。 IP アドレスが大量のリクエストを行い、トラフィックを処理できないほどサイトに影響が及ぶ場合、通常、リクエストの頻度が最も高い IP アドレスのエラーは最も高くなります。 5XX の http ステータスコードは、通常、リクエストに応答するのが困難なサイトを示します。
バーが広いほど、その期間中の合計 5xx エラー数のうち、IP アドレスに含まれるエラーの割合が大きくなります。 メモ：複数の http ステータスコード（例：502 および 503 http ステータス）がある場合、1 つの IP アドレスにグラフ内の複数のセグメントが含まれる可能性があります。
標準的な分布は、IP アドレスの幅が等しいバーの右側に示されるか、カウントが非常に少ない幅の広いバーがいくつかあります。
棒グラフのセグメントの上にマウスポインターを置くと、選択した期間における示されたエラーの数が表示されます。
IP cache status (MISS, PASS, ERROR) and HTTP status
この IP cache status (MISS, PASS, ERROR) and HTTP status during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt フレームには、選択した期間の HTTPS ステータスコード数と、IP ごとのキャッシュされていないリクエストが表示されます。 これは、各 IP アドレスからの比例負荷とボリュームの合計を示します。 リクエスト数が最も多い IP アドレスが表示されます。
Fastly Cache Summary for selected time period
下のグラフの Error のアイコンをクリックすると、最後の 2 つのグラフを相互に比較できます。 これは、負荷がサイトの問題の原因となっている場所を示すのに役立ちます。
Graph - IPs that do not identify as bots
Graph - IPs that do not identify as bots without error during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt のフレームには、リクエストユーザーエージェントフィールド、IP アドレス、リクエストのステータスコードが表示されますが、リクエストユーザーエージェントフィールドには bot が表示されません。 このフレームには、任意の IP アドレスからの高頻度のリクエストが表示される場合がありますが、特にサイトで問題が発生する可能性がある期間は、高頻度のリクエストに注意が払われます。
Graph - Suspicious Non-Bot traffic
Graph - Suspicious Non-Bot traffic during selected time period グラフは、Go-http-client のリクエストユーザーエージェント値を探しますが、他の疑わしいリクエストユーザーエージェント値を探すように拡張されます。 この要求ユーザーエージェントの値は、サイトがサービスから接続するために使用します。この値は有効である可能性がありますが、悪意のある bots によっても使用されています。
Graph - Bot traffic by Bot name
この Graph - Bot traffic by Bot name during selected time period フレームには、タブ上部の選択した期間テーブル Bot の名前による合計ボットトラフィックと同じデータが表示されます。 タイムラインを介してデータを表示することで、bots ーザーによるリクエストが行われているタイミングと配布を確認できます。
Graph - Top 250 Bot Names and IP addresses
Graph - Top 250 Bot Names and IP addresses during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt フレームには、タブ上部の選択した期間テーブルの間のボット名/IP アドレス別の合計 Bot トラフィックと同じデータが表示されます。 タイムラインを介してデータを表示し、IP アドレスでファセット化しています。 これは、bots ーザーからのリクエストがいつ行われたか、どの IP がリクエストを行っているか、およびリクエストの配分を示します。
Blocked Bot name / IP addresses (in Fastly)
Blocked Bot name / IP addresses (in Fastly) during selected time period. This graph displays bot traffic and IPs that were returned a 403 Forbidden HTTP Status code フレームには、ブロックされたボット名と IP アドレスが表示されます。 このグラフでは、今後、すべてのリクエストがブロックされる Fastly を確認できます。
Blocked non-Bot name / IP addresses (in Fastly)
Blocked non-Bot name / IP addresses (in Fastly) during selected time period graph displays non-bot traffic and IPs that were returned a 403 Forbidden HTTP Status code フレームは、bot でブロックされた Fastly として識別されない IP アドレスを示します。
This table shows the number of user agents per IP address, number of successful, unsuccessful and blocked requests:
悪意のある bots は、bots フィールドの値を介して他の Request User Agent をスプーフィングすることがよくあります。 次の表は、そのフィールドの IP アドレスに含まれる一意の値の数を示しています。 Request User Agent フィールドの値が大きいほど、IP アドレスの疑いが強くなります。
IP with non-200 status errors
IP with non-200 status errors – without 403 status フレームは、HTTP ステータスコードが 200 以外の IP アドレスについて、選択した期間の配信を示します。 1 つの IP アドレスまたは IP アドレスのグループで値が大きい場合は、さらに調査する必要があります。
IP with 403 status codes:
IP with 403 status codes フレームは、HTTP ステータスが 403 の cache_status=ERROR を持たない、キャッシュされていないリクエストを示します。 これは、オリジンサーバーが Fastly からのブロックではなく、403 （未認証）のソースであることを示している場合があります。
Top 5 with non-200 status codes
Top 5 with non-200 status codes showing cache_status のテーブルは、cache_status の値を持つ各のカウントを IP/ステータスレベルで表示しています。
Pageview Latency will show as spikes
Pageview Latency will show as spikes on this graph: フレームは、bot トラフィックに合わせてページの読み込み/API 応答の待ち時間を示します。