社内web クローラートラフィックとコンテンツリクエスト使用率の計算
この記事では、Adobe Experience Manager（AEM）as a Cloud Serviceが、使用状況の計算において内部web クローラートラフィックを特定および処理する方法と、その除外メカニズムについて説明します。
説明 description
環境
Adobe Experience Manager as a Cloud Service
問題/症状
検索ソリューションを利用している企業では、AEMのコンテンツにインデックスを作成する内部web クローラーを実行することができます。 これらのweb クローラーにより、大量のリクエストを生成することができ、トラフィックログに表示され、請求可能な使用状況の計算に対する影響について懸念が生じる可能性があります。
原因
内部web クローラーでは、通常、異なるUser-Agent文字列と既知のIP範囲が使用されます。 このようなシステム間トラフィックは、非ユーザートラフィックとして除外されるのではなく、請求可能なAEMaaCS コンテンツリクエストにカウントされるのではないかという懸念があります。
解決策 resolution
コンテンツリクエストの使用状況の計算に影響を与える内部web クローラートラフィックに関する懸念を修正するには、次の手順に従います。
- 内部web クローラーが明確な
User-Agent文字列を使用し、可能であれば既知のIP範囲から動作することを確認します。 - Web クローラーのリクエストパスが、期待されるweb クローラーアクティビティ（サイトマップ駆動型URLなど）と一致していることを確認します。
- AEMaaCSの使用状況レポートとトラフィックログを確認して、web クローラーのトラフィックパターンを特定します。
- Adobeのコンテンツリクエストの使用状況の計算は、パブリッシュ層のトラフィックに基づいています。 特定の既知のボットとシステムトラフィックは、認識された署名（
User-AgentまたはIP）に基づく使用計算から除外されます。 - 社内または顧客固有のweb クローラーは、確立された除外パターンに一致する場合にのみ、使用状況の計算から除外されます。 Web クローラーが認識された署名を使用する場合、そのトラフィックは請求可能な使用にカウントされません。
- Web クローラーに起因する予期しない使用が発生した場合は、関連するログの詳細（
User-Agent、IP範囲、リクエストパスなど）を収集し、Adobe サポート に連絡して詳細なレビューを依頼してください。
注: web クローラーの署名を確認した後、使用状況レポートを確認して、そのトラフィックが請求可能なコンテンツリクエスト数から除外されていることを確認します。
recommendation-more-help
experience-cloud-kcs-help-kbarticles