調查行動手冊
Adobe Commerce Traffic Insights應用程式的設計用途是協助您調查下列問題:
- 頻寬超額
- 爬蟲載入
- 惡意流量
或者,您可以要求進階安全性:原生機器人管理、第7層DDoS和速率限制,這是當手動緩解不足時Adobe的原生升級路徑。 每個步驟都會參考顯示症狀的Widget,讓您能夠從量度移至具體動作。
CDN頻寬超額
在考量頻寬使用量之前,請先瞭解頻寬的計費方式。 與Adobe Commerce on Cloud Infrastructure帳戶合併的所有 Fastly服務的流量(包括每個生產 和 中繼環境)計入一般使用量,並與您合約中的年度津貼相比。 從 頻寬>總頻寬 開始,然後依內容型別 和 依網域詳細資料 的頻寬,將磁碟區歸因為 頻寬。
媒體內容
有些存放區因為有目錄而合法地提供大量的頻寬做為媒體。 如果 依內容型別的頻寬 顯示大量的媒體頻寬,請考慮下列緩解措施:
- 嘗試使用Fastly有損轉換,提供較小、品質較低的影像。
- 調查Fastly深度影像最佳化以在內容傳遞網路(CDN)端產生調整大小的影像。
大型檔案
某些網站包含大型檔案或特定且繁重的回應,例如Enterprise Resource Planning (ERP)整合或匯出。 使用頻寬的 URL檢閱 BW 和 平均大小 欄,以尋找這些大型檔案。 您可以將 路徑區段lvl 1 X頻寬 用於較高層級的檢視。
重型404s
找不到Adobe Commerce 404頁面通常是繁重、主題樣式的頁面(~1.5 MB)和無法快取,因此重複的404可能會產生異常流量。 即使是像favicon.ico這樣微不足道的遺失資源,也可以變成繁重的404頁面,而不是小型檔案。 使用依網域詳細資料之頻寬、依頻寬之URL、依頻寬之頂端IP和 依IP子網路之統計資料 中的 404 和 404 BW 資料行,尋找產生404磁碟區的使用者端、IP和URL。 然後減少或限制該存取權,例如,傳回輕量型403。
低FPC命中率
Adobe建議啟用Fastly 遮蔽,讓主要CDN快取彙總器提供來源,讓較少的要求從最接近使用者端的本機Points of Presence (POP)到達。 請參閱檢查您的組態。
POP對使用者端和遮蔽對POP流量會分開計算,而當使用者端回應經過壓縮時,遮蔽對POP流量不會經過壓縮,以保留Edge Side Include (ESI)支援。 這表示低的Full Page Cache (FPC)點選率會在動態頁面上帶來更高的頻寬。 使用FPC點選率、依網域的FPC統計資料和 CDN網路區段頻寬 來確認症狀。
低點選率通常是由大量搜尋引擎爬蟲所驅動(請參閱搜尋機器人和爬蟲)。 另一種緩解方法是在可用時提供過時快取給爬蟲。 如果原因是廣泛、頻繁的快取失效,請使用 依標籤的快取失效 和 依頂端URL的FPC存留時間 來尋找流失的標籤/URL。
搜尋機器人和爬蟲
若要測量爬蟲影響,請從 依頻寬區分的已知機器人 和 已知機器人影響詳細資料 開始,檢視哪些機器人最活躍,然後依特定機器人篩選,僅研究其要求。
太多請求
搜尋機器人傳送過多請求的最常見原因是剖析載有<meta name="robots" content="index,follow">的頁面時。 機器人可以近乎無窮無盡的回圈中,遵循頂端導覽和階層式導覽連結。 請考慮下列選項以解決此問題:
- 將
nofollow新增至頂端導覽與階層式導覽連結,例如<a rel="nofollow" href="https://example.com/sales.html">Sales</a>。 - 將頁面Meta標籤變更為
index,nofollow— 作為一般設計組態設定或具有自訂副檔名的每個頁面型別。 保持sitemap.xml準確,以便機器人一律有要索引的最新頁面清單。 - 更新
robots.txt以封鎖路徑和資源機器人不應存取。 - 請注意,
crawl-delay指示詞不是官方Robots Exclusion Protocol的一部分,但確實適用於某些機器人,例如Bingbot、Slurp、SEMrushBot和其他幾個機器人。 GoogleBot會忽略此指令。 - 新增速率限制規則。 Fastly模組中有原生濫用爬蟲保護。 為了更精細的控制,對於具有個別速率限制的使用者代理程式規則運算式,自訂清漆組態語言(VCL)程式碼片段可傳回
429(過多請求)或405(不允許方法)。 請檢視爬蟲說明檔案,瞭解偏好方法和回應代碼。 請參閱Fastly的速率限制VCL指引。 - AI和大型語言模型(LLM)爬蟲是不斷成長的特殊情況。 它們並不總是能一致地識別自己,因此VCL使用者代理程式規則可能會落後。 Adobe的進階安全性附加元件有原生機器人管理,可以區分邊緣的可疑AI爬蟲和擷取程式,單靠VCL無法區分它們。
封鎖不想要的爬蟲
如果某些搜尋引擎產生大量流量,而對業務並不重要,則可完全封鎖:
- 某些機器人在重新讀取和更新其剖析規則後,會在1-2天後跟隨
robots.txt變更。 - 如果爬蟲忽略
robots.txt,請使用自訂VCL程式碼片段(example)加以封鎖。 有些爬蟲會明確記錄這是頻率控制的慣用或唯一方法。
惡意指令碼與刮刀程式
使用流量分析應用程式來識別常見的攻擊方向,並視需要依焦點區域篩選。 如果紅色標幟的請求主要來自特定IP、子網路或地理位置(依請求數排名的最佳IP、依IP子網路統計資料、依國家/地區統計資料),請考慮使用自訂Fastly VCL封鎖它們。
無論您進行任何設定,每個雲端基礎結構專案都已擁有自動保護的基準。 隨附的Web應用程式防火牆(WAF)會立即封鎖SQL插入和已知的惡意IP訊號(後門、攻擊工具、CMDEXE、Log4J-JNDI、周遊、XSS),並在其他非惡意IP超過50個請求/分鐘、350個請求/10分鐘或1,800個請求/小時時時時時時時限制其速率。 該基準線是 WAF回應要求 以及此應用程式表格中的WAF訊號欄所指示的內容。 這些欄中的尖峰並不一定表示您未受到保護。
- 留意認證填滿、帳戶接管、假帳戶建立、卡片測試、內容擷取和詳細目錄/購物車囤積。 這些機器人導向的濫用模式出現在 機器人活動和請求分析 索引標籤中。 點選登入、帳戶、結帳或目錄端點的高數量、低多樣性流量是要在依請求計數 和 已知機器人影響詳細資料 排名的 前IP中尋找的簽章。
- 使用Google reCAPTCHA保護簽出和簽出API端點不受機器人攻擊。
- 使用Fastly模組的原生速率限制路徑保護。
- 在逗號分隔的
Sigsci_Tags欄位中檢查下一代WAF訊號,並將相關的訊號比對結合至目標封鎖規則。 可疑要求的值可能類似於BOT-ANALYSIS,DATACENTER,SIGSCI-IP,SITE-FLAGGED-IP,SUSPECTED-BAD-BOT。 WAF在開始自動封鎖之前,會先將IP的SITE-FLAGGED-IP標籤到臨界值。 由WAF回應的WAF攻擊和異常訊號、WAF機器人訊號和 要求 介面工具集,以及IP、子網路和國家表格中的WAF欄,會顯示這些介面。 - 請參閱Adobe在封鎖Fastly層級的Adobe Commerce惡意流量上的文章,以瞭解常見方法。
- 針對無法採用手動封鎖的複雜案例,例如持續的機器人行銷活動、散佈在許多IP/API的攻擊,或第7層分散式拒絕服務(DDoS),請先考慮Adobe的進階安全性附加元件(請參閱原生機器人管理)。 它在服務您店面的相同Fastly邊緣執行。 如果您需要超出其範圍的功能,建議使用協力廠商受管理的機器人緩解服務,與原生Fastly整合,例如Datadome或HUMAN Bot Defender (原稱PerimeterX)。 所有這些選項都會增加額外成本。
進階安全性:原生機器人管理、第7層DDoS和速率限制
前幾節將討論如何使用流量分析應用程式的資料和手動Fastly VCL。 對於不夠的情況,例如持續或不斷發展的機器人行銷活動、第7層(應用程式層)DDoS,或濫用幾乎分散在許多IP和API端點,Adobe提供進階安全性。
進階安全性是Adobe Commerce on Cloud Infrastructure的付費附加元件,可在已提供店面的相同Fastly平台上新增邊緣機器人管理(包括AI爬蟲和擷取器偵測)、第7層DDoS保護和進階速率限制。 請參閱進階安全性,以取得完整功能、目前限制及要求方式。
購買並啟用後,請使用流量分析應用程式來驗證進階安全性是否正常運作。 透過WAF攻擊和異常訊號、WAF機器人訊號和 WAF回應提出之要求 後的相同Sigsci_Tags和Agent_response欄位報告其決策。 比較啟用前後這些Widget,確認其是否對您的流量執行主動動作。