調查行動手冊

Adobe Commerce Traffic Insights應用程式的設計用途是協助您調查下列問題:

  • 頻寬超額
  • 爬蟲載入
  • 惡意流量

或者,您可以要求進階安全性:原生機器人管理、第7層DDoS和速率限制,這是當手動緩解不足時Adobe的原生升級路徑。 每個步驟都會參考顯示症狀的Widget,讓您能夠從量度移至具體動作。

WARNING
本頁上的建議僅為准則。 在部署封鎖規則之前,請務必針對您自己的流量驗證該規則。

CDN頻寬超額

在考量頻寬使用量之前,請先瞭解頻寬的計費方式。 與Adobe Commerce on Cloud Infrastructure帳戶合併的​所有 Fastly服務的流量(包括每個生產​ 和 ​中繼環境)計入一般使用量,並與您合約中的年度津貼相比。 從​ 頻寬>總頻寬 ​開始,然後依內容型別​ 和 ​依網域詳細資料​ 的頻寬,將磁碟區歸因為 ​頻寬。

媒體內容

有些存放區因為有目錄而合法地提供大量的頻寬做為媒體。 如果​ 依內容型別的頻寬 ​顯示大量的媒體頻寬,請考慮下列緩解措施:

大型檔案

某些網站包含大型檔案或特定且繁重的回應,例如Enterprise Resource Planning (ERP)整合或匯出。 使用頻寬​的 URL檢閱​ BW ​和​ 平均大小 ​欄,以尋找這些大型檔案。 您可以將​ 路徑區段lvl 1 X頻寬 ​用於較高層級的檢視。

重型404s

找不到Adobe Commerce 404頁面​通常是繁重、主題樣式的頁面(~1.5 MB)和​無法快取,因此重複的404可能會產生異常流量。 即使是像favicon.ico這樣微不足道的遺失資源,也可以變成繁重的404頁面,而不是小型檔案。 使用​依網域詳細資料之頻寬、依頻寬之URL、依頻寬之頂端IP​和​ 依IP子網路之統計資料 ​中的​ 404 ​和​ 404 BW ​資料行,尋找產生404磁碟區的使用者端、IP和URL。 然後減少或限制該存取權,例如,傳回輕量型403。

低FPC命中率

Adobe建議啟用Fastly 遮蔽,讓主要CDN快取彙總器提供來源,讓較少的要求從最接近使用者端的本機Points of Presence (POP)到達。 請參閱檢查您的組態。

POP對使用者端和遮蔽對POP流量會分開計算,而當使用者端回應經過壓縮時,遮蔽對POP流量不會經過壓縮,以保留Edge Side Include (ESI)支援。 這表示低的Full Page Cache (FPC)點選率會在動態頁面上帶來更高的頻寬。 使用​FPC點選率、依網域的FPC統計資料​和​ CDN網路區段頻寬 ​來確認症狀。

低點選率通常是由大量搜尋引擎爬蟲所驅動(請參閱搜尋機器人和爬蟲)。 另一種緩解方法是在可用時提供過時快取給爬蟲。 如果原因是廣泛、頻繁的快取失效,請使用​ 依標籤的快取失效 ​和​ 依頂端URL的FPC存留時間 ​來尋找流失的標籤/URL。

搜尋機器人和爬蟲

若要測量爬蟲影響,請從​ 依頻寬區分的已知機器人 ​和​ 已知機器人影響詳細資料 ​開始,檢視哪些機器人最活躍,然後依特定機器人篩選,僅研究其要求。

太多請求

搜尋機器人傳送過多請求的最常見原因是剖析載有<meta name="robots" content="index,follow">的頁面時。 機器人可以近乎無窮無盡的回圈中,遵循頂端導覽和階層式導覽連結。 請考慮下列選項以解決此問題:

WARNING
在限制爬蟲活動之前,請先洽詢搜尋引擎最佳化(SEO)專家。 重新訓練可能會對您的SEO產生負面影響。
  • 將nofollow新增至頂端導覽與階層式導覽連結,例如<a rel="nofollow" href="https://example.com/sales.html">Sales</a>。
  • 將頁面Meta標籤變更為index,nofollow — 作為一般設計組態設定或具有自訂副檔名的每個頁面型別。 保持sitemap.xml準確,以便機器人一律有要索引的最新頁面清單。
  • 更新robots.txt以封鎖路徑和資源機器人不應存取。
  • 請注意,crawl-delay指示詞不是官方Robots Exclusion Protocol的一部分,但確實適用於某些機器人,例如Bingbot、Slurp、SEMrushBot和其他幾個機器人。 GoogleBot會忽略此指令。
  • 新增速率限制規則。 Fastly模組中有原生濫用爬蟲保護。 為了更精細的控制,對於具有個別速率限制的使用者代理程式規則運算式,自訂清漆組態語言(VCL)程式碼片段可傳回429 (過多請求)或405 (不允許方法)。 請檢視爬蟲說明檔案,瞭解偏好方法和回應代碼。 請參閱Fastly的速率限制VCL指引。
  • AI和大型語言模型(LLM)爬蟲是不斷成長的特殊情況。 它們並不總是能一致地識別自己,因此VCL使用者代理程式規則可能會落後。 Adobe的進階安全性附加元件有原生機器人管理,可以區分邊緣的可疑AI爬蟲和擷取程式,單靠VCL無法區分它們。

封鎖不想要的爬蟲

如果某些搜尋引擎產生大量流量,而對業務並不重要,則可完全封鎖:

  • 某些機器人在重新讀取和更新其剖析規則後,會在1-2天後跟隨robots.txt變更。
  • 如果爬蟲忽略robots.txt,請使用自訂VCL程式碼片段(example)加以封鎖。 有些爬蟲會明確記錄這是頻率控制的慣用或唯一方法。

惡意指令碼與刮刀程式

使用流量分析應用程式來識別常見的攻擊方向,並視需要依焦點區域篩選。 如果紅色標幟的請求主要來自特定IP、子網路或地理位置(依請求數排名的最佳IP、依IP子網路統計資料、依國家/地區統計資料),請考慮使用自訂Fastly VCL封鎖它們。

無論您進行任何設定,每個雲端基礎結構專案都已擁有自動保護的基準。 隨附的Web應用程式防火牆(WAF)會立即封鎖SQL插入和已知的惡意IP訊號(後門、攻擊工具、CMDEXE、Log4J-JNDI、周遊、XSS),並在其他非惡意IP超過50個請求/分鐘、350個請求/10分鐘或1,800個請求/小時時時時時時時限制其速率。 該基準線是​ WAF回應要求 ​以及此應用程式表格中的WAF訊號欄所指示的內容。 這些欄中的尖峰並不一定表示您未受到保護。

  • 留意認證填滿、帳戶接管、假帳戶建立、卡片測試、內容擷取和詳細目錄/購物車囤積。 這些機器人導向的濫用模式出現在​ 機器人活動和請求分析 ​索引標籤中。 點選登入、帳戶、結帳或目錄端點的高數量、低多樣性流量是要在依請求計數​ 和 ​已知機器人影響詳細資料​ 排名的 ​前IP中尋找的簽章。
  • 使用Google reCAPTCHA保護簽出和簽出API端點不受機器人攻擊。
  • 使用Fastly模組的原生速率限制路徑保護。
  • 在逗號分隔的Sigsci_Tags欄位中檢查下一代WAF訊號,並將相關的訊號比對結合至目標封鎖規則。 可疑要求的值可能類似於BOT-ANALYSIS,DATACENTER,SIGSCI-IP,SITE-FLAGGED-IP,SUSPECTED-BAD-BOT。 WAF在開始自動封鎖之前,會先將IP的SITE-FLAGGED-IP標籤到臨界值。 由WAF回應的​WAF攻擊和異常訊號、WAF機器人訊號​和​ 要求 ​介面工具集,以及IP、子網路和國家表格中的WAF欄,會顯示這些介面。
  • 請參閱Adobe在封鎖Fastly層級的Adobe Commerce惡意流量上的文章,以瞭解常見方法。
  • 針對無法採用手動封鎖的複雜案例,例如持續的機器人行銷活動、散佈在許多IP/API的攻擊,或第7層分散式拒絕服務(DDoS),請先考慮Adobe的進階安全性附加元件(請參閱原生機器人管理)。 它在服務您店面的相同Fastly邊緣執行。 如果您需要超出其範圍的功能,建議使用協力廠商受管理的機器人緩解服務,與原生Fastly整合,例如Datadome或HUMAN Bot Defender (原稱PerimeterX)。 所有這些選項都會增加額外成本。

進階安全性:原生機器人管理、第7層DDoS和速率限制

前幾節將討論如何使用流量分析應用程式的資料和手動Fastly VCL。 對於不夠的情況,例如持續或不斷發展的機器人行銷活動、第7層(應用程式層)DDoS,或濫用幾乎分散在許多IP和API端點,Adobe提供進階安全性。

進階安全性是Adobe Commerce on Cloud Infrastructure的付費附加元件,可在已提供店面的相同Fastly平台上新增邊緣機器人管理(包括AI爬蟲和擷取器偵測)、第7層DDoS保護和進階速率限制。 請參閱進階安全性,以取得完整功能、目前限制及要求方式。

購買並啟用後,請使用流量分析應用程式來驗證進階安全性是否正常運作。 透過​WAF攻擊和異常訊號、WAF機器人訊號​和​ WAF回應提出之要求 ​後的相同Sigsci_Tags和Agent_response欄位報告其決策。 比較啟用前後這些Widget,確認其是否對您的流量執行主動動作。

recommendation-more-help
commerce-on-cloud-help-cloud-guide