[僅限PaaS]{class="badge informative" title="僅適用於雲端專案(Adobe管理的PaaS基礎結構)和內部部署專案的Adobe Commerce 。"}
bots索引標籤
此索引標籤包含說明如何識別bots是否和什麼導致網站問題的資訊。
bots的高階概觀:
-
bot是執行重複式自動化工作的軟體。 隨著人工智慧和機器學習的演化,bots的任務、方法和互動正在改變。 有個良好 bots可透過編目並將網站新增至網際網路搜尋引擎來使網站受益。 這會引導網際網路使用者透過搜尋引擎結果前往網站。 良好 bot通常會遵守bot檔案或搜尋引擎主控台設定置於
robots.txt上的界限。 邊界可以限制對場地或部分場地的存取。 -
惡意的bots會忽略
robots.txt檔案,或透過HTTP要求資料的要求使用者代理程式欄位,偽裝好的bot。 惡意bots所做的某些動作:- 將負載新增至網站,以拒絕合法使用者存取該網站。
- 未經許可刮取及重複使用內容。
- 註冊假帳號以泛濫電子郵件服務或地址,或重新導向至其他網站(SPAM bots)。
- 建立假的檢視(Viewbots)。
- 購買產品或票證(Focused bots)。
-
管理bots
-
Observation for Adobe Commerce擁有bot流量的檢視:
-
它會顯示未快取的bot活動總數,此活動會顯示bot正在新增至網站的負載以及該負載何時發生。
-
它會顯示正在產生錯誤的bots。 通常,如果bot正在新增導致網站問題的負載,該bot或IP位址的錯誤頻率最高。
-
它顯示bot名稱(要求使用者代理程式欄位值)和要透過管理的IP位址:
- Fastly (速率限制或VCLs,會封鎖IP位址、範圍或依名稱值的bots)。
- 正在將良好的bot資訊新增至
robots.txt field,以限制或限制網站存取速率。 - 透過搜尋引擎主控台管理Bing或Google bots。
-
-
Experimental Potential Malicious Bots frame
Experimental Potential Malicious Bots frame框架會執行12個不同的複雜查詢。 它會偵測惡意IP要求籤章,然後彙總結果,並以遞減順序加總及排序結果。 查詢包含CVE利用漏洞攻擊和其他惡意要求的許多資料簽章。 即使安全性修正/修補程式封鎖了利用漏洞,且對網站沒有威脅,該請求仍必須由網站處理。 要求數量可能會在短時間內變得相當大。 此框架不會顯示來自IP位址的總請求數,而是顯示有訊號指出請求具有可疑意圖的要求。
請確定該流量為可疑流量,且並非源自可能傳送有效請求的Content Distributed Network (CDN)位址。 如果判斷要求來自CDN IP位址,請連絡該服務供應商,協助封鎖透過其網路的可疑流量。 如果您需要封鎖位址或要求URL,請參閱Adobe Commerce支援知識庫中的在 Fastly 層級封鎖Adobe Commerce的惡意流量。
Rate of HTTP request per second (top 25) during requested time period
Rate of HTTP request per second (top 25) during requested time period框架顯示所選時間範圍內每秒最高IP位址要求數。 如果這些位址也在上表中,請確定它們不是CDN位址且是惡意的,並透過Fastly封鎖它們。
Total Bot traffic by bot name:
在選取的時段內,依機器人名稱區分的機器人流量總計
Total Bot traffic by bot name during selected time period表格包含非快取要求的彙總計數,其中request_user_agent欄位的值中有bots字串。 這有可能是也可能不是已命名的bot,因為request_user_agent欄位值可以被假冒。 Count欄下的值是最重要的。
Total Bot Traffic by Bot name/IP address
Total Bot Traffic by Bot name/IP address during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt資料表顯示與上一個資料表相同的資料,但新增IP位址以代表具名bot發出要求。 由於是惡意的bots假冒品bots,應該透過識別濫用IP位址的網站,或透過 whois 服務或DNS lookups來驗證IP位址。 例如,Google發佈其googlebot IP位址,Microsoft具有Bingbots的驗證工具。
Graph - Bots with HTTP status errors
Graph - Bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt圖表在bots上顯示錯誤,這些錯誤在請求使用者代理程式欄位中宣告。 這並不一定表示錯誤是由於bot或其他流量的磁碟區所造成。 錯誤可能是bot正在要求不存在的資訊,或要求中存在其他問題。
如果網站不穩定或中斷期間的IP位址發生錯誤尖峰,他們可能會懷疑是網站問題。
Table - IPs that do not identify as bots
Table - IPs that do not identify as bots with HTTP status errors during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt表格將顯示具有非200 http狀態代碼的IP要求,這些狀態代碼在要求使用者代理程式欄位中不會自我識別為bots。 這些IP位址可能是惡意IP位址,尤其是如果所選時段內的計數很高。
如果非200 http狀態代碼計數偏低,且IP位址範圍不類似,這些位址可能不會造成網站問題。
Table – Cache Status ‘ERROR’
當IP位址發生錯誤頻率很高時,請詢問他們在做什麼? Table – Cache Status ‘ERROR’ detail table (what are these IPs doing?) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt表格將顯示具有快取狀態ERROR值之要求的URL以及HTTP狀態值。 頻率會以URL分面,因此計數可能會偏低。 請記住,該IP位址可能在選取的時段內提出數千個要求。 這是針對時段內最多2000個請求的檢視(記錄顯示限制)。
Show 5XX status distribution
Show 5XX status distribution across IP addresses (top 200 addresses) How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt框架功能強大。 它顯示在所選時段內具有5XX http狀態代碼的IP位址。 如果IP位址造成大量要求,而網站受到影響,以至於無法處理流量,則要求頻率最高的IP位址通常會有最高的錯誤數量。 5XX http狀態代碼通常表示網站正在努力回應請求。
橫條越寬,在該時段內,IP位址所發生的5xx錯誤總數中的錯誤百分比就越大。 注意:如果IP位址具有多個http狀態代碼(例如502和503 http狀態),圖表中可能會有多個區段。
典型的分佈會指向橫條右側,其中IP位址的寬度相等,或是有少數寬度很低的橫條。
如果您將滑鼠游標停留在長條圖區段上,它會顯示所選時段內所指示的錯誤數。
IP cache status (MISS, PASS, ERROR) and HTTP status
在選取的時段內
此 IP cache status (MISS, PASS, ERROR) and HTTP status during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt 框架顯示所選時間範圍內的HTTPS狀態代碼計數以及依IP執行的非快取要求。 這表示每個IP位址與總容量的比例負載。 它會顯示具有最多請求的IP位址。
Fastly Cache Summary for selected time period
如果您按一下下方圖表中的Error圖示,即可將最後兩個圖表互相比較。 這有助於指出載入在何處造成了網站問題。
Graph - IPs that do not identify as bots
Graph - IPs that do not identify as bots without error during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt框架顯示要求使用者代理欄位、IP位址,以及要求之使用者代理欄位未指出bot的要求狀態碼。 此框架可能會顯示來自任何IP位址的高頻率要求,但請注意高頻率要求,尤其是在網站可能有問題的時段。
Graph - Suspicious Non-Bot traffic
在選取的時段內
Graph - Suspicious Non-Bot traffic during selected time period圖表會尋找Go-http-client的請求使用者代理程式值,但會延伸至檢視其他可疑的請求使用者代理程式值。 此要求使用者代理程式值已由網站用來從服務連線,可能有效,但也被惡意bots使用。
Graph - Bot traffic by Bot name
Graph - Bot traffic by Bot name during selected time period框架在標籤頂端的選定時段表格中,以Bot名稱顯示與機器人流量總計相同的資料。 它透過時間表顯示資料,以便您檢視bots的請求進行及其分佈。
Graph - Top 250 Bot Names and IP addresses
Graph - Top 250 Bot Names and IP addresses during selected time period How to block bot traffic on Fastly level OR manage bots through your robots.txt file Best practices for Adobe Commerce robots.txt框架在索引標籤頂端的選定時段表格中,顯示與依機器人名稱/IP位址區分的總Bot流量相同的資料。 它會透過時間軸顯示資料,並依IP位址將其多面向。 這會顯示bots何時提出要求、哪個IP正在提出要求,以及要求的分佈。
Blocked Bot name / IP addresses (in Fastly)
在選取的時段內
Blocked Bot name / IP addresses (in Fastly) during selected time period. This graph displays bot traffic and IPs that were returned a 403 Forbidden HTTP Status code框架顯示封鎖的機器人名稱和IP位址。 您可以在此圖表檢視未來Fastly中封鎖所有要求的情形。
Blocked non-Bot name / IP addresses (in Fastly)
在選取的時段內
Blocked non-Bot name / IP addresses (in Fastly) during selected time period graph displays non-bot traffic and IPs that were returned a 403 Forbidden HTTP Status code框架顯示未識別為bot且已透過Fastly封鎖的IP位址。
This table shows the number of user agents per IP address, number of successful, unsuccessful and blocked requests:
惡意bots經常透過bots欄位的值欺騙其他Request User Agent。 此表格顯示IP位址在該欄位中有多少個唯一值。 Request User Agent欄位中的值越高,IP位址就越可疑。
IP with non-200 status errors
IP with non-200 status errors – without 403 status影格顯示具有200以外HTTP狀態代碼的IP位址在所選時間範圍內的分佈。 當您在單一IP或一組IP位址上看到較高的值時,需要進一步調查。
IP with 403 status codes:
具有403狀態碼的
IP with 403 status codes框架顯示沒有cache_status=ERROR的非快取要求,其HTTP狀態為403。 這可能表示原始伺服器是403 (未獲授權)的來源,而不是來自Fastly的區塊。
Top 5 with non-200 status codes
Top 5 with non-200 status codes showing cache_status表格在IP/狀態層級顯示每個具有cache_status值的計數。
Pageview Latency will show as spikes
Pageview Latency will show as spikes on this graph:框架顯示可能與bot流量一致的頁面載入/API回應延遲。