網站反爬蟲類
更新時間 2023-12-21 11:07:52
最近更新時間: 2023-12-21 11:07:52
分享文章
本節介紹Web應用防火墻(獨享版) 網站反爬蟲類問題。
開啟網站反爬蟲后,為什么有些請求被WAF攔截但查不到攔截記錄?
當您開啟網站反爬蟲后,WAF將對該域名的第一個訪問請求返回一個JavaScript代碼,然后根據瀏覽器解析執行結果返回的數據來判斷是否為合法的瀏覽器或爬蟲工具。
網站反爬蟲正常的檢測流程如下:
- 客戶端訪問網站,實際請求首先發送到WAF上。
- WAF返回JavaScript代碼到客戶端。
- 客戶端解析JavaScript代碼,并將執行結果返回給WAF。步驟3 WAF根據客戶端返回的結果判斷客戶端是否為合法的瀏覽器。
- 如果合法,則WAF將請求發送給源站服務器。
- 如果非法,則WAF產生告警日志。
注意
開啟網站反爬蟲,要求客戶端瀏覽器具有JavaScript的解析能力,并開啟了Cookie。
如果客戶端不滿足以上要求,則只能完成步驟1和步驟2,此時:
對于客戶端,請求沒有成功獲取到頁面。
對于WAF,客戶端并沒有發送解析JavaScript代碼的執行結果,因此沒有攔截日志記錄。
請您排查業務側是否存在這種場景。如果您的網站有非瀏覽器訪問的場景,建議您關閉網站反爬蟲功能。