設置爬蟲陷阱
更新時間 2025-04-24 22:34:51
最近更新時間: 2025-04-24 22:34:51
分享文章
本文將向您介紹如何使用邊緣安全加速平臺-安全與加速服務提供的爬蟲陷阱功能。
功能介紹
即在頁面里面嵌入不可見鏈接,正常瀏覽器不可見;當訪問到達設定的攔截深度時,認為是爬蟲行為并支持設置防護策略。
前提條件
操作步驟
- 登錄。
- 在左側導航欄中選擇【安全能力】,進入【Bot防護】菜單,并在左側域名列表選擇您要防護的域名。
- 進入防護能力-客戶端風險識別-【爬蟲陷阱】詳細設置頁。
配置說明
支持配置多個防護條件,最多支持配置5條,多個條件為或關系。
注意爬蟲陷阱是通過判斷響應的content-type是否為text/html,如果是text/html,則會嵌入爬蟲陷阱
基本信息
- 防護開關:支持攔截、告警、關閉。
- 統計粒度:IP/IP+UA/靜態Cookie。
- 攔截深度:即陷阱深度,當訪問到達設定的攔截深度時,認為是爬蟲行為。深度越深越難觸發規則,攔截深度支持配置1至5,相當于一級至五級頁面鏈接。
- 處理時長:即觸發規則后的懲罰時間。
防護范圍
支持配置您要防護的請求范圍,支持匹配字段為PATH、REQUEST_URI、URI。
