fbpx

如何避免網頁爬蟲被封鎖?

無論你是剛剛開始從頭開始建立一個網頁爬蟲,想知道你的解決方案沒有發揮作用,你做錯了什麼,還是你已經與爬蟲合作了一段時間,但卡在一個頁面上,給你一個錯誤,說你是一個機器人,你不能再前進了。

近幾年來,反殭屍解決方案不斷發。越來越多的網站正在引入安全措施:從簡單的措施,如根據地理位置過濾IP地址,到基於對瀏覽器參數的深入分析和行為分析的高階措施。所有這些都使得網頁內容爬蟲比幾年前更加困難和昂貴。這個 github 專案列出了解決方案

專案網址


追蹤 Soft & Share

✍ 不受社群推薦演算法影響,建議 Telegram/Discord/e-mail

幫我們個小忙!

Image by xresch from Pixabay

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: