按照有效程度為序，列舉屏蔽爬蟲對鏈接抓取的3種方法
2023-05-05 分類： 網(wǎng)站建設(shè)
1、基于程序本身去防止爬?。?/strong>作為爬蟲程序，爬取行為是對頁面的源文件爬取，如爬取靜態(tài)頁面的html代碼，可以用jquery去模仿寫html，這種方法偽裝的頁面就很難被爬取了，不過這種方法對程序員的要求很高。
2、基于iptables和shell腳本：可以對nginx的access.log進行策略定義，例如定義在1分鐘內(nèi)并發(fā)連接數(shù)超過30個ip為非法，如ip不在白名單內(nèi)，則加入iptables策略封掉，當然這種的缺點是會有“誤傷”，策略細粒度越小就會有更多的“誤傷”，細粒度大就會使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對一些有危害的操作記錄或是封ip。但是對于某個特定的爬蟲地址（例如網(wǎng)易、有道）的爬取行為拒絕也很難準確做到，因為你無法準確知道這些特定的爬蟲ip地址。注意：建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿，服務(wù)器也就會死機。
3.使用robots.txt文件：例如阻止所有的爬蟲爬取，但是這種效果不是很明顯。代碼如下：
User-agent: *
Disallow: /
?
新聞標題：按照有效程度為序，列舉屏蔽爬蟲對鏈接抓取的3種方法
網(wǎng)頁網(wǎng)址：http://www.aaarwkj.com/news38/258088.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、網(wǎng)站維護、云服務(wù)器、微信小程序、網(wǎng)站制作、網(wǎng)站排名
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- 百度的流量中，不計為SEO效果的流量主要包括哪些 2023-05-05
- 秦檜簡介（秦檜的生平簡介 ） 2023-05-05
- 蘇軾的5首元宵詩詞，我們找到了蘇軾元宵節(jié)古詩詞八首 2023-05-05
- 判斷網(wǎng)頁設(shè)計的好壞的10個重點整理 2023-05-05
- 網(wǎng)站的文章為什么不被收錄 2023-05-05
- 做好移動互聯(lián)網(wǎng)引流的三大思維模式 2023-05-05
- 網(wǎng)站推廣如何做SEO優(yōu)化 2023-05-05
- 什么工具來評估關(guān)鍵詞的搜索量?長尾詞挖掘的方法和工具? 2023-05-05
- 你常用的流量分析系統(tǒng)是? UV和PV的中文名稱是什么 2023-05-05
- 創(chuàng)新互聯(lián)談大型網(wǎng)站如何建設(shè) 2023-05-05
- 讀蘇軾的5首元宵詩詞，才知古人的浪漫刻在骨子里 2023-05-05
- 70/80/90后退休年齡清楚了！延遲退休一覽表實施原則公布！ 2023-05-05
- 成功的網(wǎng)絡(luò)營銷軟文撰寫要點及思路 2023-05-05
- 創(chuàng)新互聯(lián)對做SEO常見的的問題總結(jié) 2023-05-05
- 網(wǎng)站都是怎么賺錢的呀？創(chuàng)新互聯(lián)分析建網(wǎng)站盈利的幾種方式 2023-05-05
- C語言和Python有什么區(qū)別，各自有什么優(yōu)缺點？ 2023-05-05
- 企業(yè)網(wǎng)站建成后還需要維護嗎？ 2023-05-05
- 如何解決網(wǎng)站被降權(quán)？ 2023-05-05
- 響應式布局的網(wǎng)站應該怎么做 2023-05-05