網(wǎng)站的收錄是由空間、網(wǎng)站、內(nèi)容、抓取量、頁面質(zhì)量決定的。
搜索引擎蜘蛛爬行的過程是這樣的，首先檢測網(wǎng)站的Robots.txt文件，確定哪些內(nèi)容禁止抓取，哪些內(nèi)容允許抓取等信息，確定robots.txt允許爬取之后，進(jìn)入我們網(wǎng)站的首頁，然后通過首頁的鏈接爬取到我們網(wǎng)站中的內(nèi)容頁或者欄目頁，之后再通過欄目頁到達(dá)我們的文章頁。
既然已經(jīng)知道了搜索引擎抓取我們網(wǎng)站的流程，那么我們接下來就要為您分析影響搜索引擎抓取的因素了，首先：

1、網(wǎng)站速度的影響
機(jī)房問題、dns問題、cdn加速問題、服務(wù)器帶寬、服務(wù)器硬件、操作系統(tǒng)、服務(wù)器軟件以及服務(wù)器所安裝的程序，這些都有可能影響我們網(wǎng)站的打開的速度。
2、nofollow標(biāo)簽的合理使用
nofollow是一個(gè)HTML標(biāo)簽的屬性值。這個(gè)標(biāo)簽的意義是告訴搜索引擎”不要追蹤此網(wǎng)頁上的鏈接”或”不要追蹤此特定鏈接。那么我們所要做的就是，用nofollow來屏蔽掉網(wǎng)站頁面重復(fù)出現(xiàn)的鏈接以及對SEO沒有很高價(jià)值的頁面，以減少網(wǎng)站權(quán)重的分散，并且可以減少搜索引擎重復(fù)抓取網(wǎng)站內(nèi)每個(gè)頁面的重復(fù)鏈接，以提高搜索引擎抓取效率。
3、網(wǎng)站硬盤問題
如在服務(wù)器里面安裝多個(gè)虛擬機(jī)，導(dǎo)致硬盤轉(zhuǎn)速變慢，有時(shí)會導(dǎo)致搜索引擎打不開網(wǎng)站。
4、返回碼問題
比如同一個(gè)鏈接返回不同的返回碼，又或者404頁面返回200等
5、安全軟件問題
比如開啟了防火墻規(guī)則、屏蔽了網(wǎng)站端口、開啟防采集規(guī)則、開啟防攻擊規(guī)則等，導(dǎo)致了搜索引擎同一時(shí)間由于大量訪問網(wǎng)站，而導(dǎo)致被安全軟件攔截。

分享名稱：深圳網(wǎng)站的頁面總是重復(fù)收錄是什么原因？
網(wǎng)站鏈接：http://www.aaarwkj.com/news1/150751.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、建站公司、軟件開發(fā)、關(guān)鍵詞優(yōu)化、App設(shè)計(jì)、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)