1、查看搜索引擎蜘蛛的抓取概要分析，了解各個(gè)搜索引擎蜘蛛的訪問次數(shù)，總停留時(shí)間，總抓取量和所占比例，下面是朋友網(wǎng)站的概要分析(利用光年日志分析工具查看結(jié)果)，其中可以很清楚的看出，百度蜘蛛對(duì)于網(wǎng)站的抓取量還是不錯(cuò)的，有292詞，訪問次數(shù)有126次，總停留時(shí)間8.873小時(shí)，所占所有蜘蛛比例的41.011%。
網(wǎng)站LOG日志概要分析有的朋友可能會(huì)產(chǎn)生疑惑，既然百度蜘蛛總停留時(shí)間這么長，單次停留時(shí)間也不低(pS：蜘蛛單次停留時(shí)間=總停留時(shí)間/訪問次數(shù)=0.0704小時(shí)/次=4.225分鐘)，那么為什么網(wǎng)站的收錄卻跟不上呢?帶著這樣的疑問，下面再分析下百度蜘蛛對(duì)于其他頁面的抓取。
2、查看百度蜘蛛對(duì)于網(wǎng)站目錄抓取的情況，從下面的抓取圖中可以很清楚的看出百度蜘蛛對(duì)于home，product目錄的抓取還是比較多的，對(duì)于網(wǎng)站內(nèi)部另外一個(gè)重要的目錄news抓取卻不多，而這個(gè)目錄就是網(wǎng)站每日更新做的比較多的工作目錄。蜘蛛還抓取了一些后臺(tái)文件目錄如upload，files，img等。
網(wǎng)站目錄抓取情況從上面的分析可以看出百度蜘蛛對(duì)于網(wǎng)頁內(nèi)部的抓取是不合理的，問題主要是：1、網(wǎng)站內(nèi)部結(jié)構(gòu)對(duì)于news欄目抓取力度不足;2、home目錄作為社區(qū)，product目錄作為產(chǎn)品中心，分散了網(wǎng)站蜘蛛抓取的資源;3、網(wǎng)站對(duì)于一些不必要抓取的目錄沒有很好地限制。解決問題就需要從這三個(gè)方面入手。
1、引導(dǎo)蜘蛛更多的抓取news目錄下面的網(wǎng)頁，如針對(duì)更新的頁面創(chuàng)造更多的鏈接入口，其中包括站內(nèi)的互相鏈接導(dǎo)入，站外的外鏈發(fā)布等。
2、查看網(wǎng)站的社區(qū)基本上已經(jīng)沒有更新，可以考慮先將home目錄屏蔽掉，讓權(quán)重和蜘蛛更多的導(dǎo)入進(jìn)news欄目。product目錄是一個(gè)比較重要的目錄，但是更多的應(yīng)該引導(dǎo)其抓取沒有收錄的或者新的產(chǎn)品。查看網(wǎng)站產(chǎn)品頁面，發(fā)現(xiàn)對(duì)于相關(guān)產(chǎn)品推薦力度不夠，可以在這一塊進(jìn)行改進(jìn)。
3、運(yùn)用robots文件或者nofollow標(biāo)簽，對(duì)于網(wǎng)站不重要的目錄或者頁面，以及后臺(tái)的一些文件進(jìn)行限制。
另外，還有一點(diǎn)思考，百度蜘蛛停留時(shí)間比較多，但是抓取量不算特別多，還需要查看百度蜘蛛抓取頁面返回的狀態(tài)碼200，304和404所占比例。如果304比較多，那么是否考慮將這些蜘蛛資源進(jìn)行合理的分配到未抓取的頁面。如果404頁面比較多，那就要考慮蜘蛛是不是被帶進(jìn)一些陷阱里面，檢查網(wǎng)站內(nèi)部造成404狀態(tài)碼的頁面，并加以改正。

本文標(biāo)題：網(wǎng)站收錄和快照不及時(shí)怎么辦
分享路徑：http://www.aaarwkj.com/news47/293297.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、微信公眾號(hào)、動(dòng)態(tài)網(wǎng)站、域名注冊(cè)、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)