URL鏈接對網(wǎng)站有多重要？就好比人身體的無數(shù)血管一樣，稍有不暢，就會帶來各種各樣的問題，URL優(yōu)化的效果跟站點在百度的權(quán)重關(guān)聯(lián)性不大，但是對收錄、蜘蛛爬行和傳遞權(quán)重有明顯的提升。我雖然不常發(fā)貼但是經(jīng)常觀察到大部分SEO的提問都是收錄怎么怎么不好，權(quán)重怎么怎么不高，我也觀看過很多站點，很多基礎(chǔ)的工作完全都處于迷糊的狀態(tài)。試想換一種思路，站長變成spider來爬行你的站，我相信大部分站長自己都跑不通。這里成都SEO外包公司只給出url優(yōu)化的幾個重要點。
URL一致性
URL 一致性是一個非常重要的指標，推薦大家一本書《走進搜索引擎》里面有介紹spider是一種機器程序，而非人腦，雖然也有學(xué)習(xí)的過程，但是國內(nèi)網(wǎng)站千千萬，每個網(wǎng)站有不同的url規(guī)范，你如果url命名規(guī)則雜亂無章spider又怎能高效的辨別你的內(nèi)容規(guī)范？ 這里舉個個人覺得做的比較好的case：“下載吧”。讀者可以去翻閱下載吧的網(wǎng)站。他的主體結(jié)構(gòu)為：首頁=>列表頁=>內(nèi)容頁 。這里因地制宜，只是舉例可能并不適合你的站點。
偏權(quán)重
偏權(quán)重可能是我自己創(chuàng)造的一個首發(fā)詞，大神們勿噴。通過我多年的分析發(fā)現(xiàn)，每個站點的流量是有集中點的。這個從愛站的工具里面大家可以看出來，這里拿我一個客戶和朋友的網(wǎng)站給大家做做案例。同一個網(wǎng)站 90%的流量都出自于某個目錄，在這里面內(nèi)容類型內(nèi)容質(zhì)量都是一樣的。相信大家在自己作站過程中也有所體會，百度會偏向給權(quán)重到某個目錄?？紤]到這個問題，url一致性和目錄規(guī)劃就更重要了。
爬行原理
蜘蛛爬行原理有 深度優(yōu)先和寬度優(yōu)先這里分開說一下：
(1)深度優(yōu)先：深度優(yōu)先適用于一些大站，蜘蛛很渴望得到他的內(nèi)容，比如新浪網(wǎng)易他們的目錄很長，也能收錄。假如我們給蜘蛛一個線程只能爬取一個頁面，爬行軌跡：首頁-封面頁-頻道頁-內(nèi)容頁，那么你網(wǎng)站的結(jié)構(gòu)是：首頁=> xxx/a=> xxx/a/b=> xxx/a/b/c/1.html=>。蜘蛛會沿著你的深度爬行進去，但是無論多大的站，你的深度也必須有限，否則蜘蛛不可能無窮盡的挖掘進去，爬累了自然就會離開。并且內(nèi)容也沒帶回去。

(2)寬度優(yōu)先：這個是我非常推崇的，而且我所有新站都是這種效果。我自己建了5天的站蜘蛛爬行800次。效果說明在扁平化的今天，寬度優(yōu)先是可以讓蜘蛛非常高效的爬行和返回的。url結(jié)構(gòu) xxx/a/ xxx/b/ xxx/c/ 這類的叫寬度優(yōu)化，爬行軌跡 ：首頁-頻道頁A-頻道頁B-頻道頁C/首頁-頻道頁A-內(nèi)容頁A1-內(nèi)容頁A2-內(nèi)容頁A*

綜上所述。其實可以看出：寬度優(yōu)先的效率明顯高于深度優(yōu)先。而且蜘蛛的任務(wù)類別也單一，非常容易識別。同一線程爬取的幾乎是同一類型頁面，頁面樣式，外觀相同。蜘蛛不必花時間過于的去分析你的頁面內(nèi)結(jié)構(gòu)，層次清晰。
爬蟲黑洞
這個問題不是什么新問題了。百度也有做專門的闡述，因為一些url處理不當產(chǎn)生的動態(tài)參數(shù)后綴，或是刻意圈住蜘蛛所做的無限循環(huán)，這種的效果明顯是弊大于利。對URL的規(guī)劃上，一定要想辦法盡可能地處理掉無限動態(tài)參數(shù)后綴，并且也要合理的給蜘蛛出口，這才是真正有利于SEO 的做法，關(guān)于處理爬蟲黑洞的辦法這里我不做多講解。創(chuàng)建具有良好描述性、規(guī)范、簡單的url，有利于用戶更方便的記憶和判斷網(wǎng)頁的內(nèi)容，也有利于搜索引擎更有效的抓取您的網(wǎng)站。網(wǎng)站設(shè)計之初，就應(yīng)該有合理的url規(guī)劃。