搜索引擎蜘蛛是一種抓取網(wǎng)頁內(nèi)容到數(shù)據(jù)庫的程序，因?yàn)樵摮绦驎?huì)在網(wǎng)絡(luò)間不斷的爬行，所以形象的叫網(wǎng)絡(luò)蜘蛛。
大家都知道搜索引擎是靠蜘蛛的爬行來抓取網(wǎng)頁內(nèi)容的，搜索引擎蜘蛛是一套程序，其爬行是有規(guī)律的，下面就網(wǎng)站收錄初期和網(wǎng)站收錄穩(wěn)定期來談?wù)勊阉饕嬷┲氲呐佬幸?guī)律。

1.網(wǎng)站收錄初期
搜索引擎蜘蛛首先找到網(wǎng)站主頁，然后從源文件中分析你的內(nèi)鏈，根據(jù)鏈接逐一的提取你的網(wǎng)頁內(nèi)容。這個(gè)爬行過程是需要一些時(shí)間的，搜索引擎蜘蛛會(huì)分不同的時(shí)間段進(jìn)行爬取。如果搜索引擎蜘蛛一旦發(fā)現(xiàn)你網(wǎng)站有死鏈或打不開的網(wǎng)頁，會(huì)會(huì)停止爬行。所以網(wǎng)站建設(shè)的初期，鏈接一定要掌握好，不能出現(xiàn)死鏈接。如果您的網(wǎng)站有足夠多的內(nèi)容，搜索引擎蜘蛛第一次來到你的網(wǎng)站發(fā)現(xiàn)有許多可抓取的東西，會(huì)給你網(wǎng)站留下一個(gè)好的印象。對(duì)你的網(wǎng)站評(píng)價(jià)也會(huì)高些

二.網(wǎng)站收錄穩(wěn)定期
網(wǎng)站被搜索引擎收錄并穩(wěn)定后，搜索引擎蜘蛛從首頁進(jìn)入，每次判斷首頁的內(nèi)容是否改變了，如果與上次的首頁相同就馬上停止(對(duì)于如何判斷搜索引擎蜘蛛是否來過您的網(wǎng)站，您可以通過下載網(wǎng)站日志來查看具體的情況，網(wǎng)站日志是記錄用戶訪問和蜘蛛爬行的軌跡的，搜索引擎蜘蛛每次到訪都有詳細(xì)的記載)所以做網(wǎng)站的后期，也就是更新網(wǎng)站內(nèi)容的時(shí)候，一定要讓你更新的內(nèi)容出現(xiàn)在首頁。當(dāng)然，更新的內(nèi)容一定也要是原創(chuàng)文章，不能招辦別人的內(nèi)容，照搬別人的內(nèi)容搜索引擎是不收錄的，并且還會(huì)對(duì)您的網(wǎng)站進(jìn)行降權(quán)處理。其次多和同類型的站交換鏈接。

搜索引擎蜘蛛在收錄您網(wǎng)站的內(nèi)容后經(jīng)過一段的時(shí)間會(huì)放出收錄的內(nèi)容，但這些放出的內(nèi)容是有限的，這時(shí)您需要持續(xù)不斷的更新內(nèi)容來吸引蜘蛛的到訪，經(jīng)過搜索引擎的考察期后，搜索引擎會(huì)將抓取的內(nèi)容全部放出來，這時(shí)別人就能查詢到您添加的內(nèi)容了。