搜索引擎robots.txt規(guī)則，是放置在網(wǎng)站根目錄下robots.txt文本文件，在文件中可以設(shè)定搜索引擎蜘蛛爬行規(guī)則。設(shè)置搜索引擎蜘蛛Spider抓取內(nèi)容規(guī)則。
首先要創(chuàng)建一個robots.txt文本文件，放置網(wǎng)站的根目錄下，下面就開始編輯設(shè)置robots.txt協(xié)議文件：
①robots.txt允許所有搜索引擎蜘蛛抓取所以目錄文件，如果文件無內(nèi)容，也表示允許所有的蜘蛛訪問，設(shè)置代碼如下：
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
②robots.txt禁止某個搜索引擎蜘蛛抓取目錄文件，設(shè)置代碼如下：
User-agent: Msnbot
Disallow: /
例如想禁止MSN的蜘蛛抓取就設(shè)為，Msnbot代表MSN的蜘蛛，如果想禁止其他搜索引擎就更換蜘蛛名字即可，其他蜘蛛名字如下：
百度的蜘蛛：baiduspider
Google的蜘蛛： Googlebot
騰訊Soso:Sosospider
Yahoo的蜘蛛：Yahoo Slurp
Msn的蜘蛛：Msnbot
Altavista的蜘蛛：Scooter
Lycos的蜘蛛： Lycos_Spider_(T-Rex)
③robots.txt禁止某個目錄被搜索引擎蜘蛛抓取，設(shè)置代碼如下：
User-agent: *
Disallow: /目錄名字1/
Disallow: /目錄名字2/
Disallow: /目錄名字3/
把目錄名字改為你想要禁止的目錄即可禁止搜索引擎蜘蛛抓取，目錄名字未寫表示可以被搜索引擎抓取。
④robots.txt禁止某個目錄被某個搜索引擎蜘蛛抓取，設(shè)置代碼如下：
User-agent: 搜索引擎蜘蛛名字說明(上面有說明蜘蛛的名字)
Disallow: /目錄名字/說明(這里設(shè)定禁止蜘蛛抓取的目錄名稱)
例如，想禁目Msn蜘蛛抓取admin文件夾，可以設(shè)代碼如下：
User-agent: Msnbot
Disallow: /admin/
⑤robots.txt設(shè)定某種類型文件禁止被某個搜索引擎蜘蛛抓取，設(shè)置代碼如下:
User-agent: *
Disallow: /*.htm說明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”為后綴的文件)⑥r(nóng)obots.txt充許所有搜索引擎蜘蛛訪問以某個擴展名為后綴的網(wǎng)頁地址被抓取，設(shè)置代碼如下:User-agent: *
Allow: .htm$說明(其中“.htm”，表示充許搜索引擎蜘蛛抓取所有“htm”為后綴的文件)
⑦robots.txt只充許某個搜索引擎蜘蛛抓取目錄文件，設(shè)置代碼如下：
User-agent: 搜索引擎蜘蛛名字說明(上面有說明蜘蛛的名字)
Disallow:

網(wǎng)頁名稱：詳談robots.txt寫法規(guī)則
網(wǎng)頁路徑：http://www.aaarwkj.com/news10/315210.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計公司、關(guān)鍵詞優(yōu)化、電子商務(wù)、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)