SEO優(yōu)化人員在建站的時候會跟robots文件打交道，這個文件是什么?能夠?qū)W(wǎng)站起到什么作用?今天跟著創(chuàng)新互聯(lián)SEO來一起了解一下具體內(nèi)容，幫助你更好的開展搜索優(yōu)化工作。

通俗的來講robots.txt文件是一個純文本文件，是我們網(wǎng)站和搜索引擎蜘蛛的協(xié)議文件，就和合同一樣，在搜索引擎抓取我們網(wǎng)站的時候，會第一個訪問我們網(wǎng)站的robots.txt協(xié)議文件，查看我們網(wǎng)站的制定的協(xié)議，再進行網(wǎng)站的抓取。

我們怎么查看一個網(wǎng)站是否制作了robots.txt文件呢?

其實很簡單，只要在域名后加上/robots.txt就可以訪問和查看這個網(wǎng)站的robots.txt文件了。如果顯示的是404那么說明這個網(wǎng)站還沒有設(shè)置robots.txt協(xié)議。

robots.txt文件的作用有哪些呢?

1、robots是搜索引擎蜘蛛抓取網(wǎng)站時，所抓取的第一個文件

2、robots可以屏蔽網(wǎng)站的垃圾和重復頁面

3、robots可以保護網(wǎng)站的隱私防止隱私泄露

4、robots可以讓一些不想要上排名的頁面，使其不參與排名

5、robots可以屏蔽不需要搜索引擎蜘蛛抓取的模版插件等

如何制作編寫我們網(wǎng)站的robots文件呢?

我們首先要了解robots文件的編寫語法，和注意事項。

(User-agent代表選擇蜘蛛) User-agent: Baiduspider (Baiduspider代表百度蜘蛛)

* 選擇代表所有相關(guān) User-agent: * 所有蜘蛛

Disallow: /(在語句下加上Disallow: /代表禁止抓取)如果要禁止網(wǎng)站根目錄里的一個文件比如a/12/l這個文件那么Disallow: /a/12/l即可。

禁止一個文件夾比如c文件夾里所有的文件Disallow: /a 這樣即可。

不想讓蜘蛛禁止a文件夾里的全部文件，想讓蜘蛛抓取a文件夾里的cl66這個文件Disallow: /aAllow: /a/cl66 這樣即可。

(Allow:代表應許抓取)我們要禁止網(wǎng)站里的圖片，那么如果網(wǎng)站里面有很多圖片，有幾萬個圖片難道我們要一個一個選擇幾萬個圖片禁止嗎?

比如是jpg格式的圖片，Disallow: /*.jpg$ $代表結(jié)束符 *代表所有。

如果要屏蔽所有js文件的話Disallow: /*.js$ 這樣即可。

怎么屏蔽網(wǎng)站的動態(tài)路徑呢? 如果路徑是 www.cdhuace.com/sadada?sdasdadaid=123Disallow: /*?* (禁止抓取路徑?前面和后面的所有) 。

Disallow: /a 這個是屏蔽以a字母開始的文件及文件夾。

Disallow: /a/ 這個是只屏蔽a文件夾下的所有文件

robots協(xié)議文件編寫的注意事項：

1、如果我們網(wǎng)站沒有設(shè)置robots.txt協(xié)議文件，那么搜索引擎蜘蛛會默認抓取我們網(wǎng)站的所有頁面文件的。

2、robots.txt協(xié)議文件的第一個字母要大寫，所有內(nèi)容要在英文狀態(tài)下編寫。

3、robots.txt協(xié)議文件放置在我們網(wǎng)站的根目錄中，文件名不能錯，不然搜索引擎蜘蛛抓取不到我們的robots.txt協(xié)議文件的，字母的大小也是有限制的，robots.txt的文件名必須為小寫字母。所有的命令第一個字母需大寫，其余的小寫。所有的命令之后要有一個英文字符空格。

如果實在嫌robots.txt協(xié)議文件編寫比較麻煩，也可以找同行業(yè)，查看他們的robots.txt協(xié)議文件，進行復制略作修改后，傳輸?shù)骄W(wǎng)站的更目錄即可。

以上就是robots.txt文件的相關(guān)介紹以及編寫教程，這個文件能夠?qū)W(wǎng)站的隱私起到一定的保護作用，對于優(yōu)化而言是比較必須的一項工作。

本文標題：做SEO優(yōu)化 robots文件怎么寫？
網(wǎng)頁URL：http://www.aaarwkj.com/news/2714.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、自適應網(wǎng)站、云服務器、面包屑導航、虛擬主機、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)