作為一名SEO優(yōu)化者你知道robots文件是用來干什么的么？以及robots文件在編寫有哪些規(guī)范和注意事項呢？

 

robots.txt是用來告訴搜索引擎網(wǎng)站上哪些內容可以被訪問、哪些不能被訪問。當搜索引擎訪問一個網(wǎng)站的時候，它首先會檢查網(wǎng)站是否存在robots.txt，如果有則會根據(jù)文件命令訪問有權限的文件。概括下來主要有四點：

1、保護網(wǎng)站安全

2、節(jié)省流量

3、禁止搜索引擎收錄部分頁面

4、引導蜘蛛爬網(wǎng)站地圖

關于robots文件的書寫規(guī)范，內容如下：

一、robots.txt的寫法與步驟

1、定義搜索引擎

用User-agent：來定義搜索引擎，其中*表示所有，Baiduspider表示百度蜘蛛，Googlebot表示谷歌蜘蛛。

也就是說User-agent：*表示定義所有蜘蛛，User-agent：Baiduspider表示定義百度蜘蛛。

2、禁止與允許訪問

Disallow: /表示禁止訪問，Allow: /表示允許訪問。

在寫robots.txt時需特別注意的是，/前面有一個英文狀態(tài)下的空格（必須是英文狀態(tài)下的空格）。

3、禁止搜索引擎訪問網(wǎng)站中文件夾

1)禁止搜索引擎訪問網(wǎng)站中的某幾個文件夾，以a、b、c為例，寫法分別如下：

Disallow: /a/

Disallow: /b/

Disallow: /c/

2)禁止搜索引擎訪問文件夾中的某一類文件，以a文件夾中的js文件為例，寫法如下：

Disallow: /a/*.js

4、只允許某個搜索引擎訪問，以Baiduspider為例，寫法如下：

User-agent: Baiduspider

Disallow:

5、禁止訪問網(wǎng)站中的動態(tài)頁面

User-agent: *

Disallow: /*?*

6、只允許搜索引擎訪問某類文件，以”.htm”為后綴的URL為例，寫法如下：

User-agent: *

Allow: /*.htm$

Disallow: /

7、禁止某個搜索引擎抓取網(wǎng)站上的所有圖片，以Baiduspider為例，寫法如下：

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$

二、robots.txt文件存放位置

robots.txt文件存放在網(wǎng)站根目錄下，并且文件名所有字母都必須小寫。

三、注意事項

1、在寫robots.txt文件時語法一定要用對，User-agent、Disallow、Allow、Sitemap這些詞都必須是第一個字母大寫，后面的字母小寫，而且在:后面必須帶一個英文字符下的空格。

2、網(wǎng)站上線之前切記寫robots.txt文件禁止蜘蛛訪問網(wǎng)站，如果不會寫就先了解清楚寫法之后再寫，以免給網(wǎng)站收錄帶來不必要的麻煩。

3、robots.txt文件生效時間不定，站長自身無法控制。但是，站長可以在百度統(tǒng)計中查看網(wǎng)站robots.txt文件是否生效。

分享標題：seo必備常識robots文件！
新聞來源：http://www.aaarwkj.com/news/1215.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、建站公司、標簽優(yōu)化、做網(wǎng)站、商城網(wǎng)站、營銷型網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)