robots文件是什么？
今天，上海網(wǎng)站優(yōu)化—一易企排小編給大家整理關(guān)于robots文件的概念知識(shí)。

我們?cè)谂c人交往的時(shí)候，往往會(huì)將自己最好的一面展現(xiàn)給對(duì)方，避免不好的方面給對(duì)方留下不好的印象。同樣，百度為了收錄更多有效的頁(yè)面，而SEO人員也為了展示更多有價(jià)值的頁(yè)面，避免百度收錄一些沒(méi)有意義的頁(yè)面，robots文件就誕生了。但是網(wǎng)站的程序是多樣化的，不可能每個(gè)頁(yè)面包括的數(shù)據(jù)庫(kù)都有價(jià)值，所以百度給出了一個(gè)優(yōu)先級(jí)的txt文件，也就是robots.txt文件。這個(gè)robots文件里優(yōu)先存儲(chǔ)的一般都是禁止百度蜘蛛爬行的文件，也就是不希望百度收錄該網(wǎng)站的頁(yè)面。

當(dāng)百度蜘蛛首次爬行我們網(wǎng)站的時(shí)候，會(huì)優(yōu)先爬行根目錄下的robots文件，根據(jù)robots文件里屏蔽的文件夾或者某個(gè)文件名，而跳過(guò)這些文件，然后進(jìn)行其他目錄下頁(yè)面的爬行及收錄。如果網(wǎng)站下并不存在這個(gè)文件，那么百度或許會(huì)收錄一些不必要的文件，甚至暴露我們的數(shù)據(jù)庫(kù)等，這就會(huì)給一些不法分子造成空隙，通過(guò)我們的網(wǎng)站獲利。

1．robots.robots.txt所存放的位置

robots.txt文本文件必須存放在站點(diǎn)的根目錄下，也就是需要和首頁(yè)在同級(jí)目錄下。這樣一方面優(yōu)先百度查找并進(jìn)行排除，另一方面使百度蜘蛛沒(méi)有必要去判斷robots.txt文件存放在哪個(gè)目錄下。如果沒(méi)有robots.txt文件，會(huì)使百度蜘蛛爬行所有的網(wǎng)站，然后進(jìn)行收錄等，增加了一些不必要的操作，加大了百度蜘蛛的工作量。

注意：百度蜘蛛只能識(shí)別小寫(xiě)的rrobots文件，如圖，而且只能放在站點(diǎn)根目錄下。

2．robots.txt常用語(yǔ)句

一般情況下，為了快速建站，會(huì)使用一些網(wǎng)絡(luò)上的開(kāi)源程序，而這些開(kāi)源程序已經(jīng)了解百度蜘蛛的模式，會(huì)默認(rèn)在根目錄下添加robots.txt文件，并且已經(jīng)屏蔽了某些文件夾。以織夢(mèng)網(wǎng)站CMS（內(nèi)容管理系統(tǒng)）里的robots.txt為例：
根據(jù)織夢(mèng)網(wǎng)站的CMS里的robots.txt文件可以看到，User-agent：*表示禁止所有的搜索引擎收錄本站。Disallow的意思是禁止抓取，/data/表示數(shù)據(jù)庫(kù)，/dede/表示織夢(mèng)默認(rèn)的后臺(tái)登錄地址，/images/表示圖片文件，/include/表示配置文件，/plus/表示附加文件，/special/表示專題目錄，/templets/表示模板靜態(tài)文件，/uploads/表示上傳文件。最后的Sitemap是網(wǎng)站地圖，是告訴百度蜘蛛這是網(wǎng)站的運(yùn)行軌跡。

以上是織夢(mèng)網(wǎng)站CMS里的robots文件，每個(gè)程序都會(huì)有對(duì)應(yīng)的robots文件，我們只需要根據(jù)不同的開(kāi)源程序提供的robots文
件，我們只需要根據(jù)不同的開(kāi)源程序提供的robots文件進(jìn)行添加即可。

3．robots在網(wǎng)站中的展現(xiàn)形式

當(dāng)SEO工作者需要在網(wǎng)站中展現(xiàn)robots文件的時(shí)候，可以根據(jù)自己的代碼知識(shí)，或者通過(guò)網(wǎng)站程序員的幫助，進(jìn)行一些必要的代碼添加。而常用的代碼則是＜META NAME="ROBOTS"CONTENT="INDEX，F(xiàn)OLLOW"＞

·META：HTML網(wǎng)站中一個(gè)重要的標(biāo)簽，通常可以展現(xiàn)網(wǎng)站的關(guān)鍵詞和網(wǎng)站描述等；

·NAME="ROBOTS"：識(shí)別所有搜索引擎；

·CONTENT="INDEX，F(xiàn)OLLOW"：搜索引擎索引該頁(yè)，并可以通過(guò)網(wǎng)頁(yè)的鏈接搜索其他頁(yè)面。

4．小結(jié)

一個(gè)優(yōu)秀的網(wǎng)站都會(huì)存在robots文件，這個(gè)文件往往能幫助我們規(guī)避一些不必要的文件被展現(xiàn)出來(lái)。做SEO重要的任務(wù)是展現(xiàn)我們的首頁(yè)、欄目頁(yè)及重要的文章頁(yè)。只有當(dāng)這些頁(yè)面優(yōu)化得足夠好的時(shí)候，我們的網(wǎng)站才是一個(gè)優(yōu)秀的網(wǎng)站。

當(dāng)前標(biāo)題：SEO中robots文件的應(yīng)用
本文URL：http://www.aaarwkj.com/news/254145.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、企業(yè)建站、電子商務(wù)、企業(yè)網(wǎng)站制作、用戶體驗(yàn)、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)