欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

建網(wǎng)站時如何設(shè)置Robots.txt文件

2021-07-08    分類: 網(wǎng)站建設(shè)

做網(wǎng)站的朋友可能都聽說過Robots.txt文件,這個Robots.txt是網(wǎng)站與搜索引擎溝通的一個重要的渠道,通過這個文件,可以告訴搜索引擎自己做的網(wǎng)站那些頁面可以允許他們收錄,那些不允許他們收錄。那么自己就可以在建網(wǎng)站的時候,通過這個文件和搜索引擎達成協(xié)議。


Robots.txt文件必須要放在網(wǎng)站根目錄的下面,搜索引擎也會自動地根據(jù)網(wǎng)站域名,自動的找到這個文件來判斷自己是否可以收錄這個頁面。如果自己的網(wǎng)站允許搜索引擎可以收錄自己網(wǎng)站的所有的內(nèi)容,那么就可以不放這個文件。


要放相關(guān)的文件的話,就要做Robots.txt,那么就要符合相關(guān)的格式,格式內(nèi)容是用一個記事本命名為Robots.txt。里面寫上下面的內(nèi)容。大家可以在建網(wǎng)站的時候做好之后傳到網(wǎng)站根目錄下。


格式如下:

User-agent:*

這個指的就是針對所有的搜索引擎蜘蛛代理

Disallow:/search.html

Disallow是不允許的意思,這一行說明的是不允許收錄/search.html這個文件;

Disallow:/index.php?

這一行說的是不允許搜索引擎收錄URL里面包含index.php?的文件;

Disallow:/tempweb/

這一行說的是不允許搜索引擎收錄這個文件夾/tempweb/里面所有的內(nèi)容。


很多建網(wǎng)站的朋友做了這個文件之后不是很自信,這個時候,不妨可以找一些大型的網(wǎng)站,去看看他們的是怎么做的,對比一下自己的是不是有錯誤,自己就會確信其效果了。

另外需要注意一些符號是否有錯誤,比如大小寫空格啊什么的,盡量不要用一些復(fù)雜的參數(shù);盡量的采用這種比較簡潔的方式來屏蔽自己一些不想讓搜索引擎收錄的內(nèi)容。


大家可能聽說過一些網(wǎng)站被人惡意的修改Robots.txt文件,本來排名很好的被修改后,搜索引擎就不收錄了,所以大家在做網(wǎng)站維護的時候,有時候要不斷地檢查下自己的這個Robots.txt文件。


本文由成都創(chuàng)新互聯(lián)科技有限公司(www.aaarwkj.com)原創(chuàng)編輯,轉(zhuǎn)載請注明

當前題目:建網(wǎng)站時如何設(shè)置Robots.txt文件
網(wǎng)站路徑:http://www.aaarwkj.com/news/119132.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站建設(shè)網(wǎng)站設(shè)計公司、企業(yè)建站、移動網(wǎng)站建設(shè)、網(wǎng)站維護靜態(tài)網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

綿陽服務(wù)器托管
亚洲成人高清av在线| 九色视频在线观看91| 黄色午夜福利在线观看| 夜色一区二区av人片| 久久伊人69日韩精品| 成人性生活毛片免费视频| 亚洲av毛片一区二区| 日韩暴露一区二区三区| 亚洲av二区三区成人| 日本精品免费专区在线观看| 国产av剧情同事肉体秘密| 中国女人内射69xx| 国产一区二区高清不卡| 丰满人妻少妇一区二区| 久久午夜av一区二区| 日韩欧美中文字幕区| 麻豆视传媒短视频网站免费| 18岁下禁止看的视频| 一区二区三区乱码av| 国产日韩欧美国产精品| 亚洲欧美综合另类久久| 成人欧美一区二区三区av| 午夜福利福利一区二区| 欧美黄片在线免费观看视频| 亚洲中文字幕激情中午字幕| 日韩不卡区高清在线视频| 日韩av一区二区国产| 18禁视频免费无遮挡| 日本高清精品视频在线| 免费直接在线看亚洲黄色| 国产aaa级日本一区二区三区| 亚洲av最近在线观看| 超碰香蕉在线在线观看| 六十路人妻一区二区三区| 精品国产91久久粉嫩| 在线高清视频无卡不码| 亚洲男人天堂av电影| 日韩在线观看视频有码| 色综合色很天天综合色| 日韩精品中文女同在线播放| 色一区欧美一区亚洲一区|