欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

如何設置robots.txt禁止或只允許搜索引擎抓取特定目錄

2021-11-23    分類: 網站建設

搜索引擎來網站抓取內容的時候,首先會訪問你網站根目錄下的一個文本文件robots.txt,搜索引擎機器人通過robots.txt里的說明,來理解該網站是否可以全部抓取,或只允許部分抓取。
注意:網站的robots.txt文件一定要存放在網站的根目錄。
搜索引擎來網站抓取內容的時候,首先會訪問你網站根目錄下的一個文本文件robots.txt,搜索引擎機器人通過robots.txt里的說明,來理解該網站是否可以全部抓取,或只允許部分抓取。

注意:網站的robots.txt文件一定要存放在網站的根目錄。

robots.txt文件舉例說明
禁止所有搜索引擎訪問網站的任何內容
User-agent: *
Disallow: /

禁止所有搜索引擎抓取某些特定目錄
User-agent: *
Disallow: /目錄名1/
Disallow: /目錄名2/
Disallow: /目錄名3/

允許訪問特定目錄中的部分url
User-agent: *
allow: /158
allow: /joke

禁止訪問網站中所有的動態(tài)頁面


User-agent: *
Disallow: /**


僅允許百度抓取網頁和gif格式圖片,不允許抓取其他格式圖片
User-agent: Baiduspider
allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$

1.屏蔽404頁面
Disallow: /404.html

2.屏蔽死鏈
原來在目錄為/158下的所有鏈接,因為目錄地址的改變,現(xiàn)在都變成死鏈接了,那么我們可以用robots.txt把他屏蔽掉。
Disallow: /158/

3.屏蔽動態(tài)的相似頁面
假設以下這兩個鏈接,內容其實差不多。
/XXX123
/123.html
我們要屏掉/XXX123 頁面,代碼如下:
Disallow: /XXX

4.告訴搜索引擎你的sitemap.xml地址
具體代碼如下:
Sitemap: 你的sitemap地址ap: 你的sitemap地址

當前題目:如何設置robots.txt禁止或只允許搜索引擎抓取特定目錄
文章轉載:http://www.aaarwkj.com/news33/137133.html

成都網站建設公司_創(chuàng)新互聯(lián),為您提供網站設計、網站維護網站導航、網站收錄、品牌網站設計、自適應網站

廣告

聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

猜你還喜歡下面的內容

成都定制網站建設

網站建設知識

同城分類信息

久久精品免费激情视频| 久久夜色噜噜噜av一区| 在线观看高清欧美国产视频| 亚洲国际天堂av在线| 天堂av一区二区在线播放| 未满十八勿进黄网观看| 国内精品亚洲成av人片麻豆| 日韩电影网国产精品| 中文字幕人妻少妇美臀| 国产日韩精品专区一区| 极品少妇高潮在线观看免费| 亚洲av成人一区二区三区| 欧美系列诱惑性国产精品| 国内一级片内射视频播放| 99精品一二三日韩| 美女露脸口爆吞精视频| 国产三级精品久久三级国专区| 激情五月婷婷我有我色| 亚洲av乱码国产精品观看| 2021天天操夜夜爽| 亚洲美腿丝袜综合在线| 国产精品久久一国产精品| 韩国午夜福利视频网站| 国产成+人+综合+亚洲专区| 中文字幕人妻熟女人妻| 亚洲欧美不卡一区二区| 国产一区日本二区欧美三区| 激情偷拍一区二区三区视频| 精品久久久久久久久无| 成人性生活毛片免费视频| 少妇人妻精品一区二区三| 日本毛茸茸的丰满熟妇| 亚洲天堂av在线播放| 亚洲一区二区三区免费在线看| 国产精品毛片av在线| 日韩精品中文字幕免费人妻| 日韩精品一区二区av在线| 欧美日韩另类综合91| 亚洲永久免费黄色av| 青青草免费在线视频蜜臀| 中文字幕人妻熟女人妻|