如何禁止搜索引擎抓取網(wǎng)站內(nèi)容

2023-04-13 分類：網(wǎng)站建設(shè)

咱們做查找引擎優(yōu)化都是在想方設(shè)法的讓查找引擎抓取和錄入，可是其實(shí)許多狀況下咱們還需求制止查找引擎抓取和錄入比方，公司內(nèi)部測(cè)試的網(wǎng)站，或許內(nèi)部網(wǎng)，或許后臺(tái)登錄的頁(yè)面，必定不期望被外面的人查找到，所以要制止查找引擎抓取。

給咱們發(fā)一張制止查找引擎抓取網(wǎng)站的查找成果截圖：咱們能夠看到，描繪沒有被抓取到，而是有一句提示：因?yàn)樵摼W(wǎng)站的robotstxt文件存在約束指令（約束查找引擎抓?。w系無法供給該頁(yè)面的內(nèi)容描繪。

Robots是站點(diǎn)與spider交流的重要途徑，站點(diǎn)經(jīng)過robots文件聲明本網(wǎng)站中不想被查找引擎錄入的部分或許指定查找引擎只錄入特定的部分。

9月11日，百度查找robots全新晉級(jí)晉級(jí)后robots將優(yōu)化對(duì)網(wǎng)站視頻URL錄入抓取狀況僅當(dāng)您的網(wǎng)站包括不期望被視頻查找引擎錄入的內(nèi)容時(shí)，才需求運(yùn)用robotstxt文件如果您期望查找引擎錄入網(wǎng)站上一切內(nèi)容，請(qǐng)勿樹立robotstxt文件。

如您的網(wǎng)站未設(shè)置robots協(xié)議，百度查找對(duì)網(wǎng)站視頻URL的錄入將包括視頻播放頁(yè)URL,及頁(yè)面中的視頻文件視頻周邊文本等信息，查找對(duì)已錄入的短視頻資源將對(duì)用戶呈現(xiàn)為視頻極速體會(huì)頁(yè)此外，綜藝影視類長(zhǎng)視頻，查找引擎僅錄入頁(yè)面URL.

文章名稱：如何禁止搜索引擎抓取網(wǎng)站內(nèi)容
分享鏈接：http://www.aaarwkj.com/news18/254218.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、響應(yīng)式網(wǎng)站、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站改版、App設(shè)計(jì)、微信公眾號(hào)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

如何禁止搜索引擎抓取網(wǎng)站內(nèi)容