創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商，新人活動買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)公司主要業(yè)務(wù)有網(wǎng)站營銷策劃、網(wǎng)站制作、成都網(wǎng)站建設(shè)、微信公眾號開發(fā)、微信小程序開發(fā)、HTML5、程序開發(fā)等業(yè)務(wù)。一次合作終身朋友，是我們奉行的宗旨；我們不僅僅把客戶當客戶，還把客戶視為我們的合作伙伴，在開展業(yè)務(wù)的過程中，公司還積累了豐富的行業(yè)經(jīng)驗、網(wǎng)絡(luò)營銷推廣資源和合作伙伴關(guān)系資源，并逐漸建立起規(guī)范的客戶服務(wù)和保障體系。 

虛擬主機如何禁止蜘蛛訪問？很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學(xué)習下，希望你能有所收獲。

虛擬主機組織蜘蛛訪問，可以使用robots協(xié)議來實現(xiàn)。robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。

我們在管理虛擬主機時，有些情況下，不希望搜索引擎蜘蛛來訪問我們的內(nèi)容，這時，我們需要編寫一個爬蟲協(xié)議，禁止搜索引擎來抓取數(shù)據(jù)?；蛘呤墙共糠炙阉饕媾老x來訪，而允許其他搜索引擎。都是可以通過robots文件實現(xiàn)。

當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

虛擬主機阻止蜘蛛訪問，比如禁止全部搜索引擎來訪時，可以如下編寫：

User-agent: *
Disallow: /

虛擬主機阻止某個蜘蛛訪問時，可以如下編寫：

User-agent: xxxspider
Disallow:/

虛擬主機阻止某個目錄被蜘蛛訪問時，可以如下編寫：

User-agent: *

Disallow: /admin/

即表示/admin/目錄，所有搜索引擎都不得來訪問。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。

網(wǎng)站題目：虛擬主機如何禁止蜘蛛訪問-創(chuàng)新互聯(lián)
分享網(wǎng)址：http://www.aaarwkj.com/article20/gcejo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、域名注冊、用戶體驗、移動網(wǎng)站建設(shè)、App開發(fā)、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)