這篇文章主要介紹了python爬蟲(chóng)中requests和selenium有什么區(qū)別，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供仁布網(wǎng)站建設(shè)、仁布做網(wǎng)站、仁布網(wǎng)站設(shè)計(jì)、仁布網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、仁布企業(yè)網(wǎng)站模板建站服務(wù)，十年仁布做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

requests代碼：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import requests
 
r = requests.get('https://api.github.com', auth=('user', 'pass'))
 
print r.status_code
print r.headers['content-type']

requests代碼部分簡(jiǎn)單易懂。

selenium它是用于自動(dòng)化Web應(yīng)用程序的測(cè)試目的，但肯定不僅限于此。

對(duì)于一般網(wǎng)站來(lái)說(shuō)scrapy、requests、beautifulsoup等都可以爬取，但是有些信息需要執(zhí)行js才能顯現(xiàn)，而且你肉眼所能看到的基本都能爬取下來(lái)，在學(xué)習(xí)中遇到了，就記錄下來(lái)方便以后查看。

webdrive是selenium中一個(gè)函數(shù)：

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('網(wǎng)址')

其中PhantomJS同時(shí)可以換成Chrome、Firefox、Ie等等，但是PhantomJS是一個(gè)無(wú)頭的瀏覽器，運(yùn)行是不會(huì)跳出相應(yīng)的瀏覽器，運(yùn)行相對(duì)效率較高。在調(diào)試中可以先換成Chrome，方便調(diào)試，最后再換成PhantomJS即可。

說(shuō)一說(shuō) Selenium 的缺點(diǎn)：

1、速度慢。每次運(yùn)行爬蟲(chóng)都打開(kāi)一個(gè)瀏覽器，如果沒(méi)有設(shè)置，還會(huì)加載圖片、JS等等一大堆東西；

2、占用資源太多。有人說(shuō)，把Chrome換成無(wú)頭瀏覽器PhantomJS，原理都是一樣的，都是打開(kāi)瀏覽器，而且很多網(wǎng)站會(huì)驗(yàn)證參數(shù)，如果對(duì)方看到你是以PhantomJS去訪問(wèn)，會(huì)BAN掉你的請(qǐng)求，然后你又要考慮更換請(qǐng)求頭的事情，事情復(fù)雜程度不知道多了多少，為啥學(xué)Python？因?yàn)镻ython簡(jiǎn)單啊，如果有更快、更簡(jiǎn)單的庫(kù)可以實(shí)現(xiàn)同樣的功能，為什么不去使用呢？

3、對(duì)網(wǎng)絡(luò)的要求會(huì)更高。 Selenium 加載了很多可能對(duì)您沒(méi)有價(jià)值的補(bǔ)充文件（如css，js和圖像文件）。 與僅僅請(qǐng)求您真正需要的資源（使用單獨(dú)的HTTP請(qǐng)求）相比，這可能會(huì)產(chǎn)生更多的流量。

4、爬取規(guī)模不能太大。

5、難。學(xué)習(xí)Selenium的成本太高，

通過(guò)比較我們可以看出，requests在代碼方面簡(jiǎn)潔而且操作難度不大，相信很多小伙伴已經(jīng)上手requests，而selenium的不足之處比較多，所以不推薦大家用來(lái)爬取數(shù)據(jù)。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享python爬蟲(chóng)中requests和selenium有什么區(qū)別內(nèi)容對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，遇到問(wèn)題就找創(chuàng)新互聯(lián)，詳細(xì)的解決方法等著你來(lái)學(xué)習(xí)!

標(biāo)題名稱：python爬蟲(chóng)中requests和selenium有什么區(qū)別
文章分享：http://www.aaarwkj.com/article46/iijheg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、網(wǎng)頁(yè)設(shè)計(jì)公司、定制網(wǎng)站、網(wǎng)站設(shè)計(jì)公司、響應(yīng)式網(wǎng)站、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)