爬蟲(chóng)概述

早在2016年，我用我的 阿里云ECS上運(yùn)行了一個(gè)長(zhǎng)期性質(zhì)的爬蟲(chóng)程序，內(nèi)容是采集風(fēng)云二號(hào)氣象衛(wèi)星照片，現(xiàn)在假期終于有時(shí)間回來(lái)查看結(jié)果，簡(jiǎn)單統(tǒng)計(jì)如下（附圖）：

成都創(chuàng)新互聯(lián)公司成立于2013年，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元漢南做網(wǎng)站,已為上家服務(wù),為漢南各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:13518219792

圖片總數(shù)：45869 個(gè)文件

最早文件：201609131345.jpg

最晚文件：201910091415.jpg

爬蟲(chóng)運(yùn)行過(guò)程

1，數(shù)據(jù)源：

當(dāng)時(shí)意外獲得一個(gè)長(zhǎng)期有效的數(shù)據(jù)來(lái)源，其URL參數(shù)，為時(shí)間格式，也就是說(shuō)有著明顯的規(guī)律。適合爬蟲(chóng)運(yùn)行

2，爬蟲(chóng)運(yùn)行：

這個(gè)爬蟲(chóng)的運(yùn)行條件其實(shí)有2個(gè)：1定時(shí)下載；2不停機(jī)運(yùn)行；

既然是氣象數(shù)據(jù)，當(dāng)然得定時(shí)抓取，所以我寫(xiě)了一個(gè)windows服務(wù)，置于后臺(tái)連續(xù)運(yùn)行。雖然中間由于服務(wù)器其他問(wèn)題導(dǎo)致中斷過(guò)幾次，不過(guò)架不住時(shí)間長(zhǎng)久，因此還是成功連續(xù)采集了很多數(shù)據(jù)。

還有個(gè)要求就是不能關(guān)機(jī)，程序需要連續(xù)運(yùn)行。我的最終方案就是使用 云服務(wù)器ECS部署運(yùn)行。避免使用個(gè)人PC長(zhǎng)期開(kāi)機(jī)來(lái)運(yùn)行。

3，處理存儲(chǔ)：

首先，這個(gè)程序既然要長(zhǎng)期運(yùn)行，那么非常避諱的一點(diǎn)就是所有結(jié)果都集中在一個(gè)本地文件夾里，因此我選用了阿里云對(duì)象存儲(chǔ)OSS，同時(shí)由于我需要不關(guān)機(jī)，所以我最終是 云服務(wù)器ECS+ 對(duì)象存儲(chǔ)OSS，ECS和OSS使用了同地域的，因此內(nèi)網(wǎng)打通傳輸很快。這樣我就只在本地做一個(gè)臨時(shí)存儲(chǔ)，轉(zhuǎn)存OSS后不再占用本地硬盤(pán)，這樣一來(lái)我才可以放心啟動(dòng)后“免維護(hù)”運(yùn)行這好幾年。

4，爬蟲(chóng)關(guān)停

爬蟲(chóng)的關(guān)停并非我本意，是我假期期間查看日志才知道數(shù)據(jù)源已經(jīng)失效了。因此本爬蟲(chóng)壽終正寢。雖然我可以去尋找一下新的有效數(shù)據(jù)源，但是由于老數(shù)據(jù)我都沒(méi)用好，那么新的數(shù)據(jù)就暫時(shí)先不去尋找了。

爬蟲(chóng)工作完成，最終成果下載

我選用了阿里云推薦的OSS客戶端工具，由于我提前規(guī)劃好了ECS和OSS同地域，因此可以直接內(nèi)網(wǎng)下載到我的ECS，速度還是很快的，工具顯示大于60MB/s。工具部分截圖如圖：

為了避免OSS公網(wǎng)下載流量的費(fèi)用支出（其實(shí)是窮：直接下載6G大小文件，忙時(shí)價(jià)格為1塊5毛錢(qián)），我將OSS數(shù)據(jù)內(nèi)網(wǎng)下載后，走ECS的出帶寬下載回我PC本地。本地查看：

原文地址：  https://www.opengps.cn/Blog/View.aspx?id=590 文章的更新編輯依此鏈接為準(zhǔn)。歡迎關(guān)注源站原創(chuàng)文章！

分享名稱(chēng)：爬蟲(chóng)分享風(fēng)云2號(hào)衛(wèi)星氣象照片-創(chuàng)新互聯(lián)
文章位置：http://www.aaarwkj.com/article4/hchoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、品牌網(wǎng)站制作、靜態(tài)網(wǎng)站、企業(yè)網(wǎng)站制作、移動(dòng)網(wǎng)站建設(shè)、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)