Spark 是一種與 Hadoop 相似的開源集群計算環(huán)境，是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎，現(xiàn)已形成一個高速發(fā)展應(yīng)用廣泛的生態(tài)系統(tǒng)，主要應(yīng)用場景如下：

創(chuàng)新互聯(lián)公司成立以來不斷整合自身及行業(yè)資源、不斷突破觀念以使企業(yè)策略得到完善和成熟，建立了一套“以技術(shù)為基點，以客戶需求中心、市場為導(dǎo)向”的快速反應(yīng)體系。對公司的主營項目，如中高端企業(yè)網(wǎng)站企劃 / 設(shè)計、行業(yè) / 企業(yè)門戶設(shè)計推廣、行業(yè)門戶平臺運(yùn)營、成都APP應(yīng)用開發(fā)、手機(jī)網(wǎng)站制作設(shè)計、微信網(wǎng)站制作、軟件開發(fā)、遂寧聯(lián)通機(jī)房等實行標(biāo)準(zhǔn)化操作，讓客戶可以直觀的預(yù)知到從創(chuàng)新互聯(lián)公司可以獲得的服務(wù)效果。

1. Spark是基于內(nèi)存的迭代計算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場合。需要反復(fù)操作的次數(shù)越多，所需讀取的數(shù)據(jù)量越大，受益越大，數(shù)據(jù)量小但是計算密集度較大的場合，受益就相對較小;

2. 由于RDD的特性，Spark不適用那種異步細(xì)粒度更新狀態(tài)的應(yīng)用，例如web服務(wù)的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應(yīng)用模型不適合：

3. 數(shù)據(jù)量不是特別大，但是要求實時統(tǒng)計分析需求。

滿足以上條件的均可采用Spark技術(shù)進(jìn)行處理，在實際應(yīng)用中，目前大數(shù)據(jù)在互聯(lián)網(wǎng)公司主要應(yīng)用在廣告、報表、推薦系統(tǒng)等業(yè)務(wù)上，在廣告業(yè)務(wù)方面需要大數(shù)據(jù)做應(yīng)用分析、效果分析、定向優(yōu)化等，在推薦系統(tǒng)方面則需要大數(shù)據(jù)優(yōu)化相關(guān)排名、個性化推薦以及熱點點擊分析等。

這些應(yīng)用場景的普遍特點是計算量大、效率要求高，Spark恰恰可以滿足這些要求，該項目一經(jīng)推出便受到開源社區(qū)的廣泛關(guān)注和好評，并在近兩年內(nèi)發(fā)展成為大數(shù)據(jù)處理領(lǐng)域炙手可熱的開源項目。

Spark使用Scala語言進(jìn)行實現(xiàn)，它是一種面向?qū)ο?、函?shù)式編程語言，能夠像操作本地集合對象一樣輕松地操作分布式數(shù)據(jù)集，具有運(yùn)行速度快、易用性好、通用性強(qiáng)以及隨處運(yùn)行等特點，適合大多數(shù)批處理工作，并已成為大數(shù)據(jù)時代企業(yè)大數(shù)據(jù)處理優(yōu)選技術(shù)，其中有代表性企業(yè)有騰訊、Yahoo、淘寶以及優(yōu)酷土豆等。

本文名稱：淺聊Spark的應(yīng)用場景有哪些？
網(wǎng)頁路徑：http://www.aaarwkj.com/article14/igecge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、自適應(yīng)網(wǎng)站、網(wǎng)站建設(shè)、面包屑導(dǎo)航、定制網(wǎng)站、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)