欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

Spark和MR的區(qū)別是什么

本篇內容主要講解“Spark 和 MR 的區(qū)別是什么”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“Spark 和 MR 的區(qū)別是什么”吧!

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網綜合服務,包含不限于網站制作、做網站、墾利網絡推廣、小程序制作、墾利網絡營銷、墾利企業(yè)策劃、墾利品牌公關、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等,從售前售中售后,我們都將竭誠為您服務,您的肯定,是我們最大的嘉獎;創(chuàng)新互聯(lián)為所有大學生創(chuàng)業(yè)者提供墾利建站搭建服務,24小時服務熱線:13518219792,官方網址:www.aaarwkj.com

先說結論:Hadoop MapReduce采用了多進程模型,而Spark采用了多線程模型

接下來,來一起分析,這兩種模式的區(qū)別以及優(yōu)缺點:

Apache Spark的高性能一定程度上取決于它采用的異步并發(fā)模型(這里指server/driver 端采用的模型),這與Hadoop 2.X(包括YARN和MapReduce)是一致的。

Hadoop 2.X自己實現(xiàn)了類似Actor的異步并發(fā)模型,實現(xiàn)方式是epoll+狀態(tài)機,而Apache Spark則直接采用了開源軟件Akka,該軟件實現(xiàn)了Actor模型,性能非常高。

盡管二者在 server 端采用了一致的并發(fā)模型,但在任務級別(特指 Spark任務和MapReduce任務)上卻采用了不同的并行機制:Hadoop MapReduce采用了多進程模型,而Spark采用了多線程模型。

注意,本文的多進程和多線程,指的是同一個節(jié)點上多個任務的運行模式。無論是MapReduce和Spark,整體上看,都是多進程:MapReduce應用程序是由多個獨立的Task進程組成的;Spark應用程序的 運行環(huán)境是由多個獨立的Executor進程構建的臨時資源池構成的。

多進程模型便于細粒度控制每個任務占用的資源,但會消耗較多的啟動時間,不適合運行低延遲類型的作業(yè),這是MapReduce廣為詬病的原因之一。而多線程模型則相反,該模型使得Spark很適合運行低延遲類型的作業(yè)??傊琒park同節(jié)點上的任務以多線程的方式運行在一個JVM進程中,可帶來以下好處:

1)任務啟動速度快,與之相反的是MapReduce Task進程的慢啟動速度,通常需要1s左右;

2)同節(jié)點上所有任務運行在一個進程中,有利于共享內存。這非常適合內存密集型任務,尤其對于那些需要加載大量詞典的應用程序,可大大節(jié)省內存。

3) 同節(jié)點上所有任務可運行在一個JVM進程(Executor)中,且Executor所占資源可連續(xù)被多批任務使用,不會在運行部分任務后釋放掉,這避免了每個任務重復申請資源帶來的時間開銷,對于任務數(shù)目非常多的應用,可大大降低運行時間。與之對比的是MapReduce中的Task:每個Task單獨申請資源,用完后馬上釋放,不能被其他任務重用,但是可以通過設置 mapred.job.reuse.jvm.num.tasks = 大于 0 的值,來開啟 JVM 重用。(開啟 JVM 重用:這個功能的缺點是,開啟JVM重用將一直占用使用到的task插槽,以便進行重用,直到任務完成后才能釋放。如果某個“不平衡的”job中有某幾個reduce task執(zhí)行的時間要比其他Reduce task消耗的時間多的多的話,那么保留的插槽就會一直空閑著卻無法被其他的job使用,直到所有的task都結束了才會釋放)

盡管Spark的過線程模型帶來了很多好處,但同樣存在不足,主要有:

1)由于同節(jié)點上所有任務運行在一個進程中,因此,會出現(xiàn)嚴重的資源爭用,難以細粒度控制每個任務占用資源。與之相 反的是MapReduce,它允許用戶單獨為Map Task和Reduce Task設置不同的資源,進而細粒度控制任務占用資源量,有利于大作業(yè)的正常平穩(wěn)運行。

到此,相信大家對“Spark 和 MR 的區(qū)別是什么”有了更深的了解,不妨來實際操作一番吧!這里是創(chuàng)新互聯(lián)網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續(xù)學習!

本文標題:Spark和MR的區(qū)別是什么
網頁地址:http://www.aaarwkj.com/article48/gihdep.html

成都網站建設公司_創(chuàng)新互聯(lián),為您提供響應式網站、網站導航、網站改版、小程序開發(fā)外貿建站、標簽優(yōu)化

廣告

聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

成都app開發(fā)公司
久久综合午夜福利视频| 在线蜜臀av中文字幕| 欧美一区二区国产精品日韩| 国产精品传媒免费在线观看| 青青草国产成人自拍视频在线观看| 国产成人免费高清av| 哈昂~不要啊在线观看| 日韩精品a区二区在线电影| 日本女优中文字幕久久| 日韩成人激情在线观看| 麻豆视频在线观看传媒| 国产毛片久久久久久国产| 国内在线免费观看av| 91桃色网站在线免费观看| 国产一区二区三区不卡视频 | 激情一区二区三区视频| 国产精品久久黑丝诱惑| 国产美女作爱视频网站| 欧美丝袜熟女日韩亚洲| 日韩黄色成人免费片子| 午夜日韩综合激情视频在线观看| 日本免费一区二区三区视频观看 | 精品三级一区二区三区| 少妇被啪出水在线视频| 日本东京热在线免费观看| 日本加勒比系列在线视频| 国产精品十八禁在线看| 成人免费中文字幕电影| 国产亚洲一区二区三区av| 中文字幕日本人妻影视| 萌白的所有视频在线观看| 黄色av一本二本在线观看| 欧美一级免费黄片在线播放| 欧美日韩国产一区在线| 夜色一区二区av人片| 久久久久久97精品| 久久精品国产亚洲av无| 免费看男人添女人无遮挡| 亚洲精品成人久久国产| 视频在线免费观看97| 99热久久精品免费精品|