本篇內容主要講解“Spark 和 MR 的區(qū)別是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Spark 和 MR 的區(qū)別是什么”吧!

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網綜合服務，包含不限于網站制作、做網站、墾利網絡推廣、小程序制作、墾利網絡營銷、墾利企業(yè)策劃、墾利品牌公關、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)為所有大學生創(chuàng)業(yè)者提供墾利建站搭建服務，24小時服務熱線：13518219792，官方網址：www.aaarwkj.com

先說結論：Hadoop MapReduce采用了多進程模型，而Spark采用了多線程模型

接下來，來一起分析，這兩種模式的區(qū)別以及優(yōu)缺點：

Apache Spark的高性能一定程度上取決于它采用的異步并發(fā)模型（這里指server/driver 端采用的模型），這與Hadoop 2.X（包括YARN和MapReduce）是一致的。

Hadoop 2.X自己實現(xiàn)了類似Actor的異步并發(fā)模型，實現(xiàn)方式是epoll+狀態(tài)機，而Apache Spark則直接采用了開源軟件Akka，該軟件實現(xiàn)了Actor模型，性能非常高。

盡管二者在 server 端采用了一致的并發(fā)模型，但在任務級別（特指 Spark任務和MapReduce任務）上卻采用了不同的并行機制：Hadoop MapReduce采用了多進程模型，而Spark采用了多線程模型。

注意，本文的多進程和多線程，指的是同一個節(jié)點上多個任務的運行模式。無論是MapReduce和Spark，整體上看，都是多進程：MapReduce應用程序是由多個獨立的Task進程組成的；Spark應用程序的 運行環(huán)境是由多個獨立的Executor進程構建的臨時資源池構成的。

多進程模型便于細粒度控制每個任務占用的資源，但會消耗較多的啟動時間，不適合運行低延遲類型的作業(yè)，這是MapReduce廣為詬病的原因之一。而多線程模型則相反，該模型使得Spark很適合運行低延遲類型的作業(yè)?？傊琒park同節(jié)點上的任務以多線程的方式運行在一個JVM進程中，可帶來以下好處：

1）任務啟動速度快，與之相反的是MapReduce Task進程的慢啟動速度，通常需要1s左右；

2）同節(jié)點上所有任務運行在一個進程中，有利于共享內存。這非常適合內存密集型任務，尤其對于那些需要加載大量詞典的應用程序，可大大節(jié)省內存。

3） 同節(jié)點上所有任務可運行在一個JVM進程(Executor)中，且Executor所占資源可連續(xù)被多批任務使用，不會在運行部分任務后釋放掉，這避免了每個任務重復申請資源帶來的時間開銷，對于任務數(shù)目非常多的應用，可大大降低運行時間。與之對比的是MapReduce中的Task：每個Task單獨申請資源，用完后馬上釋放，不能被其他任務重用，但是可以通過設置 mapred.job.reuse.jvm.num.tasks = 大于 0 的值，來開啟 JVM 重用。(開啟 JVM 重用：這個功能的缺點是，開啟JVM重用將一直占用使用到的task插槽，以便進行重用，直到任務完成后才能釋放。如果某個“不平衡的”job中有某幾個reduce task執(zhí)行的時間要比其他Reduce task消耗的時間多的多的話，那么保留的插槽就會一直空閑著卻無法被其他的job使用，直到所有的task都結束了才會釋放)

盡管Spark的過線程模型帶來了很多好處，但同樣存在不足，主要有：

1）由于同節(jié)點上所有任務運行在一個進程中，因此，會出現(xiàn)嚴重的資源爭用，難以細粒度控制每個任務占用資源。與之相 反的是MapReduce，它允許用戶單獨為Map Task和Reduce Task設置不同的資源，進而細粒度控制任務占用資源量，有利于大作業(yè)的正常平穩(wěn)運行。

到此，相信大家對“Spark 和 MR 的區(qū)別是什么”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續(xù)學習！

本文標題：Spark和MR的區(qū)別是什么
網頁地址：http://www.aaarwkj.com/article48/gihdep.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供響應式網站、網站導航、網站改版、小程序開發(fā)、外貿建站、標簽優(yōu)化

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)