本篇文章給大家分享的是有關(guān)Spark2.x入門中SparkStreaming的工作原理是什么，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

創(chuàng)新互聯(lián)主要從事做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、網(wǎng)頁設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)太湖,10余年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575

 官網(wǎng)翻譯大體意思如下：

    SparkStreaming是核心SparkApi的擴(kuò)展，支持可伸縮、高吞吐量、容錯(cuò)的實(shí)時(shí)數(shù)據(jù)流處理。數(shù)據(jù)可以從許多來源獲取，如Kafka、Flume、Kinesis或TCP sockets，可以使用復(fù)雜的算法處理數(shù)據(jù)，這些算法用高級(jí)函數(shù)表示，如map、reduce、join和window。最后，處理后的數(shù)據(jù)可以推送到文件系統(tǒng)、數(shù)據(jù)庫和活動(dòng)儀表板。實(shí)際上，您可以將Spark的機(jī)器學(xué)習(xí)和圖形處理算法應(yīng)用于數(shù)據(jù)流。

  內(nèi)部工作原理：SparkStreaming接受實(shí)時(shí)輸入數(shù)據(jù)流，并將數(shù)據(jù)分成批次，然后由Spark engine處理，以批量生成最終的結(jié)果流。

    DStream是SparkStreaming流提供的基本抽象。它表示連續(xù)的數(shù)據(jù)流，可以是從源接收到的輸入數(shù)據(jù)流，也可以是通過轉(zhuǎn)換輸入流生成的經(jīng)過處理的數(shù)據(jù)流。在內(nèi)部，DStream由一系列連續(xù)的RDD表示，RDD是Spark對(duì)不可變的分布式數(shù)據(jù)集的抽象。DStream中的每個(gè)RDD包含來自某個(gè)間隔的數(shù)據(jù)，如下圖所示。

    應(yīng)用于DStream上的任何操作都轉(zhuǎn)換為底層RDD上的操作。例如，在前面將一個(gè)行流轉(zhuǎn)換為單詞的示例中，flatMap操作應(yīng)用于行DStream中的每個(gè)RDD，以生成單詞DStream的RDD。如下圖所示。

    這些底層的RDD轉(zhuǎn)換是由Spark引擎計(jì)算的。DStream操作隱藏了這些細(xì)節(jié)中的大部分，并為開發(fā)人員提供了更高級(jí)的API。這些操作將在后面的小節(jié)中詳細(xì)討論。

SparkStreaming 、Flink 、Storm 三種流式處理框架對(duì)比分析

	SparkStreaming	Flink	Storm
吞吐量	高吞吐	高吞吐	低吞吐
實(shí)時(shí)性	秒級(jí)延遲	低延遲，毫秒級(jí)（百毫秒）	低延遲，毫秒級(jí)(幾十毫秒)
亂序、延遲處理	無	flink通過warterMarker水印支持亂序和延遲處理，這個(gè)spark沒有	無
保證次數(shù)	exactly-once	exactly-once	at-least-once
動(dòng)態(tài)調(diào)整并行度	不支持	支持	支持
容錯(cuò)	基于RDD的checkpoint	基于分布式Snapshot的checkpoint	基于Record記錄的ack機(jī)制

以上就是Spark2.x入門中SparkStreaming的工作原理是什么，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)頁題目：Spark2.x入門中SparkStreaming的工作原理是什么
文章出自：http://www.aaarwkj.com/article40/peijho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、軟件開發(fā)、域名注冊(cè)、網(wǎng)頁設(shè)計(jì)公司、營銷型網(wǎng)站建設(shè)、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)