好程序員大數(shù)據(jù)培訓(xùn)分享關(guān)于kafka的幾個重要問題：

創(chuàng)新互聯(lián)是專業(yè)的南和網(wǎng)站建設(shè)公司，南和接單;提供成都網(wǎng)站設(shè)計、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進行南和網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

1.segment的概念

topic中會有一個到多個分區(qū)，每個分區(qū)中會有多個segment，segment的大小在kafka的配置文件里可以設(shè)置，segment的大小是相等的，每個segment有多個index文件和對應(yīng)的數(shù)據(jù)文件組成的

2.數(shù)據(jù)存儲機制？（數(shù)據(jù)寫入快的原因）

首先是broker接收到數(shù)據(jù)，將數(shù)據(jù)放到操作系統(tǒng)(linux)的緩存里（pagecache）

pagecache 會盡可能多的使用空閑內(nèi)存，會使用sendfile技術(shù)盡可能多的減少操作系統(tǒng)和應(yīng)用程序之間進行重復(fù)緩存，寫入數(shù)據(jù)的時候還會用到順序?qū)懭氲姆绞?，寫入?shù)據(jù)的速度可達600m/s

3.consumer是怎么解決負載均衡問題的？

當同一個group 的consumer的數(shù)量發(fā)生改變時，會觸發(fā)kafka的負載均衡，首先獲取consumer消費的起始分區(qū)號，再計算出consumer要消費的分區(qū)數(shù)量，最后用起始分區(qū)號的hashcode值模余分區(qū)數(shù)

1、數(shù)據(jù)的分發(fā)策略

kafka默認調(diào)用自己的分區(qū)器（DefaultPartitioner）進行分區(qū)，也可以自定義分區(qū)器，自定義分區(qū)器需要實現(xiàn)Partitioner特質(zhì)，實現(xiàn)partition方法

2、kafka是怎么保證數(shù)據(jù)不丟失的？
kafka接收數(shù)據(jù)以后會根據(jù)創(chuàng)建的topic指定的副本數(shù)來儲存，副本數(shù)據(jù)是由kafka自己進行同步，多副本機制保證了數(shù)據(jù)的安全性

3、kafka可以保證topic里的數(shù)據(jù)全局有序嗎

kafka可以做到分區(qū)內(nèi)有序，分區(qū)之間是無序的

怎么做到全局有序呢？最簡單方式是創(chuàng)建分區(qū)topic時指定分區(qū)數(shù)為1

4、如果想消費已經(jīng)被消費過的數(shù)據(jù)

1.采用不同的group。

2.通過一些配置，就可以將線上產(chǎn)生的數(shù)據(jù)同步到鏡像中去，然后再由特定的集群區(qū)處理大批量的數(shù)據(jù)。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當前名稱：好程序員大數(shù)據(jù)培訓(xùn)分享關(guān)于kafka的幾個重要問題-創(chuàng)新互聯(lián)
URL標題：http://www.aaarwkj.com/article44/ccoiee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、標簽優(yōu)化、Google、網(wǎng)站設(shè)計、動態(tài)網(wǎng)站、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)