再看hadoop PRC

為阿拉善盟等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及阿拉善盟網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)、阿拉善盟網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

以前寫過一篇文章叫做《hadoop RPC從入門到暫時放棄》，現(xiàn)在粗略的把《Hadoop 2.xHDFS源碼剖析》看完了第一遍，感覺對HDFS的整體了解上升了一個層次，并且重新看了一下動態(tài)代理、protocol buffer所以這次重新來寫寫對于hadoop RPC的認(rèn)識。

下面還是主要通過ClientProtocol協(xié)議，即hdfs客戶端與NameNode通信的協(xié)議，來介紹一下對hadoopRPC的認(rèn)識。

1. 客戶端

首先編寫程序操作hadoop hdfs的時候，通常都是會用到DFSClient這個類的，這里的DFSClient類中，持有一個實(shí)現(xiàn)了ClientProtocol接口的ClientNameNodeProtocolTranslatorPB（以下簡稱translator）的對象實(shí)例，這個實(shí)例主要的功能就是將ClientProtocol轉(zhuǎn)化為protocol buffer方式序列化的請求，其實(shí)主要也是在這其中使用動態(tài)代理獲取了ClientNamenodeProtocolPB的代理對象來實(shí)現(xiàn)轉(zhuǎn)換。其中獲取translator的時候還需要考慮NameNode是否是HA模式的。

其次Client部分最主要的方法就是Client.call方法，在調(diào)用call方法時會需要獲取相應(yīng)RPCServer 的連接對象（Connection），但是由于建立連接在任何一個系統(tǒng)中都是一個十分耗時的操作，所以connection會緩存到相應(yīng)服務(wù)器的連接。Connection對象除了負(fù)責(zé)建立連接之外，還會在獲取相應(yīng)請求對應(yīng)的應(yīng)答后喚起相應(yīng)請求的線程。PRC請求除了包括經(jīng)過protocol buffer序列化的參數(shù)，還有對應(yīng)的請求協(xié)議的標(biāo)識字段。當(dāng)接收到請求相應(yīng)的應(yīng)答時，會根據(jù)callId喚起等待的線程，這里根據(jù)RPC調(diào)用是否成功需要考慮是調(diào)用正常的接受應(yīng)答方法還是異常的應(yīng)答方法。

 2.服務(wù)器

以NameNode的RPC服務(wù)器為例，它有一個名為NameNodeRpcServer的類專門負(fù)責(zé)從客戶端、DataNode、以及其他NameNode發(fā)送過來的PRC請求。由于需要處理多種PRC協(xié)議（例如從客戶端發(fā)來的ClientNameNodeProtocolPB），所以在這個類中需要一個叫做BlockingService的類，根據(jù)發(fā)送的請求中關(guān)于調(diào)用協(xié)議的信息，找出相應(yīng)得serverSideTranslator來處理相應(yīng)的*PB協(xié)議轉(zhuǎn)化為真正的協(xié)議，例如通過clientNNPbService這個BlockingService將從客戶端發(fā)來的ClientNamenodeProtocolPB協(xié)議，利用clientProtocolServerTranslator轉(zhuǎn)化為jvm能夠識別的ClientProtocol協(xié)議。

除此之外，RPC服務(wù)端還參考了reactor設(shè)計模型，采用線程池以及nio的思想，提高了并發(fā)能力，具體細(xì)節(jié)可以參考以前寫得《hadoop RPC從入門到暫時放棄》。

         以上差不多就是對hadoopRPC的全部認(rèn)識了，以后有新的了解在及時更新。

                                                                                                                         肯草在深圳

                                                                                                                        2017-03-12

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站欄目：再看hadoopRPC-創(chuàng)新互聯(lián)
URL鏈接：http://www.aaarwkj.com/article36/ppepg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、外貿(mào)建站、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站改版、企業(yè)建站、關(guān)鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)