`
zy19982004
  • 浏览: 652919 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
博客专栏
F6f66edc-1c1a-3859-b76b-a22e740b7aa7
Hadoop学习
浏览量:249395
社区版块
存档分类
最新评论

Hadoop学习十一:Hadoop-Hdfs RPC总结

阅读更多

一.本文初衷

      我曾经写过一篇文章容器学习一:HashMap源码分析,后来有网友对我说,全文不介绍HashMap怎么使用,只介绍了源码,有点孤立。到昨天又有网友对我说,看了你的分析RPC的三篇文章,并没有理解RPC到底是个什么玩意,给我留下的影响只有Java反射。这个就是我写本文的原因:源码是进去,本文再跳出来做一个全局的描述。

 

二.RPC概念

  •  RPC(Remote Procedure Call Protocol):远程过程调用协议。其作用是通过网络向远程请求服务。
  • RPC采用客户机/服务器模式。客户机把请求发送给服务器,服务器获取请求的参数,在本地执行这个请求,最后将结果返回给客户机。站在客户机的角度,这条请求就是在远程(服务器)被执行了。
  • Hdfs就是自己实现了一套RPC,使用了Java反射和NIO。
  • Java RMI(Remote Method Call):远程方法调用,实际上和RPC是一个意思。

三.Hdfs RPC角色 

  •  RPC Client:由org.apache.hadoop.ipc.Client实现。用于向server发生请求,并获取请求返回结果。
  • RPC Server:由org.apache.hadoop.ipc.Server和org.apache.hadoop.ipc.RPC.Server共同实现。ipc.Server用于获取请求,提供执行请求的抽象方法,返回请求结果;RPC.Server用来真正执行请求。
  • RPC服务类:由org.apache.hadoop.ipc.RPC实现。主要实现两个服务:getProxy获得远程代理对象;getServer获得RPC Server。

 

四.Hdfs RPC实现 

  1. Server s = RPC.getServer(...);s.start();RPC服务器端启动,各线程准备就绪。
  2. VersionedProtocol v = RPC.getProxy(...);实际上得到一个Java代理类,Invoker实现了InvocationHandler,重写了invoke()方法
  3. v.method(...)时,触发invoke()方法,invoke()内部执行client.call()。
  4. client.call()内部取得RPC client到RPC server的Connection,随后用connection发生请求sendParam。等待结果返回。
  5. RPC Server Listener线程接受到请求。
  6. Reader线程读取请求,把请求封装成Server Call对象。放入callQueue。
  7. Handler线程从callQueue取call,在本机上执行method.invoke()方法,把执行结果赋值给call对象的response属性。如果目前只有一个call对象,立即返回;否则放入responseQueue。
  8. Responder线程从responseQueue取call,把call的response发送给RPC Client。
  9. RPC Client收到结果,这个就是远程命令的结果。如果你是一个远程创建文件夹的请求,那这个结果返回成功或失败或文件夹信息等;如果你是获得远程机器上DatanodeReport的请求,那这个结果返回的就是远程机器上的DatanodeInfo[]。

 

五.自己模仿写了一个RPC 

写道
http://cloud-file-system.googlecode.com/svn/trunk/SourceCode/CFS_Test/src/com/zzy/rpc/
http://cloud-file-system.googlecode.com/svn/trunk/SourceCode/CFS_Test/src/com/zzy/rpctest/
  • 只实现功能。没考虑代码质量。
  • Client和Server端都用NIO实现。
  • 如果有谁想学习的,我会把它单独抽出来。

 

 

1
0
分享到:
评论
1 楼 ljz0898 2013-09-10  
太经典了。

相关推荐

    Hadoop-HDFS-Shell-学习资料及文档、Java代码

    内容概要: 架构、流程、机制、原理、环境、数据...HadoopHDFS-JavaRPC操作代码,含服务端和客户端代码; hadoop生态现状、介绍、部署; hadoop2.4.1伪分布式搭建; 分布式文件系统; 复安装过程详细步骤; hdfs笔记;

    hadoop段海涛老师八天实战视频

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...

    Hadoop 培训课程(2)HDFS

    Hadoop 培训课程(2)HDFS 分布式文件系统与HDFS HDFS体系结构与基本概念*** HDFS的shell操作*** java接口及常用api*** ---------------------------加深拓展---------------------- RPC调用** HDFS的分布式存储架构的...

    《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》

    《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》内容简介:“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:...

    Hadoop技术内幕 深入理解MapReduce架构设计与实现原理 扫描版 带简单书签

    《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》内容简介:“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:...

    分布式存储系统-HDFS.docx

    内容概要:  分布式文件系统与 HDFS  HDFS 体系结构与基本概念★★★  HDFS 的 shell 操作★★★  搭建 eclipse 开发环境★★ ... hadoop 的 RPC 机制★  hadoop 读写数据的过程分析★★

    Hadoop 2.X HDFS源码剖析

    《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础,深入剖析了HDFS 2.X中各个模块的实现细节,包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章,其中...

    Hadoop Java接口+RPC代码实现

    1.java接口操作Hadoop文件系统(文件上传下载删除创建......2.RPC远程过程调用的java代码实现,便于理解Hadoop的RPC协议,具体使用方法可参考我的博客https://blog.csdn.net/qq_34233510/article/details/88142507

    hadoop技术内幕 深入解析mapreduce架构设计与实现原理.(董西成).全本

    “Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者...

    hadoop技术内幕

    《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》内容简介:“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:...

    Hadoop技术内幕

    《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》内容简介:“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:...

    HDFS源码剖析带书签目录高清.zip

    《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础,深入剖析了HDFS 2.X中各个模块的实现细节,包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章,其中...

    学习hadoop_源代码,RPC_部分

    hadoop rpc 云计算 hdfs mapreduce

    hadoop技术内幕 深入解析mapreduce架构设计与实现原理

    “Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者...

    hadoop入门java代码hdfs文件操作 wordCount源码

    hadoop入门级的代码 Java编写 eclipse可运行 包含 hdfs的文件操作 rpc远程调用的简单示例 map-reduce的几个例子:wordcount 学生平均成绩 手机流量统计

    Apress - Pro Hadoop

     HDFS通信部分使用org.apache.hadoop.ipc,可以很快使用RPC.Server.start()构造一个节点,具体业务功能还需自己实现。针对HDFS的业务则为数据流的读写,NameNode/DataNode的通信等。  MapReduce主要在org.apache....

    hadoofus:用于 C 的 HDFS 客户端库

    您的选择,您可以用Hadoop 0.20.203通过1.xy(说话HDFS_NN_v1 / HDFS_DATANODE_AP_1_0 ),2.0.x版本的Hadoop( HDFS_NN_v2 / HDFS_DATANODE_AP_2_0 ),或Hadoop2.2.x的和更高的( HDFS_NN_v2_2 / HDFS_DATANODE_...

Global site tag (gtag.js) - Google Analytics