一.本文初衷
我曾经写过一篇文章容器学习一:HashMap源码分析,后来有网友对我说,全文不介绍HashMap怎么使用,只介绍了源码,有点孤立。到昨天又有网友对我说,看了你的分析RPC的三篇文章,并没有理解RPC到底是个什么玩意,给我留下的影响只有Java反射。这个就是我写本文的原因:源码是进去,本文再跳出来做一个全局的描述。
二.RPC概念
- RPC(Remote Procedure Call Protocol):远程过程调用协议。其作用是通过网络向远程请求服务。
- RPC采用客户机/服务器模式。客户机把请求发送给服务器,服务器获取请求的参数,在本地执行这个请求,最后将结果返回给客户机。站在客户机的角度,这条请求就是在远程(服务器)被执行了。
- Hdfs就是自己实现了一套RPC,使用了Java反射和NIO。
- Java RMI(Remote Method Call):远程方法调用,实际上和RPC是一个意思。
三.Hdfs RPC角色
- RPC Client:由org.apache.hadoop.ipc.Client实现。用于向server发生请求,并获取请求返回结果。
- RPC Server:由org.apache.hadoop.ipc.Server和org.apache.hadoop.ipc.RPC.Server共同实现。ipc.Server用于获取请求,提供执行请求的抽象方法,返回请求结果;RPC.Server用来真正执行请求。
- RPC服务类:由org.apache.hadoop.ipc.RPC实现。主要实现两个服务:getProxy获得远程代理对象;getServer获得RPC Server。
四.Hdfs RPC实现
- Server s = RPC.getServer(...);s.start();RPC服务器端启动,各线程准备就绪。
- VersionedProtocol v = RPC.getProxy(...);实际上得到一个Java代理类,Invoker实现了InvocationHandler,重写了invoke()方法。
- v.method(...)时,触发invoke()方法,invoke()内部执行client.call()。
- client.call()内部取得RPC client到RPC server的Connection,随后用connection发生请求sendParam。等待结果返回。
- RPC Server Listener线程接受到请求。
- Reader线程读取请求,把请求封装成Server Call对象。放入callQueue。
- Handler线程从callQueue取call,在本机上执行method.invoke()方法,把执行结果赋值给call对象的response属性。如果目前只有一个call对象,立即返回;否则放入responseQueue。
- Responder线程从responseQueue取call,把call的response发送给RPC Client。
- RPC Client收到结果,这个就是远程命令的结果。如果你是一个远程创建文件夹的请求,那这个结果返回成功或失败或文件夹信息等;如果你是获得远程机器上DatanodeReport的请求,那这个结果返回的就是远程机器上的DatanodeInfo[]。
五.自己模仿写了一个RPC
写道
http://cloud-file-system.googlecode.com/svn/trunk/SourceCode/CFS_Test/src/com/zzy/rpc/
http://cloud-file-system.googlecode.com/svn/trunk/SourceCode/CFS_Test/src/com/zzy/rpctest/
http://cloud-file-system.googlecode.com/svn/trunk/SourceCode/CFS_Test/src/com/zzy/rpctest/
- 只实现功能。没考虑代码质量。
- Client和Server端都用NIO实现。
- 如果有谁想学习的,我会把它单独抽出来。
相关推荐
内容概要: 架构、流程、机制、原理、环境、数据...HadoopHDFS-JavaRPC操作代码,含服务端和客户端代码; hadoop生态现状、介绍、部署; hadoop2.4.1伪分布式搭建; 分布式文件系统; 复安装过程详细步骤; hdfs笔记;
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...
Hadoop 培训课程(2)HDFS 分布式文件系统与HDFS HDFS体系结构与基本概念*** HDFS的shell操作*** java接口及常用api*** ---------------------------加深拓展---------------------- RPC调用** HDFS的分布式存储架构的...
《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》内容简介:“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:...
《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》内容简介:“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:...
内容概要: 分布式文件系统与 HDFS HDFS 体系结构与基本概念★★★ HDFS 的 shell 操作★★★ 搭建 eclipse 开发环境★★ ... hadoop 的 RPC 机制★ hadoop 读写数据的过程分析★★
《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础,深入剖析了HDFS 2.X中各个模块的实现细节,包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章,其中...
1.java接口操作Hadoop文件系统(文件上传下载删除创建......2.RPC远程过程调用的java代码实现,便于理解Hadoop的RPC协议,具体使用方法可参考我的博客https://blog.csdn.net/qq_34233510/article/details/88142507
“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者...
《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》内容简介:“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:...
《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》内容简介:“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:...
《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础,深入剖析了HDFS 2.X中各个模块的实现细节,包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章,其中...
hadoop rpc 云计算 hdfs mapreduce
“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者...
hadoop入门级的代码 Java编写 eclipse可运行 包含 hdfs的文件操作 rpc远程调用的简单示例 map-reduce的几个例子:wordcount 学生平均成绩 手机流量统计
HDFS通信部分使用org.apache.hadoop.ipc,可以很快使用RPC.Server.start()构造一个节点,具体业务功能还需自己实现。针对HDFS的业务则为数据流的读写,NameNode/DataNode的通信等。 MapReduce主要在org.apache....
您的选择,您可以用Hadoop 0.20.203通过1.xy(说话HDFS_NN_v1 / HDFS_DATANODE_AP_1_0 ),2.0.x版本的Hadoop( HDFS_NN_v2 / HDFS_DATANODE_AP_2_0 ),或Hadoop2.2.x的和更高的( HDFS_NN_v2_2 / HDFS_DATANODE_...