HDFS Datanode与Client之间的数据传输

在HDFS之中,Datanode与Namenode之间是通过RPC进行通信的;在Datanode和Client之间的通信通过两种方式来完成,一种是通过RPC(主要有三个方法recoverBlock、getBlockInfo、getBlockLocalPathInfo),另外一种方式是通过普通的socket。Client与Datanode之间的数据传输就是通过普通的socket来进行传输的。

在类Datanode中包含DataXceiverServer的一个实例,该实例实现ServerSocket功能,主要是接受Client的socket的连接。DataXceiverServer接受socket连接后,启动一个线程DataXceiver。DataXceiver具体负责与Client之间进行block的传输与操作,具体有一下几种操作:

OP_READ_BLOCK:client从Datanode中读取一个block

OP_WRITE_BLOCK:client写一个block到Datanode

OP_REPLACE_BLOCK:Receive a block and write it to disk, it then notifies the namenode to remove the copy from the source.

OP_COPY_BLOCK:Read a block from the disk and then sends it to a destination

OP_BLOCK_CHECKSUM:获取一个block的校验和

DataXceiver通过BlockSender和BlockReceiver来完成block的发送与接收。BlockSender具体负责将block发送到Client;BlockReceiver具体负责接收Client的block,并将其写入到本Datanode以及管线的其他Datanode。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/800461f45c021d69d8733a8ed5c56f45.html