HDFS的副本存放策略(3)

3.选择一个远程机架节点

选择一个远程机架节点就是随机的选择一个合适的不在参考点坐在的机架中的数据节点,如果没有找到这个合适的数据节点的话,就只能从参考点所在的机架中选择一个合适的数据节点作为此时的远程机架节点了。

4.随机选择若干数据节点

这里的随机随机选择若干个数据节点实际上指的是从某一个范围内随机的选择若干个节点,它的实现需要利用前面提到过的NetworkTopology数据结构。随机选择所使用的范围本质上指的是一个路径,这个路径表示的是NetworkTopology所表示的树状网络拓扑图中的一个非叶子节点,随机选择针对的就是这个节点的所有叶子子节点,因为所有的数据节点都被表示成了这个树状网络拓扑图中的叶子节点。

5.优化数据传输的路径

以前说过,HDFS对于Block的副本copy采用的是流水线作业的方式:client把数据Block只传给一个DataNode,这个DataNode收到Block之后,传给下一个DataNode,依次类推,...,最后一个DataNode就不需要下传数据Block了。所以,在为一个数据块确定了所有的副本存放的位置之后,就需要确定这种数据节点之间流水复制的顺序,这种顺序应该使得数据传输时花费的网络延时最小。ReplicationTargetChooser用了非常简单的方法来考量的,大家一看便知:

private DatanodeDescriptor[] getPipeline( DatanodeDescriptor writer, DatanodeDescriptor[] nodes) {       if (nodes.length==0return nodes;                synchronized(clusterMap) {         int index=0;         if (writer == null || !clusterMap.contains(writer)) {           writer = nodes[0];         }                  for(;index<nodes.length; index++) {           DatanodeDescriptor shortestNode = nodes[index];           int shortestDistance = clusterMap.getDistance(writer, shortestNode);           int shortestIndex = index;           for(int i=index+1; i<nodes.length; i++) {             DatanodeDescriptor currentNode = nodes[i];             int currentDistance = clusterMap.getDistance(writer, currentNode);             if (shortestDistance>currentDistance) {               shortestDistance = currentDistance;               shortestNode = currentNode;               shortestIndex = i;             }           }           //switch position index & shortestIndex            if (index != shortestIndex) {             nodes[shortestIndex] = nodes[index];             nodes[index] = shortestNode;           }           writer = shortestNode;         }       }       return nodes;     }  

可惜的是,HDFS目前并没有把副本存放策略的实现开放给用户,也就是用户无法根据自己的实际需求来指定文件的数据块存放的具体位置。例如:我们可以将有关系的两个文件放到相同的数据节点上,这样在进行map-reduce的时候,其工作效率会大大的提高。但是,又考虑到副本存放策略是与集群负载均衡休戚相关的,所以要是真的把负载存放策略交给用户来实现的话,对用户来说是相当负载的,所以我只能说Hadoop目前还不算成熟,尚需大踏步发展。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/3c018e7b18628a71ec167463bcf0d045.html