HDFS的副本存放策略(2)

2.选择一个本地机架节点

实际上,选择本地节假节点和远程机架节点都需要以一个节点为参考,这样才是有意义,所以在上面的流程图中,我用红色字体标出了参考点。那么,ReplicationTargetChooser是如何根据一个节点选择它的一个本地机架节点呢?

这个过程很简单,如果参考点为空,则从整个集群中随机选择一个合适的数据节点作为此时的本地机架节点;否则就从参考节点所在的机架中随机选择一个合适的数据节点作为此时的本地机架节点,若这个集群中没有合适的数据节点的话,则从已选择的数据节点中找出一个作为新的参考点,如果找到了一个新的参考点,则从这个新的参考点在的机架中随机选择一个合适的数据节点作为此时的本地机架节点;否则从整个集群中随机选择一个合适的数据节点作为此时的本地机架节点。如果新的参考点所在的机架中仍然没有合适的数据节点,则只能从整个集群中随机选择一个合适的数据节点作为此时的本地机架节点了。

private DatanodeDescriptor chooseLocalRack(DatanodeDescriptor localMachine, List<Node> excludedNodes, long blocksize, int maxNodesPerRack, List<DatanodeDescriptor> results)throws NotEnoughReplicasException {       // 如果参考点为空,则从整个集群中随机选择一个合适的数据节点作为此时的本地机架节点        if (localMachine == null) {         return chooseRandom(NodeBase.ROOT, excludedNodes, blocksize, maxNodesPerRack, results);       }                //从参考节点所在的机架中随机选择一个合适的数据节点作为此时的本地机架节点        try {         return chooseRandom(localMachine.getNetworkLocation(), excludedNodes, blocksize, maxNodesPerRack, results);       } catch (NotEnoughReplicasException e1) {         //若这个集群中没有合适的数据节点的话,则从已选择的数据节点中找出一个作为新的参考点          DatanodeDescriptor newLocal=null;         for(Iterator<DatanodeDescriptor> iter=results.iterator(); iter.hasNext();) {           DatanodeDescriptor nextNode = iter.next();           if (nextNode != localMachine) {             newLocal = nextNode;             break;           }         }                  if (newLocal != null) {//找到了一个新的参考点            try {             //从这个新的参考点在的机架中随机选择一个合适的数据节点作为此时的本地机架节点              return chooseRandom(newLocal.getNetworkLocation(), excludedNodes, blocksize, maxNodesPerRack, results);           } catch(NotEnoughReplicasException e2) {             //新的参考点所在的机架中仍然没有合适的数据节点,从整个集群中随机选择一个合适的数据节点作为此时的本地机架节点              return chooseRandom(NodeBase.ROOT, excludedNodes, blocksize, maxNodesPerRack, results);           }         } else {           //从整个集群中随机选择一个合适的数据节点作为此时的本地机架节点            return chooseRandom(NodeBase.ROOT, excludedNodes, blocksize, maxNodesPerRack, results);         }       }     }  

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/3c018e7b18628a71ec167463bcf0d045.html