HBase迁移数据方案1(两个集群不能通信)

两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。

但是如果两个集群在不同的网络,没法通信呢?

今天测试了一个方案:

把某个表(table1)从集群1迁移到集群2(两个集群互相看不见),步骤如下

1、拷贝集群1的表文件到本地磁盘 :

/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1  

2、对于文件操作,很简单吧,随便你怎么去拷贝来拷贝去

3、如果集群2中也有对应的表文件,那么删除掉,然后拷贝

/app/cloud/hadoop/bin/hadoop fs -rmr /hbase/table1    /app/cloud/hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1  

4、重置该表在.META.表中的分区信息

bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1  

另外:

1、如果表的数据量过大呢? 那么按照该表在HDFS中的文件夹数据,分批拷贝。

2、如果两个集群可以互相通信呢?那么更爽了,直接使用distcp对拷,是并行的。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/6ce0e4775ebfd876aa262ad87155071d.html