本文重点介绍kafka的两类常见数据迁移方式：1、broker内部不同数据盘之间的分区数据迁移；2、不同broker之间的分区数据迁移。
一、broker 内部不同数据盘之间进行分区数据迁移 1.1 背景介绍最近，腾讯云的一个重要客户发现kafka broker内部的topic分区数据存储分布不均匀，导致部分磁盘100%耗尽，而部分磁盘只有40%的消耗量。
分析原因，发现存在部分topic的分区数据过于集中在某些磁盘导致，比如，以下截图显示的/data5 数据盘。
根据分布式系统的特点，很容易想到采取数据迁移的办法，对broker内部不同数据盘的分区数据进行迁移。在进行线上集群数据迁移之前，为了保证生产集群的数据完整和安全，必须先在测试集群进行测试。
1.2 测试broker内部不同数据盘进行分区数据迁移 1.2.1 建立测试topic并验证生产和消费正常我们搭建的测试集群，Kafka 有三个broker，hostname分别为：tbds-172-16-16-11，tbds-172-16-16-12，tbds-172-16-16-16。每个broker配置了两块数据盘，缓存数据分别存储在 /data/kafka-logs/ 和 /data1/kafka-logs/。
首先建立测试topic：
./kafka-topics.sh --create --zookeeper tbds-172-16-16-11:2181 --replication-factor 2 --partitions 3 --topic test_topic然后向topic生产发送500条数据，发送的时候也同时消费数据。然后查看topic的分区数据情况：
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER groupid1 test_topic 0 172 172 0 kafka-python-1.3.1_tbds-172-16-16-3/172.16.16.3 groupid1 test_topic 1 156 156 0 kafka-python-1.3.1_tbds-172-16-16-3/172.16.16.3 groupid1 test_topic 2 172 172 0 kafka-python-1.3.1_tbds-172-16-16-3/172.16.16.3发现test_topic生产和消费数据都正常。
1.2.2 将分区数据在磁盘间进行迁移现在登录tbds-172-16-16-12这台broker节点，将test_topic的分区数据目录 /data1/kafka-logs/test_topic-0/ 移动到 /data/kafka-logs/ ：
mv /data1/kafka-logs/test_topic-0/ /data/kafka-logs/查看 /data/kafka-logs/ 目录下，分区test_topic-0 的数据：
1.2.3 再次对测试topic生产和消费数据再次发送500条数据，同时消费数据。然后查看数据情况：
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER groupid1 test_topic 0 337 337 0 kafka-python-1.3.1_tbds-172-16-16-3/172.16.16.3 groupid1 test_topic 1 304 304 0 kafka-python-1.3.1_tbds-172-16-16-3/172.16.16.3 groupid1 test_topic 2 359 359 0 kafka-python-1.3.1_tbds-172-16-16-3/172.16.16.3再次查看tbds-172-16-16-12 这个broker节点的/data/kafka-logs/test_topic-0/ 分区目录下的数据：
发现，从 /data1/kafka-logs/ 移动到 /data/kafka-logs/ 目录下的分区数据目录test_topic-0/（也就是编号为0的分区）缓存数据并没有增加。
因为test_topic每个分区有2个replicas，因此，我找到编号为0的另外一个分区replica数据存储在tbds-172-16-16-16这台broker节点。登录tbds-172-16-16-16这个broker节点，打开编号为0的分区缓存数据目录，得到如下信息：
发现，tbds-172-16-16-16这台broker节点的分区数据目录test_topic-0/内缓存数据量是增加的，也就是缓存有再次生产发送的message数据。