【数据牛刀】是本人贡献的一款提供大数据表自动分割、归档和清理过期数据的服务。它使用C# /.NET CORE实现,当前支持Mysql数据源以及在docker容器中运行。
项目地址:https://github.com/mfjiang/DataNiuKnife
核心功能:
1、通过简单的配置,可管理任意多个数据库节点上的大数据表的定期数据分割、归档和清理。
2、每日执行数据复制。
3、按指定天数移除过期数据。
4、按月归档数据。
希望使用此服务的大数据表,有如下要求:
数据表存在自增长ID;
数据表存在时间列,数据以时间顺序增长;
数据表不存在外键约束;
提供一个拥有读取数据表元数据和建表权限的数据库账号;
配置示例:
{ "AppSettings": { "LogManPath": "/app/LogMan/" }, "MySqlClusterSettings": { "Nodes": [ { { "MysqlNode": { "ID":1, "IsSlave": false, "DataBasesName": "data_sharding_a", "ConnStr": "server=192.168.3.250;database=data_sharding_a;user=app_user;password=your pwd;charset=utf8;", "DevideFromNodeID": 0, "DevideDataSet": "table 1:hash key,table 2:hash key,table n:hash key", "AutoMoveDataSet": "table_name=data_shard,key_name=id,date_field=created,data_hold_days=180,archive_node_id=2,schedule_time=23:00:00;" } }, { "MysqlNode": { "ID": 2, "IsSlave": false, "DataBasesName": "data_sharding_b", "ConnStr": "server=192.168.3.250;database=data_sharding_b;user=app_user;password=your pwd;charset=utf8;", "DevideFromNodeID": 0, "DevideDataSet": "", "AutoMoveDataSet": "" } } ] }, "AllowedHosts": "*" }