使用【数据牛刀】轻松驾驭日增长100万级的大流水数据表

【数据牛刀】是本人贡献的一款提供大数据表自动分割、归档和清理过期数据的服务。它使用C# /.NET CORE实现,当前支持Mysql数据源以及在docker容器中运行。

项目地址:https://github.com/mfjiang/DataNiuKnife

 

核心功能:

1、通过简单的配置,可管理任意多个数据库节点上的大数据表的定期数据分割、归档和清理。

2、每日执行数据复制。

3、按指定天数移除过期数据。

4、按月归档数据。

 

希望使用此服务的大数据表,有如下要求:

数据表存在自增长ID;

数据表存在时间列,数据以时间顺序增长;

数据表不存在外键约束;

提供一个拥有读取数据表元数据和建表权限的数据库账号;

配置示例:

{ "AppSettings": { "LogManPath": "/app/LogMan/" }, "MySqlClusterSettings": { "Nodes": [ { { "MysqlNode": { "ID":1, "IsSlave": false, "DataBasesName": "data_sharding_a", "ConnStr": "server=192.168.3.250;database=data_sharding_a;user=app_user;password=your pwd;charset=utf8;", "DevideFromNodeID": 0, "DevideDataSet": "table 1:hash key,table 2:hash key,table n:hash key", "AutoMoveDataSet": "table_name=data_shard,key_name=id,date_field=created,data_hold_days=180,archive_node_id=2,schedule_time=23:00:00;" } }, { "MysqlNode": { "ID": 2, "IsSlave": false, "DataBasesName": "data_sharding_b", "ConnStr": "server=192.168.3.250;database=data_sharding_b;user=app_user;password=your pwd;charset=utf8;", "DevideFromNodeID": 0, "DevideDataSet": "", "AutoMoveDataSet": "" } } ] }, "AllowedHosts": "*" }

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpdsxf.html