数据库之分库分表-垂直?水平? (2)

每个数据也不一样,一般来说,每个表的字段至少有一列交集,一般是主键,用于关联数据;

所有并集是全量数据;

场景:系统绝对并发量并没有上来,表的记录并不多,但是字段多,并且热点数据和非热点数据在一起,单行数据所需的存储空间较大。以至于数据库缓存的数据行减少,查询时会去读表产生大量的随机读IO,产生IO瓶颈。

分析:可以用列表页和详情页来帮助理解。垂直分表的拆分原则是将热点数据(可能会冗余经常一起查询的数据)放在一起作为主表,非热点数据放在一起作为扩展表。这样更多的热点数据就能被缓存下来,进而减少了随机读IO。拆了之后,要想获得全部数据就需要关联两个表来取数据。但记住,千万别用join,因为join不仅会增加CPU负担并且会讲两个表耦合在一起(必须在一个数据库实例上)。关联数据,应该在业务Service层做文章,分别获取主表和扩展表数据然后用关联字段关联得到全部数据。

三、分库分表工具

sharding-sphere:jar,前身是sharding-jdbc;

TDDL:jar,Taobao Distribute Data Layer;

Mycat:中间件。

注:工具的利弊,请自行调研,官网和社区优先。

四、分库分表步骤

  根据容量(当前容量和增长量)评估分库或分表个数 -> 选key(均匀)-> 分表规则(hash或range等)-> 执行(一般双写)-> 扩容问题(尽量减少数据的移动)。

五、分库分表问题 非partition key的查询问题(水平分库分表,拆分策略为常用的hash法)

端上除了partition key只有一个非partition key作为条件查询

映射法

数据库之分库分表-垂直?水平?

基因法

数据库之分库分表-垂直?水平?

注:写入时,基因法生成user_id,如图。关于xbit基因,例如要分8张表,23=8,故x取3,即3bit基因。根据user_id查询时可直接取模路由到对应的分库或分表。根据user_name查询时,先通过user_name_code生成函数生成user_name_code再对其取模路由到对应的分库或分表。id生成常用snowflake算法

端上除了partition key不止一个非partition key作为条件查询

映射法

数据库之分库分表-垂直?水平?

冗余法

数据库之分库分表-垂直?水平?

注:按照order_id或buyer_id查询时路由到db_o_buyer库中,按照seller_id查询时路由到db_o_seller库中。感觉有点本末倒置!有其他好的办法吗?改变技术栈呢?

后台除了partition key还有各种非partition key组合条件查询

NoSQL法

数据库之分库分表-垂直?水平?

冗余法

数据库之分库分表-垂直?水平?

注:思考下范围法拆分,该怎么解决。

非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash法)

注:用解决(ES等)。

扩容问题(水平分库分表,拆分策略为常用的hash法)

水平扩容库(升级从库法)

数据库之分库分表-垂直?水平?

注:扩容是成倍的。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wspwfy.html