当前位置:首页 > 数据库 > sharding-JDBC分库分表实战

sharding-JDBC分库分表实战

2022年11月10日 09:07:51数据库8

前言:由于互联网的发展迅速,业务数据量暴增,出现了数据库量过大,需要扩容

扩容的方式:大库拆分成小库,大表拆分成小表

我们用到了sharding-JDBC是针对本文中所说的水平拆分

这里也不去讲解其他分库分表的技术了,例如mycat,可以自行博文搜索了解

大库拆分成小库、大表 拆分成小表

数据库垂直拆分

当下springcloud 、dubbo。。类似的这些微服务越来越受欢迎,我们可以根据业务的需要拆分成多个微服务,一并将数据库也拆分成对应的几个数据库,简而言之:一个微服务对应一个数据库,这样大库拆小库就完成了,具体的操作这里就不多讲了,因为本文主要是要讲 sharding-jdbc

表的垂直拆分

假设一张订单表,里面有订单的基本信息,又有订单的使用优惠券信息,又有订单的评价信息,我们完全可以拆分成 订单基本信息表:order,订单优惠信息表:order_cuppon,订单评价表:order_assess;

水平拆分(我们重点讲下数据库的水平拆分,表的水平拆分思想,理论差不多)

一句话描述,就是将原本的数据分片存储;

我们来看看实战步骤:

1.pom中引入依赖

<dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>${sharding-jdbc.version}</version>
        </dependency>

2.配置文件中配置sharding

2.1我们需要配置多个数据库,假设我们现在是分两个库

# 数据源 多个
spring.shardingsphere.datasource.names=ds0,ds1

# 第一个数据库
spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbc-url=jdbc:mysql://139.139.139.82:3306/zwt_shop_order_0?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=123456

# 第二个数据库
spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds1.jdbc-url=jdbc:mysql://139.139.139.82:3306/zwt_shop_order_1?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
spring.shardingsphere.datasource.ds1.username=root
spring.shardingsphere.datasource.ds1.password=123

这里的ds0 和ds1 就是我们两个数据源

2.2 分库策略有多种,默认的是 ”行表达式分片策略“,也是最简单,最容易理解的

下文中product_order为我们实战的逻辑表

我们需要配置一下这个逻辑表的数据分布情况,这张表会在两个库中都存在,并且在每个库中都会有product_order_0,product_order_1表

# 指定product_order表的数据分布情况,配置数据节点,行表达式标识符使用 ${...} 或 $->{...},
# 但前者与 Spring 本身的文件占位符冲突,所以在 Spring 环境中建议使用 $->{...}
spring.shardingsphere.sharding.tables.product_order.actual-data-nodes=ds$->{0..1}.product_order_$->{0..1}

①行表达式分片策略

指定分片键,就是我们根据什么字段来进行分区

spring.shardingsphere.sharding.tables.product_order.database-strategy.inline.sharding-column=user_id

分片算法,根据分片键路由到哪一个库

spring.shardingsphere.sharding.tables.product_order.database-strategy.inline.algorithm-expression=ds$->{user_id % 2 }

②精准分片策略

指定分片键

spring.shardingsphere.sharding.tables.product_order.database-strategy.standard..sharding-column=user_id

分片算法,注意这里分片算法,是由我们在java中类中实现的

spring.shardingsphere.sharding.tables.product_order.database-strategy.standard.precise-algorithm-class-name=com.zwt.strategy.CustomDBPreciseShardingAlgorithm

com.zwt.strategy.CustomDBPreciseShardingAlgorithm这个类中就实现了分片算法

public class CustomDBPreciseShardingAlgorithm implements PreciseShardingAlgorithm<Long> {


    @Override
    public String doSharding(Collection<String> dataSourceNames, PreciseShardingValue<Long> preciseShardingValue) {

        for(String datasourceName : dataSourceNames){
            String value = preciseShardingValue.getValue() % dataSourceNames.size() + "";
            //ds0、ds1
            if(datasourceName.endsWith(value)){
                return  datasourceName;
            }
        }
        return null;
    }
}

这个方法重写了PreciseShardingAlgorithm中的dosharding方法,指定分片算法

③hint分片策略

简而言之,分片键是在代码中指定的,分片算法和精准分片策略一样

指定分片键

@Test
    public void testHint() {
        // 清除掉历史的规则
        HintManager.clear();
        //Hint分片策略必须要使用 HintManager工具类
        HintManager hintManager = HintManager.getInstance();
        // 设置库的分片健,value用于库分片取模, 读0库
        hintManager.addDatabaseShardingValue("product_order",0L);

        // 设置表的分片健,value用于表分片取模,读1表
        //hintManager.addTableShardingValue("product_order", 7L);
        hintManager.addTableShardingValue("product_order", 7L);

        // 如果在读写分离数据库中,Hint 可以强制读主库(主从复制存在一定延时,但在业务场景中,可能更需要保证数据的实时性)
        //hintManager.setMasterRouteOnly();

        //对应的value只做查询,不做sql解析
        productOrderMapper.selectList(new QueryWrapper<ProductOrderDO>().eq("id", 66L));
    }

分片算法

spring.shardingsphere.sharding.tables.product_order.database-strategy.hint.algorithm-class-name=com.zwt.strategy.CustomDBHintShardingAlgorithm
public class CustomDBHintShardingAlgorithm implements HintShardingAlgorithm<Long> {
    /**
     *
     * @param dataSourceNames 数据源集合
     *                      在分库时值为所有分片库的集合 databaseNames
     *                      分表时为对应分片库中所有分片表的集合 tablesNames
     *
     * @param hintShardingValue  分片属性,包括
     *                                  logicTableName 为逻辑表,
     *                                  columnName 分片健(字段),hit策略此处为空 ""
     *
     *                                  value 【之前】都是 从 SQL 中解析出的分片健的值,用于取模判断
     *                                   HintShardingAlgorithm不再从SQL 解析中获取值,而是直接通过
     *                                   hintManager.addTableShardingValue("product_order", 1)参数进行指定
     * @return
     */
    @Override
    public Collection<String> doSharding(Collection<String> dataSourceNames, HintShardingValue<Long> hintShardingValue) {
        Collection<String> result = new ArrayList<>();
        for (String tableName : dataSourceNames) {

            for (Long shardingValue : hintShardingValue.getValues()) {

                if (tableName.endsWith(String.valueOf(shardingValue % dataSourceNames.size()))) {
                    result.add(tableName);
                }
            }

        }
        return result;
    }
}

ok,三种分片策略到此结束了,希望能帮助到大家

如果需要项目实战代码的,可以私聊我

作者:bboy66
来源链接:https://blog.csdn.net/bboy66/article/details/123729709

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/database/69248.html

标签: 分库分表
分享给朋友:

“sharding-JDBC分库分表实战” 的相关文章

分享一个MySQL分库分表备份脚本(原)

分享一个MySQL分库分表备份脚本(原)

分享一个MySQL分库备份脚本(原) 开发思路: 1.路径:规定备份到什么位置,把路径(先判断是否存在,不存在创建一个目录)先定义好,我的路径:/mysql/backup,每个备份用压缩提升效率,带上时间方便整理 2.取数据库:抓取数据库名称,我用的awk和grep配...

MySQL分表、分库、分片和分区知识

MySQL分表、分库、分片和分区知识

一、前言   数据库的数据量达到一定程度之后,为避免带来系统性能上的瓶颈。需要进行数据的处理,采用的手段是分区、分片、分库、分表。 二、分片(类似分库)   分片是把数据库横向扩展(Scale Out)到多个物理节点上的一种有效的方式,其主要目的是...

MySQL高可用机制和分库分表

目录 主从架构 为什么需要主从架构 同步机制实现原理 搭建主从集群 全库同步和部分同步 GTID同步 半同步复制...

【shardingjdbc&Mysql】基于springboot+shardingjdbc+tkmapper实现mysql分库分表

【shardingjdbc&Mysql】基于springboot+shardingjdbc+tkmapper实现mysql分库分表

1.实现原理(核心) 1.分库原则 2.分表原则 3.动态切换数据源 2.实现(配置及依赖就不过多描述了) 注意事项:集成tkmapper分表时,table注解的名字命名,别指定具体表名,而是指定shardingjdbc的logicTa...

mysql分表后的联合查询

前言 在分表完之后显然对于数据的查询会变的比较的复杂,特别是在表的关联方面,在有些情况下根本就不能使用JOIN。 其实个人是比较鼓励将那些大的JOIN SQL拆分成几个小的SQL来查询数据。这样虽然总体的效率可能会稍稍下降(如果使用了连接池完全可以忽略)...

SpringBoot sharding 分库分表使用及配置

SpringBoot sharding 分库分表使用及配置 官方提供配置方式有哪些? JAVA配置 YAML配置 SpringBoot配置 Spring命名空间配置 无论哪种方式最后底层都包装成JAVA代码方式配置,今天主要以SpringBo...

大数据量分库分表之后的非分片键查询解决方案

场景:1亿左右的会员,会员按照会员id散表,但是会员登陆是需要按照会员手机号做登陆鉴权,这时候需要通过手机号查询会员信息 解决方案1: 直接通过手机号查询,遍历查询所有库表,最后返回 解决方案2: 将会员信息冗余到es,同步发送到es,通过es来查询...

对于关系型数据库MySQL-如何选择分库分表方案

MySQL分库分表相关系列:MySQL相关目录 该如何选择分库分表方案 大型网站用户数和数据库规模急剧上升,关系型数据库常见的性能瓶颈主要体现在两点: 一是大量的并发读写操作,导致单库出现负载压力过大;(并发量大,数据库...

mysql 分库分表(水平切割和垂直切割)

分表是分散数据库压力的好方法。 分表,最直白的意思,就是将一个表结构分为多个表,然后,可以再同一个库里,也可以放到不同的库。 当然,首先要知道什么情况下,才需要分表。个人觉得单表记录条数达到百万到千万级别时就要使用分表了。 纵向分表 将本来可以在同一个表...

分库分表,我只说一次

分库分表,我只说一次

随着互联网的高速发展,很多公司的单表数据量在短短几年甚至几个月就达到了系统瓶颈。这时候为了解决单表的查询性能,需要应用上分库分表。而由于一开始的设计问题,和对分库分表方案的思考不全面,很容易引起后期扩展与维护的灾难。作为一位合格的程序员,无论公司当前是否有需要用到分库分表,我们都...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。