ShardingSphere分库分表实战_shardingsphere hikaridatasource-程序员宅基地

ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。
ShardingSphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。它与NoSQL和NewSQL是并存而非互斥的关系。NoSQL和NewSQL作为新技术探索的前沿，放眼未来，拥抱变化，是非常值得推荐的。反之，也可以用另一种思路看待问题，放眼未来，关注不变的东西，进而抓住事物本质。关系型数据库当今依然占有巨大市场，是各个公司核心业务的基石，未来也难于撼动，我们目前阶段更加关注在原有基础上的增量，而非颠覆

sharding-jdbc 定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。
适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和PostgreSQL

三. 项目实战

本项目基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 实现分库分表

1. pom.xml引入依赖


<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

<modelVersion>4.0.0</modelVersion>

<parent>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-parent</artifactId>

<version>2.1.5.RELEASE</version>

<relativePath/>

</parent>

<groupId>com.xd</groupId>

<artifactId>spring-boot-sharding-table</artifactId>

<version>0.0.1-SNAPSHOT</version>

<name>spring-boot-sharding-table</name>

<description>基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 实现分库分表</description>


<properties>

<java.version>1.8</java.version>

</properties>


<dependencies>

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-web</artifactId>

</dependency>


<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-test</artifactId>

<scope>test</scope>

</dependency>

<!--mysql-->

<dependency>

<groupId>mysql</groupId>

<artifactId>mysql-connector-java</artifactId>

<scope>runtime</scope>

</dependency>

<!--Mybatis-Plus-->

<dependency>

<groupId>com.baomidou</groupId>

<artifactId>mybatis-plus-boot-starter</artifactId>

<version>3.1.1</version>

</dependency>

<!--shardingsphere start-->

<!-- for spring boot -->

<dependency>

<groupId>io.shardingsphere</groupId>

<artifactId>sharding-jdbc-spring-boot-starter</artifactId>

<version>3.1.0</version>

</dependency>

<!-- for spring namespace -->

<dependency>

<groupId>io.shardingsphere</groupId>

<artifactId>sharding-jdbc-spring-namespace</artifactId>

<version>3.1.0</version>

</dependency>

<!--shardingsphere end-->

<!--lombok-->

<dependency>

<groupId>org.projectlombok</groupId>

<artifactId>lombok</artifactId>

<version>1.18.8</version>

</dependency>

</dependencies>


<build>

<plugins>

<plugin>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-maven-plugin</artifactId>

</plugin>

</plugins>

</build>


</project>

2. 创建数据库和表

ds0

├── user_0

└── user_1

ds1

├── user_0

└── user_1

既然是分库分表库结构与表结构一定是一致的

数据库: ds0

CREATE DATABASE IF NOT EXISTS `ds0` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */;

USE `ds0`; SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------

-- Table structure for user_0 --

----------------------------

DROP TABLE IF EXISTS `user_0`;

CREATE TABLE `user_0` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

-- ----------------------------

-- Table structure for user_1 --

----------------------------

DROP TABLE IF EXISTS `user_1`;

CREATE TABLE `user_1` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

SET FOREIGN_KEY_CHECKS = 1;

数据库: ds1

CREATE DATABASE IF NOT EXISTS `ds1` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */;

USE `ds1`; SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------

-- Table structure for user_0 --

----------------------------

DROP TABLE IF EXISTS `user_0`;

CREATE TABLE `user_0` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

-- ----------------------------

-- Table structure for user_1 --

----------------------------

DROP TABLE IF EXISTS `user_1`;

CREATE TABLE `user_1` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

SET FOREIGN_KEY_CHECKS = 1;

3. application.properties (重点)基本是在这个文件配置的

# 数据源 ds0,ds1

sharding.jdbc.datasource.names=ds0,ds1

# 第一个数据库

sharding.jdbc.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource

sharding.jdbc.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver

sharding.jdbc.datasource.ds0.jdbc-url=jdbc:mysql://localhost:3306/ds0?characterEncoding=utf-8&&serverTimezone=GMT%2B8

sharding.jdbc.datasource.ds0.username=root

sharding.jdbc.datasource.ds0.password=root


# 第二个数据库

sharding.jdbc.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource

sharding.jdbc.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver

sharding.jdbc.datasource.ds1.jdbc-url=jdbc:mysql://localhost:3306/ds1?characterEncoding=utf-8&&serverTimezone=GMT%2B8

sharding.jdbc.datasource.ds1.username=root

sharding.jdbc.datasource.ds1.password=root


# 水平拆分的数据库（表） 配置分库 + 分表策略 行表达式分片策略

# 分库策略

sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=id

sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=ds$->{id % 2}


# 分表策略 其中user为逻辑表 分表主要取决于age行

sharding.jdbc.config.sharding.tables.user.actual-data-nodes=ds$->{0..1}.user_$->{0..1}

sharding.jdbc.config.sharding.tables.user.table-strategy.inline.sharding-column=age

# 分片算法表达式

sharding.jdbc.config.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{age % 2}


# 主键 UUID 18位数 如果是分布式还要进行一个设置 防止主键重复

#sharding.jdbc.config.sharding.tables.user.key-generator-column-name=id


# 打印执行的数据库以及语句

sharding.jdbc.config.props..sql.show=true

spring.main.allow-bean-definition-overriding=true

我这次使用配置文件方式实现分库以及分表
以上配置说明:

逻辑表 user

水平拆分的数据库（表）的相同逻辑和数据结构表的总称。例：用户数据根据主键尾数拆分为2张表，分别是user0到user1，他们的逻辑表名为user。

真实表

在分片的数据库中真实存在的物理表。即上个示例中的user0到user1

分片算法:

Hint分片算法
对应HintShardingAlgorithm，用于处理使用Hint行分片的场景。需要配合HintShardingStrategy使用。

分片策略:

行表达式分片策略对应InlineShardingStrategy。使用Groovy的表达式，提供对SQL语句中的=和IN的分片操作支持，只支持单分片键。对于简单的分片算法，可以通过简单的配置使用，从而避免繁琐的Java代码开发，如: user$->{id % 2} 表示user表根据id模2，而分成2张表，表名称为user0到user_1。

自增主键生成策略

通过在客户端生成自增主键替换以数据库原生自增主键的方式，做到分布式主键无重复。采用UUID.randomUUID()的方式产生分布式主键。或者 SNOWFLAKE

4. 实体类

package com.zhang.shardingtable.entity;


import com.baomidou.mybatisplus.annotation.TableName;

import com.baomidou.mybatisplus.extension.activerecord.Model;

import groovy.transform.EqualsAndHashCode;

import lombok.Data;

import lombok.experimental.Accessors;


/**

* @Classname User

* @Description 用户实体类

* @Author 章国文 [email protected]

* @Date 2019-06-28 17:24

* @Version 1.0

*/

@Data

@EqualsAndHashCode(callSuper = true)

@Accessors(chain = true)

@TableName("user")

public class User extends Model<User> {


/**

* 主键Id

*/

private int id;


/**

* 名称

*/

private String name;


/**

* 年龄

*/

private int age;

}

5. dao层

package com.zhang.shardingtable.mapper;


import com.baomidou.mybatisplus.core.mapper.BaseMapper;

import com.zhang.shardingtable.entity.User;


/**

* user dao层

* @author lihaodong

*/

public interface UserMapper extends BaseMapper<User> {


}

6. service层以及实现类

UserService

package com.zhang.shardingtable.service;


import com.baomidou.mybatisplus.extension.service.IService;

import com.zhang.shardingtable.entity.User;


import java.util.List;


/**

* @Classname UserService

* @Description 用户服务类

* @Author 章国文 [email protected]

* @Date 2019-06-28 17:31

* @Version 1.0

*/

public interface UserService extends IService<User> {


/**

* 保存用户信息

* @param entity

* @return

*/

@Override

boolean save(User entity);


/**

* 查询全部用户信息

* @return

*/

List<User> getUserList();

}

UserServiceImpl

package com.zhang.shardingtable.service.Impl;


import com.baomidou.mybatisplus.core.toolkit.Wrappers;

import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;

import com.zhang.shardingtable.entity.User;

import com.zhang.shardingtable.mapper.UserMapper;

import com.zhang.shardingtable.service.UserService;

import org.springframework.stereotype.Service;


import java.util.List;


/**

* @Classname UserServiceImpl

* @Description 用户服务实现类

* @Author 章国文 [email protected]

* @Date 2019-06-28 17:32

* @Version 1.0

*/

@Service

public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements UserService {

@Override

public boolean save(User entity) {

return super.save(entity);

}


@Override

public List<User> getUserList() {

return baseMapper.selectList(Wrappers.<User>lambdaQuery());

}


}

7. 控制类

package com.zhang.shardingtable.controller;


import com.zhang.shardingtable.entity.User;

import com.zhang.shardingtable.service.UserService;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.web.bind.annotation.GetMapping;

import org.springframework.web.bind.annotation.RestController;


import java.util.List;


/**

* @Classname UserController

* @Description 用户测试控制类

* @Author 章国文 [email protected]

* @Date 2019-06-28 17:36

* @Version 1.0

*/

@RestController

public class UserController {


@Autowired

private UserService userService;


@GetMapping("/select")

public List<User> select() {

return userService.getUserList();

}


@GetMapping("/insert")

public Boolean insert(User user) {

return userService.save(user);

}


}

四. 测试

启动项目
打开浏览器分别访问:

http://localhost:8080/insert?id=1&name=lhd&age=12
http://localhost:8080/insert?id=2&name=lhd&age=13
http://localhost:8080/insert?id=3&name=lhd&age=14
http://localhost:8080/insert?id=4&name=lhd&age=15

可以在控制台看到如下展示，表示插入成功了

根据分片算法和分片策略不同的id以及age取模落入不同的库表达到了分库分表的结果

有的人说查询的话该怎么做呢其实也帮我们做好了打开浏览器访问:
http://localhost:8080/select

分别从ds0数据库两张表和ds1两张表查询结果然后汇总结果返回

之前有朋友问我单表数据量达千万,想做水平分割,不分库,也可以的吧?
是完全可以的只要修改配置文件的配置即可非常灵活

本文链接：https://blog.csdn.net/hanghangaidoudou/article/details/112979820

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

2024最新计算机毕业设计选题大全-程序员宅基地

文章浏览阅读1.6k次，点赞12次，收藏7次。大家好！大四的同学们毕业设计即将开始了，你们做好准备了吗？学长给大家精心整理了最新的计算机毕业设计选题，希望能为你们提供帮助。如果在选题过程中有任何疑问，都可以随时问我，我会尽力帮助大家。在选择毕业设计选题时，有几个要点需要考虑。首先，选题应与计算机专业密切相关，并且符合当前行业的发展趋势。选择与专业紧密结合的选题，可以使你们更好地运用所学知识，并为未来的职业发展奠定基础。要考虑选题的实际可行性和创新性。选题应具备一定的实践意义和应用前景，能够解决实际问题或改善现有技术。

dcn网络与公网_电信运营商DCN网络的演变与规划方法(The evolution and plan method of DCN)...-程序员宅基地

文章浏览阅读3.4k次。摘要：随着电信业务的发展和电信企业经营方式的转变，DCN网络的定位发生了重大的演变。本文基于这种变化，重点讨论DCN网络的规划方法和运维管理方法。Digest: With the development oftelecommunication bussiness and the change of management of telecomcarrier , DCN’s role will cha..._电信dcn

动手深度学习矩阵求导_向量变元是什么-程序员宅基地

文章浏览阅读442次。深度学习一部分矩阵求导知识的搬运总结_向量变元是什么

月薪已炒到15w？真心建议大家冲一冲数据新兴领域，人才缺口极大！-程序员宅基地

文章浏览阅读8次。近期，裁员的公司越来越多今天想和大家聊聊职场人的新出路。作为席卷全球的新概念ESG已然成为当前各个行业关注的最热风口目前，国内官方发布了一项ESG新证书含金量五颗星、中文ESG证书、完整ESG考试体系、名师主讲...而ESG又是与人力资源直接相关甚至在行业圈内成为大佬们的热门话题...当前行业下行，裁员的公司也越来越多大家还是冲一冲这个新兴领域01 ESG为什么重要？在双碳的大背景下，ESG已然成...

对比传统运营模式，为什么越拉越多的企业选择上云？_系统上云的前后对比-程序员宅基地

文章浏览阅读356次。云计算快速渗透到众多的行业，使中小企业受益于技术变革。最近微软SMB的一项研究发现，到今年年底，78％的中小企业将以某种方式使用云。企业希望投入少、收益高，来取得更大的发展机会。云计算将中小企业信息化的成本大幅降低，它们不必再建本地互联网基础设施，节省时间和资金，降低了企业经营风险。科技创新已成时代的潮流，中小企业上云是创新前提。云平台稳定、安全、便捷的IT环境，提升企业经营效率的同时，也为企业..._系统上云的前后对比

esxi网卡直通后虚拟机无网_esxi虚拟机无法联网-程序员宅基地

文章浏览阅读899次。出现选网卡的时候无法选中，这里应该是一个bug。3.保存退出，重启虚拟机即可。1.先随便选择一个网卡。2.勾先取消再重新勾选。_esxi虚拟机无法联网