基于springboot的ShardingSphere5.X的分库分表的解决方案之哈希取模分片算法解决方案(二十一)

2021-01-12 20:14:58 202 收藏
分类专栏： ShardingSphere5.x从入门到精通 文章标签： ShardingSohere5 spring boot 大数据 分布式数据库 哈希取模
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linzhefeng89/article/details/112523730
版权

在前面我们已经实现了我们的强制分片算法的使用了，那么在本章我们将为大家讲解如何实现我们的哈希取模分片算法的使用。

1、查看源码，追根溯源

在这里插入图片描述
通过源码我们可以看到他的分片是根据字段的哈希值以后然后进行分片的，那么接下来我们就开始我们的取模分片例子的实现了。

2、实现哈希取模分片例子

我们这边直接沿用上一章的取模分片的工程【automatic-slicing-demo】。

2.1、哈希取模分片算法库表设计

我们直接沿用我们之前的订单表的格式，如下所示：
在这里插入图片描述

2.2、执行sql脚本

直接打开我们的113的数据库，然后在我们的db0和db1中分别执行以下的脚本：


                

                
                
        

    




        

            
            

                
                 
                 
                
                了解本专栏
                订阅博主 解锁全文 
            

        



    
    

        
        

         

         

          已标记关键词
           
          
          清除标记
        

    
  





                




            



	

		

			

				
					SpringBoot+Sharding-JDBC分库分表实战
				
			

			

				

					12-19
				

			

		

		

			
				
通过实际编码的方式讲解Sharding-JDBC的特性。1.纯Java代码进行编写Sharding-JDBC的使用；2. 使用YAML配置的方式进行使用。3. 在SpringBoot怎么玩？4. 分库分表演练；5、读写分离；6、强制路由；

			
		

	



            




	

		
		

			
				
			
		

		

			
      
			
表情包
 
      插入表情
      

        

            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
            
        

      

      

				

					
				

				
				
				
				
				
				

							还能输入1000个字符
							
				

			

		

		
	

	

		
		

		

		

		

			
		

	


            
相关推荐

            

                


	

		

			

				
					springboot mybatis mysql实现分表设计
				
			

			

				

					loco_1的博客
				

				

					03-29
					
					4627
					
				

			

		

		

			
				
一：建表除表名后缀不一致外，其它均一致mysql中根据需求id自增二：mapper层daoxml小知识：先order by 再 limit三：service层好了一个分表的添加小demo已经完成了...

			
		

	





	

		

			

				
					SpringBoot2.x集成Sharding-JDBC实现分库分表
				
			

			

				

					u010391342的博客
				

				

					04-25
					
					1万+
					
				

			

		

		

			
				
概述

ShardingSphere，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。定位为轻量级Java框架。其实就是一个增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。内部改写了SQL的添加和查询规则。适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring ...

			
		

	



		

			
		



	

		

			

				
					数据结构和算法视频教程 
				
			

			

				

					01-29
				

			

		

		

			
				
数据结构、算法视频培训课程，该教程主要是介绍在游戏开发中经常使用的数据结构，例如数组，链表，栈，队列，二叉树，递归等重要知识点讲解以及将它们里灵活的运用到算法里面。

			
		

	





	

		

			

				
					SpringBoot2.3.4整合Sharding-JDBC实现分库分表
				
			

			

				

					liu320yj的博客
				

				

					11-02
					
					296
					
				

			

		

		

			
				
概述
什么是ShardingSphere
是一套开源的分布式数据库中间件解决方案组成的生态圈，由JDBC、Proxy和Sidecar三部分组成。其定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。更多详情请参阅ShardingSphere官网
什么是分库分表
随着时间和业务的发展，造成表里面的数据越来越多，如果再去对数据库表curd操作，很容易造成性能问题，这个时候，为了解决由于数据量过大而造成数据库性能降低的问题，常见的解决方案其一

			
		

	





	

		

			

				
					MySQL数据库水平分表策略--一致性hash
				
			

			

				

					Moxiao__墨箫
				

				

					04-21
					
					1万+
					
				

			

		

		

			
				
一致性hash算法缘起一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。  
一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义：1. 平衡性(Ba

			
		

	





	

		

			

				
					mysql实现hash分表
				
			

			

				

					dengjiexian123的专栏
				

				

					12-24
					
					2万+
					
				

			

		

		

			
				
mysql作为站点后端的重要数据落地组成部分，可谓是运用相当之广泛。在web应用中，往往庞大的数据会最终落地到mysql中，当一张mysql单表记录了上10亿的记录时，性能往往不会很理想，于是我们往往会将一张单表拆分成多张相同的分表。今天我们主要来讲如何合理的进行分表。
1、对一个字段进行分表：
这种分表方式，是我在工作中直接应用到的一种方式：
举一个简单的例子：
比如电商网站，需要记录用

			
		

	





	

		

			

				
					分库分表终极问题解答-高可用性实现方式：一致性hash
				
			

			

				

					shenjianox的专栏
				

				

					05-26
					
					4806
					
				

			

		

		

			
				
面试必考题

面试时候经常会问单表数据量过大如何拆分，拆分后数据迁移如何做，如何保证高可用，如何分页，如何多条件查询,如何保证事务一致性……一连串的问题问的满眼五角星。抽时间整理了一些文章发出来，希望可以帮到你，让你的面试官对你刮目相看。

今天主讲分库分表的高可用实现方式一致性hash

假如我们用sharding-jdbc分了15张表，之后业务需要扩展到20张表，那问题就来了，之前根据orde...

			
		

	





	

		

			

				
					哈希256规则分表
				
			

			

				

					每天进步一点点
				

				

					05-05
					
					2927
					
				

			

		

		

			
				
代码有点老，且没优化，贴下仅供参考：

declare @i int, @j int, @str Nvarchar(max),@temp nvarchar(10), @tempreg nvarchar(10)
set @i=0
set @j=0
set @str =''
set @temp=''
set @tempreg=''

while @i<=15
begin
	
	set @temp=

			
		

	





	

		

			

				
					数据库分库分表的应用场景及解决方案
				
			

			

				

					sunhuiliang85的专栏
				

				

					11-01
					
					2万+
					
				

			

		

		

			
				
数据库分库分表的应用场景及解决方案

   现实业务场景中，为了保障客户体验并满足业务的线性增长。会对数据量巨大，且业务会始终进行的产品进行分表分库策略。但是如何合理的根据业务采取争取的分表分库策略至关重要。下面以具体实例来进行分析。

• 场景一：用户中心，单key业务如何进行数据库切分

• 场景二：订单中心，多key业务如何进行数据库切分

场景一：用户中心数据库切分架构实践|场景介...

			
		

	





	

		

			

				
					哈希分片之哈希取模法（round robin）
				
			

			

				

					坏蛋小猴
				

				

					05-08
					
					1万+
					
				

			

		

		

			
				
接着上一章数据路由分片抽象模型，本节介绍一种此抽象模型的实现方案-round robin（哈希取模法）
假设有K台物理机 根据以下方法就可以实现数据分片
H(key) = hash(key)mod K
物理机编号为0到K-1  根据以上哈希方法 可以把数据分配到每台机器上，取数据时也是使用相同的方法。


但是如果新增一台物理机，哈希函数就变成以下形式
H(key)=hash(key

			
		

	





	

		

			

				
					Springboot集成Shardingsphere实现分库分表
				
			

			

				

					小渣渣的博客
				

				

					10-15
					
					283
					
				

			

		

		

			
				
shardingsphere
当公司业务量上去之后，单表支撑不了的时候，分库分表就是一个绕不开的话题，小弟最近新入职一家公司，发现这边公司在用ShardingSphere来进行分库分表，之前没接触过这方面，所以就写了个demo学习一下，下面文章就记录一下如何用ShardingSphere来进行分库分表！（能力有限，本章不会讲原理奥，只是记录如何分库分表，原理方面后面我学习了再写，现在先会用先0.0，）
1、官网文档地址 
这是ShardingSphere官网文档的地址，有需要的可以点进去看一下。
2、技术及

			
		

	





	

		

			

				
					基于springboot的ShardingSphere5.X的分库分表的解决方案之关联查询解决方案（三）
				
			

			

				

					笨鸟不会飞
				

				

					12-30
					
					331
					
				

			

		

		

			
				
基于springboot的ShardingSphere5.X的分库分表的解决方案之关联查询解决方案（三）

在前面两章已经讲解了分库分表的解决方案了，但是前面的两个章节的分库分表的解决方案都是基于单表的，那么我们在开发中的场景是复杂的，不可能数据的增删改查都是单表操作的，很多时候涉及的都是多表的关联操作，那么在这个章节将为大家讲解多表关联查询的解决方案。

1、数据库设计
​       在前面我们设计了其中的一张订单表了，那么在本章我们将涉及另外一张订单明细表，两者之间通过order_id产生关联关系，如

			
		

	





	

		

			

				
					基于springboot的ShardingSphere5.X的分库分表的解决方案之数据加密之AES的解决方案(十七)
				
			

			

				

					笨鸟不会飞
				

				

					01-07
					
					125
					
				

			

		

		

			
				
基于springboot的ShardingSphere5.X的分库分表的解决方案之数据加密之AES的解决方案(十七)

在前面的章节我们已经讲解了MD5的加密的解决方案，那么在本章我们将为大家讲解如何实现AES的加密解决方案，好了不多说了我们直接开始我们的配置的过程。

1、清理数据
​          由于我们之前创建了部分基于MD5加密的数据，为了防止对我们本章的测试产生干扰，因此我们首先要清空113数据库中的db0和db1中的t_user中的数据。

2、修改配置
​          打开我们的s

			
		

	





	

		

			

				
					分表策略
				
			

			

				

					csdn_9527666的博客
				

				

					03-27
					
					70
					
				

			

		

		

			
				
5.2 免迁移扩容

采用双倍扩容策略，避免数据迁移。扩容前每个节点的数据，有一半要迁移至一个新增节点中，对应关系比较简单。

具体操作如下(假设已有 2 个节点 A/B，要双倍扩容至 A/A2/B/B2 这 4 个节点)：

无需停止应用服务器；

新增两个数据库 A2/B2 作为从库，设置主从同步关系为：A=>A2、B=>B2，直至主从数据同步完毕(早期数据可手工同步)；

调整分...

			
		

	





	

		

			

				
					数据库分表实施策略
				
			

			

				

					南山行者
				

				

					03-01
					
					701
					
				

			

		

		

			
				
一、普通hash取余
 假设有一张记录用户购买信息的订单表order,由于order表记录条数太多，将被拆分成256
张表。拆分的记录根据user_id%256取得对应的表进行存储，前台应用则根据对应的
user_id%256,找到对应订单存储的表进行访问。




在缓存服务器采用这种策略，当出现下面的情况
1 、一个 cache 服务器 m down 掉了（在实际应用中必须要

			
		

	





	

		

			

				
					海量数据存储--分库分表策略详解
				
			

			

				

					克终的博客
				

				

					08-04
					
					1625
					
				

			

		

		

			
				
海量数据存储--分库分表策略详解

			
		

	



            

            

                ©️2020 CSDN
                皮肤主题: 博客之星2020
                 设计师:CY__
                
                    返回首页
                
            




        




    



    














        
实付
            49.90元

        
使用余额支付

        

        

                

                    
                    点击重新获取
                

            

            
扫码支付

        

        

        
        

         
        钱包余额
        0  
        

            
            

                

                    
抵扣说明：

                    
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

                

            

        

        

        余额充值