redis分片机制(shards)
redis分片机制(shards)
前提说明: redis可以通过修改内存的大小 实现数据的保存.但是内存的资源不易设置的过大,因为很多的时间都浪费在内存的寻址中.
需求: 如果有海量的数据,需要redis存储 问:应该如何处理?
解决方案: 可以采用Redis分片机制 实现内存数据的扩容.
知识点: 采用redis分片 只要的目的就是为了实现内存扩容.从而解决海量数据存储的问题
图解
Redis分片搭建步骤
我们可以启动多个redis服务, 来实现多个redis服务器, 因为redis是根据配置文件来启动的, 我们只需要准备3个不同的配置文件, 修改为不同的端口进行测试,
实际环境可能是3台redis 服务器, 我们只需要找对应的ip和段鸥配置即可, 这里为了方便测试, 在同一台机器上运行3个不同端口的redis服务
1. 准备条件
创建目录shards, 并复制3个redis配置文件到此目录, 文件名分别为 6379.conf, 6380.conf, 6381.conf
并修改配置文件中的端口号port=3679,port=3680,,port=3681
为了方便测试, 可先关闭AOF模式, 只使用rdb模式
修改配置文件中生成rdb文件的名称为 dbfilename=6379.rdb, dbfilename=6380.rdb, dbfilename=6381.rdb
启动3个redis服务:
redis-server 6379.conf redis-server 6380.conf redis-server 6381.conf
查看进程是否启动成功
ps -ef | grep redis
如果显示3个redis不同端口的进程说明启动成功, 可以进行下步操作了
2. springboot分片入门案例
首先确定已经导入了redis的相关maven依赖, 然后进行测试
分片机制使用的是 ShardedJedis 对象, 而不是 Jedis 对象, 其构造方法为传入JedisShardInfo集合, 集合中的数据为每个redis的服务器IP和port
public class TestShards { //改类表示测试redis分片机制
/**
* 说明:在Linux中有3台redis.需要通过程序进行动态链接.
* 实现数据的存储.
* 思考: 数据保存到了哪台redis中???
*/
@Test
public void test01(){
List<JedisShardInfo> shards = new ArrayList<>();
shards.add(new JedisShardInfo("192.168.126.129", 6379));
shards.add(new JedisShardInfo("192.168.126.129", 6380));
shards.add(new JedisShardInfo("192.168.126.129", 6381));
//分片的API
ShardedJedis shardedJedis = new ShardedJedis(shards);
shardedJedis.set("王者荣耀", "你好我是小菜鸡,坑死你");
System.out.println(shardedJedis.get("王者荣耀"));
}
}输出结果为 你好我是小菜鸡,坑死你
那么分片机制中的数据存到了哪个redis服务器? 是按什么算法进行存取的呢?? 请接着往下看
一致性hash算法
说明
一致性哈希算法在1997年由麻省理工学院提出，是一种特殊的哈希算法，目的是解决分布式缓存的问题。 在移除或者添加一个服务器时，能够尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系。一致性哈希解决了简单哈希算法在分布式哈希表( Distributed Hash Table，DHT) 中存在的动态伸缩等问题 。
原理
常识:
- 一般的hash由8位16进制数组成的. 共有2^32种可能性!!!
- hash算法对相同的数据进行hash运算时 结果必然相同.
特性
平衡性
平衡性是指hash的结果应该平均分配到各个节点，这样从算法上解决了负载均衡问题
说明:引入虚拟节点 实现数据的平衡 但是平衡是相对的.不是绝对的.
单调性
单调性是指在新增或者删减节点时，不影响系统正常运行 。
分散性
散性是指数据应该分散地存放在分布式集群中的各个节点(节点自己可以有备份)，不必每个节点都存储所有的数据 。
鸡蛋不要放到一个篮子里.
springboot整合哨兵机制
1. 准备redis.properties文件
每个IP和端口用逗号分隔, IP和端口之间使用:冒号分隔, 方便我们进行解析
# 配置多台redis redis.nodes=192.168.126.129:6379,192.168.126.129:6380,192.168.126.129:6381
2. 编辑配置类
@Configuration //标识我是配置类
@PropertySource("classpath:/properties/redis.properties")
public class RedisConfig {
@Value("${redis.nodes}")
private String nodes; //node,node,node
/**
* spring整合redis分片机制
*/
@Bean
public ShardedJedis shardedJedis(){
//1.获取每个节点的信息
String[] strNodes = nodes.split(",");
List<JedisShardInfo> shards = new ArrayList<>();
//2.遍历所有node.为list集合赋值
for(String node :strNodes){ //node=ip:port
String host = node.split(":")[0]; // ip
int port = Integer.parseInt(node.split(":")[1]); // port
JedisShardInfo info = new JedisShardInfo(host,port);
shards.add(info);
}
ShardedJedis shardedJedis = new ShardedJedis(shards);
return shardedJedis;
}
}3. 分片机制AOP
关于AOP实现分片机制, 可参考 [AOP实现单台redis]
我们只需要将第三步中 private Jedis jedis; 改为 private ShardedJedis jedis 即可