Redis缓存与Mysql如何保证一致性？
前言
缓存和数据库如何保证数据的一致是个很经典的问题，关于先更新缓存，还是先更新数据库，或者先删除缓存，还是先删除数据的先后问题，再读写并发的场景下很难做到数据一致，我认为比较好的两种方案：一种是我们经常说的延迟双删机制，但是这个延迟的时间是无法很准确的把握的，还有如果缓存删除失败了应该如何处理，总体来说还是不保险的；另外一种我认为是比较可行的方法，要引入阿里的canal，通过拉取binlog日志解析推送的mq实现异步更新缓存，达到最终缓存和数据库的一致性；
延迟双删策略
基本流程就是客户端a请求,先去删除缓存，然后将数据写入数据库，此时客户端b查询先去查询缓存，缓存没有返回，去查数据库，此时还没有完成主从同步，拿到是从库的旧数据，然后将旧数据进行缓存，在客户端a完成主从同步后，再次删除缓存，这时数据才是一致的，但是重点就是在休眠的几秒钟，会造成数据的不一致性；
注意点：第二次删除缓存如果失败，那么缓存里面大概率还是旧数据；所以第二次缓存删除重试的方法比较关键：
一种：失败记录写表，起定时任务去扫描表进行重试，显然这种方式并不会很好，会对数据库造成很大的压力；
另外一种：异步处理，利用消息队列，将消息放在队列中，缓解数据库压力，但是要增加对消息队列的维护；
简单写个延迟双删的demo
@restcontroller@requestmappingpublic class rediscontroller { @autowired private redistemplate redistemplate; @autowired private sysusermapper sysusermapper; @getmapping public void duoblecancle() throws interruptedexception { redistemplate.delete(1); sysuser sysuser = sysusermapper.selectuserbyid(long.valueof(1)); sysuser updatesysuser =new sysuser(); updatesysuser.setusername(lxlxxx); updatesysuser.setemail(@163.com); updatewrapper updatewrapper = new updatewrapper(); updatewrapper.eq(userid,1); sysusermapper.update(updatesysuser,updatewrapper); thread.sleep(3000); redistemplate.opsforvalue().append(sysuser.getuserid(), json.tojsonstring(sysuser)); redistemplate.delete(1); } 由此可见问题还是比较多的，如果这么在项目中使用这种写法，那最终还是会读取到脏数据；
基于订阅binlog异步更新缓存
大致的流程是这样的：
具体binlog订阅实现
步骤：先安装canal、然后安装rabbitmq、然后就是mysql
canal配置，因为canal支持 tcp, kafka, rocketmq, rabbitmq这四种异步的方式，这里我们使用 rabbitmq，所以将servermode配置成rabbitmq
canal.ip = 1 canal.servermode = rabbitmq canal.mq.servers = 127.0.0.1 canal.mq.vhost=canal canal.mq.exchange=exchange.trade canal.mq.username=guest canal.mq.password=guest --------------------------------------------------------------------------------- canal.instance.dbusername=rootcanal.instance.dbpassword=123456canal.instance.mysql.slaveid=1234 canal.instance.master.address=127.0.0.1:3306 canal.instance.defaultdatabasename=test canal.mq.topic=example mysql的my.cnf配置
log-bin=mysql-bin binlog-format=row server_id=1 引入依赖，我分别引入的是redis、rabbitmq、mybatis-plus、fastsjon的包
org.springframework.boot spring-boot-starter-web org.springframework.boot spring-boot-starter-data-redis org.springframework.boot spring-boot-starter-amqp com.alibaba fastjson 1.2.3 com.baomidou mybatis-plus-boot-starter ${mybatis.plus.version} application.yml配置文件
spring: rabbitmq: virtual-host: canal host: 127.0.0.1 publisher-confirms: true datasource: url: jdbc//127.0.0.1:3306/test?useunicode=true&characterencoding=utf8&usessl=false&servertimezone=utc username: root password: root driver-class-name: com.mysql.jdbc.driver redis: host: 127.0.0.1 rabbitmqconfig配置
@configurationpublic class rabbitmqconfig { @bean public queue testdirectqueue() { return new queue(exchange.canal.queue,true); } @bean directexchange testdirectexchange() { return new directexchange(exchange.canal); } @bean binding bindingdirect() { return bindingbuilder.bind(testdirectqueue()).to(testdirectexchange()).with(example); } } rabbitmqlistener监听消息异步处理 canal拉取的binlog日志
@component@slf4jpublic class rabbitmqlistener { @autowired private stringredistemplate redistemplate; @rabbitlistener(queues = exchange.canal.queue) public void process(message message) { log.info(canal queue消费的消息 + message.getbody()); map map = json.parseobject(message.getbody(), map.class); jsonarray array = null; string sqltype = (string) map.get(type); if (stringutils.endswithignorecase(select, sqltype)) { array = jsonarray.parsearray((string) map.get(data)); } if (null == array) { return; } jsonobject jsonobject = array.getjsonobject(0); if (stringutils.endswithignorecase(update, sqltype) || stringutils.endswithignorecase(insert, sqltype)) { redistemplate.boundvalueops(jsonobject.get(code).tostring()).set(jsonobject.tostring()); } else if (stringutils.endswithignorecase(delete, sqltype)) { redistemplate.delete(jsonobject.get(code).tostring()); } if (stringutils.endswithignorecase(select, sqltype)) { redistemplate.boundvalueops(jsonobject.get(code).tostring()).set(jsonobject.tostring()); } else { redistemplate.delete(jsonobject.get(code).tostring()); } }} 总结
在高并发的场景下缓存和数据库的一致性的问题，永远是个比较大的问题，在请求量很大的情况下，我们必须使用缓存来减少数据库的压力，但是我们需要对数据库进行频繁更新，其实基本保证不了瞬间的一致性，只能在最终保证一致性，通过消息异步的方式可以有效的控制缓存更新、删除的可靠性。
无线通信设备通用测试方法总结
无线水文采集系统解决方案
若室温超导实现世界会发生啥改变
基于TNY275PN芯片实现反激式低成本高效率驱动电源电路的设计
“行走的密码”如何保障个人资金及相关信息？
Redis缓存与Mysql如何保证一致性？
当冷却液温度传感器出现故障时,会造成什么影响
汽车传感器概述
低噪声放大器的仿真设计具有十分重要的意义
阿里云基于NVM的持久化高性能Redis数据库
工控板维修的技巧
中国医疗器械售后维修服务，医疗器械行业的下一个风口
如何从PCB到FPGA获取用户时钟
拆解|可能是最便宜的智能家居产品——WiFi智能插座
云计算和数据中心发展对机架式UPS的六大需求
ABC三位一体AI，才能推动各个产业更加智能地运转
乘《科学技术进步法》东风，迈向精密仪器技术之巅
脉冲成形FIR滤波器设计及ASIC实现讨论
面对软包/方形攻城略地 看圆柱电池厂商如何拆招？
电子产品中使用的的铜材料有何讲究？
缓存和数据库如何保证数据的一致是个很经典的问题，关于先更新缓存，还是先更新数据库，或者先删除缓存，还是先删除数据的先后问题，再读写并发的场景下很难做到数据一致，我认为比较好的两种方案：一种是我们经常说的延迟双删机制，但是这个延迟的时间是无法很准确的把握的，还有如果缓存删除失败了应该如何处理，总体来说还是不保险的；另外一种我认为是比较可行的方法，要引入阿里的canal，通过拉取binlog日志解析推送的mq实现异步更新缓存，达到最终缓存和数据库的一致性；
延迟双删策略
基本流程就是客户端a请求,先去删除缓存，然后将数据写入数据库，此时客户端b查询先去查询缓存，缓存没有返回，去查数据库，此时还没有完成主从同步，拿到是从库的旧数据，然后将旧数据进行缓存，在客户端a完成主从同步后，再次删除缓存，这时数据才是一致的，但是重点就是在休眠的几秒钟，会造成数据的不一致性；
注意点：第二次删除缓存如果失败，那么缓存里面大概率还是旧数据；所以第二次缓存删除重试的方法比较关键：
一种：失败记录写表，起定时任务去扫描表进行重试，显然这种方式并不会很好，会对数据库造成很大的压力；
另外一种：异步处理，利用消息队列，将消息放在队列中，缓解数据库压力，但是要增加对消息队列的维护；
简单写个延迟双删的demo
@restcontroller@requestmappingpublic class rediscontroller { @autowired private redistemplate redistemplate; @autowired private sysusermapper sysusermapper; @getmapping public void duoblecancle() throws interruptedexception { redistemplate.delete(1); sysuser sysuser = sysusermapper.selectuserbyid(long.valueof(1)); sysuser updatesysuser =new sysuser(); updatesysuser.setusername(lxlxxx); updatesysuser.setemail(@163.com); updatewrapper updatewrapper = new updatewrapper(); updatewrapper.eq(userid,1); sysusermapper.update(updatesysuser,updatewrapper); thread.sleep(3000); redistemplate.opsforvalue().append(sysuser.getuserid(), json.tojsonstring(sysuser)); redistemplate.delete(1); } 由此可见问题还是比较多的，如果这么在项目中使用这种写法，那最终还是会读取到脏数据；
基于订阅binlog异步更新缓存
大致的流程是这样的：
具体binlog订阅实现
步骤：先安装canal、然后安装rabbitmq、然后就是mysql
canal配置，因为canal支持 tcp, kafka, rocketmq, rabbitmq这四种异步的方式，这里我们使用 rabbitmq，所以将servermode配置成rabbitmq
canal.ip = 1 canal.servermode = rabbitmq canal.mq.servers = 127.0.0.1 canal.mq.vhost=canal canal.mq.exchange=exchange.trade canal.mq.username=guest canal.mq.password=guest --------------------------------------------------------------------------------- canal.instance.dbusername=rootcanal.instance.dbpassword=123456canal.instance.mysql.slaveid=1234 canal.instance.master.address=127.0.0.1:3306 canal.instance.defaultdatabasename=test canal.mq.topic=example mysql的my.cnf配置
log-bin=mysql-bin binlog-format=row server_id=1 引入依赖，我分别引入的是redis、rabbitmq、mybatis-plus、fastsjon的包
org.springframework.boot spring-boot-starter-web org.springframework.boot spring-boot-starter-data-redis org.springframework.boot spring-boot-starter-amqp com.alibaba fastjson 1.2.3 com.baomidou mybatis-plus-boot-starter ${mybatis.plus.version} application.yml配置文件
spring: rabbitmq: virtual-host: canal host: 127.0.0.1 publisher-confirms: true datasource: url: jdbc//127.0.0.1:3306/test?useunicode=true&characterencoding=utf8&usessl=false&servertimezone=utc username: root password: root driver-class-name: com.mysql.jdbc.driver redis: host: 127.0.0.1 rabbitmqconfig配置
@configurationpublic class rabbitmqconfig { @bean public queue testdirectqueue() { return new queue(exchange.canal.queue,true); } @bean directexchange testdirectexchange() { return new directexchange(exchange.canal); } @bean binding bindingdirect() { return bindingbuilder.bind(testdirectqueue()).to(testdirectexchange()).with(example); } } rabbitmqlistener监听消息异步处理 canal拉取的binlog日志
@component@slf4jpublic class rabbitmqlistener { @autowired private stringredistemplate redistemplate; @rabbitlistener(queues = exchange.canal.queue) public void process(message message) { log.info(canal queue消费的消息 + message.getbody()); map map = json.parseobject(message.getbody(), map.class); jsonarray array = null; string sqltype = (string) map.get(type); if (stringutils.endswithignorecase(select, sqltype)) { array = jsonarray.parsearray((string) map.get(data)); } if (null == array) { return; } jsonobject jsonobject = array.getjsonobject(0); if (stringutils.endswithignorecase(update, sqltype) || stringutils.endswithignorecase(insert, sqltype)) { redistemplate.boundvalueops(jsonobject.get(code).tostring()).set(jsonobject.tostring()); } else if (stringutils.endswithignorecase(delete, sqltype)) { redistemplate.delete(jsonobject.get(code).tostring()); } if (stringutils.endswithignorecase(select, sqltype)) { redistemplate.boundvalueops(jsonobject.get(code).tostring()).set(jsonobject.tostring()); } else { redistemplate.delete(jsonobject.get(code).tostring()); } }} 总结
在高并发的场景下缓存和数据库的一致性的问题，永远是个比较大的问题，在请求量很大的情况下，我们必须使用缓存来减少数据库的压力，但是我们需要对数据库进行频繁更新，其实基本保证不了瞬间的一致性，只能在最终保证一致性，通过消息异步的方式可以有效的控制缓存更新、删除的可靠性。
无线通信设备通用测试方法总结
无线水文采集系统解决方案
若室温超导实现世界会发生啥改变
基于TNY275PN芯片实现反激式低成本高效率驱动电源电路的设计
“行走的密码”如何保障个人资金及相关信息？
Redis缓存与Mysql如何保证一致性？
当冷却液温度传感器出现故障时,会造成什么影响
汽车传感器概述
低噪声放大器的仿真设计具有十分重要的意义
阿里云基于NVM的持久化高性能Redis数据库
工控板维修的技巧
中国医疗器械售后维修服务，医疗器械行业的下一个风口
如何从PCB到FPGA获取用户时钟
拆解|可能是最便宜的智能家居产品——WiFi智能插座
云计算和数据中心发展对机架式UPS的六大需求
ABC三位一体AI，才能推动各个产业更加智能地运转
乘《科学技术进步法》东风，迈向精密仪器技术之巅
脉冲成形FIR滤波器设计及ASIC实现讨论
面对软包/方形攻城略地 看圆柱电池厂商如何拆招？
电子产品中使用的的铜材料有何讲究？