文学起点网
当前位置: 首页 文学百科

mysql数据库本质解析(深入理解MYSQL之缓存)

时间:2023-06-12 作者: 小编 阅读量: 5 栏目名: 文学百科

对于同一个服务器而言,写MySQL前如果不删除redis中对应的key,其他的访问可能会读取到老数据,导致数据不一致。异常情况缓存穿透假设某个数据redis不存在,mysql也不存在,如果一直尝试读,数据最终压力依然堆积在MySQL,可能造成MySQL不堪负重而崩溃。缓存击穿某些数据redis没有,但是mysql有;此时大量这类数据的并发请求,同样造成mysql压力过大。缓存雪崩表示一段时间内,缓存集中失效,导致请求全部走mysql,可能搞垮数据库,整个服务失效。

在讲缓存之前先了解一下,什么是MYSQL的主从复制和读写分离。

主从复制

master是主数据库,stave从数据库

(1)DML操作引起主数据库数据变更,产生binlog文件(二进制日志,在事务提交后产生),通过io-thread写入binlog;

(2)从数据库请求读取binlog,开启io-thread线程读取主数据库发送过来的binlog,并写入relaylog(中继日志);

(3)从数据库通过SQL-thread读取relaylog,进行回放(就是在主数据执行的DML操作在从数据库执行一遍),这样就能保持从数据库与主数据库一致。

读写分离

应用层写操作在主数据库,读操作在从数据库,这种读写分离可高效解决读性能,由于主数据库同步到从数据库需要一点的时间,所以从数据库读取到的数据不一定是最新的数据,会有一定的延迟,看具体的业务要求可否满足。最终一致性,写主数据库,读从数据库;而强一致性,写主数据库,对于读,根据业务需求,对数据进行划分,那些数据对一致性要求高的,读主数据库,那些数据对一致性要求不高的,读从数据库。

缓存方案

使用的前提是读多写少,单个节点能支撑项目数据量;MySQL有缓冲层,它的作用是用来缓存热点数据,这些数据包括数据文件、索引文件等;MySQL缓冲层是从自身出发,跟具体的业务无关;MySQL数据主要存储在磁盘当中,适合大量重要数据的存储。

缓存数据库可以使用redis、memcached;它所有的数据都存储在内存当中,当然也可以将内存当中的数据持久化到磁盘中;内存的访问速度是磁盘访问速度的10万倍,所以可以将热点数据在缓存数据库中备份,将热点读操作转移到缓存数据库。

同步问题

没有缓冲层之前,我们对数据库的读写都是基于MySQL,所以不存在同步问题;引入缓冲层后,我们需要分别操作MySQL和缓存数据库,那么这个时候数据可能存在几个状态:

(1)MySQL有,缓存无;

(2)MySQL无,缓存有;

(3)都有,但是数据不一致;

(4)都有,数据一致;

(5)都没有。

4,5显然没有问题,我们获取数据的主要依据是MySQL,所以在保证MySQL数据正确下,只需将MySQL的数据正确同步到缓存数据库就可以了;对于2,缓存有MySQL无,可以认为这是脏数据,MySQL和缓存都有,但不一致,这两个问题,在同步策略中需要避免。

C后台开发架构师免费学习地址:C/CLinux服务器开发/后台架构师【零声教育】-学习视频教程-腾讯课堂

另外还整理一些C后台开发架构师 相关学习资料,面试题,教学视频,以及学习路线图,免费分享有需要的可以自行添加: 正在跳转~ 群文件共享,详情看以下视频 Linux C/C后台开发学习资料

解决数据同步问题

以下分别对强一致性和最终一致性解决同步问题。

(1)强一致性

a. 同步是否成功的依据来源于mysql是否同步到redis,即使没有同步成功,也没有关系;

b. 写流程:先删除缓存,再写mysql,后面同步数据交由go-mysql-transfer;

c. 先删除缓存,为了避免其他服务读取旧的数据,也是告知系统这个数据已经不是最新,建议从mysql获取;

d. 强一致性只试用于单数据中心的模型下;

e. 多数据中心模型,不管先操作redis还操作mysql都会引起分布式异常问题的产生,此时可以使用分布式锁解决,但是得不偿失,可以将多数据中心转为单数据中心;或者强一致性需求读写都走mysql,其他低一致性需求走最终一致性。

为什么要删除?

对于同一个服务器而言,写MySQL前如果不删除redis中对应的key,其他的访问可能会读取到老数据,导致数据不一致。

(2)最终一致性

读写分离,主库将数据同步到从库,是需要一定时间,那么在同步期间,主从之间数据有差异,有两种解决方案:

a. 直接写 mysql,等待 mysql 同步数据到 redis;

b. 先写redis,设置key的过期时间为200ms,等待mysql写回 redis,覆盖key,设置更长的过期时间;200ms默认的是写mysql到mysql同步到redis时长,这个需要根据实际环境进行设置。

异常情况

(1)缓存穿透

假设某个数据redis不存在,mysql也不存在,如果一直尝试读,数据最终压力依然堆积在MySQL,可能造成MySQL不堪负重而崩溃。

解决方法:

a.发现MySQL不存在,将redis中访问的这个key设置为<key,nil>,并设置过期时间,下次访问该key的时候,不再访问MySQL,不过会容易造成redis缓存很多无效数据

b.布隆过滤器(存在限制是不持支删除操作),将MySQL当中已经存在的key,写入布隆过滤器,访问不存在的可直接pass掉。

(2)缓存击穿

某些数据redis没有,但是mysql有;此时大量这类数据的并发请求,同样造成mysql压力过大。

解决:

a. 加锁,请求数据时获取锁,如果获取成功,则操作(先读redis,不存在,读mysql,写redis,释放锁);获取失败,则休眠一段时间(200ms)再去获取,获取成功,待操作完后释放锁;

b. 将很热的key,设置永不过期。

(3)缓存雪崩

表示一段时间内,缓存集中失效(redis无,mysql有),导致请求全部走mysql,可能搞垮数据库,整个服务失效。

解决:

a. 如果因为缓存数据库宕机,造成所有数据涌向mysql;采用高可用的集群方案,如哨兵模式、cluster模式;

b. 如果因为设置了相同的过期时间,造成缓存集中失效;设置随机过期时间或者其他机制错开失效;

c. 如果因为系统重启的时候,造成缓存数据库失效;重启时间短,redis开启持久化(过期时间也会持久化)就行了;如果重启时间长,则提前将热数据导入redis当中。

原文地址:MYSQL之缓存 - MrJuJu - 博客园

    推荐阅读
  • 苏州旅游攻略景点必去(苏州旅游必去景点有哪些)

    位于苏州市东北街一百七十八号,始建于明朝正德年间。虎丘是AAAAA级景区及全国文明单位,首批十佳文明风景旅游区示范点。中午,周庄最为欢闹,游人穿梭熙熙攘攘,船儿来回摇摇荡荡,各地的游客与热情的商铺融为一体,热闹非凡,安静的古镇着实多了些欢闹的气息。狮子林为苏州四大名园之一,位于苏州市市城东北园林路。

  • 买的玉米种子是瘪的(去年买的玉米种子剩了很多)

    去年买的陈玉米种子建议不要用针对去年的陈玉米种子,大多情况下不建议再次使用,会影响到玉米后期的生长和产量情况。陈年的因为保管的问题,可能会出现很多因素影响玉米的出苗率或者后期的生长。陈玉米种子隔了一年后再种植,种子自身水分含量降低,水分降低严重的情况下,影响播种的效率和玉米的后期生长,由于活性降低,即使能出芽,也不一定能出苗。

  • 173.2亿!国庆消费火爆 国庆消费市场

    今年国庆、重阳两节叠加,全省消费市场呈现平衡较快增长态势,服装、家电、汽车等商品消费亮点突出,大众餐饮、旅行休闲、文体娱乐等主要服务消费备受青睐。根据商务部业务统一平台生存必需品监测系统显示,国庆黄金周期间,全省生存必需品市场供应充沛,价格总体平衡。除了买买买,国庆还是婚庆、团圆、会友高峰,各地亲友聚餐、婚寿宴等大众化餐饮生意兴隆。

  • 吴承恩是怎么写出的西游记(吴承恩怎么写出的西游记)

    吴承恩怎么写出的西游记诸葛长青:吴承恩写西游记诸葛长青:吴承恩怎么写出的《西游记》西游记,广泛流传西游记,作者吴承恩西游记,包含了儒释道大智慧那么,吴承恩是怎么写出的《西游记》呢?诸葛长青把自己对吴承恩写《西游记》,研究成。

  • 李逵扮演者(大家一起来看看吧)

    我们一起去了解并探讨一下这个问题吧!李逵扮演者赵小锐的李逵应该算是很多人印象当中的经典所在了,他的李逵也是很粗犷,但是这种粗犷当中却带着细腻,也是因为这个角色,他开始受到了不少的观众的关注和喜爱。其实之前的他也有出演过一些电视剧的,但是可惜的是一直都没能够真正的红起来,是李逵这个角色,让他一夜成名爆火了。

  • 汽车空间大小怎么看轴距(什么因素会影响车内空间)

    大众速腾,长度4655mm,轴距2651mm。看外观就明白了,因为宝马320i是后驱车,发动机采用纵置布局;而大众速腾是前驱车,发动机采用横置布局。而且由于发动机纵置,后驱设计,对于车内空间侵占较为严重,所以宝马320的长轴距实际上对于空间的帮助是“虚高”的。前面我们就提到了,宝马3系采用了后驱,大众速腾采用了前驱。回到我们的主题,通常来说,麦弗逊与扭力梁对于车辆空间的侵占是最小的,而多连杆和双叉臂对于车辆空间侵占是要更大的。

  • 湖南省医保局2015年工作思路与安排 湖南省医疗保障局领导班子组成人员

    督促指导各统筹地区核实提高缴费基数,强化保险费足额征收。继续加强工伤认定参与,把好工伤入口关。认真核实、积极处理群众举报问题,始终保持高压态势。加强生育医疗服务管理,规范生育津贴发放。二是启动实施工伤保险信息系统改造升级,改进工伤职工异地就医联网结算,方便工伤职工救治。三是加强财务、业务数据清理,提高数据质量;通报全省“三险”基金运行分析,指导市州加强基金运行风险管控。

  • 民国最渣四大渣男(民国著名4大渣男)

    当时很多文人在接受自由恋爱的思想时,家中已经有了父母为之安排的妻子。郁达夫一生有过三位妻子,一位同居情人。郁达夫后来还是和王映霞离婚,1940年在新加坡认识了比他小20岁的播音员李莜英,两人很快就同居了。第二任妻子佐藤富子,是个日本女人,为了和郭沫若在一起,不仅改名为“郭安娜”,还和父母断绝了关系。1937年,郭沫若抛弃妻子回国,和女明星于立群同居,两人于2年后再重庆结婚。

  • 电脑怎么连打印机教程(教会你快速学会电脑如何连接打印机的安装使用方法)

    最近很多网友都在私信给小编,小编也无法一一回复,有些问题也无法简约介绍,所以只能在头条文章内与大家共享。

  • 爱吃鸡蛋的注意了这3种鸡蛋不能买(这些鸡蛋没你想的那么好)

    营养均衡的孩子没必要补这种元素;真正缺乏硒,靠富硒蛋补,根本起不了多大作用。这类蛋再好,也别给孩子吃那就是全生或半熟的蛋,比如溏心蛋。一般溏心蛋的加热时间短,不能完全杀死细菌,生蛋液根本没有处理细菌,对于抵抗力低、易感染的宝宝来说,非常容易被细菌感染。