文学起点网
当前位置: 首页 文学百科

mysql数据库本质解析(深入理解MYSQL之缓存)

时间:2023-06-12 作者: 小编 阅读量: 5 栏目名: 文学百科

对于同一个服务器而言,写MySQL前如果不删除redis中对应的key,其他的访问可能会读取到老数据,导致数据不一致。异常情况缓存穿透假设某个数据redis不存在,mysql也不存在,如果一直尝试读,数据最终压力依然堆积在MySQL,可能造成MySQL不堪负重而崩溃。缓存击穿某些数据redis没有,但是mysql有;此时大量这类数据的并发请求,同样造成mysql压力过大。缓存雪崩表示一段时间内,缓存集中失效,导致请求全部走mysql,可能搞垮数据库,整个服务失效。

在讲缓存之前先了解一下,什么是MYSQL的主从复制和读写分离。

主从复制

master是主数据库,stave从数据库

(1)DML操作引起主数据库数据变更,产生binlog文件(二进制日志,在事务提交后产生),通过io-thread写入binlog;

(2)从数据库请求读取binlog,开启io-thread线程读取主数据库发送过来的binlog,并写入relaylog(中继日志);

(3)从数据库通过SQL-thread读取relaylog,进行回放(就是在主数据执行的DML操作在从数据库执行一遍),这样就能保持从数据库与主数据库一致。

读写分离

应用层写操作在主数据库,读操作在从数据库,这种读写分离可高效解决读性能,由于主数据库同步到从数据库需要一点的时间,所以从数据库读取到的数据不一定是最新的数据,会有一定的延迟,看具体的业务要求可否满足。最终一致性,写主数据库,读从数据库;而强一致性,写主数据库,对于读,根据业务需求,对数据进行划分,那些数据对一致性要求高的,读主数据库,那些数据对一致性要求不高的,读从数据库。

缓存方案

使用的前提是读多写少,单个节点能支撑项目数据量;MySQL有缓冲层,它的作用是用来缓存热点数据,这些数据包括数据文件、索引文件等;MySQL缓冲层是从自身出发,跟具体的业务无关;MySQL数据主要存储在磁盘当中,适合大量重要数据的存储。

缓存数据库可以使用redis、memcached;它所有的数据都存储在内存当中,当然也可以将内存当中的数据持久化到磁盘中;内存的访问速度是磁盘访问速度的10万倍,所以可以将热点数据在缓存数据库中备份,将热点读操作转移到缓存数据库。

同步问题

没有缓冲层之前,我们对数据库的读写都是基于MySQL,所以不存在同步问题;引入缓冲层后,我们需要分别操作MySQL和缓存数据库,那么这个时候数据可能存在几个状态:

(1)MySQL有,缓存无;

(2)MySQL无,缓存有;

(3)都有,但是数据不一致;

(4)都有,数据一致;

(5)都没有。

4,5显然没有问题,我们获取数据的主要依据是MySQL,所以在保证MySQL数据正确下,只需将MySQL的数据正确同步到缓存数据库就可以了;对于2,缓存有MySQL无,可以认为这是脏数据,MySQL和缓存都有,但不一致,这两个问题,在同步策略中需要避免。

C后台开发架构师免费学习地址:C/CLinux服务器开发/后台架构师【零声教育】-学习视频教程-腾讯课堂

另外还整理一些C后台开发架构师 相关学习资料,面试题,教学视频,以及学习路线图,免费分享有需要的可以自行添加: 正在跳转~ 群文件共享,详情看以下视频 Linux C/C后台开发学习资料

解决数据同步问题

以下分别对强一致性和最终一致性解决同步问题。

(1)强一致性

a. 同步是否成功的依据来源于mysql是否同步到redis,即使没有同步成功,也没有关系;

b. 写流程:先删除缓存,再写mysql,后面同步数据交由go-mysql-transfer;

c. 先删除缓存,为了避免其他服务读取旧的数据,也是告知系统这个数据已经不是最新,建议从mysql获取;

d. 强一致性只试用于单数据中心的模型下;

e. 多数据中心模型,不管先操作redis还操作mysql都会引起分布式异常问题的产生,此时可以使用分布式锁解决,但是得不偿失,可以将多数据中心转为单数据中心;或者强一致性需求读写都走mysql,其他低一致性需求走最终一致性。

为什么要删除?

对于同一个服务器而言,写MySQL前如果不删除redis中对应的key,其他的访问可能会读取到老数据,导致数据不一致。

(2)最终一致性

读写分离,主库将数据同步到从库,是需要一定时间,那么在同步期间,主从之间数据有差异,有两种解决方案:

a. 直接写 mysql,等待 mysql 同步数据到 redis;

b. 先写redis,设置key的过期时间为200ms,等待mysql写回 redis,覆盖key,设置更长的过期时间;200ms默认的是写mysql到mysql同步到redis时长,这个需要根据实际环境进行设置。

异常情况

(1)缓存穿透

假设某个数据redis不存在,mysql也不存在,如果一直尝试读,数据最终压力依然堆积在MySQL,可能造成MySQL不堪负重而崩溃。

解决方法:

a.发现MySQL不存在,将redis中访问的这个key设置为<key,nil>,并设置过期时间,下次访问该key的时候,不再访问MySQL,不过会容易造成redis缓存很多无效数据

b.布隆过滤器(存在限制是不持支删除操作),将MySQL当中已经存在的key,写入布隆过滤器,访问不存在的可直接pass掉。

(2)缓存击穿

某些数据redis没有,但是mysql有;此时大量这类数据的并发请求,同样造成mysql压力过大。

解决:

a. 加锁,请求数据时获取锁,如果获取成功,则操作(先读redis,不存在,读mysql,写redis,释放锁);获取失败,则休眠一段时间(200ms)再去获取,获取成功,待操作完后释放锁;

b. 将很热的key,设置永不过期。

(3)缓存雪崩

表示一段时间内,缓存集中失效(redis无,mysql有),导致请求全部走mysql,可能搞垮数据库,整个服务失效。

解决:

a. 如果因为缓存数据库宕机,造成所有数据涌向mysql;采用高可用的集群方案,如哨兵模式、cluster模式;

b. 如果因为设置了相同的过期时间,造成缓存集中失效;设置随机过期时间或者其他机制错开失效;

c. 如果因为系统重启的时候,造成缓存数据库失效;重启时间短,redis开启持久化(过期时间也会持久化)就行了;如果重启时间长,则提前将热数据导入redis当中。

原文地址:MYSQL之缓存 - MrJuJu - 博客园

    推荐阅读
  • 拉布拉多怎么看纯不纯(如何看拉布拉多品相)

    最简单的办法,看毛色,拉布拉多只有三种颜色:黄色、黑色和棕色,纯色,不会有其他颜色,黑色的拉布拉多注意一下,胸前不能有大片白色,少量几根白毛是允许的,接下来我们就来聊聊关于拉布拉多怎么看纯不纯?拉布拉多还有个特征就是尾巴,俗称水獭尾巴,就是一条粗粗的直直的尾巴,一般向下,很少有向上扬起,更不能卷起来。拉布拉多耳朵比较大,拉起来可以遮住狗的眼睛,向下耷拉,耳朵不能竖起来。

  • jdm 车型推荐(美国人为啥喜欢日系车)

    本以为Supra的美国之旅即将在此终结时,事情迎来了转机。有着EK打下的基础,2017年发售的FK8TypeR更是炙手可热,以3.5万美元限量发售的它瞬间被抢购一空。值得一提的是,S2000也是迄今为止唯一一台后驱的红头发动机车型。为纪念这段不平凡的岁月,塞纳加入了本田的设计团队并参与了NSX的测试工作。此后,本田更是赠送了两辆NSX给他作为纪念。据统计,老款NSX在它15年的生命中仅生产了1.8万多辆,而其中有一半以上都是被美国人买走的。

  • word怎么自动编号(方法简单易懂)

    接下来我们就一起去了解一下吧!word怎么自动编号首先打开计算机,打开Word将各级标题设置成对应的标题格式。然后,点击菜单栏的多级列表,选择定义新的多级列表。点击确定之后,标题的标号就成功了,正文的各级标题都已经编号了,这时增加标题或删减标题,各级标题的编号都会自动随之变化。

  • 赛博朋克2077插件代码有哪些(赛博朋克2077插件怎么使用)

    赛博朋克2077插件代码有哪些?插件代码不少,但是真正好用的却不是很多,下面小编就带来赛博朋克2077插件代码分享,一起来看看吧。

  • 气缸缓冲怎么调节(一般都会用这种方法)

    下面更多详细答案一起来看看吧!气缸缓冲怎么调节首先将速度控制阀的开度放在调整范围内的中间位置。随后逐渐调节减压阀的输出压力,当气缸接近预定速度时,即可确定工作压力。然后用速度控制阀进行微调,最后调节气缸的缓冲,调节缓冲针阀使活塞的惯性得到吸收,其最终速度又不致撞击缸盖为宜,榛锐机电供应气缸。

  • 跑步机皮带异响处理方法(怎么解决跑步机皮带异响)

    跑步机皮带异响处理方法跑带声音和跑步声,处理方法:当在跑步机上面运动时有“刷刷”的声音,是因为跑带和跑板没有完全磨合,使用一段时间后声音会减轻。如跑板有“吱嘎”的声音,则是跑板固定螺丝松动,处理方法:将跑板最末端银白色塑料套取下,再将跑板边上塑料条往后抽出,能看到跑板表面固定螺丝,然后用M6六角扳手固定或将跑板下面螺丝固定好。如电机有异晌则需更换电机。

  • 易建联个人资料简介(易建联个人介绍)

    2010年6月30日,转会至华盛顿奇才队。2011年10月8日,易建联重回CBA为广东东莞银行队效力。2015年10月3日,易建联等人带领的中国男篮在2015年男篮亚锦赛上夺冠,并获得里约奥运会比赛资格。2015年,获得中国十佳运动员称号。2017年12月5日,易建联选评为“全球杰青”。2019年2月15日,易建联正式成为CBA历史篮板王。2019年3月15日,易建联成为CBA首位最佳防守球员。2019年5月3日,易建联随广东队夺得2018-19赛季CBA总冠军并荣膺总决赛MVP。

  • 国内翡翠原石产地(翡翠的介绍)

    国内翡翠原石产地国内翡翠原石产地为新疆和田地区策勒县。翡翠的原产地很少,在世界上只有美国、日本、俄罗斯、危地马拉、缅甸、中国等几个国家,中国新疆和田地区策勒县出产少量翡翠矿石,而缅甸是翡翠产量最高、品质最好的国家。翡翠的正确定义是以硬玉矿物为主的辉石类矿物组成的纤维状集合体,是在地质作用下形成的。市场上商业品级的翡翠玉石95%以上来自缅甸,缅甸是世界翡翠出产最丰富的国家,且以玉石优质闻名。

  • 这三本小说真是值得一看(这些小说真的太冷门了)

    为了响应冷空气的号召,榜哥决定再添股风,专门为各位小伙伴准备了五本过冬必备的冷门小说。其实关于《新宋》这本书,能说的东西有很多,甚至单独做一期节目也是绰绰有余。作为一本穿越小说,《新宋》的主体却不单单只是穿越,更近似是一部关于宋朝的大百科全书。新宋值得称赞的地方太多太多,而我只想说一句,新宋是一本成功的历史小说。这,便是你们不容错过的理由好了,我是榜哥,网络小说排行榜,关注转发不书荒。

  • 冬天洗澡的水温多少度合适(冬天洗澡水温多少度最好)

    冬天如果要洗澡的话,建议将水温控制在40摄氏度左右最好。因为这个温度只高出体表几度,肤感会比较的舒适。并且这个水温洗澡还能够起到较好的去垢止痒、舒筋活血、发汗镇痛的作用。但如果觉得水温冷的话可以稍稍调高几度,但注意水温不能过高,不然就会对身体造成不好的影响。并且水温过高还会使得体表的油脂被过度冲掉,这样就是使得皮肤出现干燥缺水的情况。