资料总结 资料总结
首页
go
java
云原生
  • mysql
  • redis
  • MongoDB
  • 设计模式详解
  • 数据结构与算法
  • 前端
  • 项目
  • 理论基础
  • 运营
  • 分类
  • 标签
  • 归档
GitHub (opens new window)

linghui Wu

一只努力学飞的鱼
首页
go
java
云原生
  • mysql
  • redis
  • MongoDB
  • 设计模式详解
  • 数据结构与算法
  • 前端
  • 项目
  • 理论基础
  • 运营
  • 分类
  • 标签
  • 归档
GitHub (opens new window)
  • 数据库表设计
  • mysql

  • redis

    • 数据类型的应用场景
    • 持久化
    • 场景问题
      • 定义
      • 原因
      • 解决方案
        • 缓存失效(击穿)
      • 原因
      • 解决方案
        • 缓存雪崩
      • 解决方案
        • 热点缓存key重建优化
      • 解决方案
        • 缓存与数据库双写不一致
      • 解决方案
      • 注意
        • 参考资料
    • 高可用架构
    • 设计和使用规范
    • redis
  • MongoDB

  • InfluxDB
  • 数据库
  • redis
wulinghui
2022-02-19
目录

场景问题

# 缓存穿透

(恶意攻击、访问不存在数据)

# 定义

  • 查询一个根本不存在的数据, 缓存层和存储层都不会命中
  • 导致不存在的数据每次请求都要到存储层去查询, 失去了缓存保护后端存储的意义

# 原因

  • 自身业务代码或者数据出现问题。
  • 一些恶意攻击、 爬虫等造成大量空命中。

# 解决方案

  • 缓存空对象,设置过期时间

  • redisson-布隆过滤器

    某个值存在时,这个值可能不存在;当它说不存在时,那就肯定不存在

# 缓存失效(击穿)

(热点数据单个key)针对某一key缓存失效。

由于大批量缓存在同一时间失效可能导致大量请求同时穿透缓存直达数据库

# 原因

一般都是批量设置热门商品/秒杀

# 解决方案

将缓存过期时间设置为一个时间段内的不同时间

# 缓存雪崩

(同一时间失效,并发量大)很多key都失效了。

  • 缓存层支撑不住后,大量请求到存储层,造成存储层也会级联宕机的情况.
  • 在我们设置缓存时采用了相同的过期时间,导致缓存在某一时刻同时失效,请求全 部转发到DB,DB瞬时压力过重雪崩

# 解决方案

  • 利用JetCache做二级缓存。
  • 保证缓存层服务高可用性,比如使用Redis Sentinel或Redis Cluster。
  • 后端架构层限流熔断并降级。比如使用Sentinel或Hystrix限流降级组件。
  • 提前演练。 在项目上线前, 演练缓存层宕掉后, 应用以及后端的负载情况以及可能出现的问题, 在此基础上做一些预案设定。

# 热点缓存key重建优化

某个商品是冷数据,突然变成热点数据,需要查询db放到redis中。缓存失效的瞬间, 有大量线程来重建缓存, 造成后端负载加大, 甚至可能会让应用崩溃

# 解决方案

我们可以利用互斥锁来解决,此方法只允许一个线程重建缓存, 其他线程等待重建缓存的线程执行完

# 缓存与数据库双写不一致

  • 同时操作数据库与缓存会存在数据不一致性问题
  • 双写不一致情况
  • 读写并发不一致

# 解决方案

  • 延迟双删(推荐) ,第二次删除前sleep一下

  • 定时器去做操作

    非常不建议,比如要更新的数据怎么存? 定时和更新中的并发冲突怎么解决?

  • 内存队列,排队

  • 对于并发几率很小的数据,加上过期时间,隔一段时间触发读的主动更新即可

  • 并发很高,如果业务上能容忍短时间的缓存数据不一致

    如果不能容忍缓存数据不一致,可以通过加读写锁保证并发读写或写写的时候按顺序排好队,读读的时候相当于无锁。

  • 用阿里开源的canal通过监听数据库的binlog日志及时的去修改缓存,或者其他的中间件

# 注意

读多写少的情况加入缓存提高性能,写多读多的情况又不能容忍缓存数据不一致,那就没必要加缓存了,可以直接操作数据库。 放入缓存的数据应该是对实时性、一致性要求不是很高的数据。切记不要为了用缓存,同时又要保证绝对的一致性做大量的过度设计和控制,增加系统复杂性!

# 参考资料

面试官:缓存与数据库一致性如何解决?先操作数据库,还是缓存? (opens new window)

编辑 (opens new window)
上次更新: 2023/01/24, 15:21:15
持久化
高可用架构

← 持久化 高可用架构→

最近更新
01
架构升级踩坑之路
02-27
02
总结
02-27
03
语法学习
02-27
更多文章>
| Copyright © 2021-2025 Wu lingui |
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式