一张图搞懂 Redis 缓存雪崩、缓存穿透、缓存击穿


一张图搞懂 Redis 缓存雪崩、缓存穿透、缓存击穿文章插图
作者 | 雷架
文章来源 | 爱笑的架构师 (id :DancingOnYourCode)
一张图搞懂 Redis 缓存雪崩、缓存穿透、缓存击穿文章插图
缓存异常场景分类
在实际生产环境中有时会遇到缓存穿透、缓存击穿、缓存雪崩等异常场景 , 为了避免异常带来巨大损失 , 我们需要了解每种异常发生的原因以及解决方案 , 帮助提升系统可靠性和高可用 。
一张图搞懂 Redis 缓存雪崩、缓存穿透、缓存击穿文章插图
缓存穿透
什么是缓存穿透?缓存穿透是指用户请求的数据在缓存中不存在即没有命中 , 同时在数据库中也不存在 , 导致用户每次请求该数据都要去数据库中查询一遍 , 然后返回空 。
如果有恶意攻击者不断请求系统中不存在的数据 , 会导致短时间大量请求落在数据库上 , 造成数据库压力过大 , 甚至击垮数据库系统 。
缓存穿透常用的解决方案(1)布隆过滤器(推荐)
布隆过滤器(Bloom Filter , 简称BF)由Burton Howard Bloom在1970年提出 , 是一种空间效率高的概率型数据结构 。
布隆过滤器专门用来检测集合中是否存在特定的元素 。
如果在平时我们要判断一个元素是否在一个集合中 , 通常会采用查找比较的方法 , 下面分析不同的数据结构查找效率:

  • 采用线性表存储 , 查找时间复杂度为O(N)
  • 采用平衡二叉排序树(AVL、红黑树)存储 , 查找时间复杂度为O(logN)
  • 采用哈希表存储 , 考虑到哈希碰撞 , 整体时间复杂度也要O[log(n/m)]
当需要判断一个元素是否存在于海量数据集合中 , 不仅查找时间慢 , 还会占用大量存储空间 。 接下来看一下布隆过滤器如何解决这个问题 。
布隆过滤器设计思想
布隆过滤器由一个长度为m比特的位数组(bit array)与k个哈希函数(hash function)组成的数据结构 。 位数组初始化均为0 , 所有的哈希函数都可以分别把输入数据尽量均匀地散列 。
当要向布隆过滤器中插入一个元素时 , 该元素经过k个哈希函数计算产生k个哈希值 , 以哈希值作为位数组中的下标 , 将所有k个对应的比特值由0置为1 。
当要查询一个元素时 , 同样将其经过哈希函数计算产生哈希值 , 然后检查对应的k个比特值:如果有任意一个比特为0 , 表明该元素一定不在集合中;如果所有比特均为1 , 表明该集合有可能性在集合中 。 为什么不是一定在集合中呢?因为不同的元素计算的哈希值有可能一样 , 会出现哈希碰撞 , 导致一个不存在的元素有可能对应的比特位为1 , 这就是所谓“假阳性”(false positive) 。 相对地 , “假阴性”(false negative)在BF中是绝不会出现的 。
总结一下:布隆过滤器认为不在的 , 一定不会在集合中;布隆过滤器认为在的 , 可能在也可能不在集合中 。
举个例子:下图是一个布隆过滤器 , 共有18个比特位 , 3个哈希函数 。 集合中三个元素x , y , z通过三个哈希函数散列到不同的比特位 , 并将比特位置为1 。 当查询元素w时 , 通过三个哈希函数计算 , 发现有一个比特位的值为0 , 可以肯定认为该元素不在集合中 。
一张图搞懂 Redis 缓存雪崩、缓存穿透、缓存击穿文章插图
布隆过滤器优缺点
优点:
  • 节省空间:不需要存储数据本身 , 只需要存储数据对应hash比特位
  • 时间复杂度低:插入和查找的时间复杂度都为O(k) , k为哈希函数的个数
缺点:
  • 存在假阳性:布隆过滤器判断存在 , 可能出现元素不在集合中;判断准确率取决于哈希函数的个数
  • 不能删除元素:如果一个元素被删除 , 但是却不能从布隆过滤器中删除 , 这也是造成假阳性的原因了
布隆过滤器适用场景
  • 爬虫系统url去重
  • 垃圾邮件过滤
  • 黑名单
(2)返回空对象
当缓存未命中 , 查询持久层也为空 , 可以将返回的空对象写到缓存中 , 这样下次请求该key时直接从缓存中查询返回空对象 , 请求不会落到持久层数据库 。 为了避免存储过多空对象 , 通常会给空对象设置一个过期时间 。
这种方法会存在两个问题: