当前位置: 首页 >  互联网技术 >  【虹科干货】Redis 开发者需要了解的缓存驱逐策略

【虹科干货】Redis 开发者需要了解的缓存驱逐策略

导读:在你搭建并配置了一个 Redis数据库之后,.Redis成功地提升了应用程序性能。然而这里有一个潜在问题,随着缓存数据的快速增加和内存占用率的逐渐上升,你很快会发现.Redis缓存容量即将达到硬件存储容量上限。或许你曾听说用过缓存驱逐来解决这个问题,但究竟是怎么一回事呢?.无论你

在你搭建并配置了一个 Redis数据库之后, Redis成功地提升了应用程序性能。然而这里有一个潜在问题,随着缓存数据的快速增加和内存占用率的逐渐上升,很快会发现 Redis缓存容量即将达到硬件存储容量上限。或许你曾听说过缓存驱逐来解决这个问题,但究竟是怎么一回事呢?

无论你是在新兴企业中担任开发人员,还是在大型企业中担任系统管理员,了解缓存驱逐策略,并了解何时以及如何使用,都至关重要。在本文中,我们将深入探讨这些细节,让你对缓存驱逐有更清晰的认识。

一、对缓存驱逐的理解

在 Redis或任何依赖缓存的系统中,缓存驱逐策略都至关重要。它是解决缓存空间大小和内存占用问题的关键。当缓存数据达到硬件容量上限时,缓存系统必须做出决策:是拒绝接收新的数据,还是通过丢弃旧的数据为新数据腾出空间?

此时,缓存驱逐就发挥作用了。 为了保持最佳性能和数据一致性,在缓存达到上限时,缓存系统需要进行一系列判断,以确定应该保留哪些缓存数据,或者需要丢弃哪些缓存数据。

缓存驱逐是指从缓存中删除特定数据的过程。 当缓存达到硬件最大存储容量时,必须删除一些数据,为新数据腾出空间。

二、缓存驱逐策略

缓存驱逐策略是一种协议,它解决的问题是当缓存达到上限时,缓存系统需要如何应对。不同的策略对应不同的程序来实现,用于确定应该驱逐(即删除)哪些旧数据。以下是一些常见的策略。

  • 最近最少使用( Least Recently Used,LRU) :想象一下,您正在整理衣柜,您会优先扔掉哪些物品?是学生时代遗留的格子衬衫,还是近期购入的一顶鸭舌帽?LRU缓存驱逐策略会首先删除近期被访问次数最少的缓存数据。其基本假设是不经常被访问的数据在短期内不会再次被访问。
  • 最不频繁使用( Least Frequently Used, LFU):假设你是一名图书管理员,你将如何选择要从图书馆书架上移除的书籍?很可能是那些被借阅次数最少的书籍,这也是LFU缓存驱逐策略的思想。LFU策略会优先驱逐最不经常被访问的缓存数据,其基本假设是近期不再需要这些项目。
  • Window TinyLFU(W-TinyLFU) :这个策略稍微复杂一些。想象一下,你是一名电台DJ,你希望播放那些受欢迎且最近热门的歌曲。W-TinyLFU缓存驱逐策略根据数据的新旧程度和访问频率判断数据的价值,从而将最有价值的数据保留在缓存中。 W-TinyLFU在处理多变的访问模式和分布式缓存环境时尤为有效。
  • 生存时间( Time to Live, TTL):想象一下,冰箱里有一盒新鲜的圣女果,如果在冰箱里放太久,就会开始变质。此时,不管你有多喜欢它们,都应该将它们扔掉。TTL在缓存中有类似的概念。每个缓存数据都有一个特定的 “过期时间”。一旦达到该时间限制,无论访问频率或最近访问次数如何,数据都会被驱逐。这种策略可以确保过时的数据被及时清除。它适用于需要定期更新数据,并确保缓存不提供旧数据的情况。

策略的有效性取决于具体的使用情况,没有一种策略适用于所有场景。在选择和使用缓存驱逐策略时,需要仔细考虑应用程序的特定需求和数据访问模式。

三、采用默认设置的风险

在 Redis中,默认的驱逐策略是易失性LRU(volatile- LRU)。但仅仅依赖默认策略而不了解其潜在影响,就可能存在一定风险。应用程序服务于多样化的用户需求,数据模式和数据驱逐要求可能存在巨大差异。 通过正确设置驱逐策略可以预防潜在的问题。

1、第一道防线:监控

首先,我们需要监控缓存性能以确认何时需要进行驱逐操作。我们通过监控工具达成这一目的。

在Redis中,可以通过INFO命令 来监控缓存性能,也可以使用第三方监控工具 提供更详细的性能分析。

优化缓存性能涉及两个方面,需要根据监控性能时所发现的信息,对缓存设置和缓存驱逐策略进行调整。分布式缓存场景中,监控与调优在确保跨多节点一致、缓存的高效管理时尤为重要。

2、选择合适的Redis驱逐策略

在Redis中,缓存由maxmemory配置指令进行管理,该指令用于设置内存限制。而maxmemory- policy配置指令则根据所选择的缓存驱逐策略来指导Redis进行驱逐决策。这些配置项都存储在redis.conf配置文件中。

Redis提供了多种驱逐策略,但以下几种可能是你最关心的策略。

(1) allkeys-lru

Redis的allkeys-lru策略用于删除最近最少使用的缓存数据,且无论是否设置了过期时间。

  • 这个策略中,Redis会额外记录每个键的最后访问时间。每次读取或写入键时,Redis会更新这个信息。
  • 当Redis达到内存限制并且需要驱逐数据时,它会寻找最长时间未被访问的键,也就是”最近最少使用”的键。
  • 接着,Redis会删除这些键,为新的数据腾出可用的空间。

allkeys-lru策略适用于Redis数据库中的所有键,无论是否设置了过期时间。与volatile-lru策略不同的是,后者仅适用于设置了过期时间的键。

(2) volatile-lru

volatile-lru策略用于删除设置了过期时间的最近最少使用的缓存数据。这个策略适用于那些需要定期刷新数据的场景。

(3) allkeys-lfu

allkeys-lfu策略会删除使用频率最低的键。

  • 在这个策略中,Redis会记录每个键的访问频率。每次读取或写入键时,Redis会更新与键相关联的计数器。
  • 当Redis达到内存限制时,它会寻找具有最低访问频率的键。
  • 然后,Redis会删除这些键,为新的数据腾出可用的空间。

(4) volatile-lfu

与 allkeys-lfu类似,volatile- lfu策略仅适用于设置了过期时间的键。且按访问频率评判键的价值,当缓存达到上限时,删除访问频率最低的键。

(5) volatile-ttl

volatile-ttl策略优先删除具有最短TTL的键。

  • 这个策略中,Redis会记录每个键的TTL,即键的生存时间。TTL是一个持续时间,在到期之后,键将自动删除。
  • 当Redis达到内存限制时,它会寻找具有最短TTL的键,也就是即将过期的键。
  • Redis会删除这些键,为新的数据腾出可用的空间。

(6) noeviction

顾名思义,noeviction策略是当Redis达到内存限制并收到写入命令时,不会驱逐任何键,而是返回错误。

  • 当Redis达到内存限制并且收到写入命令时,它会检查驱逐策略。
  • 如果策略设置为noeviction,则Redis不会驱逐任何键,而是向写入命令返回错误。
  • 在这种情况下,应用程序代码需要确定如何处理该错误条件。

事实上,以上每种策略都有其优缺点,最适合的策略需要依具体业务需求而定

当处理大量数据时,使用良好结构的缓存,并结合适当的缓存驱逐策略,可以更好地保持缓存的性能。Redis以其丰富的功能成为优秀的缓存解决方案,并为处理大型数据集的应用程序提供了强大的支持。有效的缓存管理不仅能通过缓存命中加快数据检索,还能减轻缓存未命中的影响,使得Redis成为各种用例中可靠且高效的缓存解决方案。

内容
  • 【MRTK】解决 Unity.IL2CPP.Building.BuilderFailedException: Lump_libil2cpp_vm.cpp 报错问题
    【MRTK】解决 Unity.I
    2023-12-07
    前言.最近在部署 HoloLens 应用的时候遇到了这个报错,无论是本地部署、远程部署、还是导出 APPX 项目包,都会
  • 浏览器缓存原理
    浏览器缓存原理
    2023-12-03
    本文可以配合本人录制的视频一起食用.目的.通常说到浏览器缓存,大多是和性能优化有关,使用缓存,通常是两个主要目的,第一是
  • 缓存面试解析:穿透、击穿、雪崩,一致性、分布式锁、Redis过期,海量数据查找
    缓存面试解析:穿透、击穿、雪崩,
    2023-12-03
    为什么使用缓存.在程序内部使用缓存,比如使用map等数据结构作为内部缓存,可以快速获取对象。通过将经常使用的数据存储在缓
  • 十年后的第一篇:记录对两个面试问题的思考
    十年后的第一篇:记录对两个面试问
    2023-12-02
    太久没写过博客了,用户名密码甚至连用哪个邮箱注册的都不记得了,如果不是最近面试官要看的话实在是不想翻出来(如果面试官看到
  • 长文多图一步步讲清楚:DDD理论、建模与代码实现全流程
    长文多图一步步讲清楚:DDD理论
    2023-12-01
    1 六个问题.1.1 为什么使用DDD.DDD方法论核心是将问题不断分解,把大问题分解为小问题,大业务分解小领域,简而言
  • 运动儿童外套,防风保暖,轻便舒适,宝宝运动必备
    运动儿童外套,防风保暖,轻便舒适
    2023-12-06
    运动儿童外套,防风保暖,轻便舒适,宝宝运动必备.运动是孩子们健康成长的重要组成部分,而一件适合运动的外套对于宝宝的运动体
  • 休闲简约短袖衬衫
    休闲简约短袖衬衫
    2023-12-21
    休闲简约短袖衬衫.现代人生活节奏快,休闲简约的穿着成为时尚潮流。短袖衬衫作为经典的休闲单品,一直备受时尚人士的青睐。它舒
  • 精美儿童连衣裙,时尚设计,舒适面料,适合各种场合穿着
    精美儿童连衣裙,时尚设计,舒适面
    2023-12-26
    精美儿童连衣裙,时尚设计,舒适面料,适合各种场合穿着.儿童连衣裙作为孩子们的日常穿着之一,一直备受家长们的关注。精美儿童
  • 优质皮质钱包
    优质皮质钱包
    2024-01-10
    优质皮质钱包.皮质钱包一直以来都是时尚男士和女士们不可或缺的配饰,不仅可以提升整体造型的时尚感,还可以展现个人品味和品质
  • 休闲儿童T恤,可爱印花,柔软透气,让宝宝轻松玩耍舒适自在
    休闲儿童T恤,可爱印花,柔软透气
    2024-01-15
    休闲儿童T恤,给宝宝舒适自在的穿着体验.1. 透气环保的面料,让宝宝轻松玩耍.休闲儿童T恤采用了柔软透气的面料,为宝宝打
  • 暖心家居服套装,柔软舒适,可爱**形象,让宝宝安心入睡
    暖心家居服套装,柔软舒适,可爱*
    2023-12-16
    暖心家居服套装,让宝宝安心入睡.宝宝的睡眠质量对成长发育至关重要,而穿着舒适的家居服对宝宝的睡眠质量有着直接的影响。为了
  • 潮流风衣大衣,彰显都市时尚风采
    潮流风衣大衣,彰显都市时尚风采
    2023-12-16
    潮流风衣大衣,彰显都市时尚风采.潮流风衣大衣一直是时尚界备受追捧的单品之一。它既能为我们遮风挡雨,又能为我们穿出时尚感,
  • 时尚卫衣套装,展现青春活力
    时尚卫衣套装,展现青春活力
    2023-12-11
    时尚卫衣套装,展现青春活力.时尚卫衣套装一直是年轻人衣橱中的必备单品,它不仅可以给人带来舒适的穿着体验,更能展现出青春活
  • 时尚修身连衣裙,展现优雅女性魅力
    时尚修身连衣裙,展现优雅女性魅力
    2023-12-06
    时尚修身连衣裙,展现优雅女性魅力.时尚修身连衣裙一直是女性衣橱里的必备单品,不仅款式多样,而且能够展现出女性的优雅魅力。
  • 修身弹力牛仔裤
    修身弹力牛仔裤
    2023-12-26
    修身弹力牛仔裤:展现你的魅力.一、时尚的必备单品.修身弹力牛仔裤一直都是时尚界的必备单品,它不仅可以展现出个人的魅力,还