「数据库方向的团队做 Redis 的内存淘汰与键过期策略,踩的坑高度相似:惰性删除、定期抽样、冷热分层互相牵连,改一处动全身。本文按 3 个要点组织,先讲清依赖,再谈优化。」
▍一、问题定位
Redis 的内存淘汰与键过期策略的典型故障曲线是这样的:先是一个可忍受的抖动,接着重试把抖动放大,最后惰性删除的补偿逻辑把局部问题扩散成面。真正需要设计的不是「不出错」,而是「出错时影响面可控」。
▪1.1 为什么现在更值得讨论
几个变化让这件事比三年前更紧迫:
• 故障成本上升:一次长尾故障带来的业务损失远高于优化投入
• 技术栈收敛:同类系统越来越少,方案选型更看重可维护性
• 审计要求:变更需要可追溯,状态变更必须留痕
▍二、按要点拆解:Redis 的内存淘汰与键过期策略
▪2.1 惰性删除
做惰性删除时建议先画出它的状态集合:哪些是稳定态、哪些是过渡态、过渡态允许停留多久。状态机一旦显式化,重试与幂等的问题会自己浮出来。
• 灰度颗粒度:惰性删除的变更按流量比例还是按租户/节点放量,决定了回滚速度
• 变更可逆:惰性删除的配置与代码要能在 30 秒内回到上一版
• 数据兼容:惰性删除改造期间,新旧状态格式必须双向可读
▪2.2 定期抽样
定期抽样与相邻环节的契约要写死在接口上,而不是靠约定。契约一旦模糊,上游的每次「顺手改」都会变成下游的隐性故障。
• 资源:定期抽样单次操作的内存与连接占用要能算出来,避免压力下雪崩
• 回退:给定期抽样明确「降级到哪一档」,而不是「出错就重试」
• 观测:定期抽样至少有成功率、P99、积压量三个指标能被独立查询
▪2.3 冷热分层
冷热分层的关键不在「怎么实现」,而在「边界定在哪」。先把输入来源、量级上限、失败后的补偿路径三件事写下来,实现反而只有几十行。
• 幂等:冷热分层被重复触发时结果一致,且不产生额外副作用
• 隔离:冷热分层的异常不能影响同实例上的其他租户或请求
• 灰度颗粒度:冷热分层的变更按流量比例还是按租户/节点放量,决定了回滚速度
它们之间的关系不是并列,而是有先后依赖:
惰性删除 → 定期抽样 → 冷热分层
链路里靠前的环节一旦不可靠,后面定期抽样的所有优化都会被抵消。这也是为什么先把惰性删除的边界做扎实,比堆性能数字更划算。
▍三、最小可运行实现
我们接手过一个数据库场景的服务:峰值吞吐约 11 万 QPS,P99 长期在 294ms 上下浮动,一到业务高峰就突破 SLA。排查后发现瓶颈并不在惰性删除本身,而是它在压力下的重试风暴把定期抽样拖垮了。
分三步处理:先给惰性删除加背压并限制重试预算,再把定期抽样的全局依赖改成局部视图,最后用影子流量验证一致性。三步都上完之后,关键指标才落到可接受区间。
下面是核心逻辑的实现骨架(数据库场景):
// 缓存读取:空值兜底、热点合并与过期重建
package cache
import (
"context"
"sync"
"time"
"golang.org/x/sync/singleflight"
)
type entry struct {
val string
expireAt time.Time
}
type Store struct {
mu sync.RWMutex
data map[string]entry
group singleflight.Group
ttl time.Duration
}
// Get 三态返回:命中、空值(已确认不存在)、未命中
// 空值同样写入短 TTL,挡住穿透流量;热点 key 由 singleflight 合并回源
func (s *Store) Get(ctx context.Context, key string) (string, bool, error) {
s.mu.RLock()
e, ok := s.data[key]
s.mu.RUnlock()
if ok && time.Now().Before(e.expireAt) {
return e.val, e.val != "", nil
}
v, err, _ := s.group.Do(key, func() (interface{}, error) {
val, err := loadFromDB(ctx, key)
if err != nil {
return "", err
}
ttl := s.ttl
if val == "" {
ttl = 30 * time.Second // 空值缓存,避免缓存穿透
}
s.mu.Lock()
s.data[key] = entry{val: val, expireAt: time.Now().Add(ttl)}
s.mu.Unlock()
return val, nil
})
if err != nil {
return "", false, err
}
str, _ := v.(string)
return str, str != "", nil
}
发表评论 取消回复