大模型语料去重工程实战:从 MinHash-LSH 的概率曲线到 10TB 语料流水线 拆解预训练语料去重的三层漏斗:归一化精确去重、MinHash-LSH 近重复召回、embedding 语义兜底。从 MinHash 的无偏估计性质与 1-(1-s^r)^b 分带概率曲线出发,给出签名、分桶、候选复核与连通分量的可运行代码,并总结倾斜桶、阈值拍脑袋、去重后分布偏斜等生产级坑点与验收清单。 大语言模型 2026年10月04日 0 点赞 0 评论 76 浏览
LLM 推理系统韧性工程:PD 分离架构下 KV Cache 热迁移与分级降级实战 随着 LLM 推理服务进入大规模生产部署阶段,系统韧性成为比峰值吞吐更关键的工程指标。本文深入剖析 Prefill-Decode 分离架构下的 KV Cache 热迁移、分级降级策略和故障恢复机制,给出可直接应用于生产环境的工程方案和实测数据。 推理部署 2026年10月04日 0 点赞 0 评论 86 浏览
CRDT无冲突复制数据类型深度解析:从数据类型设计到分布式系统的工程实践 系统阐述CRDT的数学基础、分类体系与在生产级分布式系统中的应用,覆盖状态基与操作基两大方向 分布式系统 2026年09月21日 0 点赞 0 评论 192 浏览