大模型语料去重工程实战:从 MinHash-LSH 的概率曲线到 10TB 语料流水线 拆解预训练语料去重的三层漏斗:归一化精确去重、MinHash-LSH 近重复召回、embedding 语义兜底。从 MinHash 的无偏估计性质与 1-(1-s^r)^b 分带概率曲线出发,给出签名、分桶、候选复核与连通分量的可运行代码,并总结倾斜桶、阈值拍脑袋、去重后分布偏斜等生产级坑点与验收清单。 大语言模型 2026年10月04日 0 点赞 0 评论 76 浏览
AI应用后端工程化生产实践(第3部分:AI数据工程与治理体系——从数据湖到模型训练流水线的工程落地) 面向AI工业级生产的数据工程与治理体系全景:从原始数据湖到模型训练流水线、从特征存储到数据版本控制的完整工程落地,包含数据清洗Multi-Level Pipeline、DVC版本化实践、训练-推理特征一致性保障、数据飞轮商业闭环 机器学习 2026年09月21日 0 点赞 0 评论 52 浏览
OpenMetadata 深度实战:从 JSON Schema 实体模型、Ingestion Framework 到血缘图与数据质量的元数据平台工程全解 深入拆解 OpenMetadata 元数据平台的三层工程架构:JSON Schema 驱动的实体类型系统与代码生成、Source/Processor/Sink 管道编译模型与增量抽取实践、基于 FQN 幂等合并的血缘图构建、数据质量断言模型,以及关系库+Elasticsearch 双写存储与生产调优清单。 工程实践 2026年10月01日 0 点赞 0 评论 42 浏览