Spark

大模型语料去重工程实战:从 MinHash-LSH 的概率曲线到 10TB 语料流水线

拆解预训练语料去重的三层漏斗:归一化精确去重、MinHash-LSH 近重复召回、embedding 语义兜底。从 MinHash 的无偏估计性质与 1-(1-s^r)^b 分带概率曲线出发,给出签名、分桶、候选复核与连通分量的可运行代码,并总结倾斜桶、阈值拍脑袋、去重后分布偏斜等生产级坑点与验收清单。

Apache Spark Tungsten 与 AQE 深度实战:从 UnsafeRow 内存布局、Whole-Stage Code Generation 到自适应查询执行的工程全解

深入剖析 Apache Spark Tungsten 引擎与 AQE 自适应查询执行:从 UnsafeRow 紧凑二进制内存布局、堆外内存治理、Whole-Stage Code Generation 的 Janino 动态编译,到 CoalesceShufflePartitions、动态 Join 策略切换与倾斜 Join 自动拆分的完整工程链路与生产调优陷阱。