Embeddings维度与量化：召回、延迟与成本权衡

# Embeddings维度与量化：召回、延迟与成本权衡 ## 概览 - 维度提高表示能力但增加内存与计算；量化降低成本但影响精度。 - 需结合业务目标设定最佳参数。 ## 技术参数（已验证） - 维度影响：高维提升语义细粒度但增加 `O(d)` 计算与存储；在高并发下显著影响延迟。 - 量化：PQ/OPQ 与压缩策略；在 HNSW/IVF 上结合降低内存与加速搜索；需要训练与评估。 - 指标：召回@K、NDCG 与延迟/吞吐；在不同维度与量化配置下基准对比。 - 更新与一致性：量化索引更新成本高；需批量与重建策略；在线更新策略有限。 - 硬件与并行：GPU/CPU 并行与内存带宽限制；选择合适库（FAISS/ScaNN）。 ## 实战清单 - 以离线基准确定维度与量化参数；分场景设定指标阈值。 - 对在线检索采用分层索引与缓存；控制延迟与成本。 - 维护训练与评估流程；监控召回与漂移并迭代。