LLM推理
  1. 首页
  2. LLM推理

列表

Rust 重塑 AI 基础设施：从 PyTorch Rust 绑定到 LLM 推理引擎的系统级优化实战

Rust 重塑 AI 基础设施：从 PyTorch Rust 绑定到 LLM 推理引擎的系统级优化实战

深入剖析 Rust 在 AI 基础设施中的崛起：从 vLLM Rust 调度器的 PagedAttention 实现到 Candle/Hugging Face ML 框架，再到 Polars 数据处理与 DataFusion 查询引擎，全面覆盖 Rust 在 LLM 推理、数据管道、Python 扩展方面的实战方案。包含完整的代码示例和从 Python 到 Rust 的迁移路径。
推理部署 2026年09月20日
LLM 推理确定性工程深度实战：从浮点非结合性、Batch 不变性到可复现 Kernel 的全链路解法

LLM 推理确定性工程深度实战：从浮点非结合性、Batch 不变性到可复现 Kernel 的全链路解法

拆解 LLM 推理不确定性的三个根因——浮点加法非结合性、split-k 与浮点 atomicAdd 的非确定累积、Continuous Batching 导致的 batch invariance 破缺；给出 PyTorch 复现脚本、Triton batch-invariant kernel、CUB 确定性归约与 CUBLAS_WORKSPACE_CONFIG 配置要点，分析 RL 后训练 on-policy 偏差与合规审计场景，量化 15%-30% 的性能代价并给出生产落地检查清单。
Linux内核 2026年10月04日