Rust Portable SIMD 生产级 AI 推理实战：从 Token 评分到 KV-Cache 管理
深入探讨 Rust 的 std::simd (Portable SIMD) 标准化 API 在 LLM 推理引擎后处理管线中的实战优化，涵盖 Softmax、Top-K/Top-P 采样、Attention Score 处理、KV-Cache 内存管理，含完整代码示例与性能基准。
LLM
解锁长上下文：大语言模型百万Token级推理的工程实践与优化全景
从生产级部署的深度视角，拆解百万Token级长上下文推理的关键技术栈：位置编码外推（PI/NTK/YaRN）、KV Cache显存管理与FP8量化、Flash Attention与Ring Attention分布式计算、稀疏注意力与Mamba替代方案、vLLM调度优化与并行策略选择。包含完整代码示例与2025-2026最新进展。
LLM 流式推理的自适应调度引擎：背压传播、批处理优化与过载保护
在 LLM 推理服务中，Streaming（流式）输出带来了极致的用户体验，但也给服务端带来了独特的调度难题。本文深入探讨如何在流式推理场景下构建具备背压感知、自适应批处理和过载保护的生产级调度系统，涵盖 GPU 显存预算器、AIMD 自适应批处理、分级降级策略及 Token Bucket 限流等核心技术。
RoPE 旋转位置编码深度工程实战：从复数旋转不变性、NTK/YaRN 长上下文外推到生产级上下文扩展
拆解 RoPE 旋转位置编码的数学本质（复数旋转与相对位置恒等式）与工程实现（rotate_half、fp32 相位精度、cache 复用），分析长度外推崩塌的真实机理（低频欠训练 + 高频 OOD），对比 PI / NTK-aware / YaRN / LongRoPE 四类修补方案，给出可运行的频率重映射代码、注意力温度补偿写法与 needle-in-haystack 评测骨架，并总结 GQA、Tensor Parallel、chunked prefill、mrope 多模态等六个生产落地陷阱。
LoRA/QLoRA 参数高效微调工程实战：从理论到生产级部署
深入解析 LoRA 低秩适配的数学本质，覆盖 QLoRA 4-bit 量化、AdaLoRA 自适应秩、LoRA+ 差异化学习率等核心算法，并给出显存优化、权重合并、多 LoRA 推理等生产级工程实战策略。
MoE大模型专家并行与动态路由优化——从DeepSeek-V3到生产级推理架构
深入解析MoE稀疏激活架构下的Expert Parallelism设计，从原理推导到生产实战，涵盖Top-K Gating、Auxiliary Loss、All-to-All通信优化、Expert Offloading以及DeepSeek-V3的Aux-Free负载均衡策略。
ARM SME (Scalable Matrix Extension) 在终端 AI 推理中的架构演进与工程实践
深入剖析 ARMv9-A 架构的 Scalable Matrix Extension (SME)：二维 ZA Tile 存储模型、矩阵外积指令（SMOPA/FMOPA）语义、Linux 内核 ZA 上下文管理，以及如何为 MobileLLM 推理中的 QKV Projection 与 Attention 编写高性能 SME 内核，含完整汇编代码和性能基准对比
AI Agent 混沌工程：构建具有故障注入和自愈协议的弹性自治系统
深入探讨AI Agent系统的混沌工程实践：从LLM推理退化、工具调用级联失败、多智能体协作死锁等特有故障模式出发，用Rust实现层次化故障注入框架和自愈协议，构建生产级弹性运行时
AI推理引擎中的KV-Cache内存管理：从零设计Buddy-Slab混合分配器
深入分析LLM推理引擎中KV-Cache的内存访问模式，从零实现一个Buddy-Slab混合分配器。解决通用分配器在高并发KV-Cache分配场景下的锁竞争、页表碎片和NUMA不友好问题，实测性能优于malloc 13倍。
Token 级限流与 SLO 准入控制：LLM 生产服务的限流实战
深入解析 LLM 推理场景下的 Token 级限流工程：从滑动窗口计数、双桶协同、Token 预估器到 Redis 分布式限流和 SLO-Aware PI 准入控制，附 Rust 完整实现。
