推理引擎的编译优化:从计算图到高效执行 深入解析现代推理引擎的编译优化技术:计算图IR、算子融合策略、常量折叠、静态内存规划、CUDA Graph捕获和调度并行,涵盖TensorRT-LLM、vLLM、llama.cpp等主流引擎的编译实践。 编译原理 2026年09月30日 0 点赞 0 评论 51 浏览
ARM64 Memory Tagging Extension (MTE) 在 AI 推理引擎中的内存安全加固工程实践 深度解析ARM64 MTE硬件机制及其在AI推理引擎C++插件中的内存安全加固实践,包含编译器插桩、TensorRT插件工程应用、性能实测与PAC/BTI协同防御体系 Web安全 2026年10月07日 0 点赞 0 评论 20 浏览