模型部署

边缘计算与端侧智能部署深度实践:从云端协同到实时推理的架构演进

本文从架构原理出发,系统讲解边缘计算的三层架构体系(云-边-端),深入剖析端侧AI部署的核心技术栈(模型压缩、量化、推理框架选型),并以工业缺陷检测为实战案例,展示如何在NVIDIA Jetson平台上完成从训练到部署的全流程。文章还探讨了边缘计算面临的资源受限、网络不稳定和大规模节点管理等挑战,并展望了端侧LLM和6G融合的未来趋势。

ONNX Runtime 推理引擎深度工程实战:从图优化、算子融合到执行提供器与内存规划的全链路解析

沿 ONNX Runtime 的真实执行链路拆解推理引擎内核:Session 初始化时的 Graph Transformer 图改写与三级优化、算子融合收益的真实来源、执行提供器如何做图分区以及跨 EP 拷贝的代价、静态内存规划如何用生命周期区间复用显存、IOBinding 零拷贝的适用边界,并给出生产落地清单与常见故障模式。