大语言模型
Linux涓袱娆惧苟鍙戞祴璇曞伐鍏穉b&webbench
浠嬬粛Linux涓嬩袱娆惧疄鐢ㄧ殑骞跺彂娴嬭瘯宸ュ叿ab鍜寃ebbench鐨勪娇鐢ㄦ柟娉曪紝鍖呮嫭瀹夎銆佸弬鏁拌鏄庡拰娴嬭瘯绀轰緥瀵规瘮
参数高效微调实战:LoRA、QLoRA与Adapter在大语言模型中的工程权衡
深入解析LoRA低秩适配、QLoRA量化微调与Adapter插入三种参数高效微调方法的核心原理、工程实现与场景权衡,附实战避坑指南
推测解码与连续批处理深度实战:突破自回归生成的双重瓶颈
深入解析大模型推理优化的两大核心技术——推测解码(Speculative Decoding)和连续批处理(Continuous Batching),从数学原理、近似采样分布的等价性证明到vLLM/TensorRT-LLM的工程实现,全面拆解高性能推理系统的设计哲学。
