大语言模型
大语言模型模型微调技术深度分析:从理论到实践
深入分析大语言模型模型微调的主流技术方案,包括全量微调、LoRA、QLoRA、Prefix Tuning等方法的核心原理、工程实践与评估体系,为AI工程师提供全面的微调技术参考。
大语言模型推理部署实战:从vLLM到量化加速的全链路优化
深入拆解LLM推理部署全链路技术栈,涵盖vLLM PagedAttention、GPTQ/AWQ量化、Continuous Batching调度与分布式推理架构
LLM 推理优化实战:从 KV Cache 到推测解码的全栈性能工程
系统解构LLM推理优化全栈技术体系:PagedAttention分页注意力、KV Cache量化与淘汰策略、连续批处理调度、推测解码原理与实践方案对比、量化部署工程指南、生产部署最佳实践与前沿趋势。
大语言模型推理部署实战:从vLLM到SGLang的生产级优化之路
深入剖析大语言模型推理部署核心技术:PagedAttention原理、Continuous Batching机制、KV Cache优化策略,对比vLLM/SGLang/TGI/TensorRT-LLM四大框架,详解生产环境硬件选型、量化调优与最佳实践
DeepSeek-网页版
DeepSeek 官方推出的 AI 助手,免费体验与全球领先 AI 模型的互动交流。使用一经开源即在海内外引起震动、总参数超过 600B 的 DeepSeek-V3 大模型,多项性能指标对齐海外顶尖模型,用更快的速度、更加全面强大的功能为你答疑解惑,助力高效美好的生活。网页版产品有浏览器直接通过浏览器打开软件网页,无浏览器会先安装浏览器再打开网页。
AI翻译官.迅读(360专版)
一款以AI为核心的智能翻译工具,专注解决多语言翻译难题,支持中文、英语、日语、韩语、法语、俄语、德语、西班牙语等 100 + 语言的互译,具备跨软件使用优势,即时满足翻译需求。 功能亮点: 1、文本翻译:多语种输入即时翻译,译文精准流畅,快速解决聊天、阅读等需求。 2、AI文档翻译:支持PDF翻译、Word翻译、Excel翻译、PPT翻译、TXT翻译等格式,上传文档一键批量翻译,精准保留原排版,翻译后直接可用 3、AI图片翻译:OCR 精准识别图片中的外文,一键翻译,拍摄或上传图片即可使用 4、AI 论文翻译:深耕学术,覆盖学术论文、生物医药、信息技术等领域,精准匹配专业术语并兼顾论文逻辑与规范,上传PDF即可一键翻译。 5、AI 学术翻译:支持各学科专业文献的多语种翻译,精准传递学术逻辑 6、划词翻译:跨软件适配,划选单词/短语即刻翻译,支持一键复制,操作零门槛 7、AI写作润色:内置AI写作助手,支持一键生成文章、小说论文、工作总结、营销文案等内容。
KV Cache 与 PageAttention深度实战:大模型推理优化的两大基石
深入剖析大模型推理优化的两大核心基石——KV Cache键值缓存与PageAttention虚拟内存分页管理,从数学原理、显存分析、传统方案缺陷到vLLM的工程实现,全面拆解高性能推理系统的设计哲学。
