LLM 推理优化（Batching、Cache、Speculative Decoding 与验证）
总结大模型推理的性能优化方法，包括批处理、缓存与推测解码，并提供可验证的压测与观测路径。
AI技术
LLM 响应结构化与 Guardrails（JSON 模式、Schema 验证与安全）
将LLM输出结构化为JSON并通过Schema验证与安全过滤，结合PII检测与字段白名单，提供实现与验证方法以增强可靠性与合规。
LLM 函数调用与工具编排实践（2025）
# LLM 函数调用与工具编排实践（2025）
函数调用与工具编排让模型与系统协作，提升可控性与可复现性。
## 一、接口与模式
- JSON Schema：定义函数参数与返回，校验输入输出。
- 安全边界：限制可调用能力与资源，遵循最小权限。
## 二、计划与执行
- 计划执行：将多步任务拆分为计划与步骤，控制顺序与依赖。
- 观察与回路：记录每次调用的观察与结果，便于回溯与调试。
##
AI Prompt Injection 防护与上下文隔离（2025）
# AI Prompt Injection 防护与上下文隔离（2025）
提示注入通过诱导模型违反边界执行敏感操作，需要在架构与提示与执行层面防护。
## 一、上下文与权限
- 上下文隔离：用于不同任务的数据与权限分隔。
- 最小权限：工具与接口仅开放必要能力。
## 二、提示与约束
- 引用约束：明确只能基于提供上下文回答与引用。
- 模板与过滤：对输入进行过滤与正则清洗，降低风险。
#
