很多 LLM 应用在 PoC 阶段只需要一个模型 API、几个 prompt 和少量工具函数。但一旦进入真实业务流量，问题会集中出现：成本难控、延迟波动、工具调用失败、模型版本切换困难、排障证据不足。

生产级 LLM 应用需要一层明确的集成中间层，把模型选择、工具调用、审计日志和可观测性统一管理起来。

一、模型路由要按任务分级

不要把所有请求都交给同一个模型。更稳的做法是先给任务分级。

低风险任务：摘要、分类、格式化，优先选择低成本、低延迟模型。

中风险任务：检索增强、规则判断、客户沟通草稿，需要引用证据和置信度判断。

高风险任务：写入系统、权限变更、合规判断，必须进入审计和人工复核边界。

路由层需要记录选择原因，包括任务类型、输入规模、上下文长度、成本预算、降级策略和最终模型。

二、工具调用要有失败策略

Agent 调用外部工具时，常见失败包括 API 超时、认证失败、参数字段缺失、下游限流和幂等冲突。系统应该提前定义这些失败如何处理，而不是把异常直接返回给用户。

建议每个工具注册时声明：schema、权限范围、超时阈值、重试策略、幂等规则、降级动作和审计字段。这样模型只负责选择工具，系统负责保证调用边界。

三、可观测性要串起模型和工具

一次 LLM 请求不应该只留一条日志。至少要能看到：用户意图、模型路由结果、prompt 版本、工具调用 span、返回状态、错误分类和最终响应。

推荐链路是：请求入口进入任务分级模块；任务分级决定模型路由；模型调用可以触发工具注册表；工具注册表访问外部系统；模型路由和工具调用都写入同一条审计日志。这样团队能判断一次失败到底发生在模型、工具、权限、数据，还是业务规则。

四、总结

生产级 LLM 集成的核心不是把模型接进系统，而是把模型调用变成可治理的工程流程。模型路由负责成本和风险，工具调用负责边界和可靠性，审计与可观测性负责排障和复盘。三者缺一块，线上稳定性都会被放大考验。