很多 AI 项目本地 Demo 测试效果出色上线生产环境之后故障频发但是研发很难定位问题根源。缺少面向大模型场景的可观测体系是非常普遍的工程短板。传统后端服务监控重点关注 CPU、内存、QPS这套指标无法完整覆盖 LLM 业务的运行状态需要补充专门针对大模型调用的观测维度。我们可以将指标划分为四大类时延指标、错误指标、消耗指标、业务质量指标。时延指标整体请求总耗时、首 Token 返回时间 TTFT、内容生成总耗时。其中 TTFT 是流式业务用户体验最关键指标代表用户第一次看到 AI 输出内容的等待时间。TTFT 缓慢抬升往往代表上游模型推理集群压力上涨即便没有直接报错用户体验已经变差。错误指标整体请求错误率同时拆分细分错误类型鉴权错误、参数非法、429 限流、请求超时、服务商内部错误。指标需要按照不同模型服务商做维度拆分这样可以快速定位是全部模型出现问题还是某一家服务商的服务质量下滑。消耗指标输入 Token、输出 Token、业务 QPS。按项目、用户、模型类型做维度拆分既可以做成本统计也可以快速发现异常暴涨的调用流量。业务质量指标网关只能观测调用链路无法判断大模型输出内容是否准确幻觉、回答偏离需求这类问题网关无法识别。需要业务层自行统计用户反馈、输出截断占比、拒绝回答占比以此评估模型在真实业务场景下的输出质量。告警设计需要避开简单阈值告警的误区。少量 429 限流属于大模型业务的正常现象瞬时小占比的限流不需要触发告警只有短时间内错误占比持续飙升才需要推送告警通知。相比于瞬间突增的故障指标缓慢持续恶化更加隐蔽建议配置趋势告警监测时延逐步抬升、错误率缓慢上涨这类现象。日志方面完整记录请求 ID、模型标识、耗时、错误原因方便问题排查。但是要注意合规约束不要完整存储用户原始 Prompt 和敏感业务数据做好数据脱敏规避数据合规风险。完整的可观测体系目的就是变被动接用户反馈为主动感知系统状态。当监测到某一家模型服务商服务质量下滑可以配合网关的路由、熔断策略自动切换备选模型最大程度保障线上业务稳定。可观测不是简单打印日志是大模型生产落地不可或缺的基础设施。