pdf版下载链https://pan.quark.cn/s/9cc742e9c2a815 AI 应用架构高级专题多 Agent、推理优化与系统演进更新 2026-10-12难度 ⭐⭐⭐⭐⭐考点 多模态、Agent Harness、沙箱、长任务、评测、权限、成本与系统演进 目录多模态 AI 应用自主 Agent 与 Agentic WorkflowAI 产品与企业架构调试、评测与 Harness推理和持续改进官方来源一、多模态 AI 应用Q1: 如何处理多模态输入图片 文字举例说明应用场景。先明确任务类型再决定走原生多模态模型、专用模型还是混合流水线场景推荐链路关键指标扫描文档OCR/版面分析 → 多模态校对 → 结构化输出字段准确率、表格完整率图表问答图片裁剪 → 视觉理解 → 数据/结论校验数值误差、引用区域商品/质检检测/分类模型 → LLM 解释召回率、误报率UI 理解截图 DOM/无障碍树 任务操作成功率、误操作率生产要点记录图片哈希、尺寸、裁剪区域、模型版本和 Prompt 版本。对坐标、金额、日期等做程序校验不只相信自然语言。敏感图片先脱敏第三方模型调用遵守数据区域与保留策略。失败时保留 OCR 文本、视觉证据和原图引用便于排障。Q2: 多模态应用如何优化性能和成本稳定选型维度输入减量缩放、裁剪、分帧抽样、去重。级联路由轻量 OCR/CV 先处理难例再交给大模型。并行与批处理页面并行、Embedding 批处理、异步队列。缓存按内容哈希缓存解析和模型结果加入版本键。结构化输出Schema 校验后重试局部字段不重跑整份文档。质量预算按文档类型分别设准确率、延迟和单件成本不承诺无依据的固定节省比例。二、自主 Agent 与 Agentic WorkflowQ3: 什么是 Agentic Workflow和传统 AI 应用有什么区别Agentic Workflow 让模型在受控循环中根据观察选择下一步工具目标 → 计划/选择动作 → 工具执行 → 观察 → 校验 → 继续或结束维度单次生成Agentic Workflow控制流一次请求/响应多轮状态机工具可无通常有状态短需要持久化与恢复风险输出风险输出 执行风险评测内容质量任务成功率、步骤、成本、安全“自主”不等于无限权限。Agent 的自主性应被 Harness 的工具白名单、沙箱、预算、审批和终止条件约束。Q4: 如何设计一个自主编程 Agent核心不是换一个更强模型而是搭好 Harness任务澄清 → 仓库探索 → 计划和风险识别 → 在隔离工作区修改 → lint / build / test → 根据证据修复 → diff 审查 → 人工批准提交/PR必要模块仓库检索和上下文选择文件编辑与 patchshell、测试和静态分析Git worktree/容器隔离超时、最大步数、重试和成本预算检查点、事件日志和可恢复状态权限策略与高风险审批。结束条件应由可验证证据驱动例如“目标测试通过且无新增 lint 错误”而不是模型说“已完成”。Q5: 多 Agent 协作系统怎么设计只有职责、上下文或权限边界确实不同才值得拆多 Agent。常见模式Manager/Workers协调者拆分独立子任务。Pipeline研究 → 实现 → 测试 → 审查。Parallel Candidates并行产出多个候选由确定性测试或评审选优。Specialized Agents每个 Agent 使用不同工具和最小权限。关键工程问题共享状态以 artifact/事件为主不靠复制完整对话。每个子任务有输入、输出、owner、deadline、budget、idempotency key。避免多个 Agent 同时修改同一工作区使用 worktree/分支。聚合时保留证据和失败不让协调者把分歧“总结没了”。三、AI 产品思维与架构设计Q6: 如何判断一个场景是否适合用 AI用六维框架任务可验证性是否能定义正确、错误和人工兜底。数据与权限数据是否可用、合规、可授权。容错性错误是否可逆是否影响资金、安全、法律责任。经济性相对规则系统和人工流程的总拥有成本。体验延迟、不确定性和交互成本是否可接受。持续评测能否建立离线集、线上指标和 badcase 回流。规则明确且要求强一致的任务优先传统程序AI 适合规则难穷举、输出可验证、失败可兜底的任务。Q7: 设计企业级 AI 应用架构需要考虑哪些方面客户端 → API Gateway / IAM → Orchestrator / Agent Harness → Model Gateway RAG Tools/MCP → 业务服务与数据 → Tracing / Evals / Audit / Cost回答至少覆盖质量模型/Prompt/索引版本和回归集。可靠性timeout、retry、idempotency、circuit breaker、fallback。安全tenant filter、secret、sandbox、approval、egress。可观测trace 贯穿模型、检索、工具、审批和最终结果。成本模型路由、缓存、上下文预算、并发和配额。变更灰度、A/B、可回滚配置和版本固定。Q8: RAG、Agent、MCP、A2A 如何协同它们不是固定“四层黄金架构”而是解决不同问题的可选组件技术解决的问题RAG给模型提供可追溯知识Agent/Harness控制多步推理、工具、状态和终止MCPHost 与工具/上下文服务的标准连接A2A独立 Agent 之间委托任务、交换状态和 artifact截至 2026-10-12A2A v1.0 的核心抽象包括 Message、Task、Artifact 和 task lifecycle。简单场景优先单 Agent跨团队、跨权限域或长任务服务化时再考虑 A2A。四、AI 应用调试与评测Q9: AI 应用出现问题如何系统排查先用同一个 trace ID 串起输入 → 路由 → 检索 → Prompt → 模型 → 工具 → 状态 → 输出排查顺序固定输入、模型快照、配置和随机性稳定复现。判断是数据、检索、模型、工具、Harness 还是 UI 拼接。看原始事件流不只看最终文本。用最小案例验证假设。修复后加入回归集灰度观察线上指标。Agent 额外检查重复动作、无进展循环、权限拒绝、超时、取消、状态恢复和并发冲突。Q10: 如何调试和优化 PromptPrompt 优化必须建立在 eval 上从真实 badcase 建立版本化数据集。定义可执行评分schema、引用、工具结果、业务规则、人工 rubric。固定其他变量比较 Prompt 变体。同时看均值、尾部、失败类型、延迟和成本。对通过离线门槛的版本做小流量灰度。Few-shot、角色或“逐步思考”不是必然增益。对推理模型更应给清晰目标、证据和验收条件不要求暴露私有思维链。Q11: 2026 年 AI 应用开发更值得关注哪些方向比产品新闻更稳定的方向长任务持久化状态、恢复、取消、人工输入。Skills可版本化、可评测、按需加载的工作流。Harness确定性控制与模型决策结合。沙箱和权限workspace、网络、密钥、审批分层。Agent eval轨迹、任务结果、安全和成本联合评测。多模态执行截图/DOM/终端/代码 artifact 联合。协议互操作MCP 工具连接、A2A 任务委托。五、Harness、奖励与推理控制Q12: 什么是 Harness Hill-Climbing为什么比追逐单次产品更新更重要Harness 是模型外部的执行骨架Prompt、工具、检索、状态、策略、沙箱、审批、重试和终止条件。Harness Hill-Climbing 指以 eval 为反馈小步修改 Harness建立基线 → 只改一个因素 → 跑回归集 → 分析失败 → 保留真实增益 → 线上灰度 → 回流新 badcase常见可优化变量工具描述与 schema上下文选择和压缩计划是否显式测试/验证顺序最大步数和重试策略审批阈值模型路由与 effort。不要把某篇博客的版本号当成能力保证。真正可迁移的能力是构建数据集、读取轨迹和用统计证据迭代。Q13: Process Reward ModelPRM和结果评测有什么区别Outcome/Result evaluation最终任务是否完成例如测试通过、答案正确。Process evaluation轨迹中的关键步骤是否合理例如检索到证据、调用正确工具、没有越权。PRM 可用于搜索、候选排序或训练但生产 Agent 不一定需要单独训练 PRM。更常见的工程方案是确定性步骤断言LLM-as-judge rubrictool/trace validator最终业务结果和人工抽检。过程分高不代表结果一定对结果偶然对也不代表过程安全。两者应联合评估并避免要求或存储模型私有思维链评估可观察动作、证据和状态变化。Q14: Agent 如何实现“持续改进”而不陷入未经验证的自我进化把新闻式 “Evolver/GEP” 降级为研究方向。生产系统应采用受控闭环收集失败轨迹并脱敏。分类根因模型、上下文、工具、权限、数据、Harness。生成候选修改但不直接覆盖生产。在冻结评测集和安全集上验证。由人审批版本化发布可回滚。防止训练集/评测集污染和奖励投机。可沉淀为 Skill、规则、测试、工具脚本或数据修复。没有评测门和发布治理的“自我修改”不是持续学习而是不可控配置漂移。Q15: Extended Thinking / Reasoning Effort 如何控制不同厂商接口已经分化不能再统一写成固定budget_tokensAnthropic 新模型推荐 adaptive thinking并用effort软控制深度max_tokens是思考加答案的硬上限。部分新模型已移除手工budget_tokens。Gemini 3 系列使用thinking_levelGemini 2.5 仍使用模型相关的thinkingBudget。OpenAI 推理模型使用模型/API 对应的 reasoning effort 等配置需查目标模型文档。生产策略简单分类、抽取走低 effort 或小模型。复杂代码、规划按 eval 选择更高 effort。同时监控成功率、TTFT、总延迟、输出截断和成本。不假设相同 effort 在不同模型间等价。速记卡片主题一句话Agent模型在 Harness 约束下循环调用工具Harness工具、状态、权限、沙箱、验证和终止组成的执行骨架Skill可版本化、按需加载的流程知识SandboxOS/容器级技术边界不等于模型提示词Approval高风险动作的策略与人工决策Long task持久化状态、检查点、恢复、取消和输入等待Agent eval结果、轨迹、成本、安全和稳定性联合评测