来源 https://github.com/datawhalechina/agentic-ai/blob/mainAgentic AI任务拆解核心思想观察人类行为思考如果一个人类要完成应该怎么做拆解步骤整个任务拆解成多个独立的清晰的子步骤评估可行性对每个步骤思考是否能用大预言模型LLM或者工具API/函数调用来实现迭代优化如果初步分解的效果不理想可以进一步细化步骤将其拆分成更小的子步骤直到达到满意的性能案例一写一篇深度论文目标让AI系统撰写一篇关于特定主体“X”的深入研究报告版本: V1.0 直接生成输入Write an essay on topic X→ LLM → 输出文档问题内容表面化缺乏深度和一致性。版本: V2.0 三步工作流撰写大纲: LLM根据主题X生成一个结构化的写作提纲网络搜索: LLM根据大纲生成搜索词调用web search工具获取相关资料撰写论文: LLM结合大纲和搜索到的内容撰写论文优点引入外部信息内容更丰富缺点文章可能脱节开头中间结尾风格不一样版本: V3.0 五步工作流撰写大纲LLM根据主题X生成大纲网络搜索: LLM根据大纲生成搜索词调用web search工具获取相关资料撰写初稿LLM根据大纲和搜索结果写出第一版草稿考虑修订部分LLM阅读自己的初稿分析哪些部分需要改进修订草稿: LLM根据自我批评对草稿进行修改和完善。效果提升类似“写作-反思-修改”循环核心方法论“如果某一步骤效果不好就把它再拆成更小的子步骤。”案例二回复客户邮件目标自动回复客户关于“发错货”的投诉邮件。任务分解提取关键信息 (Extract key information):输入: 客户邮件。操作: LLM解析邮件提取发件人姓名(Susan Jones)、订单号(#8847)、订购商品(蓝色搅拌机)和问题(收到红色烤面包机)。可行性: LLM擅长文本信息提取。查找相关客户记录 (Find relevant customer records):操作: LLM调用orders database query工具根据订单号查询数据库核实订单详情和发货记录。可行性: LLM可以通过函数调用与数据库交互。撰写并发送回复 (Write and send response):操作: LLM根据提取的信息和查询到的记录起草一封回复邮件并调用send emailAPI 将其发送给客户。可行性: LLM可以生成文本并通过API执行发送动作。关键洞察这个例子展示了如何将一个看似单一的任务回复邮件分解为三个清晰、独立的步骤。每个步骤都可以由LLM或其调用的工具完成从而构成一个完整的自动化流程。构建代理型AI工作流的基本构件 (Building Blocks)构建任何代理型AI工作流都离不开以下两大类基本构件模型 (Models)大型语言模型 (LLMs):用途 文本生成、工具使用决策、信息提取。特点: 擅长处理文本是代理工作流的大脑。其他AI模型 (Other AI models):用途: 处理非文本模态数据如PDF转文本、文本转语音、图像分析等。工具 (Tools)API:用途: 执行外部服务如网页搜索、获取实时天气数据、发送电子邮件、查看日历等。信息检索 (Information retrieval):用途: 从数据库或大型文本库中检索信息常用于RAG检索增强生成场景。代码执行 (Code execution):用途: 允许LLM编写并运行代码以执行更复杂的计算或数据处理任务如基础计算器、数据分析等。总结与关键技能核心方法论从宏观到微观: 面对一个复杂任务不要试图一步到位。先将其分解为几个大的步骤。评估每个步骤: 对每个步骤自问“这个步骤能否由LLM或我拥有的某个工具来完成”迭代与细化: 如果某个步骤无法直接实现或者实现效果不好就把它再分解成更小的子步骤。组合构件: 最终你的工作流就是由“模型”和“工具”这两个基本构件按特定顺序组合而成的。工作流设计原则从简单开始先做 1-3 步的原型再逐步扩展。模块化设计每个步骤应尽量独立、可复用。容错与反馈加入“检查”、“评审”步骤避免错误累积。持续迭代没有一步到位的完美工作流需不断优化。关键技能任务分解能力: 能够清晰地识别和定义任务的各个离散步骤。构件理解能力: 理解可用的模型和工具及其适用场景。迭代优化能力: 不断测试、评估和改进工作流直至达到预期性能。“当你发现某一步无法由 LLM 或工具完成时问问自己‘作为一个人我会怎么做’然后把这个‘人’的做法拆成机器能执行的子步骤。”Agentic AI任务评估为什么评估如此重要?预测成败的关键: 在团队合作中能否有效评估工作六是区分“做得好”/“做得差”的最大因素驱动迭代优化没有评估就无法知道哪里出了问题也就无法改进避免“黑盒”陷阱不能只看最终输出要深入分析中间过程和错误根源能否进行严格、有纪律的评估evals 是区分一个团队或个人在构建智能体工作流时“做得好”与“做得差”的最大预测因素。评估能力对有效构建智能体工作流至关重要。”核心评估方法论先构建再观察后评估问题在构建智能体工作流前很难预知可能出错的地方解决方案不要试图提前设计所有评估标准。最佳实践是先构建一个初步版本然后手动检查其输出寻找那些你认为能做的更好的地方识别低质量输出“以处理客户订单查询的智能体为例”输入客户邮件“我订购了蓝色搅拌机但收到了红色烤面包机”期望输出礼貌专业解决问题的回复低质量输出“很高兴您选择了我们我们比竞争对手强多了”分析这种输出是错误的因为它提到了竞争对手这在商业中通常不被允许构建评估指标来追踪错误目标量化并跟踪已知识别的错误方法定义错误类型例如“提到竞争对手”创建列表列出所有需要避免提及的竞争对手的名称编写代码编写脚本自动扫描智能体所有的输出统计这些竞争对手的此处和频率优势这是一个客观指标可以用代码精确衡量便于追踪改进效果使用大语言模型作为裁判场景当评估标准更为主管难以用代码精确判断时例如评估一篇论文的质量方法构建生成论文Agent: 一个用于撰写不同主题研究报告的智能体引入裁判LLM使用另一个LLM来评估第一个LLM的生成报告设计评分提示词让裁判LLM对报告进行打分比如1-5分5分最佳评估量大类型端到端评估衡量整个智能体最终输出整体质量比如一篇完整论文最终得分组件级评估衡量智能体工作流中单个步骤或者组件的输出质量比如评估第一步“提取关键信息”的准确性或者第二步“查找相关客户记录”的召回率