让技能保持锋利:dzhng/skills 的 eval-skills 与 audit-agents 质量审计实战
发布时间:2026/10/15 15:55:33 锦皓数字建站

【免费下载链接】skillsReusable AI agent skills for software factories: explore ideas, write specs, implement, review, and run autonomous research. Works with Claude Code, Codex, and other skill-compatible agents.项目地址https://gitcode.com/gh_mirrors/skills47/skills点击查看免费下载dzhng/skills 是一套面向 Claude Code、Codex 等 AI 编程工具的可复用智能体技能库AI Skills覆盖探索想法、编写规格、实现功能与自动评审的完整研发流程。本文介绍其中专门负责给技能做体检的两个质量审计技能——eval-skills与audit-agents教你用盲测和逐行审查的方式让 AI 技能长期保持锋利、可维护。为什么 AI 技能会变钝质量审计的必要性技能文件SKILL.md本质上是写给 AI 的操作记忆。和代码一样它会腐化冗余沉积一次次修补让无关内容越堆越多正文越来越臃肿过时细节写死的文件路径、函数名、调好的数值代码一变就失效无效规则模型本来就会做的事被写成一堆不改变任何行为的废话。当技能被用于长时间、无人值守的自主运行时一个变钝的技能可能让整个任务偏离方向。dzhng/skills 用一个独立的authoring分类来持续打磨技能本身其中最有代表性的就是 eval-skills 与 audit-agents。eval-skills 盲测实战像单元测试一样测试 AI 技能核心思路盲测 独立裁判eval-skills 把技能当作被测函数在干净环境里喂入示例输入用独立裁判对照标准评分让失败驱动修改。关键在于盲测blind执行技能的子智能体不能携带任何当前对话的上下文也永远看不到期望输出——执行者或裁判一旦偷看答案评测就变成教会应试毫无价值。开始前的三件套输入清单输入说明目标技能必须能定位到一个真实的 SKILL.md找不到就先问清楚至少一个 golden case技能会真实收到的输入截图、提示词、文件或场景每个案例的标准bar好结果应达成什么、坏结果长什么味道注意标准不是答案清单。eval 测的是技能的判断力预先罗列所有要求会把评测变成机械核对。比如切片粒度让每个部分可独立构建和验证是一个裁判可以执行的标准而切得好太薄、一份固定的切片清单则过于死板。七步盲测工作流校验输入确认可一句话说清技能的第一性原则每个案例都有具体输入和可执行的标准盲测运行每个案例一个全新子智能体只给输入不给标准每次运行后清理泄漏到工作区的文件独立裁判评分裁判只拿到产物、标准和技能自身的第一性原则每条结论必须引用具体证据而非给分处理不确定性重要案例复跑 2~3 次报告通过率——3 次只对 1 次的技能不算修好归因诊断失败要么是技能缺陷可修要么是案例标准本身错了不迁就错误标准去改技能按 write-skills 原则修改只改失败指向的地方先收紧完成标准再考虑加内容重跑全部案例防止一次修复引入新的回归。最终输出一份简短报告每个案例的通过率与引用差距、每个失败对应的缺陷、所做修改及重评结果让改前/改后的变化一目了然。audit-agents 瘦身指南AGENTS.md 逐行裁决方法AGENTS.md 是项目里每个协作者都会读的文件。audit-agents 的视角很极端想象未来一百年里、接下来的第一千名贡献者——一行内容只有在那之后仍然为真、仍然改变他们的行为才值得留下。逐行裁决Keep / Rephrase / Move / Delete裁决含义Keep通过全部检验的持久原则Rephrase是持久教训但用了今天的实现细节或太模糊无法执行Move有用的细节移交给它的主人readme、manifest、技能或 specDelete重复、历史故事或改变不了任何行为的行AGENTS.md 的五把检验尺百年检验不出现命令、参数、路径、文件/函数名、依赖选择、调好的数值和 bug 故事——保留教训把机制移走千人检验新来的贡献者不依赖这次会话的背景就能照做改变行为检验能干的人本来就会遵守的行直接删掉朴素具体检验看看图片是原则让验证匹配声明不是——优先短句 后果 一个产品例子迭代速度核心原则必须写明——优化可信反馈的时间运行能回答问题的最小检查完整运行只在实现完成时跑一次。审计先出报告按影响力排序逐行引用原文、给出裁决与替换文本重复项归组只有在你明确要求时才动笔重写。重写以仓库自带的通用模板为起点example-agents.md。两者如何配合把技能质量闭环补上在 dzhng/skills 的完整闭环里工程类技能负责把事做对authoring 类技能负责让工具持续好用技能解决什么问题write-skills编写技能的第一性原则所有修改都必须遵守eval-skills用盲测 独立裁判验证技能行为让差距驱动编辑audit-agents审计或重写 AGENTS.md只保留持久原则一个典型的维护循环发现技能行为变差 → 用 eval-skills 盲测定位缺陷 → 按 write-skills 原则修改 → 复跑确认通过率 → 顺手用 audit-agents 清理被改动的 AGENTS.md。快速上手安装与触发方式一键安装技能包npx skills add dzhng/skills加--list可只挑选需要的技能克隆仓库后也可以运行npm run install-skills由 scripts/install-skills.mjs 完成同样的安装。技能不听话时触发 eval-skills直接说这个技能总是漏掉 X并给出输入→期望输出的例子。缺少 golden case 或标准时它会停下来让你补齐而不是凭空造案例。AGENTS.md 变臃肿时触发 audit-agents它设置了disable-model-invocation只能由用户按名字手动调用不会自己冒出来——这本身就是审计权在人手里的设计。小结eval-skills用盲测、独立裁判和复跑通过率把技能质量从感觉变成可度量的事audit-agents用逐行裁决加五把检验尺让 AGENTS.md 只留一百年后仍然有效的原则两者都坚持先报告、后修改让你始终掌握修改的主动权。技能库是软件工厂的工具车间——定期打磨工厂才跑得又快又稳。更多技能说明可查阅 README.md 中的技能总表。赞分享【免费下载链接】skillsReusable AI agent skills for software factories: explore ideas, write specs, implement, review, and run autonomous research. Works with Claude Code, Codex, and other skill-compatible agents.项目地址https://gitcode.com/gh_mirrors/skills47/skills点击查看免费下载相关推荐OmX Skills 与 Agents 全量盘点读懂 oh-my-codex 的 50 技能 36 Agent 库存审计清单OmX Skills 与 Agents 全量盘点读懂 oh my codex 的 50 技能 36 Agent 库存审计清单 本文解读 oh my cod人工智能AI AgentAgent 编排Agent 工作流CLI开发工具AI 技能Anthropic-Cybersecurity-Skills 实战指南基于 Linux Auditauditd审计日志的入侵检测与分析Anthropic Cybersecurity Skills 实战指南基于 Linux Auditauditd审计日志的入侵检测与分析 导读 本指南围绕网络安全AI 技能/插件渗透测试红蓝对抗Genkit 中的 TypeScript 编码规范技能解读 agents/skills/typescript/SKILL.md 的设计与实战Genkit 中的 TypeScript 编码规范技能解读 agents/skills/typescript/SKILL.md 的设计与实战 本篇文章以 Ge人工智能大模型后端AI AgentRAG工具调用创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
锦
锦皓数字建站
深耕本土企业品牌数字化升级,专注原创端正雅致商务官网,从视觉设计到稳定运维全程保驾护航。