ArcKit确定性评分机制YAML评分细则如何把主观印象变成可审计证据【免费下载链接】arc-kitThe Enterprise Architecture Governance Harness — strategy, architecture, delivery, and assurance using AI coding assistants项目地址: https://gitcode.com/GitHub_Trending/ar/arc-kitArcKit 的确定性评分机制是这套企业架构治理工具包最有价值的设计之一。它用一份 YAML 评分细则scoring rubric明确规定什么证据值得多少分再配合写前校验钩子让 AI 助手给出的每一个分数都可复现、可追溯、可审计——从我觉得这个方案很好变成这项证据命中了 6 项安全信号中的 6 项得分 100。为什么 AI 打分容易注水如果你让 AI 助手给云产品打五星评级大概率会遇到这个尴尬场景支柱评级备注安全⭐⭐⭐⭐⭐架构优秀可靠性⭐⭐⭐⭐⭐表现良好问题在于——没有人定义过五颗星的获得标准。一个真正具备客户托管密钥、私有网络和审计日志的服务与一个只是模型当时心情好的服务看起来都是五颗星。这类表格最终普遍漂向满分失去比较价值。ArcKit 在 cloud-research-generic.yaml 的注释里说得很直白当评级标准只靠感觉表格就成了装饰品。核心设计一份 YAML 就是完整评分法ArcKit 的做法是把评分规则外置成数据而不是藏在提示词里。每个细则文件包含三块内容① 维度权重谁占大头一目了然以云研究细则为例六大维度直接对齐 AWS Well-Architected 框架维度权重安全 security25可靠性 reliability20卓越运营15性能效率15成本优化15可持续性10权重写在 YAML 文件 里任何人或任何审计者都能复核为什么安全比可持续性更重。② 评分方法每类证据都有算法细则为每个维度指定了明确的打分方法method常见四种信号覆盖signal_coverage列出 6 项预期的架构信号静态加密、传输加密、IAM 集成、私有网络、审计日志、客户托管密钥命中多少比例得多少分分档band数值落入哪个区间就拿哪个分比如 SLA 可用性 ≥99.99% 得 100 分99.9%~99.98% 得 85 分映射map生命周期状态直接查表——GA 得 100Beta 得 25已弃用得 5组合composite多个子项按各自权重加权求和比如可靠性 弹性信号 ×0.5 SLA ×0.3 生命周期 ×0.2。还有一处很见功力的设计合规下限compliance_floor。如果一份方案完全没有公开的合规计划证据安全分最高只能到 60——因为公共部门采购方无法依赖一份没发表的保证无论架构画得多漂亮。③ 同一份细则覆盖多云由于 AWS、Azure、Google Cloud 的框架高度同构这一份细则同时服务三家云厂商的 aws-research、azure-research 和 gcp-research 命令schemas 目录 下共收录了 12 份细则覆盖云研究、供应商研究、政府代码搜索、授标评估等场景还分有uk-gov英国政府场景变体。钩子守门写文件之前先体检细则负责怎么算分还有一道防线负责分数必须诚实。ArcKit 通过 PreToolUse 钩子 score-validator.mjs 在每次写入评分记录scores.json之前自动校验校验项规则分数范围必须是 0~3权重总和必须约等于 1.0容差 0.01证据字段强制必填无证据不许给分准则 ID引用的每条准则必须真实存在供应商评分遵循 0~3 四级标准见 score 评分指南0不满足 →1部分满足 →2满足 →3超出预期其中最关键的一条是没有证据引用就不允许给出分数。AI 不能凭印象打分每一条得分都必须指向供应商提案中的具体原文。从打分到审计证据链完整闭环有了确定性细则和校验钩子一次采购评估就能走出完整证据链/arckit:evaluate—— 建立带权重的评估准则/arckit:score vendor—— 逐条给分每条分数附证据引用/arckit:score compare—— 生成加权总分对比并附敏感性分析权重 ±10% 时排名是否翻转/arckit:score audit—— 输出评分审计轨迹谁、何时、对谁、打了多少分。评分结果以结构化 JSON 持久化在项目目录下可以直接提交进版本库——这意味着任何供应商如果对落选提出异议评估团队拿出的不是我们觉得而是逐条可复核的证据链。这套机制还有一个真实的翻车修复案例欧盟云主权框架EU CSF的评分公式早期只写了符号却没有定义分怎么算导致对同一份证据跑两次可能得到两个分数。后来项目用确定性脚本 csf-score.mjs 直接实现了官方计算器catalogue 数据的逐条定义连满分响应会得 100.0756% 而非 100%这种框架自身行为都如实报告、绝不擅自修圆——这正是可审计证据应有的姿态。小结确定性不是限制 AI而是解放 AIArcKit 的确定性评分机制给所有做 AI 治理工具的团队一个清晰示范规则外置评分标准写成 YAML 数据改标准不需要改代码也能被人类直接审阅算法明确每一分都能说清由哪些证据、按什么方法算出校验兜底写前钩子强制证据必填、范围合法杜绝静默注水闭环可查对比、敏感性、审计轨迹一应俱全。下次你的 AI 助手给出一个85 分时你可以追问一句依据哪条细则的哪个信号——在 ArcKit 里这个问题永远有确定答案。【免费下载链接】arc-kitThe Enterprise Architecture Governance Harness — strategy, architecture, delivery, and assurance using AI coding assistants项目地址: https://gitcode.com/GitHub_Trending/ar/arc-kit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考