资讯详情

资讯详情

AI_软件供应链安全_模型数据与智能体

AI 软件供应链安全全景模型、数据集、Agent 工具与传统软件安全有何不同专栏代码安全笔记 · 软件供应链安全进阶篇10关键词AI 供应链、模型安全、数据投毒、Agent、安全评估、模型溯源摘要传统软件供应链强调源码、依赖包、构建工具与交付制品。AI 应用在此基础上又引入模型权重、训练与评测数据、向量库、提示模板、插件及智能体工具等新资产。它们同样可能来自第三方并在更新后改变系统行为。本文结合 NIST 对抗机器学习风险分类给出 AI 供应链资产地图与防御框架。一、AI 供应链比传统软件链多了什么一个基于大模型的客服系统可能包括传统应用代码与 Python/JavaScript 依赖基础模型、微调权重与推理框架训练集、评测集、RAG 文档与向量索引系统提示词、工具描述、Agent 工作流模型网关、第三方 API、插件和外部服务。源代码与依赖AI 应用发布模型与权重数据集与 RAG 知识库提示模板与 Agent 工具推理框架与基础设施运行时监测与响应由于部分模型行为由数据、权重与上下文共同决定仅对代码进行 SAST/SCA 扫描并不能覆盖全部 AI 风险。二、五类值得重点关注的风险供应链对象典型风险建议措施第三方模型未知来源、恶意模型文件、行为偏差来源验证、隔离测试、文件校验训练与微调数据数据投毒、标签污染、许可问题数据溯源、审核与质量评估RAG 知识库恶意文档注入、错误内容传播文档准入、访问控制、内容隔离Agent 工具过宽权限、工具描述被篡改最小权限、操作审批、审计推理与部署框架依赖漏洞、镜像篡改、凭据泄露SCA、镜像签名、运行时隔离NIST AI 100-2 E2025 专门讨论了对抗机器学习中的供应链攻击与缓解方法包括 AI 生态特有的数据、模型和集成依赖风险。三、模型“下载后即加载”的安全边界模型仓库可能包含配置、权重、分词器及自定义代码。下载和加载时应尽量避免执行不受信任的仓库代码并依据所用框架确认安全的文件格式和加载方式。示例治理流程模型登记 - 供应方核验 - 许可证与使用条件审查 - 文件摘要校验 - 隔离加载测试 - 行为评估 - 受控发布 - 持续监测注意摘要校验只能证明文件与预期版本一致不能独立证明其内容无恶意。模型来源、发布主体和使用场景仍需要单独审查。四、RAG 与 Agent 的供应链问题RAG知识文件也是外部输入RAG 系统可能持续接入网页、知识库、PDF 或工单信息。当检索文档中出现伪装成系统指令的内容时模型可能受到提示注入影响。因此需要把知识文档作为不可信数据而非指令来源明确文档上传者和来源对机密内容建立访问控制区分检索结果与系统级规则对可能触发外部操作的输出增加确定性校验对文档更新建立版本记录和回滚能力。Agent工具调用扩大了后果一个可以查询数据库、写入工单、执行脚本的 Agent如果没有权限边界可能把不可信内容转化为高影响操作。建议限制每个工具的授权范围对删除、付款、外发数据等敏感行为采用明确审批与独立策略引擎。五、设计 AI 供应链物料清单可以在传统 SBOM 之外为 AI 系统维护一份资产关联台账记录对象应记录的关键内容模型名称、提供方、版本、文件摘要、部署位置数据来源、使用许可、更新批次、质量评估提示与配置版本、审批人、权限边界工具和插件开发者、调用权限、外部依赖基础设施推理框架、镜像、硬件/托管平台信息该表是建议的数据模型不是声称存在统一的法定 AI-BOM 字段标准。企业可根据适用框架调整。六、上线前必须做的四类测试组件安全测试SCA、容器扫描、凭据检查和部署配置审查模型行为测试对抗样本、越权输出、数据泄露和鲁棒性评估检索与工具测试提示注入、非授权工具调用、外部内容污染应急响应演练模型回滚、数据撤回、工具禁用和供应商事件通知。测试结果应与具体模型版本、数据批次和部署配置关联否则模型一更新原测试结论可能失效。七、分阶段落地第 1 阶段盘点所有模型、数据、插件和工具接口。第 2 阶段准入为第三方模型、数据与插件设置供应商评估和来源验证。第 3 阶段上线控制建立模型版本、发布审批、行为测试、工具最小权限。第 4 阶段运营监测异常调用、数据泄露、提示注入与模型版本漂移。总结AI 软件供应链并不是替代传统 DevSecOps而是在传统代码与制品安全的基础上延伸到模型、数据、上下文和工具权限。企业若只扫描代码库而不管理外部模型和知识来源将无法完整解释 AI 产品的风险。
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →