EU AI Act 里最不需要讨论“什么时候用”的部分就是禁止类 AI 系统。当欧盟把某项技术实践写进黑名单其实是在告诉你不管你的模型做得多好、给了多少免责声明这个场景本身就不允许在欧盟市场出现。我陪客户做 AI 出海合规评估时几乎每次都要从这一章开始讲因为它直接关联处罚体系——最高 3500 万欧元或上一财年全球年营业额的 7%取孰高。很多团队看到这个数字才真正意识到这已经不是一个“参考指南”而是一条带了牙齿的法律。这篇内容就把第五条禁止清单和后面的罚款体系拆开揉碎讲清楚哪些 AI 系统不能碰、合规边界怎么判断、万一踩线会有什么后果。1. 为什么禁止类是整个 AI 合规的最高优先级1.1 EU AI Act 的风险分级思路EU AI Act 的核心思路是按风险给 AI 系统分级不可接受风险、高风险、有限风险、最小风险。这个分级不是凭感觉而是按 AI 系统所处应用场景和它对人的影响深度来判断的。禁止类 AI 系统位于“不可接受风险”这一档意味着欧盟委员会在立法时认为这些 AI 应用本身对社会基本权利、民主过程或个体安全的威胁已经大到必须一律禁止连评估准入的余地都不留。对出海企业来说最需要形成的一个认知是合规评估不是“从技术属性看”而是“从使用场景看”。我见过不止一个团队拿着“我这是个通用大模型”来问要不要按第五条自检。这种问法方向就错了。EU AI Act 对第五条的判断核心是“部署场景中的特定操作方式”不是模型本身。比如一个对话机器人如果你让它根据用户个人资料去故意设计一种隐蔽的信息呈现方式诱导用户做出伤害自己的决定这就是禁止类同样一个对话机器人仅仅做常见问答就不在禁止范围内只会落入透明度或高风险义务。所以第一步永远是把产品里所有 AI 用途拆成具体的“业务场景”而不是只写一个模型名称。1.2 禁止类被列为最高优先级的现实原因为什么禁止类比其他合规义务优先级更高一个很实际的原因是时间线。EU AI Act 在 2024 年 8 月生效但各种义务分批适用第五条禁止实践从 2025 年 2 月 2 日就开始适用是整部法案最早落地执行的门槛之一。很多高风险 AI 系统的完整义务要到 2026 年 8 月以后才逐步适用但如果你踩了禁止类红线早在第二阶段就会面临监管调查。换句话说禁止类不是“将来时”而是“现在完成时”。优先级高还体现在处罚设计上。同一部法案里违反禁止类义务的最高罚款是违反其他义务的两倍多禁止类最高 3500 万欧或全球年营业额 7%违背高风险系统义务是 1500 万欧或 3%信息提供不准确是 750 万欧或 1.5%。立法者用罚款梯度直接标注了“什么才是重点”。实际操作里我通常建议客户先花半天把禁止清单逐条过一遍反复确认不要踩线然后再去研究透明度、数据治理、技术文档那些长期功课。这条顺序反了后面全都白做。2. 禁止行为逐条拆解八类红线分别是什么2.1 操纵、欺骗与剥削脆弱性不能“替用户做决定”第五条第一组禁止行为针对的是利用人类认知弱点来改变行为的 AI 系统。原文表述的要点是部署潜意识技术或刻意使用欺骗性技术目的是实质性地扭曲一个人的行为导致或合理地可能导致该人或他人身体或心理伤害。通俗来说如果你的 AI 系统在用户没有意识到的情况下暗算用户比如通过隐藏的音频消息、闪烁图案、超快速信息闪动来影响决策这属于潜意识技术。再比如用 AI 定制一个“深度伪造”的权威人物形象来诱骗老年人转账也属于这一条。更麻烦的是第二条“利用脆弱性”因为一个人年龄、残疾或特定社会、经济状况导致的脆弱性AI 系统刻意利用这种脆弱性来扭曲行为并引发重大伤害。注意这里并不要求是未成年人只要是“处于脆弱地位的人”都算。比如针对经济困难人群设计“不可能拒绝的贷款话术”、利用老年人认知退化做操纵性营销都可能被认定。这个范围其实非常广出海做金融、电商、健康、教育的团队尤其要检查客服机器人和推荐算法有没有“话术套路”属性。2.2 社会评分与仅凭画像的犯罪风险预测社会评分是一个典型的禁止行为也是出海团队容易在理解上跑偏的地方。立法上明确禁止的是基于一个人的社会行为或其已知、推断的个人特征对个人或群体进行“信用评分”并由此导致其在某些原本不相关的场景下受到不利对待。这个规则覆盖公共和私营主体。也就是说不能用一个 AI 系统给用户打一个“综合信赖分”然后拿这个分去决定优惠、权限或者服务等级。如果分数只用于某一特定服务的内部风控例如用来判断同一贷款申请中的欺诈风险则需要仔细判断是否与业务场景有直接关联。另一条是仅凭画像的犯罪风险预测即禁止用 AI 基于画像或个人性格特质来评估或预测一个人会不会犯罪。这里有个容易被误解的边界如果 AI 只是辅助人类调查员并且人类基于“客观可核实的事实”做出最终判断通常不落入禁止范围如果你让模型自动输出“此人有较高犯罪倾向”并直接进入警务流程那就非常危险。做公共安全、反欺诈、合规审查类产品的企业要重点看这里的定性逻辑。2.3 无差别人脸抓取与敏感特征分类接下来这条是很多人脸识别产品成立与否的关键为了建立或扩展人脸识别数据库从互联网或闭路电视画面中无差别抓取面部图像这条被明确禁止。注意禁止的是“无差别抓取”不是“经过授权、从特定数据主体直接获取”。就算技术上是公开可访问的数据用来建设人脸库也不合规。做安防、做相册、做社交媒体内容分析的出海产品如果数据来源里有“爬公开网站图片”或“录监控视频来训练人脸模型”要立刻停下来。同时被禁止的还有基于敏感特征的生物识别分类也就是用 AI 推断一个人的种族、政治观点、宗教信仰、工会成员身份、哲学信仰或性取向。这类系统原则上禁止只有执法场景有严格例外。很多公司觉得“我只是做个用户画像标签不涉及执法”没问题但你要清楚如果标签是通过人脸、步态、语音等生物识别数据推出来的敏感属性就已经在高压线附近了。商业场景里几乎没有合规空间。2.4 情绪推断与实时远程生物识别第五条的生物识别禁令里还有一个特别容易被职场和教育类产品撞上的就是情绪识别。法案明文禁止在工作场所和教育机构中使用 AI 来推断人的情绪除非是医疗或安全原因。如果你有一个“课堂专注度分析”产品或者“职场情绪监控”产品面向欧盟市场时风险极高。即便你在产品里写“不用于医疗目的”只要落点是教育机构或工作场所就很难绕过去。再就是实时远程生物识别系统也就是在公共空间对非特定目标的个人进行实时人脸比对以识别身份。这条对执法部门也默认禁止只有少数法定例外例如搜索失踪儿童、处理迫在眉睫的恐怖威胁、查证特定严重犯罪嫌疑人的身份等且必须得到司法授权。很多企业会误以为“我不是执法机构所以这条跟我没关系”但商场偷偷用客流摄像头做实时 VIP 人脸识别、景区用摄像头抓逃票人员这类商务场景既不在例外清单里也很容易被按扩大解释处理。3. 合规边界判断你的 AI 系统到底算不算被禁止3.1 从场景倒推先看用途再看技术我刚说过第五条看场景不看你用了什么模型。所以判断边界的方法论是“场景倒推五连问”系统谁会使用决策对象是谁系统输出是否直接指导对人的不利决定输出与不利决定之间是否存在实质性因果关系该不利决定是否发生在对个人产生重要影响的领域这五个问题一过不少“模糊地带”都会现出原形。举个例子。一个 AI 面试助手根据语音分析评估候选人稳定性。第一问面试官把 AI 评分作为录用参考第二问决策对象是候选人第三问评分直接影响是否录用属于典型的不利决定第四问语音分析结果和录用决策之间确实有因果关系第五问工作机会是重要影响领域。接下来就要查它是否使用了生物识别数据推断情绪或性格特征。情绪推断在职场和教育场景被禁招聘流程是否会被认定为“工作场所”的一部分至少风险极高。何况语音分析还可能被认定为生物识别数据还要过 GDPR。合规判断一定是层层递进的。3.2 “重大伤害”这个标准该如何理解第五条里频繁出现“导致或合理可能导致重大伤害”。很多人问“多少金额算重大”其实法律没有一刀切数额。判断伤害要考虑几个维度严重程度包括身体、心理、经济损失影响人数持续时间是否可逆。同样是操纵性推荐让你多买了一双鞋一般不构成重大伤害但让你背着高息贷款、签下霸王合同就很可能算。实际评估时可以用“普通人视角代入”做第一轮筛查如果这个系统输出的结果被公开报道会不会引发监管、媒体和公众的强烈反感如果会大概率已经在禁止名单附近。还要注意条文里很多动词是“导致或合理可能导致”这意味着监管并不需要证明真实伤害已经发生。只要系统设计能够预测到这种风险就可能违规。这给企业提了个醒合规设计不能等用户投诉要在产品上线前做“伤前分析”把每个人的决策链走一遍看哪里可能被 AI 扭曲。3.3 例外与豁免不要被“仅限执法”带偏第五条有一些例外集中出现在生物识别相关条款中而且写得很窄。例如实时远程生物识别的例外要求基于严重罪行的明确清单、经由司法或独立行政机构事先授权、严格限定时间、地理范围和可识别的数据主体群体。这个授权门槛非常高几乎相当于“走一遍刑事司法批准程序”。商业公司基本不用想着套例外。另一个常见误区是“我有用户授权就能豁免”。EU AI Act 不是 GDPR即使你拿到了用户的同意只要系统落入禁止类同意书也不能让它合法化。因为你不能“同意”自己被操纵也不能“同意”自己被无差别抓取人脸。这个点特别重要我见过不少出海企业拿用户协议来兜底方向完全错了。在禁止类问题上用户授权解决的是数据保护问题不是 AI 实践本身的合法性问题。4. 出海企业落地对策从产品审查到文档留痕4.1 产品合规卡点检查清单真正可落地的第一步是建一张自己的禁止类自检表。不用特别复杂但要把下面这些维度固定下来产品所有 AI 组件清单按使用方、决策对象、决策后果三条线描述是否包含任何形式的用户行为扭曲、话术操纵、潜意识提示是否面向脆弱人群做定向推送或自动决策是否生成个人社会评分并用于跨场景的不利对待是否使用公开网络或 CCTV 数据构造人脸识别数据集是否在职场或教育场景使用情绪识别是否使用生物识别数据推断敏感特征是否涉及公共空间实时识别并检查是否具备执法例外。每个维度我建议由技术和法务双人签字确认留一份带日期的版本。这不是形式主义如果有一天被监管询问你需要证明“当时我做了合理的判断和记录”。很多公司合规失败不是因为没做评估而是因为评估过程没有证据。哪怕底层是通用大模型或 AI Agent 框架只要场景踩线一样算违规。4.2 风险控制计划与可溯性如果自查后发现某个功能“有可能踩线”不要急着删功能。先暂停该功能在欧盟市场的上线然后做一次“替代方案”评审。举例人脸识别相册分类可以把“从公开网络抓图建库”的路径全部关闭只使用用户主动上传并且明确授权的人脸照片同时把“情绪推断”从课程分析流程里去掉只保留考勤、答题正确率这类行为指标。这里花不了太多精力但能让你从第五条的红区里退出来。与此同时记录要跟上。EU AI Act 对 AI 系统提出了可追溯性要求禁止类审查的记录不能只留在会议纪要里最好放进一个简单的合规文件系统风险决策人、评估日期、结论、替代措施、生效版本号。我在项目里常用表格管理一条功能对应一行状态分“允许 / 禁止 / 暂缓 / 需修订”。这样当销售团队拿着合同来问你“欧盟客户能不能上线”时一秒就能给出结论。4.3 合同与供应链传导不要以为“我是提供底层模型 API 的用户怎么用不是我的事”。EU AI Act 对“AI 系统提供者”“部署者”各有义务但禁止类条款的适用范围覆盖了“投放市场、投入使用或提供使用”。如果你把 API 卖给欧盟客户而客户在欧盟部署了禁止类系统你怎么证明自己不知情监管会看你是否尽到了合理的“使用者画像”和“用途限制”审查。我建议在销售合同中明确写入“禁止用途条款”列明哪些场景不允许接入你的 API并建立用量的异常检测机制。比如一个文本生成 API 一天到晚被调用来生成针对老年人的个性化骗局脚本这种用量模式应该有拦截和预警。供应链传导的另一个要点是数据集。如果你的训练数据来自欧盟公开网页其中包含大量人脸图片那么即使你自己不做抓取也可能在后续使用中被认定构成“建立人脸识别数据库”的一部分。审查训练数据来源、脱敏策略和数据留存期限应该和产品功能审查一起做。5. 处罚后果与风险成本算一笔账5.1 处罚梯度对照表把 EU AI Act 的处罚阶梯放在一张表里比任何长篇解释都直观违规类型最高罚款或营业额比例取孰高违反第五条禁止类 AI 实践3500 万欧元上一财年全球年营业额 7%违反其他条款义务如高风险系统、数据治理1500 万欧元上一财年全球年营业额 3%提供不正确、不完整或误导性信息750 万欧元上一财年全球年营业额 1.5%这里的“全球年营业额”不是产品线的收入也不是欧盟区域收入而是按照集团整体口径计算的上一财年全球营业额。对大厂来说7% 甚至比很多年净利润还高对初创公司来说3500 万欧元的绝对上限也足以让融资归零。我见过团队算完这笔账后反而平静了因为他们终于能向业务方解释为什么有些功能必须砍。需要补充说明的是具体适用时还要看责任人是谁、在整条供应链里的角色是哪一层以及成员国执法机构的具体裁量。5.2 除了罚款还有哪些隐形代价罚款只是账单的明面。真正影响业务连续性的是其他几层成本。第一层是“禁止令”。监管机构有权要求你停止投放、召回产品、删除非法数据集这对一款已经做了市场推广的产品等于直接下架。第二层是“连带诉讼”。禁止类 AI 实践往往同时违反 GDPR、产品责任指令、消费者保护法等用户的损害赔偿请求会跟着来而且 AI 生成内容的证据固定非常困难。第三层是“市场准入信任崩塌”。欧盟客户合同中普遍会加入合规保证条款一旦你的产品被认定违规客户可以据此解除合同甚至反过来索赔。还有一层经常被忽视保险和融资。现在不少网络安全保险和企业责任保险在核保时会专门询问 AI 合规状况。如果你的 AI 产品存在禁止类风险保险公司可能直接拒保或大幅提高保费。投资人做尽调时也会调阅合规评估记录一个“可能触碰第五条”的结论足以让进入下一轮的关键节点卡壳。5.3 还没有大案要案但执法的方向已经很清楚截至我写这篇内容时EU AI Act 禁止类条款刚进入适用期不久公开处罚案例还不算多。但可以类比 GDPR 的执法趋势。GDPR 历史上大型处罚动辄数千万欧而且对“全球营业额百分比”的口径采用集团整体营业额执法机构也多次表示罚款不是唯一目的。EU AI Act 的罚款体系明显借鉴 GDPR额度更高。因此合理预期是监管机构会优先抓“影响面大、明显踩线、证据清晰”的案件例如无差别人脸识别、操纵未成年人或弱势群体的 AI 系统、社会评分类应用。没有公开案例不意味着安全反而意味着第一批执法案例出来时会形成很强的示范效应。6. 合规落地中的典型误区与个人经验6.1 我见过的最典型误解第一个误解是“我们不做欧盟业务就没事”。很多 AI 产品初期没有欧盟用户但代码、数据流、API 部署在欧盟境外只要不面向欧盟“投放市场”第五条可能不适用。可问题在于业务边界极易模糊你的 Web 服务向全球开放欧盟 IP 可以访问你的 App 能在欧盟商店下载你为某个欧盟客户提供 SaaS 接口——这些都可能被认定为“在欧盟投入使用”。所以不要等到正式做欧盟商务才合规只要产品结构上存在进入欧盟的路径就该按这个尺度自查。第二个误解是“免责声明写清楚就可以”。这点我前面提过用户授权不够免责声明更不够。禁止类条款的立法逻辑不是“告知后同意”而是“这种实践本身对社会危害太大不允许用同意来交换”。所以不要在隐私政策里写“点击即表示同意情绪分析”这条在欧盟没有任何保护力。6.2 合规团队需要盯住的三个关键动作如果真的要做 EU AI Act 合规我建议按三个动作推进。第一每季度做一次“禁止类红线复检”。产品迭代会让新功能掉进禁止清单比如推荐系统加入了“利用经济脆弱性”的话术优化这种变化不会自动出现在 AI 模型仓库里只能靠场景清单复检。第二给业务方做一次“红线培训”不要讲法律术语用例子讲哪些话术不能做、哪些数据不能爬、哪些摄像头功能不能卖给谁。培训要留签到和答题记录这是后续证明企业“尽到责任”的痕迹。第三把合规从文档变成“功能开关”。在后台为每个 AI 能力预设一个禁用 flag当合规状态为“禁止”或“暂缓”时该功能在欧盟用户侧自动降级或关闭。这一条是我在项目里最推荐的做法它让制度不依赖某个人的记忆。6.3 可以立刻复用的一个自检问题如果你现在只做一件事那就把下面这个问题发给产品和研发团队“我们的系统有没有一个环节通过欺骗、诱导或利用用户弱点来让他们做出原本不会做出、而且可能造成明显伤害的决定”如果答案是“有”请立刻停掉而不是问“用户授权签了没有”。这个问题覆盖了第五条里最核心的逻辑。把这个问题答清楚EU AI Act 禁止类合规的大头就完成了剩下的才是处罚金额和风险评估这些“算术题”。