AI 风险管理框架：2026 年分步指南

AI 风险管理框架，是一套用来发现、排序、控制和监控 AI 系统风险的步骤，这些 AI 系统会影响业务决策。务实的版本有五步：盘点您的 AI，按影响给每个用例排序，对高风险的用例加上控制措施，落实治理，并借助一份经过测试的事件预案做监控。

本指南写给那些在财务、HR 或采购中已经用上 AI、或即将用上 AI 的 CIO、风险责任人和 SAP 项目群负责人。它把每一步都对应到 NIST AI RMF 和欧盟《人工智能法案》，并提供一份风险登记册模板，供您起步。

自动化决策失败得很快。2012 年，Knight Capital 部署了有缺陷的交易软件，据美国 SEC称，因为没人能及时让系统停下来，45 分钟内损失超过 4.6 亿美元。那并不是机器学习。那是一个没有有效监控、也没有紧急停止开关（kill switch）的自动化决策系统，而这恰恰是今天许多 AI 部署存在的缺口。

下面的原则依然成立。但有三项外部变化，改变了您规划时要围绕的对象。

NIST 增加了生成式 AI 配置文件。NIST AI 风险管理框架（AI RMF 1.0，2023 年 1 月）建立在四项职能之上：治理（Govern）、映射（Map）、衡量（Measure）、管理（Manage）。2024 年 7 月，NIST 发布了生成式 AI 配置文件（Generative AI Profile，NIST AI 600-1），涵盖虚构（confabulation）、提示词注入、数据隐私和知识产权等风险。如果您在企业数据上运行 Joule、Microsoft Copilot 或自建的生成式 AI 智能体，请在风险登记册中引用它。NIST 表示核心框架正在修订，目前还没有 1.1 版本。

欧盟《人工智能法案》的时间表变了。该法案于 2024 年 8 月 1 日生效。禁止性做法和 AI 素养义务自 2025 年 2 月 2 日起适用，通用 AI 义务自 2025 年 8 月 2 日起适用。其余大部分规则和执法自 2026 年 8 月 2 日起适用。在 2026 年通过《数字综合法案》（Digital Omnibus）的修订之后，附件 III 所列高风险系统（招聘、信用评分、获得基本服务等）的规则自 2027 年 12 月 2 日起适用，受监管产品中的高风险 AI 则自 2028 年 8 月 2 日起适用。要核对日期，请看欧盟委员会的实施时间表。禁止性做法的罚款可达 3500 万欧元或全球营业额的 7%，大多数其他违规的罚款为 1500 万欧元或 3%。

多出来的时间，并不是等待的理由。技术文档、数据治理、人工监督和上市后监测，搭建所需的时间比多数团队预想的更长。

ISO/IEC 42001 为 AI 治理提供了一项可认证的标准。它在 2023 年 12 月发布，对 AI 管理所起的作用，就像 ISO 27001 对信息安全那样。ISO/IEC 23894（2023 年）则补充了专门针对 AI 风险管理的指引。依我看，任何向受监管的买家销售具备 AI 功能软件的公司，都应当预期 42001 会出现在采购问卷里。

对海湾地区的组织而言，阿联酋的《人工智能开发与使用宪章》（Charter for the Development and Use of AI，2024 年）和沙特阿拉伯 SDAIA 的 AI 伦理原则（AI Ethics Principles），不像欧盟法案那样是有约束力的法律，但监管机构和公共部门买家已经在问您如何满足它们。

一套像样的框架，贯穿模型的整个生命周期，从设计到部署，再到日常运行。

组成部分	涵盖内容	关键行动
治理结构	监督和决策权	设立 AI 风险委员会；为每个系统指定责任人
风险识别	技术、伦理和监管风险	风险工作坊、威胁建模、情景分析
合规对齐	欧盟《人工智能法案》、GDPR、ISO 42001、本地规则	把每个用例对应到适用的规则
偏见与公平性	歧视性结果	偏见测试、公平性审计、按群体评估影响
可解释性	人们能理解的决策	可解释性方法、模型文档
安全与隐私	模型和数据保护	加密训练数据；对抗性测试
持续监控	部署之后的行为	KPI、异常检测、人工复核闭环
事件响应	故障和伦理违规	上报路径、回滚和恢复计划

多数框架失败，是因为游离在项目流程之外。AI 治理必须活在运营模式之内，与审计和变更控制并肩。否则问题浮现得晚，修复起来更难，也更贵。

1. 01识别盘点每一个 AI 系统
2. 02排序按可能性和影响
3. 03控制对高风险系统最严格
4. 04治理每个模型一位责任人
5. 05监控告警，以及一份经过测试的事件预案

关键系统每月复核，其余每季度复核

从盘点开始。对每个 AI 系统，回答三个问题。它处理什么数据？它影响什么决策？如果它出错，最坏的结果是什么？

常见的风险类别：

1. 偏见与公平性。用历史数据训练的模型，会继承其中的偏见。如果五年的招聘决策偏向某类人群，模型就会重复这种偏向。Amazon 在发现一款 AI 招聘工具会对含有“women's”一词的简历降分之后，放弃了它，路透社（Reuters）在 2018 年对此做过报道。这是可以预见的。部署前做一次基本的偏见审计，就能发现。
2. 安全。涉及付款、HR 档案或合同的 AI 系统，是被攻击的目标。数据投毒、提示词注入和模型窃取，都是真实存在的攻击路径。
3. 合规。GDPR、欧盟《人工智能法案》、ISO 42001、HIPAA 和本地规则，可能同时适用。监管机构越来越希望看到 AI 决策背后的方法，而不只是输出结果。
4. 运行漂移。第一季度训练的模型，到第三季度可能因为数据模式变化而表现不同。直到有客户投诉或审计发现，才有人注意到。

风险并不都一样。按可能性和业务影响排序。

1. 关键：影响财务审批、雇佣决策或访问控制的 AI。这些需要最严格的控制措施、人工监督和完整的文档。
2. 中等：由 AI 提出建议、由人做最终决定的情形。控制措施可以轻一些，但审计日志仍然适用。
3. 低：范围有限、对人影响很小的内部工具。基本监控和定期复核。

用欧盟《人工智能法案》的类别做交叉核对。招聘、信贷和获得基本服务，明确属于高风险。

偏见。使用有代表性的训练数据。按固定周期，按人群分组审计结果。对关于个人的决策，保持人在回路：招聘、放贷、准入。调查不同群体之间通过率的差异。

安全。对训练数据和模型输出加密。限制谁可以修改模型。测试精心构造的输入能否操纵模型行为。留意异常的访问模式。

运行连续性。为每个系统定义什么是正常，然后设置告警阈值。当某项指标出现变动（欺诈拦截率、招聘通过比例、供应商审批模式）时，您需要的是一条告警，而不是月末的惊吓。还要确保有人能迅速把系统关掉。

AI 治理需要三样东西。

1. 明确的责任归属。每个模型的输出，由一个人负责。一个没有主席的委员会，就等于谁都不负责。
2. 审计线索。每个受 AI 影响的决策，都需要一份可追溯的记录：所用的数据、输出结果，以及何时由谁复核。
3. 监管对齐。对照 ISO 42001、NIST AI RMF、欧盟《人工智能法案》和 GDPR（或您所在地区的对应法规）检查每个系统。规则一变就重新检查，就像欧盟的日期刚刚发生的变化那样。

如果您是在 SAP 项目群内部搭建这套机制，我写的SAP 实施中的 AI 治理指南讲了控制措施在 S/4HANA 和 SuccessFactors 中分别落在哪里。

企业环境中广泛使用的工具：

工具	主要关注点
Fiddler AI	模型监控、可解释性、偏见检测
IBM watsonx.governance（包含 Watson OpenScale）	模型治理、偏见和漂移监控、文档
Microsoft Responsible AI 仪表板（Azure Machine Learning）	公平性、错误分析、数据不平衡
Arthur	性能、漂移和公平性监控
Amazon SageMaker Clarify	训练和推理中的偏见检测

出了问题，临场发挥的团队只会让事情更糟。要在事件发生之前就定义好上报路径：电话打给谁，他们有什么权限暂停或回滚模型，以及如果客户的数据受到影响，您对客户说什么。

我见过一些公司以为自己的 AI 运行良好，结果一个悄无声息的错误滚雪球般演变成危机，才手忙脚乱。区别就在于一份书面的事件预案，经过演练，而不是只放进了文件夹。

每个 AI 系统一行。关键系统每月复核，其余每季度复核。

字段	记录什么	示例
系统与责任人	名称、业务负责人、技术负责人	发票自动审批模型；应付账款经理；数据科学负责人
所影响的决策	它决定或推荐什么	对低于某一阈值的发票，不经复核直接批准
所用数据	来源、个人数据、敏感字段	供应商主数据、发票行项目、付款历史
风险等级	关键 / 中等 / 低；如相关，注明《人工智能法案》类别	中等；不属于附件 III
主要风险	偏见、安全、合规、漂移	供应商结构变化带来的漂移；通过被篡改的发票实施的欺诈
控制措施	测试、人工复核、阈值、紧急停止开关	每周抽样复核；金额上限；审批率变化时告警
监控指标	您关注什么，以及告警级别	自动审批率超出其正常区间
事件联系人	谁可以暂停它，以及多快	应付账款经理，在约定的响应时间内
上次复核	日期和复核人	每月一次，由 AI 风险委员会进行

关于负责这份登记册的治理结构，请看我的 AI 治理框架指南。如果您想在监管机构或审计师提出要求之前，请外部人员评审一遍您的登记册，那属于我的 AI 治理咨询工作的一部分。

什么是 AI 风险管理框架？

一套结构化的流程，用来识别、评估和管理 AI 系统影响业务决策时产生的风险。它涵盖模型的整个生命周期，并包括针对偏见、安全、合规和运行漂移的控制措施。

在 SAP 环境中，它适用于采购（供应商评分）、HR（候选人筛选）、财务（发票审批）和供应链（需求预测）中使用的模型。这些系统关系到人、钱和合规。

什么是 NIST AI 风险管理框架？

由美国国家标准与技术研究院（NIST）发布的自愿性框架，2023 年 1 月以 AI RMF 1.0 的形式发布，建立在四项职能之上：

1. 治理（Govern）：政策、问责和文化
2. 映射（Map）：背景、预期用途和潜在影响
3. 衡量（Measure）：针对偏见、稳健性、可解释性和安全性的测试
4. 管理（Manage）：对风险排优先级并加以处理，以及监控

2024 年 7 月，NIST 增加了生成式 AI 配置文件（NIST AI 600-1），它是治理 Joule 和 Copilot 这类助手时，美国方面最有用的参考。

欧盟《人工智能法案》的高风险规则何时适用？

在 2026 年《数字综合法案》的修订之后，附件 III 所列高风险系统（如招聘、信用评分和获得基本服务）的规则，自 2027 年 12 月 2 日起适用。嵌入欧盟产品安全法所涵盖产品中的高风险 AI，则自 2028 年 8 月 2 日起适用。禁止性规定和通用 AI 规则已经适用。

企业 AI 中最大的风险有哪些？

1. 偏见与歧视：有偏的历史数据，产出有偏的结果
2. 安全：数据投毒、提示词注入和模型窃取
3. 合规：GDPR、欧盟《人工智能法案》、ISO 42001 和行业规则
4. 运行漂移：随着数据模式变化，准确率下降
5. 缺乏可解释性：您解释不清的决策，很难向监管机构、客户或内部审计辩护

AI 事件响应预案应涵盖什么？

四件事，要在事件发生之前定义好：

1. 上报路径：先通知谁，谁可以暂停或回滚模型，谁负责对客户沟通
2. 遏制：如何隔离系统，同时不破坏下游流程
3. 客户沟通：何时、对受影响的人说什么
4. 事后复盘：根本原因、重新训练或回滚，以及更新后的控制措施

每年至少用一次桌面推演来检验这份预案。