
目錄
AI 風險管理框架,是您用來找出、排序、控管並監控那些影響商業決策的 AI 系統風險的一組步驟。實務版本有五個步驟:盤點您的 AI、依影響程度為每個使用案例排序、對高風險的案例實施控管、指派治理責任,以及以經過演練的事件計畫來監控。
這份指南寫給已經在財務、人資或採購中使用 AI,或即將使用的 CIO、風險負責人與 SAP 專案主管。它把每個步驟對應到 NIST AI RMF 與歐盟 AI 法案,並提供一份可以起步的風險登錄表範本。
自動化決策失敗得很快。2012 年,Knight Capital 部署了有缺陷的交易軟體,根據美國 SEC,它在 45 分鐘內損失超過 4.6 億美元,因為沒有人能及時讓系統停下來。那不是機器學習。那是一套沒有有效監控、也沒有緊急停止開關的自動化決策系統,而這正是今天許多 AI 部署所存在的缺口。
下面的原則依然成立。有三項外部的改變,會左右您規劃時的依據。
NIST 新增了生成式 AI Profile。NIST AI 風險管理框架(AI RMF 1.0,2023 年 1 月)建立在四大功能之上:Govern、Map、Measure、Manage。2024 年 7 月,NIST 發布了生成式 AI Profile(NIST AI 600-1),涵蓋虛構內容(confabulation)、提示注入、資料隱私與智慧財產權等風險。如果您在企業資料上執行 Joule、Microsoft Copilot,或自建的生成式 AI 代理,請在風險登錄表中引用它。NIST 表示核心框架正在修訂;目前還沒有 1.1 版。
歐盟 AI 法案的時程移動了。該法案於 2024 年 8 月 1 日生效。禁止行為與 AI 素養義務自 2025 年 2 月 2 日起適用,通用型 AI 的義務自 2025 年 8 月 2 日起適用。其餘大部分規則與執法,自 2026 年 8 月 2 日起適用。在 2026 年通過的數位綜合法案修正之後,附件三所列高風險系統(招聘、信用評分、取得基本服務及類似用途)的規則,自 2027 年 12 月 2 日起適用,而受監管產品內的高風險 AI,則自 2028 年 8 月 2 日起適用。執委會的實施時程表是查證的地方。針對禁止行為,罰款最高可達 3,500 萬歐元或全球營業額的 7%,其他大多數違規則是 1,500 萬歐元或 3%。
多出來的時間不是等待的理由。技術文件、資料治理、人工監督與上市後監控,建置起來比多數團隊預期的更久。
ISO/IEC 42001 為 AI 治理帶來了可取得認證的標準。2023 年 12 月發布,它對 AI 管理所做的事,就像 ISO 27001 對資訊安全所做的。ISO/IEC 23894(2023)則加入了專門針對 AI 風險管理的指引。依我的看法,任何把 AI 軟體賣給受監管買家的公司,都應該預期 42001 會出現在採購問卷裡。
對海灣地區的組織而言,阿聯的《人工智慧開發與使用憲章》(Charter for the Development and Use of AI,2024),以及沙烏地阿拉伯 SDAIA 的《AI 倫理原則》,不像歐盟法案那樣具有約束力,但監管機關與公部門買家已經在詢問您如何符合它們。
一套完整的框架,貫穿模型的整個生命週期,從設計、部署,一直到日常營運。
| 要素 | 涵蓋範圍 | 關鍵行動 |
|---|---|---|
| 治理架構 | 監督與決策權 | 設立 AI 風險委員會;為每個系統指定負責人 |
| 風險識別 | 技術、倫理與法規風險 | 風險工作坊、威脅建模、情境分析 |
| 法遵對齊 | 歐盟 AI 法案、GDPR、ISO 42001、地方規定 | 把每個使用案例對應到適用的規則 |
| 偏誤與公平性 | 歧視性的結果 | 偏誤測試、公平性稽核、各群體的影響 |
| 可解釋性 | 人們能理解的決策 | 可解釋性方法、模型文件 |
| 資安與隱私 | 模型與資料保護 | 加密訓練資料;對抗性測試 |
| 持續監控 | 部署後的行為 | KPI、異常偵測、人工審查迴圈 |
| 事件應變 | 故障與違反倫理的事件 | 升級路徑、回復與復原計畫 |
多數框架失敗,是因為它們獨立於專案流程之外。AI 治理必須活在營運模式之內,與稽核和變更管制並行。否則問題會浮現得太晚,那時候要修正,既更難也更貴。
- 識別盤點每一個 AI 系統
- 排序依可能性與影響程度
- 控管對高風險系統最嚴格
- 治理每個模型一位指定的負責人
- 監控警示與經過演練的事件計畫
關鍵系統每月檢視,其餘每季檢視
從盤點開始。針對每個 AI 系統,回答三個問題。它處理什麼資料?它影響哪些決策?如果它出錯,最糟的結果是什麼?
常見的風險類別:
- 偏誤與公平性。以歷史資料訓練的模型,會繼承其中的偏誤。如果五年的招聘決策偏向某些背景,模型就會重複這一點。Amazon 在發現一項 AI 招聘工具,會調降含有「women's」一詞的履歷評分之後,把它廢止了,路透社在 2018 年報導過這件事。這是可預見的。部署前一次基本的偏誤稽核,就能抓到它。
- 資安。碰觸付款、人資紀錄或合約的 AI 系統,是攻擊目標。資料投毒、提示注入與模型竊取,都是真實的攻擊途徑。
- 法遵。GDPR、歐盟 AI 法案、ISO 42001、HIPAA 與地方規定,可能同時適用。監管機關越來越想看到 AI 決策背後的方法,而不只是輸出結果。
- 營運漂移。第一季訓練出來的模型,到了第三季可能因資料模式改變而表現不同。直到客戶抱怨或稽核發現,才會有人注意到。
並非所有風險都相等。依可能性與商業影響來排序。
- 關鍵:影響財務核准、雇用決策或存取控制的 AI。這些需要最嚴格的控管、人工監督與完整的文件。
- 中等:由 AI 提出建議、最後由人做決定的情況。控管較輕,但稽核日誌仍然適用。
- 低:範圍有限、對人影響很小的內部工具。基本監控與定期檢視。
用歐盟 AI 法案的類別做交叉核對。招聘、信用與取得基本服務,明確屬於高風險。
偏誤。使用具代表性的訓練資料。定期依人口群體稽核結果。對於涉及個人的決策,如招聘、放款、存取,保持人在迴路中。調查不同群體之間通過率的差異。
資安。加密訓練資料與模型輸出。限制誰能更動模型。測試精心構造的輸入能否操縱其行為。留意異常的存取模式。
營運持續性。為每個系統定義什麼是正常,再設定警示門檻。當某項指標變動時(詐欺攔截率、招聘錄取比率、供應商核准模式),您要的是一個警示,而不是月底的意外。而且要確保有人能快速把系統關掉。
AI 的治理需要三樣東西。
- 指定負責人。每個模型的輸出,由一個人負責回答。沒有主席的委員會,等於沒有人。
- 稽核軌跡。每一個受 AI 影響的決策,都需要一份可追溯的紀錄:使用的資料、輸出,以及何時、由誰審查過。
- 法規對齊。依 ISO 42001、NIST AI RMF、歐盟 AI 法案,以及 GDPR 或您所在地區的對等規定,檢查每個系統。規則改變時要重新檢查,就像歐盟日期剛剛改變那樣。
如果您是在 SAP 專案中建立這套機制,我那份談 SAP 導入中的 AI 治理的指南,涵蓋了控管措施在 S/4HANA 與 SuccessFactors 中的位置。
AI 的偏誤可能數月都未被察覺。資安入侵卻在幾秒內就發生。我合作過的一些公司,是在客戶開始抱怨、或監管機關開始調查之後,才發現 AI 出了問題。
企業環境中廣泛使用的工具:
| 工具 | 主要重點 |
|---|---|
| Fiddler AI | 模型監控、可解釋性、偏誤偵測 |
| IBM watsonx.governance(包含 Watson OpenScale) | 模型治理、偏誤與漂移監控、文件 |
| Microsoft Responsible AI dashboard(Azure Machine Learning) | 公平性、錯誤分析、資料不平衡 |
| Arthur | 效能、漂移與公平性監控 |
| Amazon SageMaker Clarify | 訓練與推論中的偏誤偵測 |
出事的時候,臨場應變的團隊只會讓情況更糟。在事件發生之前,就定義好升級路徑:誰接到電話、他們有什麼權限可以暫停或回復模型,以及如果客戶的資料受到影響,您要告訴他們什麼。
我見過一些公司,假設自己的 AI 運作良好,直到一個無聲的錯誤像滾雪球般演變成危機,才慌了手腳。一份寫下來、而且經過演練,而不只是歸檔的事件計畫,就是兩者的差別。
每個 AI 系統一列。關鍵系統每月檢視,其餘每季檢視。
| 欄位 | 要記錄什麼 | 範例 |
|---|---|---|
| 系統與負責人 | 名稱、業務負責人、技術負責人 | 發票自動核准模型;應付帳款經理;資料科學負責人 |
| 影響的決策 | 它決定或建議什麼 | 低於門檻的發票,不經審查直接核准 |
| 使用的資料 | 來源、個人資料、敏感欄位 | 供應商主檔、發票明細行、付款歷史 |
| 風險等級 | 關鍵 / 中等 / 低;若相關,註明歐盟 AI 法案類別 | 中等;不屬於附件三 |
| 主要風險 | 偏誤、資安、法遵、漂移 | 供應商組成改變帶來的漂移;透過被操縱的發票進行詐欺 |
| 控管措施 | 測試、人工審查、門檻、緊急停止開關 | 每週抽樣審查;金額上限;核准率變動時警示 |
| 監控指標 | 您監看什麼,以及警示的等級 | 自動核准率超出其正常區間 |
| 事件聯絡人 | 誰能暫停它,以及多快 | 應付帳款經理,在約定的回應時間內 |
| 上次檢視 | 日期與檢視者 | 每月,由 AI 風險委員會執行 |
至於擁有這張登錄表的治理架構,請看我的 AI 治理框架指南。如果您想在監管機關或稽核人員開口索取之前,請外部單位檢視您的登錄表,這是我 AI 治理顧問工作的一部分。
什麼是 AI 風險管理框架?
一套結構化的流程,用來識別、評估並管理 AI 系統影響商業決策時所產生的風險。它涵蓋模型的整個生命週期,並包含針對偏誤、資安、法遵與營運漂移的控管措施。
在 SAP 環境中,它適用於採購(供應商評分)、人資(求職者篩選)、財務(發票核准)與供應鏈(需求預測)所使用的模型。這些系統影響著人、金錢與法遵。
什麼是 NIST AI 風險管理框架?
這是美國國家標準暨技術研究院(NIST)的自願性框架,2023 年 1 月以 AI RMF 1.0 發布,建立在四大功能之上:
- Govern:政策、當責與文化
- Map:脈絡、預期用途與潛在影響
- Measure:針對偏誤、穩健性、可解釋性與資安的測試
- Manage:排定風險的優先順序、處理風險,並加以監控
2024 年 7 月,NIST 新增了生成式 AI Profile(NIST AI 600-1),它是治理 Joule 與 Copilot 這類助理時,最有用的美國參考資料。
歐盟 AI 法案的高風險規則何時適用?
在 2026 年數位綜合法案修正之後,附件三所列高風險系統(例如招聘、信用評分與取得基本服務)的規則,自 2027 年 12 月 2 日起適用。內建於歐盟產品安全法所涵蓋產品中的高風險 AI,則在 2028 年 8 月 2 日跟進。禁止行為與通用型 AI 的規則已經適用。
企業 AI 最大的風險有哪些?
- 偏誤與歧視:偏頗的歷史資料會產生偏頗的輸出
- 資安:資料投毒、提示注入與模型竊取
- 法遵:GDPR、歐盟 AI 法案、ISO 42001 與產業規定
- 營運漂移:準確度會隨資料模式改變而退化
- 缺乏可解釋性:您無法解釋的決策,很難向監管機關、客戶或內部稽核辯護
AI 事件應變計畫應該涵蓋什麼?
四件事,在事件發生之前就要定義好:
- 升級路徑:先通知誰、誰能暫停或回復模型、誰對客戶發言
- 圍堵:如何隔離系統,又不破壞下游流程
- 客戶溝通:告訴受影響的人什麼,以及何時告知
- 事後檢討:根本原因、再訓練或回復,以及更新後的控管措施
每年至少用一次桌上演練來測試這份計畫。
下一步
您目前正在進行 ERP 專案嗎?
如果這篇文章談到的正是您目前進行中的專案,30 分鐘的對談通常比再花一週做內部分析更有進展。




