跳到主要內容

AI 風險管理框架:2026 年逐步指南

AI 的偏誤可能數月都未被察覺,一個糟糕的自動化決策卻能在幾分鐘內造成傷害。這是一套五步驟的 AI 風險管理框架,對應 NIST 與歐盟 AI 法案,並附一張您本週就能開始使用的風險登錄表。

手指向發光的 GRC 圖示,周圍環繞著治理與風險的符號
目錄
  1. 2024 到 2026 年之間改變了什麼
  2. AI 風險管理框架涵蓋什麼
  3. 步驟 1:找出您的 AI 風險
  4. 步驟 2:依影響程度評估並排序
  5. 步驟 3:對高風險系統實施控管
  6. 步驟 4:治理與法遵
  7. 步驟 5:監控與事件應變
  8. 一份您可以起步的 AI 風險登錄表
  9. 常見問題

AI 風險管理框架,是您用來找出、排序、控管並監控那些影響商業決策的 AI 系統風險的一組步驟。實務版本有五個步驟:盤點您的 AI、依影響程度為每個使用案例排序、對高風險的案例實施控管、指派治理責任,以及以經過演練的事件計畫來監控。

這份指南寫給已經在財務、人資或採購中使用 AI,或即將使用的 CIO、風險負責人與 SAP 專案主管。它把每個步驟對應到 NIST AI RMF 與歐盟 AI 法案,並提供一份可以起步的風險登錄表範本。

自動化決策失敗得很快。2012 年,Knight Capital 部署了有缺陷的交易軟體,根據美國 SEC,它在 45 分鐘內損失超過 4.6 億美元,因為沒有人能及時讓系統停下來。那不是機器學習。那是一套沒有有效監控、也沒有緊急停止開關的自動化決策系統,而這正是今天許多 AI 部署所存在的缺口。

下面的原則依然成立。有三項外部的改變,會左右您規劃時的依據。

NIST 新增了生成式 AI Profile。NIST AI 風險管理框架(AI RMF 1.0,2023 年 1 月)建立在四大功能之上:Govern、Map、Measure、Manage。2024 年 7 月,NIST 發布了生成式 AI Profile(NIST AI 600-1),涵蓋虛構內容(confabulation)、提示注入、資料隱私與智慧財產權等風險。如果您在企業資料上執行 Joule、Microsoft Copilot,或自建的生成式 AI 代理,請在風險登錄表中引用它。NIST 表示核心框架正在修訂;目前還沒有 1.1 版。

歐盟 AI 法案的時程移動了。該法案於 2024 年 8 月 1 日生效。禁止行為與 AI 素養義務自 2025 年 2 月 2 日起適用,通用型 AI 的義務自 2025 年 8 月 2 日起適用。其餘大部分規則與執法,自 2026 年 8 月 2 日起適用。在 2026 年通過的數位綜合法案修正之後,附件三所列高風險系統(招聘、信用評分、取得基本服務及類似用途)的規則,自 2027 年 12 月 2 日起適用,而受監管產品內的高風險 AI,則自 2028 年 8 月 2 日起適用。執委會的實施時程表是查證的地方。針對禁止行為,罰款最高可達 3,500 萬歐元或全球營業額的 7%,其他大多數違規則是 1,500 萬歐元或 3%。

多出來的時間不是等待的理由。技術文件、資料治理、人工監督與上市後監控,建置起來比多數團隊預期的更久。

ISO/IEC 42001 為 AI 治理帶來了可取得認證的標準。2023 年 12 月發布,它對 AI 管理所做的事,就像 ISO 27001 對資訊安全所做的。ISO/IEC 23894(2023)則加入了專門針對 AI 風險管理的指引。依我的看法,任何把 AI 軟體賣給受監管買家的公司,都應該預期 42001 會出現在採購問卷裡。

對海灣地區的組織而言,阿聯的《人工智慧開發與使用憲章》(Charter for the Development and Use of AI,2024),以及沙烏地阿拉伯 SDAIA 的《AI 倫理原則》,不像歐盟法案那樣具有約束力,但監管機關與公部門買家已經在詢問您如何符合它們。

一套完整的框架,貫穿模型的整個生命週期,從設計、部署,一直到日常營運。

要素涵蓋範圍關鍵行動
治理架構監督與決策權設立 AI 風險委員會;為每個系統指定負責人
風險識別技術、倫理與法規風險風險工作坊、威脅建模、情境分析
法遵對齊歐盟 AI 法案、GDPR、ISO 42001、地方規定把每個使用案例對應到適用的規則
偏誤與公平性歧視性的結果偏誤測試、公平性稽核、各群體的影響
可解釋性人們能理解的決策可解釋性方法、模型文件
資安與隱私模型與資料保護加密訓練資料;對抗性測試
持續監控部署後的行為KPI、異常偵測、人工審查迴圈
事件應變故障與違反倫理的事件升級路徑、回復與復原計畫

多數框架失敗,是因為它們獨立於專案流程之外。AI 治理必須活在營運模式之內,與稽核和變更管制並行。否則問題會浮現得太晚,那時候要修正,既更難也更貴。

五個步驟,以循環方式運行模型會漂移,規則也會改變,所以這是一個循環,不是一次性的稽核。
  1. 識別盤點每一個 AI 系統
  2. 排序依可能性與影響程度
  3. 控管對高風險系統最嚴格
  4. 治理每個模型一位指定的負責人
  5. 監控警示與經過演練的事件計畫

關鍵系統每月檢視,其餘每季檢視

從盤點開始。針對每個 AI 系統,回答三個問題。它處理什麼資料?它影響哪些決策?如果它出錯,最糟的結果是什麼?

常見的風險類別:

  1. 偏誤與公平性。以歷史資料訓練的模型,會繼承其中的偏誤。如果五年的招聘決策偏向某些背景,模型就會重複這一點。Amazon 在發現一項 AI 招聘工具,會調降含有「women's」一詞的履歷評分之後,把它廢止了,路透社在 2018 年報導過這件事。這是可預見的。部署前一次基本的偏誤稽核,就能抓到它。
  2. 資安。碰觸付款、人資紀錄或合約的 AI 系統,是攻擊目標。資料投毒、提示注入與模型竊取,都是真實的攻擊途徑。
  3. 法遵。GDPR、歐盟 AI 法案、ISO 42001、HIPAA 與地方規定,可能同時適用。監管機關越來越想看到 AI 決策背後的方法,而不只是輸出結果。
  4. 營運漂移。第一季訓練出來的模型,到了第三季可能因資料模式改變而表現不同。直到客戶抱怨或稽核發現,才會有人注意到。

並非所有風險都相等。依可能性與商業影響來排序。

  1. 關鍵:影響財務核准、雇用決策或存取控制的 AI。這些需要最嚴格的控管、人工監督與完整的文件。
  2. 中等:由 AI 提出建議、最後由人做決定的情況。控管較輕,但稽核日誌仍然適用。
  3. 低:範圍有限、對人影響很小的內部工具。基本監控與定期檢視。

用歐盟 AI 法案的類別做交叉核對。招聘、信用與取得基本服務,明確屬於高風險。

偏誤。使用具代表性的訓練資料。定期依人口群體稽核結果。對於涉及個人的決策,如招聘、放款、存取,保持人在迴路中。調查不同群體之間通過率的差異。

資安。加密訓練資料與模型輸出。限制誰能更動模型。測試精心構造的輸入能否操縱其行為。留意異常的存取模式。

營運持續性。為每個系統定義什麼是正常,再設定警示門檻。當某項指標變動時(詐欺攔截率、招聘錄取比率、供應商核准模式),您要的是一個警示,而不是月底的意外。而且要確保有人能快速把系統關掉。

AI 的治理需要三樣東西。

  1. 指定負責人。每個模型的輸出,由一個人負責回答。沒有主席的委員會,等於沒有人。
  2. 稽核軌跡。每一個受 AI 影響的決策,都需要一份可追溯的紀錄:使用的資料、輸出,以及何時、由誰審查過。
  3. 法規對齊。依 ISO 42001、NIST AI RMF、歐盟 AI 法案,以及 GDPR 或您所在地區的對等規定,檢查每個系統。規則改變時要重新檢查,就像歐盟日期剛剛改變那樣。

如果您是在 SAP 專案中建立這套機制,我那份談 SAP 導入中的 AI 治理的指南,涵蓋了控管措施在 S/4HANA 與 SuccessFactors 中的位置。

AI 的偏誤可能數月都未被察覺。資安入侵卻在幾秒內就發生。我合作過的一些公司,是在客戶開始抱怨、或監管機關開始調查之後,才發現 AI 出了問題。

企業環境中廣泛使用的工具:

工具主要重點
Fiddler AI模型監控、可解釋性、偏誤偵測
IBM watsonx.governance(包含 Watson OpenScale)模型治理、偏誤與漂移監控、文件
Microsoft Responsible AI dashboard(Azure Machine Learning)公平性、錯誤分析、資料不平衡
Arthur效能、漂移與公平性監控
Amazon SageMaker Clarify訓練與推論中的偏誤偵測

出事的時候,臨場應變的團隊只會讓情況更糟。在事件發生之前,就定義好升級路徑:誰接到電話、他們有什麼權限可以暫停或回復模型,以及如果客戶的資料受到影響,您要告訴他們什麼。

我見過一些公司,假設自己的 AI 運作良好,直到一個無聲的錯誤像滾雪球般演變成危機,才慌了手腳。一份寫下來、而且經過演練,而不只是歸檔的事件計畫,就是兩者的差別。

每個 AI 系統一列。關鍵系統每月檢視,其餘每季檢視。

欄位要記錄什麼範例
系統與負責人名稱、業務負責人、技術負責人發票自動核准模型;應付帳款經理;資料科學負責人
影響的決策它決定或建議什麼低於門檻的發票,不經審查直接核准
使用的資料來源、個人資料、敏感欄位供應商主檔、發票明細行、付款歷史
風險等級關鍵 / 中等 / 低;若相關,註明歐盟 AI 法案類別中等;不屬於附件三
主要風險偏誤、資安、法遵、漂移供應商組成改變帶來的漂移;透過被操縱的發票進行詐欺
控管措施測試、人工審查、門檻、緊急停止開關每週抽樣審查;金額上限;核准率變動時警示
監控指標您監看什麼,以及警示的等級自動核准率超出其正常區間
事件聯絡人誰能暫停它,以及多快應付帳款經理,在約定的回應時間內
上次檢視日期與檢視者每月,由 AI 風險委員會執行

至於擁有這張登錄表的治理架構,請看我的 AI 治理框架指南。如果您想在監管機關或稽核人員開口索取之前,請外部單位檢視您的登錄表,這是我 AI 治理顧問工作的一部分。

什麼是 AI 風險管理框架?

一套結構化的流程,用來識別、評估並管理 AI 系統影響商業決策時所產生的風險。它涵蓋模型的整個生命週期,並包含針對偏誤、資安、法遵與營運漂移的控管措施。

在 SAP 環境中,它適用於採購(供應商評分)、人資(求職者篩選)、財務(發票核准)與供應鏈(需求預測)所使用的模型。這些系統影響著人、金錢與法遵。

什麼是 NIST AI 風險管理框架?

這是美國國家標準暨技術研究院(NIST)的自願性框架,2023 年 1 月以 AI RMF 1.0 發布,建立在四大功能之上:

  1. Govern:政策、當責與文化
  2. Map:脈絡、預期用途與潛在影響
  3. Measure:針對偏誤、穩健性、可解釋性與資安的測試
  4. Manage:排定風險的優先順序、處理風險,並加以監控

2024 年 7 月,NIST 新增了生成式 AI Profile(NIST AI 600-1),它是治理 Joule 與 Copilot 這類助理時,最有用的美國參考資料。

歐盟 AI 法案的高風險規則何時適用?

在 2026 年數位綜合法案修正之後,附件三所列高風險系統(例如招聘、信用評分與取得基本服務)的規則,自 2027 年 12 月 2 日起適用。內建於歐盟產品安全法所涵蓋產品中的高風險 AI,則在 2028 年 8 月 2 日跟進。禁止行為與通用型 AI 的規則已經適用。

企業 AI 最大的風險有哪些?
  1. 偏誤與歧視:偏頗的歷史資料會產生偏頗的輸出
  2. 資安:資料投毒、提示注入與模型竊取
  3. 法遵:GDPR、歐盟 AI 法案、ISO 42001 與產業規定
  4. 營運漂移:準確度會隨資料模式改變而退化
  5. 缺乏可解釋性:您無法解釋的決策,很難向監管機關、客戶或內部稽核辯護
AI 事件應變計畫應該涵蓋什麼?

四件事,在事件發生之前就要定義好:

  1. 升級路徑:先通知誰、誰能暫停或回復模型、誰對客戶發言
  2. 圍堵:如何隔離系統,又不破壞下游流程
  3. 客戶溝通:告訴受影響的人什麼,以及何時告知
  4. 事後檢討:根本原因、再訓練或回復,以及更新後的控管措施

每年至少用一次桌上演練來測試這份計畫。

Noel D'Costa

作者

Noel D'Costa

25 年來,我在航空、政府、金融、零售與製造業的 SAP 與 Oracle ERP 專案中累積經驗,並具備財務背景。我協助管理階層如實界定轉型範疇,讓陷入困境的專案重回正軌,並打造撐得過正式上線第一年的系統。

下一步

您目前正在進行 ERP 專案嗎?

如果這篇文章談到的正是您目前進行中的專案,30 分鐘的對談通常比再花一週做內部分析更有進展。