AIリスク管理フレームワーク：2026年版ステップ別ガイド

AIリスク管理フレームワークとは、ビジネス上の判断に影響を与えるAIシステムのリスクを、洗い出し、順位付けし、統制し、監視するための一連のステップです。実務で使える形にすると、5つのステップになります。AIの棚卸し、ユースケースごとの影響度による順位付け、高リスクのものへの統制の適用、ガバナンスの割り当て、そしてテスト済みのインシデント計画による監視です。

このガイドは、すでに財務、人事、調達でAIを使っている、またはこれから使うCIO、リスクオーナー、SAPプログラムのリード向けです。各ステップをNIST AI RMFとEU AI Actに対応づけ、出発点になるリスク登録簿のテンプレートも付けています。

自動化された判断は、あっという間に失敗します。2012年、Knight Capitalは欠陥のある取引ソフトウェアを展開し、米国SECによれば、誰もシステムを間に合うように止められなかったため、45分間で4億6,000万ドルを超える損失を出しました。これは機械学習ではありませんでした。有効な監視も、緊急停止の仕組みもない自動判断システムでした。まさに、現在多くのAI導入が抱えている穴です。

以下の原則は、いまも変わりません。ただし、計画を立てるうえで前提が変わる外部要因が3つあります。

NISTが生成AIプロファイルを追加しました。NIST AI Risk Management Framework（AI RMF 1.0、2023年1月）は、4つの機能で構成されています。Govern、Map、Measure、Manageです。2024年7月、NISTは生成AIプロファイル（NIST AI 600-1）を公表しました。作話、プロンプトインジェクション、データプライバシー、知的財産といったリスクを扱っています。Joule、Microsoft Copilot、または自社の生成AIエージェントを企業データ上で動かしているなら、リスク登録簿でこのプロファイルを参照してください。NISTによると、中核のフレームワークは改訂作業中で、バージョン1.1はまだありません。

EU AI Actの日程が動きました。同法は2024年8月1日に発効しました。禁止される行為とAIリテラシーの義務は2025年2月2日から、汎用AIの義務は2025年8月2日から適用されています。残りの規則の大半と執行は、2026年8月2日から適用されます。2026年に採択されたDigital Omnibusによる改正の後、附属書IIIに挙げられた高リスクシステム（採用、与信審査、必須サービスへのアクセスなど）の規則は2027年12月2日から、規制対象製品に組み込まれた高リスクAIは2028年8月2日から適用されます。確認先は欧州委員会の実施タイムラインです。罰金は、禁止される行為では3,500万ユーロまたは全世界売上高の7%に、その他の違反の大半では1,500万ユーロまたは3%に達します。

猶予が延びたことは、待つ理由にはなりません。技術文書、データガバナンス、人による監督、市販後モニタリングは、多くのチームが見込むよりも構築に時間がかかります。

ISO/IEC 42001は、AIガバナンスに認証可能な規格をもたらしました。2023年12月に発行されたこの規格がAIマネジメントに対して果たす役割は、ISO 27001が情報セキュリティに対して果たした役割と同じです。ISO/IEC 23894（2023年）は、AIのリスク管理に特化した手引きを加えています。私の見方では、規制の厳しい顧客にAI対応ソフトウェアを販売する企業なら、調達時の質問票に42001が登場すると想定しておくべきです。

湾岸地域の組織にとって、UAEの「AIの開発と利用に関する憲章」（2024年）とサウジアラビアのSDAIA AI倫理原則は、EU AI Actのような拘束力のある法律ではありません。それでも、規制当局や公共部門の発注者は、すでに、それらにどう対応しているかを尋ねてきます。

きちんとしたフレームワークは、設計から展開、日々の運用まで、モデルのライフサイクル全体にわたって機能します。

構成要素	対象	主なアクション
ガバナンス体制	監督と意思決定の権限	AIリスク委員会を設置する。システムごとに責任者を指名する
リスクの特定	技術、倫理、規制のリスク	リスクワークショップ、脅威モデリング、シナリオ分析
コンプライアンスの整合	EU AI Act、GDPR、ISO 42001、各地域の規則	ユースケースごとに、適用される規則を対応づける
バイアスと公平性	差別的な結果	バイアステスト、公平性監査、グループ別の影響
説明可能性	人が理解できる判断	説明可能性の手法、モデルのドキュメント化
セキュリティとプライバシー	モデルとデータの保護	学習データの暗号化。敵対的テスト
継続的モニタリング	展開後の挙動	KPI、異常検知、人によるレビューのループ
インシデント対応	誤作動と倫理違反	エスカレーション経路、ロールバックと復旧の計画

多くのフレームワークが失敗するのは、プロジェクトの流れの外に置かれているからです。AIガバナンスは、監査や変更管理と並んで、運用モデルの中になければなりません。そうでないと、問題が表面化するのは遅くなり、そのときには修正がより難しく、より高くつきます。

1. 01洗い出しすべてのAIシステムを棚卸しする
2. 02順位付け発生の可能性と影響度で
3. 03統制高リスクのシステムには最も厳格に
4. 04ガバナンスモデルごとに責任者を明確にする
5. 05監視アラートと、テスト済みのインシデント計画

重大なシステムは毎月、それ以外は四半期ごとにレビュー

まず棚卸しから始めます。AIシステムごとに、3つの問いに答えてください。どのデータを処理するか。どの判断に影響するか。間違えたときの最悪の結果は何か。

よくあるリスクの分類は次のとおりです。

1. バイアスと公平性。過去のデータで学習したモデルは、そのバイアスを受け継ぎます。5年分の採用判断が特定のプロフィールに偏っていたなら、モデルはそれを繰り返します。Amazonは、「women's」という語を含む履歴書の評価を下げることが判明したAI採用ツールを廃止しました。Reutersが2018年に報じています。これは予測できたことです。展開前の基本的なバイアス監査で見つかったはずでした。
2. セキュリティ。支払い、人事記録、契約に触れるAIシステムは、標的になります。データポイズニング、プロンプトインジェクション、モデルの窃取は、現実の攻撃経路です。
3. コンプライアンス。GDPR、EU AI Act、ISO 42001、HIPAA、各地域の規則が、すべて同時に適用されることもあります。規制当局は、出力だけでなく、AIの判断の背後にある方法を示すことを、ますます求めるようになっています。
4. 運用上のドリフト。第1四半期に学習させたモデルは、データのパターンが変わるにつれて、第3四半期には違う挙動を示すことがあります。顧客から苦情が出るか、監査で見つかるまで、誰も気づきません。

すべてのリスクが同じ重さではありません。発生の可能性とビジネスへの影響で順位付けします。

1. 重大：財務上の承認、雇用の判断、アクセス制御に影響するAI。最も厳格な統制、人による監督、完全な文書化が必要です。
2. 中程度：推奨は行うものの、最終判断は人が下すAI。統制は軽くなりますが、監査ログは引き続き必要です。
3. 低：範囲が限られ、人への影響も小さい社内ツール。基本的なモニタリングと定期的なレビューを行います。

EU AI Actの分類を、照合に使ってください。採用、与信、必須サービスへのアクセスは、明示的に高リスクとされています。

バイアス。代表性のある学習データを使います。人口統計上のグループ別に、結果を定期的に監査します。個人に関わる判断（採用、融資、アクセス）には、人を関与させ続けます。グループ間の承認率の差を調べます。

セキュリティ。学習データとモデルの出力を暗号化します。モデルを変更できる人を制限します。細工した入力で挙動を操作できないかをテストします。普段と違うアクセスパターンに目を光らせます。

運用の継続性。システムごとに「通常」の状態を定義し、そのうえでアラートのしきい値を設定します。指標（不正のブロック率、採用の承認比率、サプライヤー承認のパターン）が動いたときに欲しいのは、月末の驚きではなく、アラートです。そして、システムをすばやく停止できる人がいることを確認してください。

AIのガバナンスに必要なものは、3つです。

1. 責任者の明確化。各モデルの出力について、答える人が1人います。議長のいない委員会は、誰も責任を負っていないのと同じです。
2. 監査証跡。AIが影響したすべての判断に、追跡できる記録が必要です。使ったデータ、出力、そしていつ、誰がレビューしたかです。
3. 規制との整合。各システムを、ISO 42001、NIST AI RMF、EU AI Act、そしてGDPRまたは各地域の相当する規制に照らして確認します。規則が変わったら、あらためて確認してください。EUの日程が先ほど変わったとおりです。

これをSAPプログラムの中で構築するなら、私のSAP導入におけるAIガバナンスのガイドで、S/4HANAとSuccessFactorsのどこに統制が置かれるかを説明しています。

企業環境で広く使われているツールは、次のとおりです。

ツール	主な焦点
Fiddler AI	モデルのモニタリング、説明可能性、バイアス検出
IBM watsonx.governance（Watson OpenScaleを含む）	モデルガバナンス、バイアスとドリフトのモニタリング、ドキュメント化
Microsoft Responsible AI dashboard（Azure Machine Learning）	公平性、エラー分析、データの不均衡
Arthur	パフォーマンス、ドリフト、公平性のモニタリング
Amazon SageMaker Clarify	学習時と推論時のバイアス検出

何か問題が起きたとき、場当たりで動くチームは状況を悪化させます。エスカレーション経路は、インシデントの前に定めてください。誰に連絡が行くか、モデルを一時停止またはロールバックするどんな権限を持つか、顧客のデータが影響を受けた場合に顧客へ何を伝えるか、です。

自社のAIは問題なく動いていると思い込んでいた企業が、目に見えない誤りが雪だるま式に膨らんで危機になった途端、慌てふためくのを見てきました。書面のインシデント計画があり、しまい込まれるだけでなくテストされていること。それが分かれ目です。

AIシステム1つにつき1行です。重大なシステムは毎月、それ以外は四半期ごとにレビューします。

項目	記録する内容	例
システムと責任者	名称、業務責任者、技術責任者	請求書の自動承認モデル。買掛金（AP）の責任者。データサイエンスのリード
影響する判断	何を決める、または推奨するか	閾値未満の請求書を、レビューなしで承認する
使用データ	ソース、個人データ、機微な項目	仕入先マスタ、請求書明細、支払履歴
リスク階層	重大／中程度／低。該当する場合はEU AI Actの区分	中程度。附属書IIIには該当しない
主なリスク	バイアス、セキュリティ、コンプライアンス、ドリフト	仕入先の構成が変わることによるドリフト。細工された請求書による不正
統制	テスト、人によるレビュー、しきい値、緊急停止の仕組み	週次のサンプルレビュー。金額の上限。承認率の変化でアラート
モニタリング指標	監視する対象とアラートの水準	自動承認率が通常の範囲を外れる
インシデント連絡先	誰が、どのくらいの速さで停止できるか	買掛金の責任者。合意した対応時間内
最終レビュー	日付とレビュー担当者	毎月、AIリスク委員会が実施

この登録簿を所管するガバナンス体制については、私のAIガバナンスフレームワークのガイドをご覧ください。規制当局や監査人から求められる前に、登録簿を外部の目でレビューしたい場合は、私のAIガバナンスのアドバイザリー業務の一部として対応しています。

AIリスク管理フレームワークとは何ですか？

AIシステムがビジネス上の判断に影響を与えるときに生じるリスクを、特定し、評価し、管理するための体系的なプロセスです。モデルのライフサイクル全体を対象とし、バイアス、セキュリティ、コンプライアンス、運用上のドリフトに対する統制を含みます。

SAP環境では、調達（サプライヤースコアリング）、人事（候補者のスクリーニング）、財務（請求書の承認）、サプライチェーン（需要予測）で使われるモデルに当てはまります。これらのシステムは、人、お金、コンプライアンスに影響します。

NIST AI Risk Management Frameworkとは何ですか？

米国国立標準技術研究所（NIST）による任意のフレームワークで、2023年1月にAI RMF 1.0として公表されました。4つの機能で構成されています。

1. Govern：ポリシー、説明責任、文化
2. Map：コンテキスト、想定する用途、起こりうる影響
3. Measure：バイアス、堅牢性、説明可能性、セキュリティのテスト
4. Manage：リスクの優先順位付けと対処、モニタリング

2024年7月、NISTは生成AIプロファイル（NIST AI 600-1）を追加しました。JouleやCopilotのようなアシスタントを統制するうえで、米国の資料として最も役立つものです。

EU AI Actの高リスク規則は、いつから適用されますか？

2026年のDigital Omnibusによる改正の後、附属書IIIに挙げられた高リスクシステム（採用、与信審査、必須サービスへのアクセスなど）の規則は、2027年12月2日から適用されます。EUの製品安全法の対象となる製品に組み込まれた高リスクAIは、2028年8月2日に続きます。禁止事項と汎用AIの規則は、すでに適用されています。

企業のAIにおける最大のリスクは何ですか？

1. バイアスと差別：偏った過去のデータは、偏った出力を生みます
2. セキュリティ：データポイズニング、プロンプトインジェクション、モデルの窃取
3. コンプライアンス：GDPR、EU AI Act、ISO 42001、業界ごとの規則
4. 運用上のドリフト：データのパターンが変わるにつれて、精度が低下します
5. 説明可能性の欠如：説明できない判断は、規制当局、顧客、社内監査に対して擁護するのが難しくなります

AIのインシデント対応計画には、何を盛り込むべきですか？

インシデントの前に定めておくべきことは、4つです。

1. エスカレーション経路：誰が最初に連絡を受けるか、誰がモデルを一時停止またはロールバックできるか、誰が顧客に説明するか
2. 封じ込め：下流のプロセスを壊さずに、システムをどう切り離すか
3. 顧客へのコミュニケーション：影響を受けた人に、何を、いつ伝えるか
4. インシデント後のレビュー：根本原因、再学習またはロールバック、更新した統制

テーブルトップ演習で、少なくとも年に1回は、計画をテストしてください。