Фреймворк управления рисками ИИ: пошаговое руководство на 2026 год

Фреймворк управления рисками ИИ представляет собой набор шагов, с помощью которых вы находите, ранжируете, контролируете и отслеживаете риски систем ИИ, влияющих на бизнес-решения. На практике таких шагов пять: составьте инвентаризацию ИИ, ранжируйте каждый сценарий по влиянию, введите контроли для сценариев высокого риска, назначьте ответственных за управление и ведите мониторинг с проверенным планом реагирования на инциденты.

Это руководство для CIO, владельцев рисков и руководителей программ SAP, у которых ИИ уже работает в финансах, HR или закупках либо вот-вот появится. Каждый шаг сопоставлен с NIST AI RMF и EU AI Act, а в конце вы найдёте шаблон реестра рисков, с которого можно начать.

Автоматические решения ломаются быстро. В 2012 году Knight Capital запустила дефектное торговое ПО и, по данным US SEC, потеряла более $460 млн за 45 минут, потому что никто не смог вовремя остановить систему. Это не было машинное обучение. Это была система автоматических решений без эффективного мониторинга и без аварийного выключателя (kill switch), а именно такой пробел есть сегодня у многих внедрений ИИ.

Принципы ниже остаются в силе. Три внешних изменения меняют то, из чего вы исходите при планировании.

NIST добавил профиль для генеративного ИИ. NIST AI Risk Management Framework (AI RMF 1.0, январь 2023 года) построен на четырёх функциях: Govern, Map, Measure, Manage. В июле 2024 года NIST опубликовал Generative AI Profile (NIST AI 600-1), который охватывает такие риски, как конфабуляция, prompt injection, конфиденциальность данных и интеллектуальная собственность. Если вы запускаете Joule, Microsoft Copilot или собственных агентов генеративного ИИ на корпоративных данных, сошлитесь на него в реестре рисков. NIST сообщает, что базовый фреймворк пересматривается; версии 1.1 пока нет.

График EU AI Act сдвинулся. Закон вступил в силу 1 августа 2024 года. Запрещённые практики и обязанности по обеспечению грамотности в области ИИ действуют с 2 февраля 2025 года, а обязательства для ИИ общего назначения с 2 августа 2025 года. Большинство остальных правил и механизмов обеспечения исполнения действуют с 2 августа 2026 года. После поправок Digital Omnibus, принятых в 2026 году, правила для систем высокого риска из Приложения III (найм, кредитный скоринг, доступ к базовым услугам и подобное) применяются с 2 декабря 2027 года, а для ИИ высокого риска внутри регулируемых продуктов с 2 августа 2028 года. Сверяться стоит с графиком внедрения Еврокомиссии. Штрафы достигают 35 млн евро или 7 % мирового оборота за запрещённые практики и 15 млн евро или 3 % за большинство других нарушений.

Дополнительное время не повод ждать. Техническая документация, управление данными, контроль со стороны человека и мониторинг после вывода на рынок строятся дольше, чем ожидает большинство команд.

ISO/IEC 42001 дал управлению ИИ сертифицируемый стандарт. Опубликованный в декабре 2023 года, он делает для управления ИИ то же, что ISO 27001 сделал для информационной безопасности. ISO/IEC 23894 (2023) добавляет рекомендации именно по управлению рисками ИИ. На мой взгляд, любой компании, которая продаёт программное обеспечение с ИИ регулируемым покупателям, стоит ожидать, что 42001 появится в закупочных анкетах.

Для организаций Персидского залива Хартия ОАЭ по развитию и использованию ИИ (2024) и Принципы этики ИИ Саудовской Аравии от SDAIA не являются обязательным законом в том смысле, в каком им является закон ЕС, но регуляторы и государственные покупатели уже спрашивают, как вы им соответствуете.

Полноценный фреймворк охватывает весь жизненный цикл модели: от проектирования через развёртывание до ежедневной эксплуатации.

Компонент	Что охватывает	Ключевые действия
Структура управления	Надзор и права на принятие решений	Создать комитет по рискам ИИ; назначить владельца для каждой системы
Выявление рисков	Технические, этические и регуляторные риски	Рабочие сессии по рискам, моделирование угроз, сценарный анализ
Соответствие требованиям	EU AI Act, GDPR, ISO 42001, местные нормы	Сопоставить каждый сценарий использования с применимыми нормами
Предвзятость и справедливость	Дискриминационные результаты	Тестирование на предвзятость, аудиты справедливости, влияние по группам
Объяснимость	Решения, которые люди могут понять	Методы объяснимости, документация модели
Безопасность и конфиденциальность	Защита модели и данных	Шифрование обучающих данных; состязательное тестирование
Непрерывный мониторинг	Поведение после запуска	KPI, обнаружение аномалий, циклы проверки человеком
Реагирование на инциденты	Сбои и нарушения этических норм	Пути эскалации, планы отката и восстановления

Большинство фреймворков не работает, потому что существует вне потока проекта. Управление ИИ должно жить внутри операционной модели, рядом с аудитом и управлением изменениями. Иначе проблемы всплывают поздно, когда их сложнее и дороже исправлять.

1. 01ВыявитьИнвентаризация всех систем ИИ
2. 02РанжироватьПо вероятности и влиянию
3. 03КонтролироватьСамые строгие меры для систем высокого риска
4. 04УправлятьНазначенный владелец для каждой модели
5. 05ОтслеживатьОповещения и проверенный план реагирования на инциденты

Пересмотр ежемесячно для критических систем, ежеквартально для остальных

Начните с инвентаризации. Для каждой системы ИИ ответьте на три вопроса. Какие данные она обрабатывает? На какие решения влияет? Каков худший исход, если она ошибётся?

Типичные категории рисков:

1. Предвзятость и справедливость. Модели, обученные на исторических данных, наследуют их предвзятость. Если пять лет решений о найме были смещены в пользу определённых профилей, модель повторит это. Amazon свернула ИИ-инструмент для подбора персонала, обнаружив, что он занижал оценку резюме со словом «women's», о чём Reuters сообщил в 2018 году. Это можно было предвидеть. Базовый аудит на предвзятость перед запуском выявил бы проблему.
2. Безопасность. Системы ИИ, которые работают с платежами, кадровыми записями или договорами, становятся мишенями. Отравление данных, prompt injection и кража модели: это реальные пути атаки.
3. Соответствие требованиям. GDPR, EU AI Act, ISO 42001, HIPAA и местные нормы могут действовать одновременно. Регуляторы всё чаще хотят видеть метод, стоящий за решением ИИ, а не только результат.
4. Операционный дрейф. Модель, обученная в первом квартале, к третьему может вести себя иначе, поскольку закономерности в данных сдвигаются. Никто не замечает этого, пока клиент не пожалуется или аудит не обнаружит.

Не все риски равны. Ранжируйте по вероятности и влиянию на бизнес.

1. Критический: ИИ, влияющий на финансовые утверждения, решения о найме или контроль доступа. Здесь нужны самые строгие контроли, надзор со стороны человека и полная документация.
2. Умеренный: ИИ, который даёт рекомендации, а окончательное решение принимает человек. Контроли мягче, но журналирование для аудита остаётся обязательным.
3. Низкий: внутренние инструменты с ограниченной сферой применения и малым влиянием на людей. Базовый мониторинг и периодический пересмотр.

Используйте категории EU AI Act для перекрёстной проверки. Найм, кредитование и доступ к базовым услугам прямо отнесены к высокому риску.

Предвзятость. Используйте репрезентативные обучающие данные. Регулярно проверяйте результаты по демографическим группам. Оставляйте человека в контуре решений о конкретных людях: найм, кредитование, доступ. Разбирайтесь в различиях по доле одобрений между группами.

Безопасность. Шифруйте обучающие данные и результаты моделей. Ограничьте круг тех, кто может менять модели. Проверяйте, можно ли специально составленными входными данными манипулировать поведением. Следите за необычными схемами доступа.

Непрерывность работы. Определите для каждой системы, как выглядит норма, затем задайте пороги оповещения. Когда показатель смещается (доля блокировки мошенничества, доля одобренных кандидатов при найме, схема утверждения поставщиков), вам нужно оповещение, а не сюрприз при закрытии месяца. И убедитесь, что кто-то может быстро отключить систему.

Управлению ИИ нужны три вещи.

1. Назначенный владелец. Один человек отвечает за результаты каждой модели. Комитет без председателя означает, что ответственного нет.
2. Журналы аудита. Для каждого решения, на которое повлиял ИИ, нужна прослеживаемая запись: использованные данные, результат, а также когда и кем он был проверен.
3. Соответствие регулированию. Проверяйте каждую систему на соответствие ISO 42001, NIST AI RMF, EU AI Act и GDPR или региональному аналогу. Перепроверяйте при изменении правил, как только что произошло с датами в ЕС.

Если вы строите это внутри программы SAP, мой гид по управлению ИИ во внедрениях SAP показывает, где расположены контроли в S/4HANA и SuccessFactors.

Инструменты, которые широко используются в корпоративных средах:

Инструмент	Основное назначение
Fiddler AI	Мониторинг моделей, объяснимость, обнаружение предвзятости
IBM watsonx.governance (включает Watson OpenScale)	Управление моделями, мониторинг предвзятости и дрейфа, документация
Microsoft Responsible AI dashboard (Azure Machine Learning)	Справедливость, анализ ошибок, дисбаланс данных
Arthur	Мониторинг производительности, дрейфа и справедливости
Amazon SageMaker Clarify	Обнаружение предвзятости при обучении и выводе

Когда что-то идёт не так, команды, которые импровизируют, делают только хуже. Определите путь эскалации до инцидента: кому звонят, какие полномочия у этого человека приостановить или откатить модель и что вы говорите клиентам, если пострадали их данные.

Я видел компании, которые считали, что их ИИ работает нормально, а потом метались, когда тихая ошибка вырастала в кризис. Разницу делает письменный план реагирования на инциденты, который проверен на практике, а не просто подшит в папку.

Одна строка на каждую систему ИИ. Пересматривайте реестр ежемесячно для критических систем и ежеквартально для остальных.

Поле	Что записывать	Пример
Система и владелец	Название, владелец со стороны бизнеса, технический владелец	Модель автоматического утверждения счетов; руководитель кредиторской задолженности (AP); руководитель по data science
Влияние на решения	Что она решает или рекомендует	Утверждает счета ниже порога без проверки
Используемые данные	Источники, персональные данные, чувствительные поля	Основные данные поставщиков, строки счетов, история платежей
Уровень риска	Критический / умеренный / низкий; категория EU AI Act, если применимо	Умеренный; не относится к Приложению III
Основные риски	Предвзятость, безопасность, соответствие требованиям, дрейф	Дрейф при изменении состава поставщиков; мошенничество через сфальсифицированные счета
Контроли	Тесты, проверка человеком, пороги, аварийный выключатель	Еженедельная выборочная проверка; ограничение по сумме; оповещение при изменении доли автоутверждений
Метрика мониторинга	За чем вы следите и уровень оповещения	Доля автоутверждений вне нормального диапазона
Контакт на случай инцидента	Кто может её приостановить и как быстро	Руководитель AP, в рамках согласованного времени реагирования
Последняя проверка	Дата и проверяющий	Ежемесячно, комитетом по рискам ИИ

О структуре управления, которая отвечает за этот реестр, читайте в моём руководстве по фреймворку управления ИИ. Если вы хотите получить независимую проверку реестра до того, как её запросит регулятор или аудитор, это входит в мою консультационную работу по управлению ИИ.

Что такое фреймворк управления рисками ИИ?

Структурированный процесс выявления, оценки и управления рисками, которые возникают, когда системы ИИ влияют на бизнес-решения. Он охватывает жизненный цикл модели и включает контроли для предвзятости, безопасности, соответствия требованиям и операционного дрейфа.

В средах SAP он применяется к моделям в закупках (оценка поставщиков), HR (отбор кандидатов), финансах (утверждение счетов) и цепочке поставок (прогнозирование спроса). Эти системы затрагивают людей, деньги и соответствие требованиям.

Что такое NIST AI Risk Management Framework?

Добровольный фреймворк американского Национального института стандартов и технологий (NIST), опубликованный как AI RMF 1.0 в январе 2023 года и построенный на четырёх функциях:

1. Govern: политики, подотчётность и культура
2. Map: контекст, предполагаемое использование и возможные последствия
3. Measure: тестирование на предвзятость, устойчивость, объяснимость и безопасность
4. Manage: приоритизация и обработка рисков, а также мониторинг

В июле 2024 года NIST добавил Generative AI Profile (NIST AI 600-1), самый полезный американский ориентир для управления ассистентами вроде Joule и Copilot.

Когда начинают действовать правила EU AI Act для систем высокого риска?

После поправок Digital Omnibus 2026 года правила для систем высокого риска из Приложения III (например, найм, кредитный скоринг и доступ к базовым услугам) применяются с 2 декабря 2027 года. ИИ высокого риска, встроенный в продукты, на которые распространяется законодательство ЕС о безопасности продукции, подключается 2 августа 2028 года. Запреты и правила для ИИ общего назначения уже действуют.

Каковы самые большие риски корпоративного ИИ?

1. Предвзятость и дискриминация: перекошенные исторические данные дают перекошенные результаты
2. Безопасность: отравление данных, prompt injection и кража модели
3. Соответствие требованиям: GDPR, EU AI Act, ISO 42001 и отраслевые нормы
4. Операционный дрейф: точность снижается по мере изменения закономерностей в данных
5. Отсутствие объяснимости: решение, которое вы не можете объяснить, трудно защитить перед регулятором, клиентом или внутренним аудитом

Что должен охватывать план реагирования на инциденты ИИ?

Четыре вещи, определённые до инцидента:

1. Путь эскалации: кого уведомляют первым, кто может приостановить или откатить модель, кто говорит с клиентами
2. Локализация: как изолировать систему, не сломав зависимые процессы
3. Коммуникация с клиентами: что и когда вы говорите пострадавшим людям
4. Разбор после инцидента: первопричина, переобучение или откат и обновлённые контроли

Проверяйте план на настольном учении (tabletop exercise) не реже раза в год.