
Sommaire
- Ce qui a changé entre 2024 et 2026
- Ce que couvre un cadre de gestion des risques de l'IA
- Étape 1 : identifier vos risques liés à l'IA
- Étape 2 : évaluer et classer selon l'impact
- Étape 3 : appliquer des contrôles aux systèmes à haut risque
- Étape 4 : gouvernance et conformité
- Étape 5 : suivi et réponse aux incidents
- Un registre des risques de l'IA pour démarrer
- Questions fréquentes
Un cadre de gestion des risques de l'IA est l'ensemble des étapes qui vous permettent de repérer, classer, maîtriser et suivre les risques des systèmes d'IA qui influencent les décisions de l'entreprise. La version pratique compte cinq étapes : recenser votre IA, classer chaque cas d'usage selon son impact, appliquer des contrôles aux cas à haut risque, attribuer la gouvernance, et assurer le suivi avec un plan d'incident testé.
Ce guide s'adresse aux DSI, aux responsables des risques et aux responsables de programmes SAP qui ont déjà de l'IA dans la finance, les RH ou les achats, ou s'apprêtent à en avoir. Il rattache chaque étape au NIST AI RMF et à l'AI Act européen, et vous donne un modèle de registre des risques pour démarrer.
Les décisions automatisées échouent vite. En 2012, Knight Capital a déployé un logiciel de trading défectueux et, selon la SEC américaine, a perdu plus de 460 millions de dollars en 45 minutes parce que personne n'a pu arrêter le système à temps. Ce n'était pas du machine learning. C'était un système de décision automatisé sans suivi efficace et sans bouton d'arrêt d'urgence, exactement la lacune que présentent aujourd'hui de nombreux déploiements d'IA.
Les principes ci-dessous restent valables. Trois changements externes modifient ce sur quoi vous devez planifier.
Le NIST a ajouté un profil pour l'IA générative. Le NIST AI Risk Management Framework (AI RMF 1.0, janvier 2023) repose sur quatre fonctions : Govern, Map, Measure, Manage. En juillet 2024, le NIST a publié le Generative AI Profile (NIST AI 600-1), qui couvre des risques tels que la confabulation, l'injection de prompt, la confidentialité des données et la propriété intellectuelle. Si vous exploitez Joule, Microsoft Copilot ou vos propres agents d'IA générative sur des données d'entreprise, référencez-le dans votre registre des risques. Le NIST indique que le cadre de base est en cours de révision ; il n'existe pas encore de version 1.1.
Le calendrier de l'AI Act européen a bougé. Le règlement est entré en vigueur le 1er août 2024. Les pratiques interdites et les obligations de maîtrise de l'IA s'appliquent depuis le 2 février 2025, et les obligations relatives à l'IA à usage général depuis le 2 août 2025. La plupart des règles restantes et leur contrôle s'appliquent à partir du 2 août 2026. Après les modifications du Digital Omnibus adoptées en 2026, les règles pour les systèmes à haut risque énumérés à l'annexe III (recrutement, notation de crédit, accès aux services essentiels et cas similaires) s'appliquent à partir du 2 décembre 2027, et celles pour l'IA à haut risque intégrée dans des produits réglementés à partir du 2 août 2028. Le calendrier de mise en œuvre de la Commission est la référence à consulter. Les amendes peuvent atteindre 35 millions d'euros ou 7 % du chiffre d'affaires mondial pour les pratiques interdites, et 15 millions d'euros ou 3 % pour la plupart des autres manquements.
Ce délai supplémentaire n'est pas une raison d'attendre. La documentation technique, la gouvernance des données, la supervision humaine et la surveillance après commercialisation demandent plus de temps à mettre en place que la plupart des équipes ne l'imaginent.
ISO/IEC 42001 a doté la gouvernance de l'IA d'une norme certifiable. Publiée en décembre 2023, elle fait pour le management de l'IA ce que l'ISO 27001 a fait pour la sécurité de l'information. L'ISO/IEC 23894 (2023) ajoute des lignes directrices spécifiques sur la gestion des risques de l'IA. À mon avis, toute entreprise qui vend des logiciels intégrant de l'IA à des acheteurs régulés doit s'attendre à voir la norme 42001 apparaître dans les questionnaires d'achat.
Pour les organisations du Golfe, la Charte pour le développement et l'utilisation de l'IA des Émirats arabes unis (2024) et les principes d'éthique de l'IA de la SDAIA en Arabie saoudite ne sont pas des textes contraignants comme l'AI Act européen, mais les régulateurs et les acheteurs du secteur public demandent déjà comment vous y répondez.
Un vrai cadre couvre tout le cycle de vie du modèle, de la conception au déploiement puis à l'exploitation quotidienne.
| Composant | Ce qu'il couvre | Actions clés |
|---|---|---|
| Structure de gouvernance | Supervision et droits de décision | Mettre en place un comité des risques de l'IA ; nommer un responsable par système |
| Identification des risques | Risques techniques, éthiques et réglementaires | Ateliers sur les risques, modélisation des menaces, analyse de scénarios |
| Alignement de conformité | AI Act européen, RGPD, ISO 42001, règles locales | Rattacher chaque cas d'usage aux règles qui s'appliquent |
| Biais et équité | Résultats discriminatoires | Tests de biais, audits d'équité, impact par groupe |
| Explicabilité | Des décisions que les gens peuvent comprendre | Méthodes d'explicabilité, documentation des modèles |
| Sécurité et confidentialité | Protection des modèles et des données | Chiffrer les données d'entraînement ; tests adverses |
| Suivi continu | Comportement après le déploiement | KPI, détection d'anomalies, boucles de revue humaine |
| Réponse aux incidents | Dysfonctionnements et manquements éthiques | Chemins d'escalade, plans de retour arrière et de reprise |
La plupart des cadres échouent parce qu'ils restent en dehors du flux de projet. La gouvernance de l'IA doit vivre à l'intérieur du modèle opérationnel, à côté de l'audit et du contrôle des changements. Sinon, les problèmes apparaissent tard, quand ils sont plus difficiles et plus coûteux à corriger.
- IdentifierRecenser chaque système d'IA
- ClasserSelon la probabilité et l'impact
- MaîtriserContrôles les plus stricts sur les systèmes à haut risque
- GouvernerUn responsable nommé par modèle
- SuivreAlertes et un plan d'incident testé
Revue mensuelle pour les systèmes critiques, trimestrielle pour les autres
Commencez par un inventaire. Pour chaque système d'IA, répondez à trois questions. Quelles données traite-t-il ? Sur quelles décisions influe-t-il ? Quel est le pire résultat s'il se trompe ?
Les catégories de risques courantes :
- Biais et équité. Les modèles entraînés sur des données historiques héritent de leurs biais. Si cinq années de décisions de recrutement ont favorisé certains profils, le modèle les reproduira. Amazon a abandonné un outil de recrutement par IA après avoir constaté qu'il dévalorisait les CV contenant le mot « women's », comme l'a rapporté Reuters en 2018. C'était prévisible. Un audit de biais de base avant le déploiement l'aurait détecté.
- Sécurité. Les systèmes d'IA qui touchent aux paiements, aux dossiers RH ou aux contrats sont des cibles. L'empoisonnement des données, l'injection de prompt et le vol de modèle sont de vrais vecteurs d'attaque.
- Conformité. Le RGPD, l'AI Act européen, l'ISO 42001, HIPAA et les règles locales peuvent tous s'appliquer en même temps. Les régulateurs veulent de plus en plus voir la méthode derrière une décision d'IA, pas seulement le résultat.
- Dérive opérationnelle. Un modèle entraîné au premier trimestre peut se comporter différemment au troisième à mesure que les schémas de données évoluent. Personne ne le remarque avant qu'un client se plaigne ou qu'un audit le découvre.
Tous les risques ne se valent pas. Classez-les selon la probabilité et l'impact sur l'activité.
- Critique : IA qui influe sur des validations financières, des décisions d'emploi ou le contrôle d'accès. Ces cas demandent les contrôles les plus stricts, une supervision humaine et une documentation complète.
- Modéré : IA qui recommande pendant qu'un humain prend la décision finale. Contrôles plus légers, mais la journalisation d'audit reste nécessaire.
- Faible : outils internes au périmètre limité et avec peu d'effet sur les personnes. Suivi de base et revue périodique.
Utilisez les catégories de l'AI Act européen comme recoupement. Le recrutement, le crédit et l'accès aux services essentiels sont explicitement à haut risque.
Biais. Utilisez des données d'entraînement représentatives. Auditez les résultats par groupe démographique à intervalles réguliers. Gardez des humains dans la boucle pour les décisions concernant des individus : recrutement, crédit, accès. Examinez les écarts de taux d'acceptation entre les groupes.
Sécurité. Chiffrez les données d'entraînement et les sorties du modèle. Limitez qui peut modifier les modèles. Testez si des entrées conçues à dessein peuvent manipuler le comportement. Surveillez les schémas d'accès inhabituels.
Continuité opérationnelle. Définissez à quoi ressemble la normale pour chaque système, puis fixez des seuils d'alerte. Quand un indicateur bouge (taux de blocage des fraudes, ratio d'acceptation en recrutement, schéma de validation des fournisseurs), vous voulez une alerte, pas une surprise à la clôture mensuelle. Et assurez-vous que quelqu'un peut arrêter rapidement le système.
La gouvernance de l'IA demande trois choses.
- Une responsabilité nominative. Une personne répond des sorties de chaque modèle. Un comité sans président, c'est personne.
- Des pistes d'audit. Chaque décision influencée par l'IA exige une trace : les données utilisées, le résultat, et quand et par qui il a été revu.
- Un alignement réglementaire. Vérifiez chaque système au regard de l'ISO 42001, du NIST AI RMF, de l'AI Act européen et du RGPD ou de votre équivalent régional. Revérifiez quand les règles changent, comme viennent de le faire les dates européennes.
Si vous construisez cela au sein d'un programme SAP, mon guide sur la gouvernance de l'IA dans les mises en œuvre SAP explique où se situent les contrôles dans S/4HANA et SuccessFactors.
Un biais de l'IA peut passer inaperçu pendant des mois. Les failles de sécurité se produisent en quelques secondes. J'ai travaillé avec des entreprises qui n'ont réalisé que l'IA défaillait qu'après que des clients se sont mis à se plaindre ou que des régulateurs ont ouvert une enquête.
Outils largement utilisés en environnement d'entreprise :
| Outil | Objectif principal |
|---|---|
| Fiddler AI | Suivi des modèles, explicabilité, détection des biais |
| IBM watsonx.governance (inclut Watson OpenScale) | Gouvernance des modèles, suivi des biais et de la dérive, documentation |
| Microsoft Responsible AI dashboard (Azure Machine Learning) | Équité, analyse des erreurs, déséquilibre des données |
| Arthur | Suivi de la performance, de la dérive et de l'équité |
| Amazon SageMaker Clarify | Détection des biais à l'entraînement et à l'inférence |
Quand quelque chose tourne mal, les équipes qui improvisent aggravent la situation. Définissez le chemin d'escalade avant l'incident : qui reçoit l'appel, quelle autorité cette personne a pour suspendre le modèle ou revenir à la version précédente, et ce que vous dites aux clients si leurs données ont été touchées.
J'ai vu des entreprises supposer que leur IA tournait correctement, avant de s'affoler quand une erreur silencieuse a dégénéré en crise. Un plan d'incident écrit, testé et pas simplement classé, fait toute la différence.
Une ligne par système d'IA. Revoyez-le chaque mois pour les systèmes critiques et chaque trimestre pour les autres.
| Champ | Quoi consigner | Exemple |
|---|---|---|
| Système et responsable | Nom, responsable métier, responsable technique | Modèle de validation automatique des factures ; responsable des comptes fournisseurs ; responsable data science |
| Décision influencée | Ce qu'il décide ou recommande | Valide les factures sous un seuil sans revue |
| Données utilisées | Sources, données personnelles, champs sensibles | Données de base fournisseurs, lignes de facture, historique des paiements |
| Niveau de risque | Critique / modéré / faible ; catégorie de l'AI Act européen le cas échéant | Modéré ; hors annexe III |
| Risques principaux | Biais, sécurité, conformité, dérive | Dérive quand la composition des fournisseurs change ; fraude par des factures manipulées |
| Contrôles | Tests, revue humaine, seuils, bouton d'arrêt d'urgence | Revue hebdomadaire d'un échantillon ; plafond de montant ; alerte en cas de variation du taux de validation |
| Indicateur de suivi | Ce que vous surveillez et le niveau d'alerte | Taux de validation automatique hors de sa plage normale |
| Contact en cas d'incident | Qui peut le suspendre, et en combien de temps | Responsable des comptes fournisseurs, dans un délai de réponse convenu |
| Dernière revue | Date et relecteur | Mensuelle, par le comité des risques de l'IA |
Pour la structure de gouvernance qui est propriétaire de ce registre, consultez mon guide du cadre de gouvernance de l'IA. Si vous voulez une revue externe de votre registre avant qu'un régulateur ou un auditeur ne la demande, cela fait partie de mon travail de conseil en gouvernance de l'IA.
Qu'est-ce qu'un cadre de gestion des risques de l'IA ?
Un processus structuré pour identifier, évaluer et gérer les risques qui apparaissent quand des systèmes d'IA influencent les décisions de l'entreprise. Il couvre le cycle de vie du modèle et comprend des contrôles pour les biais, la sécurité, la conformité et la dérive opérationnelle.
Dans les environnements SAP, il s'applique aux modèles utilisés dans les achats (notation des fournisseurs), les RH (présélection des candidats), la finance (validation des factures) et la supply chain (prévision de la demande). Ces systèmes touchent les personnes, l'argent et la conformité.
Qu'est-ce que le NIST AI Risk Management Framework ?
Un cadre volontaire de l'Institut national américain des normes et de la technologie (NIST), publié sous le nom d'AI RMF 1.0 en janvier 2023 et construit sur quatre fonctions :
- Govern : politiques, responsabilité et culture
- Map : contexte, usage prévu et impacts potentiels
- Measure : tests de biais, de robustesse, d'explicabilité et de sécurité
- Manage : hiérarchisation et traitement des risques, et suivi
En juillet 2024, le NIST a ajouté le Generative AI Profile (NIST AI 600-1), qui est la référence américaine la plus utile pour gouverner des assistants comme Joule et Copilot.
Quand les règles de l'AI Act européen sur les systèmes à haut risque s'appliquent-elles ?
Après les modifications du Digital Omnibus de 2026, les règles pour les systèmes à haut risque énumérés à l'annexe III (comme le recrutement, la notation de crédit et l'accès aux services essentiels) s'appliquent à partir du 2 décembre 2027. L'IA à haut risque intégrée dans des produits couverts par la législation européenne sur la sécurité des produits suit le 2 août 2028. Les interdictions et les règles sur l'IA à usage général s'appliquent déjà.
Quels sont les plus grands risques de l'IA en entreprise ?
- Biais et discrimination : des données historiques déséquilibrées produisent des résultats déséquilibrés
- Sécurité : empoisonnement des données, injection de prompt et vol de modèle
- Conformité : RGPD, AI Act européen, ISO 42001 et règles sectorielles
- Dérive opérationnelle : la précision se dégrade à mesure que les schémas de données changent
- Manque d'explicabilité : une décision que vous ne pouvez pas expliquer est difficile à défendre devant un régulateur, un client ou l'audit interne
Que doit couvrir un plan de réponse aux incidents d'IA ?
Quatre éléments, définis avant l'incident :
- Chemin d'escalade : qui est prévenu en premier, qui peut suspendre le modèle ou revenir en arrière, qui s'adresse aux clients
- Confinement : comment isoler le système sans casser les processus en aval
- Communication client : ce que vous dites aux personnes touchées et quand
- Revue post-incident : cause racine, réentraînement ou retour arrière, et contrôles mis à jour
Testez le plan avec un exercice sur table au moins une fois par an.
Prochaine étape
Vous menez un programme ERP en ce moment ?
Si cet article fait écho à un programme que vous menez en ce moment, un échange de 30 minutes va généralement plus loin qu'une semaine supplémentaire d'analyse interne.




