
Contenido
- Qué cambió entre 2024 y 2026
- Qué cubre un marco de gestión de riesgos de IA
- Paso 1: identifique sus riesgos de IA
- Paso 2: evalúe y clasifique por impacto
- Paso 3: ponga controles en los sistemas de alto riesgo
- Paso 4: gobernanza y cumplimiento
- Paso 5: monitorización y respuesta a incidentes
- Un registro de riesgos de IA para empezar
- Preguntas frecuentes
Un marco de gestión de riesgos de IA es el conjunto de pasos que se usa para encontrar, clasificar, controlar y supervisar los riesgos de los sistemas de IA que influyen en decisiones de negocio. La versión práctica tiene cinco pasos: inventariar su IA, clasificar cada caso de uso por impacto, poner controles a los de alto riesgo, asignar la gobernanza y supervisar con un plan de incidentes probado.
Esta guía es para CIO, responsables de riesgos y líderes de programas SAP que ya tienen IA en finanzas, RR. HH. o compras, o que están a punto de tenerla. Asocia cada paso con el NIST AI RMF y la Ley de IA de la UE, y le da una plantilla de registro de riesgos para empezar.
Las decisiones automatizadas fallan rápido. En 2012, Knight Capital desplegó un software de trading defectuoso y, según la SEC de EE. UU., perdió más de 460 millones de dólares en 45 minutos porque nadie pudo detener el sistema a tiempo. Eso no era aprendizaje automático. Era un sistema de decisión automatizado sin una supervisión eficaz y sin interruptor de apagado, que es exactamente la carencia que tienen hoy muchos despliegues de IA.
Los principios de abajo siguen vigentes. Tres cambios externos modifican aquello en lo que se apoya su planificación.
NIST añadió un perfil de IA generativa. El NIST AI Risk Management Framework (AI RMF 1.0, enero de 2023) se basa en cuatro funciones: Govern, Map, Measure, Manage. En julio de 2024, NIST publicó el Generative AI Profile (NIST AI 600-1), que cubre riesgos como la confabulación, la inyección de prompts, la privacidad de los datos y la propiedad intelectual. Si usa Joule, Microsoft Copilot o sus propios agentes de IA generativa sobre datos corporativos, haga referencia a él en su registro de riesgos. NIST indica que el marco principal está en revisión; todavía no existe una versión 1.1.
El calendario de la Ley de IA de la UE se movió. La Ley entró en vigor el 1 de agosto de 2024. Las prácticas prohibidas y las obligaciones de alfabetización en IA se aplicaron desde el 2 de febrero de 2025, y las obligaciones de IA de uso general desde el 2 de agosto de 2025. La mayoría de las reglas restantes y su aplicación rigen desde el 2 de agosto de 2026. Tras las enmiendas del Digital Omnibus adoptadas en 2026, las reglas para los sistemas de alto riesgo enumerados en el Anexo III (contratación, puntuación crediticia, acceso a servicios esenciales y similares) se aplican desde el 2 de diciembre de 2027, y las de la IA de alto riesgo dentro de productos regulados desde el 2 de agosto de 2028. El calendario de implementación de la Comisión es el lugar donde comprobarlo. Las multas alcanzan los 35 millones de euros o el 7 % de la facturación mundial por prácticas prohibidas, y los 15 millones de euros o el 3 % por la mayoría de las demás infracciones.
El tiempo adicional no es una razón para esperar. La documentación técnica, la gobernanza de datos, la supervisión humana y la vigilancia poscomercialización llevan más tiempo de construir de lo que la mayoría de los equipos espera.
ISO/IEC 42001 dio a la gobernanza de la IA una norma certificable. Publicada en diciembre de 2023, hace por la gestión de la IA lo que ISO 27001 hizo por la seguridad de la información. ISO/IEC 23894 (2023) añade orientación específica sobre la gestión de riesgos de IA. En mi opinión, cualquier empresa que venda software con IA a compradores regulados debería esperar que la 42001 aparezca en los cuestionarios de compras.
Para las organizaciones del Golfo, la Carta para el Desarrollo y el Uso de la IA de los Emiratos Árabes Unidos (2024) y los Principios de Ética de la IA de la SDAIA de Arabia Saudita no son derecho vinculante como lo es la Ley de la UE, pero los reguladores y los compradores del sector público ya preguntan cómo se cumplen.
Un marco adecuado recorre el ciclo de vida del modelo, desde el diseño hasta el despliegue y la operación diaria.
| Componente | Qué cubre | Acciones clave |
|---|---|---|
| Estructura de gobernanza | Supervisión y derechos de decisión | Crear un comité de riesgos de IA; nombrar un responsable por sistema |
| Identificación de riesgos | Riesgos técnicos, éticos y regulatorios | Talleres de riesgos, modelado de amenazas, análisis de escenarios |
| Alineación normativa | Ley de IA de la UE, RGPD, ISO 42001, normas locales | Asignar cada caso de uso a las normas que se le aplican |
| Sesgo y equidad | Resultados discriminatorios | Pruebas de sesgo, auditorías de equidad, impacto por grupo |
| Explicabilidad | Decisiones que las personas puedan entender | Métodos de explicabilidad, documentación del modelo |
| Seguridad y privacidad | Protección del modelo y de los datos | Cifrar los datos de entrenamiento; pruebas adversariales |
| Monitorización continua | Comportamiento tras el despliegue | KPI, detección de anomalías, ciclos de revisión humana |
| Respuesta a incidentes | Fallos de funcionamiento e infracciones éticas | Vías de escalamiento, planes de reversión y recuperación |
La mayoría de los marcos fracasan porque quedan fuera del flujo del proyecto. La gobernanza de la IA tiene que vivir dentro del modelo operativo, junto a la auditoría y el control de cambios. Si no, los problemas salen tarde, cuando son más difíciles y más caros de corregir.
- IdentificarInventariar cada sistema de IA
- ClasificarPor probabilidad e impacto
- ControlarMás estrictos en los sistemas de alto riesgo
- GobernarUn responsable nombrado por modelo
- SupervisarAlertas y un plan de incidentes probado
Revisión mensual en los sistemas críticos, trimestral en el resto
Empiece con un inventario. Para cada sistema de IA, responda tres preguntas. ¿Qué datos procesa? ¿Qué decisiones influye? ¿Cuál es el peor resultado si se equivoca?
Las categorías de riesgo más comunes:
- Sesgo y equidad. Los modelos entrenados con datos históricos heredan sus sesgos. Si cinco años de decisiones de contratación se inclinaron hacia ciertos perfiles, el modelo lo repetirá. Amazon abandonó una herramienta de selección de personal con IA tras descubrir que penalizaba los currículos que incluían la palabra «women's», según informó Reuters en 2018. Era predecible. Una auditoría básica de sesgo antes del despliegue lo habría detectado.
- Seguridad. Los sistemas de IA que tocan pagos, registros de RR. HH. o contratos son objetivos. El envenenamiento de datos, la inyección de prompts y el robo de modelos son vías de ataque reales.
- Cumplimiento normativo. El RGPD, la Ley de IA de la UE, la ISO 42001, HIPAA y las normas locales pueden aplicarse todos a la vez. Los reguladores quieren ver cada vez más el método que hay detrás de una decisión de IA, no solo el resultado.
- Deriva operativa. Un modelo entrenado en el primer trimestre puede comportarse de otra manera en el tercero a medida que cambian los patrones de datos. Nadie lo nota hasta que un cliente se queja o una auditoría lo encuentra.
No todos los riesgos son iguales. Clasifique por probabilidad e impacto en el negocio.
- Crítico: IA que influye en aprobaciones financieras, decisiones de empleo o control de acceso. Requiere los controles más estrictos, supervisión humana y documentación completa.
- Moderado: IA que recomienda mientras una persona toma la decisión final. Controles más ligeros, pero el registro de auditoría sigue aplicándose.
- Bajo: herramientas internas de alcance limitado y poco efecto sobre las personas. Monitorización básica y revisión periódica.
Use las categorías de la Ley de IA de la UE como contraste. La contratación, el crédito y el acceso a servicios esenciales son explícitamente de alto riesgo.
Sesgo. Use datos de entrenamiento representativos. Audite los resultados por grupo demográfico con una frecuencia regular. Mantenga a personas en el circuito en las decisiones sobre individuos: contratación, préstamos, acceso. Investigue las diferencias en las tasas de aceptación entre grupos.
Seguridad. Cifre los datos de entrenamiento y los resultados del modelo. Restrinja quién puede modificar los modelos. Pruebe si entradas manipuladas pueden alterar el comportamiento. Vigile los patrones de acceso inusuales.
Continuidad operativa. Defina cómo es lo normal en cada sistema y fije después umbrales de alerta. Cuando una métrica se mueve (tasa de bloqueo de fraude, ratio de aceptación en contratación, patrón de aprobación de proveedores), quiere una alerta, no una sorpresa al cierre del mes. Y asegúrese de que alguien pueda apagar el sistema rápidamente.
La gobernanza de la IA necesita tres cosas.
- Responsabilidad nombrada. Una persona responde de los resultados de cada modelo. Un comité sin presidente no es nadie.
- Pistas de auditoría. Cada decisión influida por IA necesita un registro trazable: los datos usados, el resultado, y cuándo y quién lo revisó.
- Alineación normativa. Compruebe cada sistema frente a la ISO 42001, el NIST AI RMF, la Ley de IA de la UE y el RGPD o su equivalente regional. Vuelva a comprobarlo cuando cambien las reglas, como acaban de hacer las fechas de la UE.
Si está construyendo esto dentro de un programa SAP, mi guía de gobernanza de la IA en implementaciones de SAP explica dónde se sitúan los controles en S/4HANA y SuccessFactors.
El sesgo de la IA puede pasar meses sin detectarse. Las brechas de seguridad ocurren en segundos. He trabajado con empresas que solo se dieron cuenta de que la IA estaba fallando cuando los clientes empezaron a quejarse o los reguladores a investigar.
Herramientas de uso generalizado en entornos empresariales:
| Herramienta | Enfoque principal |
|---|---|
| Fiddler AI | Monitorización de modelos, explicabilidad, detección de sesgo |
| IBM watsonx.governance (incluye Watson OpenScale) | Gobernanza de modelos, monitorización de sesgo y deriva, documentación |
| Microsoft Responsible AI dashboard (Azure Machine Learning) | Equidad, análisis de errores, desequilibrio de datos |
| Arthur | Monitorización de rendimiento, deriva y equidad |
| Amazon SageMaker Clarify | Detección de sesgo en el entrenamiento y en la inferencia |
Cuando algo sale mal, los equipos que improvisan lo empeoran. Defina la vía de escalamiento antes del incidente: a quién se llama, qué autoridad tiene para pausar o revertir el modelo y qué se dice a los clientes si sus datos se vieron afectados.
He visto empresas que dan por hecho que su IA funciona bien y luego se ven en apuros cuando un error silencioso crece como una bola de nieve hasta convertirse en crisis. Un plan de incidentes escrito, probado y no solo archivado, marca la diferencia.
Una fila por sistema de IA. Revíselo mensualmente en los sistemas críticos y trimestralmente en el resto.
| Campo | Qué registrar | Ejemplo |
|---|---|---|
| Sistema y responsable | Nombre, responsable de negocio, responsable técnico | Modelo de aprobación automática de facturas; responsable de cuentas por pagar; líder de ciencia de datos |
| Decisión influida | Qué decide o recomienda | Aprueba sin revisión las facturas por debajo de un umbral |
| Datos utilizados | Fuentes, datos personales, campos sensibles | Maestro de proveedores, líneas de factura, historial de pagos |
| Nivel de riesgo | Crítico / moderado / bajo; categoría de la Ley de IA de la UE si procede | Moderado; no es del Anexo III |
| Riesgos principales | Sesgo, seguridad, cumplimiento, deriva | Deriva al cambiar la mezcla de proveedores; fraude mediante facturas manipuladas |
| Controles | Pruebas, revisión humana, umbrales, interruptor de apagado | Revisión semanal de una muestra; tope de importe; alerta ante un cambio en la tasa de aprobación |
| Métrica de monitorización | Qué se vigila y el nivel de alerta | Tasa de aprobación automática fuera de su banda normal |
| Contacto para incidentes | Quién puede pausarlo y con qué rapidez | Responsable de cuentas por pagar, dentro de un tiempo de respuesta acordado |
| Última revisión | Fecha y revisor | Mensual, por el comité de riesgos de IA |
Para la estructura de gobernanza que se hace cargo de este registro, consulte mi guía del marco de gobernanza de la IA. Si quiere una revisión externa de su registro antes de que un regulador o un auditor se la pida, forma parte de mi trabajo de asesoría en gobernanza de la IA.
¿Qué es un marco de gestión de riesgos de IA?
Un proceso estructurado para identificar, evaluar y gestionar los riesgos que surgen cuando los sistemas de IA influyen en decisiones de negocio. Cubre el ciclo de vida del modelo e incluye controles para el sesgo, la seguridad, el cumplimiento y la deriva operativa.
En entornos SAP se aplica a los modelos usados en compras (puntuación de proveedores), RR. HH. (selección de candidatos), finanzas (aprobación de facturas) y cadena de suministro (previsión de la demanda). Estos sistemas afectan a las personas, al dinero y al cumplimiento.
¿Qué es el NIST AI Risk Management Framework?
Un marco voluntario del Instituto Nacional de Estándares y Tecnología de EE. UU., publicado como AI RMF 1.0 en enero de 2023 y construido sobre cuatro funciones:
- Govern: políticas, responsabilidad y cultura
- Map: contexto, uso previsto e impactos potenciales
- Measure: pruebas de sesgo, robustez, explicabilidad y seguridad
- Manage: priorización y tratamiento de los riesgos, y monitorización
En julio de 2024 NIST añadió el Generative AI Profile (NIST AI 600-1), que es la referencia estadounidense más útil para gobernar asistentes como Joule y Copilot.
¿Cuándo se aplican las reglas de alto riesgo de la Ley de IA de la UE?
Tras las enmiendas del Digital Omnibus de 2026, las reglas para los sistemas de alto riesgo enumerados en el Anexo III (como la contratación, la puntuación crediticia y el acceso a servicios esenciales) se aplican desde el 2 de diciembre de 2027. La IA de alto riesgo integrada en productos cubiertos por la normativa de seguridad de productos de la UE sigue el 2 de agosto de 2028. Las prohibiciones y las reglas de IA de uso general ya se aplican.
¿Cuáles son los mayores riesgos de la IA en la empresa?
- Sesgo y discriminación: los datos históricos sesgados producen resultados sesgados
- Seguridad: envenenamiento de datos, inyección de prompts y robo de modelos
- Cumplimiento: el RGPD, la Ley de IA de la UE, la ISO 42001 y las normas sectoriales
- Deriva operativa: la precisión se degrada a medida que cambian los patrones de datos
- Falta de explicabilidad: una decisión que no se puede explicar es difícil de defender ante un regulador, un cliente o la auditoría interna
¿Qué debe cubrir un plan de respuesta a incidentes de IA?
Cuatro cosas, definidas antes del incidente:
- Vía de escalamiento: a quién se avisa primero, quién puede pausar o revertir el modelo, quién habla con los clientes
- Contención: cómo aislar el sistema sin romper los procesos posteriores
- Comunicación a los clientes: qué se dice a las personas afectadas y cuándo
- Revisión posterior al incidente: causa raíz, reentrenar o revertir, y controles actualizados
Pruebe el plan con un ejercicio de simulación al menos una vez al año.
Siguiente paso
¿Dirige ahora mismo un programa ERP?
Si este artículo toca un programa en el que está inmerso ahora mismo, una conversación de 30 minutos suele avanzar más que otra semana de análisis interno.




