KI-Risikomanagement-Framework: Leitfaden 2026 Schritt für Schritt

Ein KI-Risikomanagement-Framework ist die Abfolge von Schritten, mit der Sie die Risiken von KI-Systemen, die Geschäftsentscheidungen beeinflussen, finden, einstufen, steuern und überwachen. Die praxistaugliche Version hat fünf Schritte: Inventarisieren Sie Ihre KI, stufen Sie jeden Anwendungsfall nach seiner Auswirkung ein, legen Sie Kontrollen auf die Hochrisiko-Fälle, weisen Sie Verantwortung zu und überwachen Sie mit einem getesteten Incident-Plan.

Dieser Leitfaden richtet sich an CIOs, Risikoverantwortliche und SAP-Programmleiter, die bereits KI im Finanzwesen, im Personalwesen oder im Einkauf einsetzen oder kurz davor stehen. Er ordnet jeden Schritt dem NIST AI RMF und dem EU AI Act zu und enthält eine Vorlage für ein Risikoregister, mit der Sie beginnen können.

Automatisierte Entscheidungen scheitern schnell. 2012 setzte Knight Capital fehlerhafte Handelssoftware ein und verlor laut der US-Börsenaufsicht SEC in 45 Minuten mehr als 460 Millionen US-Dollar, weil niemand das System rechtzeitig stoppen konnte. Das war kein maschinelles Lernen. Es war ein automatisiertes Entscheidungssystem ohne wirksame Überwachung und ohne Notausschalter, und genau diese Lücke haben heute viele KI-Einsätze.

Die folgenden Grundsätze gelten weiterhin. Drei äußere Änderungen verschieben, wovon Sie bei der Planung ausgehen.

NIST hat ein Profil für generative KI ergänzt. Das NIST AI Risk Management Framework (AI RMF 1.0, Januar 2023) beruht auf vier Funktionen: Govern, Map, Measure, Manage. Im Juli 2024 veröffentlichte NIST das Generative AI Profile (NIST AI 600-1), das Risiken wie Konfabulation, Prompt Injection, Datenschutz und geistiges Eigentum abdeckt. Wenn Sie Joule, Microsoft Copilot oder eigene generative KI-Agenten auf Unternehmensdaten betreiben, verweisen Sie in Ihrem Risikoregister darauf. NIST gibt an, dass das Kernframework überarbeitet wird; eine Version 1.1 gibt es bisher nicht.

Der Zeitplan des EU AI Act hat sich verschoben. Das Gesetz trat am 1. August 2024 in Kraft. Verbotene Praktiken und die Pflichten zur KI-Kompetenz galten ab dem 2. Februar 2025, die Pflichten für KI-Modelle mit allgemeinem Verwendungszweck ab dem 2. August 2025. Die meisten übrigen Vorschriften und die Durchsetzung gelten ab dem 2. August 2026. Nach den 2026 verabschiedeten Änderungen des Digital Omnibus gelten die Vorschriften für Hochrisiko-Systeme nach Anhang III (Personalauswahl, Kreditscoring, Zugang zu wesentlichen Dienstleistungen und Ähnliches) ab dem 2. Dezember 2027, und für Hochrisiko-KI in regulierten Produkten ab dem 2. August 2028. Den aktuellen Stand finden Sie im Umsetzungszeitplan der Kommission. Die Bußgelder reichen bei verbotenen Praktiken bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes und bei den meisten anderen Verstößen bis zu 15 Millionen Euro oder 3 %.

Die zusätzliche Zeit ist kein Grund zu warten. Technische Dokumentation, Daten-Governance, menschliche Aufsicht und die Beobachtung nach dem Inverkehrbringen brauchen länger, als die meisten Teams erwarten.

ISO/IEC 42001 hat der KI-Governance einen zertifizierbaren Standard gegeben. Die im Dezember 2023 veröffentlichte Norm leistet für das KI-Management, was ISO 27001 für die Informationssicherheit geleistet hat. ISO/IEC 23894 (2023) ergänzt Leitlinien speziell zum KI-Risikomanagement. Meiner Einschätzung nach sollte jedes Unternehmen, das Software mit KI-Funktionen an regulierte Kunden verkauft, damit rechnen, dass 42001 in Beschaffungsfragebögen auftaucht.

Für Organisationen am Golf gilt: Die Charta der Vereinigten Arabischen Emirate für die Entwicklung und Nutzung von KI (2024) und die KI-Ethikgrundsätze der SDAIA in Saudi-Arabien sind nicht in der Weise verbindliches Recht wie der EU AI Act, doch Aufsichtsbehörden und öffentliche Auftraggeber fragen bereits, wie Sie sie erfüllen.

Ein ordentliches Framework erstreckt sich über den gesamten Lebenszyklus des Modells, vom Entwurf über die Bereitstellung bis in den laufenden Betrieb.

Komponente	Was sie abdeckt	Zentrale Maßnahmen
Governance-Struktur	Aufsicht und Entscheidungsrechte	KI-Risikoausschuss einrichten; pro System einen Verantwortlichen benennen
Risikoidentifikation	Technische, ethische und regulatorische Risiken	Risiko-Workshops, Threat Modelling, Szenarioanalyse
Compliance-Abgleich	EU AI Act, DSGVO, ISO 42001, lokale Vorschriften	Jeden Anwendungsfall den geltenden Regeln zuordnen
Verzerrung und Fairness	Diskriminierende Ergebnisse	Bias-Tests, Fairness-Audits, Auswirkungen nach Gruppen
Erklärbarkeit	Entscheidungen, die Menschen nachvollziehen können	Methoden zur Erklärbarkeit, Modelldokumentation
Sicherheit und Datenschutz	Schutz von Modell und Daten	Trainingsdaten verschlüsseln; Adversarial-Tests
Laufende Überwachung	Verhalten nach der Bereitstellung	KPIs, Anomalieerkennung, Schleifen mit menschlicher Prüfung
Incident Response	Fehlfunktionen und ethische Verstöße	Eskalationswege, Rollback- und Wiederherstellungspläne

Die meisten Frameworks scheitern, weil sie außerhalb des Projektablaufs stehen. KI-Governance muss Teil des Betriebsmodells sein, neben Revision und Änderungssteuerung. Sonst zeigen sich Probleme spät, wenn sie schwerer und teurer zu beheben sind.

1. 01IdentifizierenJedes KI-System erfassen
2. 02EinstufenNach Eintrittswahrscheinlichkeit und Auswirkung
3. 03AbsichernAm strengsten bei Hochrisiko-Systemen
4. 04SteuernEin benannter Verantwortlicher pro Modell
5. 05ÜberwachenAlarme und ein getesteter Incident-Plan

Kritische Systeme monatlich prüfen, alle übrigen quartalsweise

Beginnen Sie mit einer Bestandsaufnahme. Beantworten Sie für jedes KI-System drei Fragen. Welche Daten verarbeitet es? Welche Entscheidungen beeinflusst es? Was ist das schlimmste Ergebnis, wenn es etwas falsch macht?

Die häufigsten Risikokategorien:

1. Verzerrung und Fairness. Modelle, die mit historischen Daten trainiert wurden, erben deren Verzerrungen. Wenn fünf Jahre Einstellungsentscheidungen bestimmte Profile bevorzugt haben, wird das Modell das wiederholen. Amazon stellte ein KI-Recruiting-Tool ein, nachdem sich zeigte, dass es Lebensläufe abwertete, die das Wort „women's“ enthielten, wie Reuters 2018 berichtete. Das war vorhersehbar. Ein einfaches Bias-Audit vor der Einführung hätte es entdeckt.
2. Sicherheit. KI-Systeme, die Zahlungen, Personalakten oder Verträge berühren, sind Angriffsziele. Data Poisoning, Prompt Injection und Modelldiebstahl sind reale Angriffswege.
3. Compliance. DSGVO, EU AI Act, ISO 42001, HIPAA und lokale Vorschriften können alle gleichzeitig gelten. Aufsichtsbehörden wollen zunehmend die Methode hinter einer KI-Entscheidung sehen, nicht nur das Ergebnis.
4. Operativer Drift. Ein im ersten Quartal trainiertes Modell kann sich bis zum dritten Quartal anders verhalten, weil sich Datenmuster verschieben. Niemand bemerkt es, bis sich ein Kunde beschwert oder ein Audit es findet.

Nicht alle Risiken wiegen gleich. Stufen Sie nach Eintrittswahrscheinlichkeit und geschäftlicher Auswirkung ein.

1. Kritisch: KI, die Finanzfreigaben, Personalentscheidungen oder Zugriffskontrolle beeinflusst. Sie braucht die strengsten Kontrollen, menschliche Aufsicht und vollständige Dokumentation.
2. Mittel: KI, die Empfehlungen gibt, während ein Mensch die endgültige Entscheidung trifft. Leichtere Kontrollen, aber Audit-Logging gilt weiterhin.
3. Niedrig: interne Tools mit begrenztem Umfang und geringer Wirkung auf Menschen. Grundlegendes Monitoring und regelmäßige Überprüfung.

Nutzen Sie die Kategorien des EU AI Act als Gegenprobe. Personalauswahl, Kreditvergabe und der Zugang zu wesentlichen Dienstleistungen gelten ausdrücklich als Hochrisiko.

Verzerrung. Verwenden Sie repräsentative Trainingsdaten. Prüfen Sie die Ergebnisse regelmäßig nach demografischen Gruppen. Halten Sie bei Entscheidungen über einzelne Personen einen Menschen in der Schleife: Einstellung, Kreditvergabe, Zugang. Gehen Sie Unterschieden bei den Annahmequoten zwischen Gruppen nach.

Sicherheit. Verschlüsseln Sie Trainingsdaten und Modellausgaben. Beschränken Sie, wer Modelle ändern darf. Testen Sie, ob sich das Verhalten durch präparierte Eingaben manipulieren lässt. Achten Sie auf ungewöhnliche Zugriffsmuster.

Betriebskontinuität. Legen Sie für jedes System fest, wie „normal“ aussieht, und setzen Sie dann Alarmschwellen. Wenn sich eine Kennzahl bewegt (Betrugsblockierquote, Annahmequote bei Bewerbungen, Freigabemuster bei Lieferanten), wollen Sie einen Alarm und keine Überraschung zum Monatsabschluss. Und stellen Sie sicher, dass jemand das System schnell abschalten kann.

Governance für KI braucht drei Dinge.

1. Benannte Verantwortung. Eine Person steht für die Ergebnisse jedes Modells ein. Hinter einem Ausschuss ohne Vorsitz steht niemand.
2. Prüfpfade. Jede KI-beeinflusste Entscheidung braucht einen nachvollziehbaren Datensatz: die verwendeten Daten, das Ergebnis und wann und von wem es geprüft wurde.
3. Regulatorischer Abgleich. Prüfen Sie jedes System gegen ISO 42001, das NIST AI RMF, den EU AI Act und die DSGVO oder Ihr regionales Pendant. Prüfen Sie erneut, wenn sich die Regeln ändern, wie es bei den EU-Terminen gerade geschehen ist.

Wenn Sie das innerhalb eines SAP-Programms aufbauen, zeigt mein Leitfaden zu KI-Governance bei SAP-Einführungen, wo die Kontrollen in S/4HANA und SuccessFactors sitzen.

Tools, die in Unternehmensumgebungen weit verbreitet sind:

Tool	Hauptfokus
Fiddler AI	Modellüberwachung, Erklärbarkeit, Bias-Erkennung
IBM watsonx.governance (enthält Watson OpenScale)	Modell-Governance, Überwachung von Bias und Drift, Dokumentation
Microsoft Responsible AI dashboard (Azure Machine Learning)	Fairness, Fehleranalyse, Datenungleichgewicht
Arthur	Überwachung von Leistung, Drift und Fairness
Amazon SageMaker Clarify	Bias-Erkennung im Training und bei der Inferenz

Wenn etwas schiefgeht, machen Teams, die improvisieren, es schlimmer. Legen Sie den Eskalationsweg vor dem Vorfall fest: wer angerufen wird, welche Befugnis diese Person hat, das Modell anzuhalten oder zurückzurollen, und was Sie Kunden sagen, wenn ihre Daten betroffen waren.

Ich habe erlebt, wie Unternehmen davon ausgingen, ihre KI laufe einwandfrei, und dann hektisch reagieren mussten, als sich ein stiller Fehler zur Krise auswuchs. Ein schriftlicher Incident-Plan, der getestet und nicht nur abgelegt wurde, macht den Unterschied.

Eine Zeile pro KI-System. Prüfen Sie es für kritische Systeme monatlich und für alle anderen quartalsweise.

Feld	Was zu erfassen ist	Beispiel
System und Verantwortlicher	Name, fachlicher Verantwortlicher, technischer Verantwortlicher	Modell zur automatischen Rechnungsfreigabe; Leiter Kreditorenbuchhaltung; Leiter Data Science
Beeinflusste Entscheidung	Was es entscheidet oder empfiehlt	Gibt Rechnungen unter einem Schwellenwert ohne Prüfung frei
Verwendete Daten	Quellen, personenbezogene Daten, sensible Felder	Lieferantenstamm, Rechnungspositionen, Zahlungshistorie
Risikostufe	Kritisch / mittel / niedrig; EU-AI-Act-Kategorie, falls relevant	Mittel; nicht Anhang III
Hauptrisiken	Verzerrung, Sicherheit, Compliance, Drift	Drift bei sich änderndem Lieferantenmix; Betrug durch manipulierte Rechnungen
Kontrollen	Tests, menschliche Prüfung, Schwellenwerte, Notausschalter	Wöchentliche Stichprobenprüfung; Wertobergrenze; Alarm bei Änderung der Freigabequote
Überwachungskennzahl	Was Sie beobachten und die Alarmstufe	Quote der automatischen Freigaben außerhalb ihres normalen Bereichs
Ansprechpartner bei Vorfällen	Wer es anhalten kann und wie schnell	Leiter Kreditorenbuchhaltung, innerhalb einer vereinbarten Reaktionszeit
Zuletzt geprüft	Datum und Prüfer	Monatlich, durch den KI-Risikoausschuss

Zur Governance-Struktur, die dieses Register verantwortet, siehe meinen Leitfaden zum KI-Governance-Framework. Wenn Sie Ihr Register extern prüfen lassen möchten, bevor ein Regulator oder Prüfer danach fragt, gehört das zu meiner Beratung zur KI-Governance.

Was ist ein KI-Risikomanagement-Framework?

Ein strukturierter Prozess, um die Risiken zu identifizieren, zu bewerten und zu steuern, die entstehen, wenn KI-Systeme Geschäftsentscheidungen beeinflussen. Er deckt den Lebenszyklus des Modells ab und umfasst Kontrollen für Verzerrung, Sicherheit, Compliance und operativen Drift.

In SAP-Umgebungen gilt er für Modelle im Einkauf (Lieferantenbewertung), im Personalwesen (Vorauswahl von Bewerbern), im Finanzwesen (Rechnungsfreigabe) und in der Lieferkette (Bedarfsprognose). Diese Systeme betreffen Menschen, Geld und Compliance.

Was ist das NIST AI Risk Management Framework?

Ein freiwilliges Framework des US-amerikanischen National Institute of Standards and Technology, im Januar 2023 als AI RMF 1.0 veröffentlicht und auf vier Funktionen aufgebaut:

1. Govern: Richtlinien, Verantwortlichkeit und Kultur
2. Map: Kontext, vorgesehene Nutzung und mögliche Auswirkungen
3. Measure: Tests auf Verzerrung, Robustheit, Erklärbarkeit und Sicherheit
4. Manage: Risiken priorisieren und behandeln sowie überwachen

Im Juli 2024 ergänzte NIST das Generative AI Profile (NIST AI 600-1), die nützlichste US-Referenz für die Steuerung von Assistenten wie Joule und Copilot.

Wann gelten die Hochrisiko-Vorschriften des EU AI Act?

Nach den Änderungen des Digital Omnibus von 2026 gelten die Vorschriften für Hochrisiko-Systeme nach Anhang III (etwa Personalauswahl, Kreditscoring und Zugang zu wesentlichen Dienstleistungen) ab dem 2. Dezember 2027. Hochrisiko-KI, die in Produkte eingebettet ist, die unter das EU-Produktsicherheitsrecht fallen, folgt am 2. August 2028. Verbote und die Vorschriften für KI mit allgemeinem Verwendungszweck gelten bereits.

Was sind die größten Risiken bei KI im Unternehmen?

1. Verzerrung und Diskriminierung: verzerrte historische Daten erzeugen verzerrte Ergebnisse
2. Sicherheit: Data Poisoning, Prompt Injection und Modelldiebstahl
3. Compliance: DSGVO, EU AI Act, ISO 42001 und Branchenvorschriften
4. Operativer Drift: die Genauigkeit nimmt ab, wenn sich Datenmuster ändern
5. Fehlende Erklärbarkeit: Eine Entscheidung, die Sie nicht erklären können, lässt sich gegenüber einem Regulator, einem Kunden oder der internen Revision kaum verteidigen

Was sollte ein Incident-Response-Plan für KI abdecken?

Vier Dinge, festgelegt vor dem Vorfall:

1. Eskalationsweg: wer zuerst informiert wird, wer das Modell anhalten oder zurückrollen darf, wer mit Kunden spricht
2. Eindämmung: wie Sie das System isolieren, ohne nachgelagerte Prozesse zu stören
3. Kundenkommunikation: was Sie den Betroffenen sagen und wann
4. Nachbereitung: Ursachenanalyse, Neutraining oder Rollback und aktualisierte Kontrollen

Testen Sie den Plan mindestens einmal im Jahr mit einer Tabletop-Übung.