KI-Governance-Framework: einen verantwortungsvollen KI-Plan aufbauen

Ein KI-Governance-Framework ist die Gesamtheit aus Verantwortlichen, Richtlinien, Kontrollen und Reviews, die festlegen, wie Ihre Organisation KI einsetzt und was passiert, wenn sie etwas falsch macht. Sie bauen es auf, indem Sie jedes System auflisten, das eine Entscheidung automatisiert, diese Systeme nach Auswirkung ordnen, jedem einen namentlich benannten Verantwortlichen geben und die Kontrollen am Risiko ausrichten. Wenn Sie in der EU tätig sind, setzt der AI Act die Fristen. Seine Hochrisiko-Vorschriften für Systeme wie Personalauswahl und Kreditscoring gelten jetzt ab dem 2. Dezember 2027.

Unternehmen setzen KI ein, um Bewerber zu sichten, Betrug zu erkennen, Lieferketten zu steuern und Preise festzulegen. Ich habe erlebt, dass Recruiting-Plattformen qualifizierte Kandidaten allein wegen einer Karrierepause aussortierten. Ich habe erlebt, dass Entscheidungssysteme für ganze Kundensegmente die falschen Regeln anwendeten. Der gemeinsame Nenner war, dass niemand klare Richtlinien dafür festgelegt hatte, wie sich das System verhalten soll oder was zu tun ist, wenn es das nicht tut.

Das ist ein Managementversagen, kein technisches. Die meisten Unternehmen können drei grundlegende Fragen nicht beantworten:

1. Wer genehmigt, wie KI eingesetzt wird?
2. Wer prüft, ob sie wie erwartet funktioniert?
3. Was passiert, wenn sie etwas falsch macht?

Governance beantwortet sie. Gut gemacht, bremst sie nichts aus. Sie stellt sicher, dass die Systeme, auf die Sie sich verlassen, verantwortungsvoll eingesetzt werden.

1. 01Jedes System auflistenWenn es eine Entscheidung automatisiert, gehört es in den Umfang
2. 02Nach Auswirkung ordnenZuerst Personalauswahl, Kredit, Preisgestaltung und Kundenscoring
3. 03Einen Verantwortlichen benennenEine Person, kein Gremium
4. 04Kontrollen am Risiko ausrichtenTests, Punkte für menschliche Prüfung und Warnmeldungen
5. 05In festem Turnus prüfenMonatlich für kritische Systeme, vierteljährlich für den Rest

Fehler und Randfälle fließen zurück in die Kontrollen

Teams, die annehmen, ihre Softwareanbieter kümmerten sich um die Compliance, liegen meist falsch. Nach dem EU AI Act hat die Organisation, die ein System einsetzt, eigene Pflichten.

Rahmenwerk	Wo	Status und Anforderungen
EU AI Act	Europäische Union	Seit August 2024 geltendes Recht. Risikobasiert: verbietet einige Anwendungen, legt Pflichten für Hochrisiko-Systeme fest, setzt Transparenzregeln für andere
DSGVO	Europäische Union	Rechtsgrundlage, Datenminimierung und Rechte bei automatisierten Entscheidungen, die Menschen betreffen
ISO/IEC 42001	Weltweit	Zertifizierbare Norm für KI-Managementsysteme, veröffentlicht im Dezember 2023
NIST AI RMF	Vereinigte Staaten	Freiwilliges Framework auf Basis von Govern, Map, Measure und Manage
Einzelstaatliche Gesetze der USA	Vereinigte Staaten	Kein umfassendes Bundesgesetz zu KI; eine wachsende Zahl einzelstaatlicher Gesetze, mit Bemühungen auf Bundesebene, sie zu verdrängen
Singapore Model AI Governance Framework	Singapur	Freiwillige Leitlinien zu Erklärbarkeit und Rechenschaftspflicht
OECD AI Principles	OECD-Mitglieder	Unverbindliche internationale Grundsätze

Kanadas vorgeschlagener Artificial Intelligence and Data Act ist gescheitert, als das Parlament im Januar 2025 prorogiert wurde, und gehört daher nicht mehr auf diese Liste.

Termine des EU AI Act nach dem Digital Omnibus 2026

Die EU hat den AI Act im Juli 2026 durch den Digital Omnibus on AI, Verordnung (EU) 2026/1744, geändert und dabei die Hochrisiko-Vorschriften verschoben. Dies sind die aktuellen Termine laut dem Zeitplan der Europäischen Kommission zum AI Act:

Datum	Was gilt
1. August 2024	Der AI Act tritt in Kraft
2. Februar 2025	Verbotene Praktiken und Pflichten zur KI-Kompetenz
2. August 2025	Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck; nationale Behörden und Sanktionen
2. August 2026	Die meisten übrigen Vorschriften, einschließlich der Transparenzpflichten nach Artikel 50; die Durchsetzung beginnt
2. Dezember 2026	Neue Verbote für nicht einvernehmliche sexuelle Deepfakes und Material über Kindesmissbrauch
2. Dezember 2027	Hochrisiko-Vorschriften für Systeme nach Anhang III, etwa in Beschäftigung, Kreditscoring und wesentlichen Dienstleistungen
2. August 2028	Hochrisiko-Vorschriften für KI, die in Produkte eingebaut ist, die unter das EU-Produktsicherheitsrecht fallen (Anhang I)

Die Verschiebung verschafft Zeit. Sie beseitigt die Arbeit nicht. Wenn Sie KI nutzen, um Kandidaten zu sichten oder Kredite zu bewerten, dauert der Aufbau von Dokumentation, menschlicher Aufsicht und Monitoring, die Sie für Dezember 2027 brauchen, länger, als die meisten Teams erwarten. Wenn Sie ein solches System kaufen, fragen Sie den Anbieter schon jetzt, wie er die Hochrisiko-Anforderungen erfüllen wird.

1. Umfang und Richtlinie

Finden Sie vor allem anderen heraus, wo Systeme Entscheidungen treffen. Die meisten Teams überspringen das oder nehmen an, die IT habe eine Liste. Meist hat sie keine.

Gehen Sie Abteilung für Abteilung vor. Schauen Sie auf die Tools, die Bewerber filtern, Transaktionen freigeben oder Kunden bewerten. Wenn es eine Entscheidung automatisiert, gehört es in den Umfang, ob irgendjemand es KI nennt oder nicht. Wenn Sie SAP betreiben, nehmen Sie die KI-Funktionen hinein, die Sie eingeschaltet haben, etwa Joule und eingebettete Predictive Scenarios.

Schreiben Sie dann Richtlinien in einfacher Sprache, der Menschen folgen werden. „Wir legen Wert auf ethischen KI-Einsatz“ ist keine Richtlinie.

2. Verantwortlichkeit

Wie gut ein System auch arbeitet: Jemand muss das Ergebnis verantworten. Geteilte Verantwortung heißt, dass niemand handelt.

Geben Sie jedem System einen namentlich benannten Verantwortlichen, der es in der Praxis nutzt, wesentliche Änderungen freigibt, die Dokumentation pflegt und Rede und Antwort steht, wenn etwas schiefgeht. Legen Sie vorab fest, wer ein System nach einer Beschwerde anhalten darf.

In einem Unternehmen, mit dem ich gearbeitet habe, dachten drei Personen jeweils, jemand anderes sei verantwortlich. Das Ergebnis waren Monate des Schweigens rund um ein kritisches Problem, dem sich niemand annahm.

3. Risikobewertung und Kontrollen

Jedes System birgt Risiken. Entscheidend ist, ob das Risiko sichtbar ist.

Übernehmen Sie keine generischen Risikolisten. Fragen Sie, ob Ihr System Kandidaten unfair ablehnen, falsche Preise empfehlen oder Kunden falsch einordnen könnte. Bauen Sie dann Kontrollen: Tests vor dem Einsatz, Punkte für manuelle Prüfung im laufenden Betrieb und Warnmeldungen, wenn Ergebnisse außerhalb der erwarteten Bereiche liegen. Nehmen Sie zwei oder drei realistische Szenarien in jede Risikorichtlinie auf, damit die Menschen verstehen, warum es sie gibt.

4. Monitoring und Audit

Systeme verändern sich. Eingabedaten verschieben sich, und Updates ändern das Verhalten. Ich erinnere mich an ein Finanzteam, das in seinem Empfehlungstool auf einen stillen Fehler stieß. Es dauerte zwei Wochen, bis er auffiel. Ein einziges regelmäßiges Audit hätte ihn am zweiten Tag gefunden.

Legen Sie einen festen Review-Turnus fest: monatlich für kritische Systeme, vierteljährlich für den Rest. Ein Team, mit dem ich gearbeitet habe, entdeckte einen großen Preisfehler schlicht dadurch, dass es einmal im Monat einige Stichproben der Ausgaben durchsah. Verfolgen Sie Fehler und Randfälle und führen Sie sie in die Kontrollen zurück.

5. Transparenz

Menschen, die mit einem System arbeiten, und in regulierten Bereichen die Menschen, die davon betroffen sind, müssen verstehen, was es tut. Erklären Sie Eingaben und Entscheidungen in einfacher Sprache. Dokumentieren Sie Grenzen ebenso wie Stärken. Ein System zu überverkaufen führt zu Fehlgebrauch.

6. Schulung

Menschen machen im Alltag Fehler, auch wenn alles dokumentiert ist. Schulen Sie Fachanwender, nicht nur technisches Personal, mit Ihren eigenen Daten und Fällen. Ein Personalteam, mit dem ich gearbeitet habe, hielt zweimal im Jahr 30-minütige Auffrischungen ab, mit echtem Feedback aus früheren Bewerbersichtungen. Nichts Kompliziertes, aber es gab den Anwendern Sicherheit und Verantwortungsgefühl.

Das nützlichste erste Artefakt ist ein Register. Einige der wirksamsten Frameworks, die ich gesehen habe, begannen als Tabellen und wuchsen von dort aus. Erfassen Sie für jedes System:

1. System und Zweck: was es entscheidet oder empfiehlt, und für wen.
2. Verantwortlicher: eine namentlich benannte Person, plus Vertretung.
3. Risikostufe: zum Beispiel hoch (betrifft Arbeitsplätze, Geld oder den Zugang zu Dienstleistungen), mittel oder niedrig, plus die Kategorie nach dem EU AI Act, falls zutreffend.
4. Verwendete Daten: Quellen, beteiligte personenbezogene Daten, Einwilligung und Aufbewahrung.
5. Anbieter oder Eigenentwicklung: und welche Dokumentation der Anbieter bereitstellt.
6. Kontrollen: Tests vor dem Einsatz, Punkte für menschliche Prüfung, Warnmeldungen.
7. Review-Turnus: monatlich, vierteljährlich oder jährlich, und das Datum des letzten Reviews.
8. Meldeweg bei Vorfällen: wer informiert wird, wer es anhalten darf, wie die Nutzer informiert werden.

Füllen Sie es zuerst für die folgenreichen Systeme aus: Personalauswahl, Preisgestaltung, Kredit und Kundenscoring. Interne Tools mit geringem Risiko können warten.

Beginnen Sie mit folgenreichen Anwendungsfällen. Ich habe einmal mit einem Unternehmen gearbeitet, in dem ein automatisiertes Tool Bewerber aus vagen Gründen aussortierte. Es fiel erst nach mehreren Beschwerden auf. Eine Review-Sitzung hätte es früh entdeckt.

Richten Sie die Aufsicht am Risiko aus. Ein Team, mit dem ich gearbeitet habe, wendete auf einen internen Chatbot dieselbe Prüftiefe an wie auf eine Preis-Engine. Das erschöpfte das Governance-Team und bremste die Entwicklung, ohne viel zu bringen.

Dokumentieren Sie Entscheidungen, wenn sie getroffen werden. Nachträglich geschriebene Dokumentation scheitert, weil Menschen den Kontext vergessen. Ein gemeinsamer Ordner mit datierten einseitigen Entscheidungsnotizen schlägt ein aufwendiges System, das niemand pflegt.

Warten Sie nicht auf das perfekte Framework. Ich habe Teams erlebt, die Monate damit verbrachten, Formulierungen von Richtlinien zu verfeinern, die am Ende niemand nutzte. Beginnen Sie mit einer Regel, einem Verantwortlichen und einem Review-Turnus und justieren Sie dann nach.

Rechnen Sie mit Widerstand und antworten Sie darauf. Governance wirkt auf die Teams, die die Tools nutzen, wie Bürokratie. Verknüpfen Sie sie mit dem, was ihnen wichtig ist: Kundenvertrauen, vermiedene Bußgelder, verhinderte öffentliche Pannen.

Automatisierte Entscheidungen ohne Aufsicht können schnell und teuer scheitern. Im Jahr 2012 schickte der automatisierte Order-Router von Knight Capital mit fehlerhaftem Code in 45 Minuten mehr als 4 Millionen Aufträge, und das Unternehmen verlor mehr als 460 Millionen US-Dollar (SEC). Amazon gab ein experimentelles Recruiting-Tool auf, nachdem sich zeigte, dass es Lebensläufe benachteiligte, in denen Frauenorganisationen erwähnt wurden. Die leiseren Pannen sind häufiger: Ein System driftet monatelang, bis eine Beschwerde oder ein Audit es aufdeckt.

ISO/IEC 42001 ist die zertifizierbare Norm für ein KI-Managementsystem, veröffentlicht im Dezember 2023. Das AI Risk Management Framework des NIST ist die freiwillige Referenz, die die meisten US-Organisationen nutzen. Für Einzelpersonen ist die Zertifizierung Artificial Intelligence Governance Professional (AIGP) der IAPP die bekannteste Qualifikation.

Es gibt dedizierte Tools, etwa IBM watsonx.governance, Fiddler AI und das Responsible-AI-Dashboard in Azure Machine Learning. Für die meisten Organisationen ist der praktische Start einfacher: das obige Register, Logging, Zugriffskontrollen und Review-Zyklen. Für eine tiefere Risikobewertung siehe meinen Leitfaden zum KI-Risikomanagement-Framework. Wenn Ihre KI innerhalb von SAP läuft, behandelt mein Artikel zu KI-Governance in SAP-Einführungen die SAP-spezifischen Kontrollen, und meine Seite zum KI-Governance-Framework beschreibt, wie ich Organisationen dabei unterstütze, eines einzuführen.

Was ist ein KI-Governance-Framework?

Eine Gesamtheit aus Verantwortlichen, Richtlinien, Kontrollen und Review-Zyklen, die festlegen, wie eine Organisation KI einsetzt, wie Systeme getestet und überwacht werden und was passiert, wenn etwas schiefgeht. Es macht Entscheidungen außerdem für Aufsichtsbehörden und Betroffene nachvollziehbar.

Wann gelten die Hochrisiko-Vorschriften des EU AI Act?

Nach dem Digital Omnibus on AI (Verordnung (EU) 2026/1744) gelten die Hochrisiko-Vorschriften für Systeme nach Anhang III, etwa KI in Beschäftigung, Kreditscoring und wesentlichen Dienstleistungen, ab dem 2. Dezember 2027. Hochrisiko-Vorschriften für KI, die in Produkte eingebaut ist, die unter das EU-Produktsicherheitsrecht fallen, gelten ab dem 2. August 2028. Verbote gelten seit Februar 2025 und Transparenzpflichten seit August 2026.

Warum ist KI-Governance in SAP-Umgebungen wichtig?

SAP-Systeme enthalten inzwischen KI, die Entscheidungen trifft oder beeinflusst, etwa Joule, Predictive Scenarios in Finanzen und Lieferkette und die Kandidatensichtung im Personalwesen. Eine verzerrte oder falsche Ausgabe kann sich über integrierte Prozesse ausbreiten, bevor es jemand bemerkt. Governance hält diese Funktionen an dieselbe Rechenschaftspflicht wie die manuellen Prozesse, die sie ersetzt haben.

Wer ist für KI-Governance verantwortlich?

Sie ist funktionsübergreifend: Compliance, IT und Sicherheit, Datenteams, Recht und Risiko sowie die Geschäftsleitung. Die wichtigste strukturelle Entscheidung ist ein namentlich benannter Verantwortlicher pro KI-System. Eine Person, kein Gremium.

Welche Zertifizierungen gibt es für KI-Governance?

Für Organisationen ist ISO/IEC 42001 die zertifizierbare Norm für KI-Managementsysteme. Das NIST AI RMF ist eher ein freiwilliges Framework als eine Zertifizierung. Für Einzelpersonen ist die AIGP-Zertifizierung der IAPP die bekannteste Qualifikation für KI-Governance.

Was passiert, wenn KI-Governance ignoriert wird?

Sichtbare Pannen sind etwa, dass Amazon ein Recruiting-Tool aufgab, das Frauen benachteiligte, und dass Knight Capital durch ein fehlerhaftes automatisiertes Handelssystem in 45 Minuten mehr als 460 Millionen US-Dollar verlor. Die häufigere Panne ist leiser: Ein System driftet monatelang, und niemand bemerkt es bis zu einer Beschwerde oder einem Audit.