Okvir za upravljanje rizicima AI-ja: vodič korak po korak za 2026.

Okvir za upravljanje rizicima AI-ja skup je koraka kojima pronalazite, rangirate, kontrolirate i pratite rizike AI sustava koji utječu na poslovne odluke. Praktična verzija ima pet koraka: popišite svoj AI, rangirajte svaki slučaj upotrebe prema učinku, uvedite kontrole na visokorizične, dodijelite upravljanje i pratite s testiranim planom za incidente.

Ovaj je vodič za CIO-e, vlasnike rizika i voditelje SAP programa koji već imaju AI u financijama, ljudskim resursima ili nabavi, ili će ga uskoro imati. Svaki korak povezuje s NIST AI RMF-om i EU AI Actom te Vam daje predložak registra rizika za početak.

Automatizirane odluke brzo propadaju. Godine 2012. Knight Capital uveo je neispravan softver za trgovanje i, prema američkoj Komisiji za vrijednosne papire (SEC), izgubio više od 460 milijuna USD u 45 minuta jer nitko nije mogao na vrijeme zaustaviti sustav. To nije bilo strojno učenje. Bio je to automatizirani sustav odlučivanja bez učinkovitog praćenja i bez prekidača za isključivanje, a upravo takvu prazninu danas imaju mnoga uvođenja AI-ja.

Načela u nastavku i dalje vrijede. Tri vanjske promjene mijenjaju ono oko čega planirate.

NIST je dodao profil za generativnu AI. NIST AI Risk Management Framework (AI RMF 1.0, siječanj 2023.) izgrađen je na četiri funkcije: Govern, Map, Measure, Manage. U srpnju 2024. NIST je objavio Generative AI Profile (NIST AI 600-1), koji obuhvaća rizike poput konfabulacije, injekcije upita (prompt injection), privatnosti podataka i intelektualnog vlasništva. Ako koristite Joule, Microsoft Copilot ili vlastite agente generativne AI nad poslovnim podacima, pozovite se na njega u svom registru rizika. NIST kaže da se osnovni okvir revidira; verzije 1.1 još nema.

Vremenski plan EU AI Acta pomaknut je. Akt je stupio na snagu 1. kolovoza 2024. Zabranjene prakse i obveze AI pismenosti primjenjivale su se od 2. veljače 2025., a obveze za AI opće namjene od 2. kolovoza 2025. Većina preostalih pravila i provedba primjenjuju se od 2. kolovoza 2026. Nakon izmjena Digital Omnibusa donesenih 2026. pravila za visokorizične sustave navedene u Prilogu III (zapošljavanje, kreditno ocjenjivanje, pristup osnovnim uslugama i slično) primjenjuju se od 2. prosinca 2027., a visokorizični AI unutar reguliranih proizvoda od 2. kolovoza 2028. Provedbena vremenska crta Komisije mjesto je za provjeru. Kazne dosežu 35 milijuna EUR ili 7 % ukupnog svjetskog prometa za zabranjene prakse te 15 milijuna EUR ili 3 % za većinu ostalih povreda.

Dodatno vrijeme nije razlog za čekanje. Tehnička dokumentacija, upravljanje podacima, ljudski nadzor i praćenje nakon stavljanja na tržište grade se dulje nego što većina timova očekuje.

ISO/IEC 42001 dao je upravljanju AI-jem standard koji se može certificirati. Objavljen u prosincu 2023., čini za upravljanje AI-jem ono što je ISO 27001 učinio za informacijsku sigurnost. ISO/IEC 23894 (2023.) dodaje smjernice posebno o upravljanju rizicima AI-ja. Po mom mišljenju, svaka tvrtka koja prodaje softver s AI mogućnostima reguliranim kupcima trebala bi očekivati da će se 42001 pojaviti u nabavnim upitnicima.

Za organizacije u Zaljevu, Povelja UAE-a o razvoju i uporabi AI-ja (2024.) i etička načela AI-ja saudijske agencije SDAIA nisu obvezujući zakon na način na koji je to EU-ov akt, ali regulatori i kupci iz javnog sektora već pitaju kako ih ispunjavate.

Pravi okvir prolazi kroz cijeli životni ciklus modela, od oblikovanja preko uvođenja do svakodnevnog rada.

Komponenta	Što obuhvaća	Ključne radnje
Struktura upravljanja	Nadzor i prava odlučivanja	Osnujte odbor za rizike AI-ja; imenujte vlasnika po sustavu
Identifikacija rizika	Tehnički, etički i regulatorni rizici	Radionice o rizicima, modeliranje prijetnji, analiza scenarija
Usklađenost s propisima	EU AI Act, GDPR, ISO 42001, lokalna pravila	Svaki slučaj upotrebe povežite s pravilima koja se primjenjuju
Pristranost i pravednost	Diskriminatorni ishodi	Testiranje pristranosti, revizije pravednosti, učinak po skupinama
Objašnjivost	Odluke koje ljudi mogu razumjeti	Metode objašnjivosti, dokumentacija modela
Sigurnost i privatnost	Zaštita modela i podataka	Šifrirajte podatke za treniranje; adversarijalno testiranje
Kontinuirano praćenje	Ponašanje nakon uvođenja	KPI-jevi, otkrivanje anomalija, petlje ljudskog pregleda
Odgovor na incidente	Kvarovi i etičke povrede	Putovi eskalacije, planovi povrata i oporavka

Većina okvira ne uspijeva jer stoje izvan toka projekta. Upravljanje AI-jem mora živjeti unutar operativnog modela, uz reviziju i kontrolu promjena. Inače se problemi pojavljuju kasno, kad ih je teže i skuplje popraviti.

1. 01IdentificirajtePopišite svaki AI sustav
2. 02RangirajtePrema vjerojatnosti i učinku
3. 03KontrolirajteNajstrože na visokorizičnim sustavima
4. 04UpravljajteImenovani vlasnik po modelu
5. 05PratiteUpozorenja i testiran plan za incidente

Pregled mjesečno za kritične sustave, tromjesečno za ostale

Počnite s popisom. Za svaki AI sustav odgovorite na tri pitanja. Koje podatke obrađuje? Na koje odluke utječe? Koji je najgori ishod ako pogriješi?

Uobičajene kategorije rizika:

1. Pristranost i pravednost. Modeli trenirani na povijesnim podacima nasljeđuju njihove pristranosti. Ako su se pet godina odluke o zapošljavanju priklanjale određenim profilima, model će to ponavljati. Amazon je odustao od AI alata za zapošljavanje nakon što je otkrio da snižava ocjenu životopisima koji sadrže riječ „women's", kako je Reuters izvijestio 2018. To je bilo predvidljivo. Osnovna revizija pristranosti prije uvođenja uhvatila bi to.
2. Sigurnost. AI sustavi koji dodiruju plaćanja, evidencije ljudskih resursa ili ugovore su mete. Trovanje podataka, injekcija upita i krađa modela stvarni su putovi napada.
3. Usklađenost. GDPR, EU AI Act, ISO 42001, HIPAA i lokalna pravila mogu se primjenjivati istodobno. Regulatori sve češće žele vidjeti metodu iza AI odluke, a ne samo izlaz.
4. Operativni drift. Model treniran u prvom tromjesečju može se do trećeg ponašati drukčije kako se obrasci podataka pomiču. Nitko to ne primijeti dok se kupac ne požali ili dok to ne otkrije revizija.

Nisu svi rizici jednaki. Rangirajte prema vjerojatnosti i poslovnom učinku.

1. Kritičan: AI koji utječe na financijska odobrenja, odluke o zapošljavanju ili kontrolu pristupa. Za njih trebaju najstrože kontrole, ljudski nadzor i potpuna dokumentacija.
2. Umjeren: AI koji preporučuje, dok konačnu odluku donosi čovjek. Lakše kontrole, ali bilježenje za reviziju i dalje vrijedi.
3. Nizak: interni alati ograničenog opsega s malim učinkom na ljude. Osnovno praćenje i povremeni pregled.

Kategorije EU AI Acta koristite kao unakrsnu provjeru. Zapošljavanje, kreditiranje i pristup osnovnim uslugama izričito su visokorizični.

Pristranost. Koristite reprezentativne podatke za treniranje. Redovito revidirajte ishode po demografskim skupinama. Zadržite ljude u petlji za odluke o pojedincima: zapošljavanje, kreditiranje, pristup. Istražite razlike u stopama prihvaćanja među skupinama.

Sigurnost. Šifrirajte podatke za treniranje i izlaze modela. Ograničite tko smije mijenjati modele. Testirajte mogu li namjerno oblikovani ulazi manipulirati ponašanjem. Pazite na neobične obrasce pristupa.

Operativni kontinuitet. Definirajte kako izgleda normalno za svaki sustav, a zatim postavite pragove upozorenja. Kad se neka metrika pomakne (stopa blokiranja prijevara, omjer prihvaćanja pri zapošljavanju, obrazac odobravanja dobavljača), želite upozorenje, a ne iznenađenje pri mjesečnom zatvaranju. I pobrinite se da netko može brzo isključiti sustav.

Upravljanje AI-jem treba tri stvari.

1. Imenovano vlasništvo. Jedna osoba odgovara za izlaze svakog modela. Odbor bez predsjedavajućeg nije nitko.
2. Revizijski tragovi. Svaka odluka na koju je AI utjecao treba sljedljiv zapis: korištene podatke, izlaz te kada ga je i tko pregledao.
3. Regulatorna usklađenost. Provjerite svaki sustav prema ISO 42001, NIST AI RMF-u, EU AI Actu i GDPR-u ili svom regionalnom ekvivalentu. Ponovno provjerite kad se pravila promijene, kao što su se upravo promijenili EU-ovi datumi.

Ako ovo gradite unutar SAP programa, moj vodič o upravljanju AI-jem u SAP implementacijama opisuje gdje se kontrole nalaze u S/4HANA i SuccessFactors.

Alati koji se široko koriste u okruženjima velikih poduzeća:

Alat	Glavni fokus
Fiddler AI	Praćenje modela, objašnjivost, otkrivanje pristranosti
IBM watsonx.governance (uključuje Watson OpenScale)	Upravljanje modelima, praćenje pristranosti i drifta, dokumentacija
Microsoft Responsible AI dashboard (Azure Machine Learning)	Pravednost, analiza pogrešaka, neravnoteža podataka
Arthur	Praćenje performansi, drifta i pravednosti
Amazon SageMaker Clarify	Otkrivanje pristranosti pri treniranju i zaključivanju

Kad nešto pođe po zlu, timovi koji improviziraju pogoršavaju stvari. Odredite put eskalacije prije incidenta: tko dobiva poziv, koju ovlast ima da zaustavi ili vrati model te što govorite kupcima ako su njihovi podaci bili pogođeni.

Vidio sam tvrtke koje pretpostavljaju da im AI radi dobro, a onda se panično snalaze kad se tiha pogreška razvije u krizu. Pisani plan za incidente, testiran, a ne samo arhiviran, čini razliku.

Jedan redak po AI sustavu. Pregledavajte ga mjesečno za kritične sustave i tromjesečno za ostale.

Polje	Što zabilježiti	Primjer
Sustav i vlasnik	Naziv, poslovni vlasnik, tehnički vlasnik	Model automatskog odobravanja faktura; voditelj obveza prema dobavljačima; voditelj data sciencea
Odluka na koju utječe	Što odlučuje ili preporučuje	Odobrava fakture ispod praga bez pregleda
Korišteni podaci	Izvori, osobni podaci, osjetljiva polja	Matični podaci dobavljača, stavke faktura, povijest plaćanja
Razina rizika	Kritična / umjerena / niska; kategorija EU AI Acta ako je relevantna	Umjerena; nije Prilog III
Glavni rizici	Pristranost, sigurnost, usklađenost, drift	Drift kako se mijenja struktura dobavljača; prijevara putem manipuliranih faktura
Kontrole	Testovi, ljudski pregled, pragovi, prekidač za isključivanje	Tjedni pregled uzorka; gornja granica vrijednosti; upozorenje na promjenu stope odobravanja
Metrika praćenja	Što pratite i razina upozorenja	Stopa automatskog odobravanja izvan uobičajenog raspona
Kontakt za incidente	Tko ga može zaustaviti i koliko brzo	Voditelj obveza prema dobavljačima, u dogovorenom vremenu odziva
Zadnji pregled	Datum i pregledavatelj	Mjesečno, od odbora za rizike AI-ja

Za strukturu upravljanja koja posjeduje ovaj registar pogledajte moj vodič kroz okvir za upravljanje AI-jem. Ako želite vanjski pregled svog registra prije nego što ga zatraži regulator ili revizor, to je dio mog savjetodavnog rada na upravljanju AI-jem.

Što je okvir za upravljanje rizicima AI-ja?

Strukturiran proces za prepoznavanje, procjenu i upravljanje rizicima koji nastaju kad AI sustavi utječu na poslovne odluke. Obuhvaća životni ciklus modela i uključuje kontrole za pristranost, sigurnost, usklađenost i operativni drift.

U SAP okruženjima primjenjuje se na modele koji se koriste u nabavi (ocjenjivanje dobavljača), ljudskim resursima (probir kandidata), financijama (odobravanje faktura) i opskrbnom lancu (prognoziranje potražnje). Ti sustavi utječu na ljude, novac i usklađenost.

Što je NIST AI Risk Management Framework?

Dobrovoljni okvir američkog Nacionalnog instituta za standarde i tehnologiju (NIST), objavljen kao AI RMF 1.0 u siječnju 2023. i izgrađen na četiri funkcije:

1. Govern: politike, odgovornost i kultura
2. Map: kontekst, namjeravana uporaba i mogući učinci
3. Measure: testiranje pristranosti, otpornosti, objašnjivosti i sigurnosti
4. Manage: određivanje prioriteta i tretiranje rizika te praćenje

U srpnju 2024. NIST je dodao Generative AI Profile (NIST AI 600-1), koji je najkorisnija američka referenca za upravljanje asistentima poput alata Joule i Copilot.

Kada se primjenjuju pravila EU AI Acta za visokorizične sustave?

Nakon izmjena Digital Omnibusa iz 2026. pravila za visokorizične sustave navedene u Prilogu III (poput zapošljavanja, kreditnog ocjenjivanja i pristupa osnovnim uslugama) primjenjuju se od 2. prosinca 2027. Visokorizični AI ugrađen u proizvode obuhvaćene pravom EU-a o sigurnosti proizvoda slijedi 2. kolovoza 2028. Zabrane i pravila za AI opće namjene već se primjenjuju.

Koji su najveći rizici AI-ja u velikim poduzećima?

1. Pristranost i diskriminacija: iskrivljeni povijesni podaci daju iskrivljene izlaze
2. Sigurnost: trovanje podataka, injekcija upita i krađa modela
3. Usklađenost: GDPR, EU AI Act, ISO 42001 i sektorska pravila
4. Operativni drift: točnost opada kako se obrasci podataka mijenjaju
5. Nedostatak objašnjivosti: odluku koju ne možete objasniti teško je obraniti pred regulatorom, kupcem ili internom revizijom

Što treba obuhvaćati plan odgovora na AI incident?

Četiri stvari, definirane prije incidenta:

1. Put eskalacije: tko se prvi obavještava, tko može zaustaviti ili vratiti model, tko razgovara s kupcima
2. Ograničavanje štete: kako izolirati sustav bez prekida nizvodnih procesa
3. Komunikacija s kupcima: što govorite pogođenim ljudima i kada
4. Pregled nakon incidenta: uzrok, ponovno treniranje ili povrat te ažurirane kontrole

Testirajte plan vježbom na papiru (tabletop) najmanje jednom godišnje.