AI रिस्क मैनेजमेंट फ़्रेमवर्क: 2026 की स्टेप-बाय-स्टेप गाइड

AI रिस्क मैनेजमेंट फ़्रेमवर्क उन कदमों का सेट है जिनसे आप बिज़नेस फ़ैसलों को प्रभावित करने वाले AI सिस्टम के जोखिम खोजते, रैंक करते, नियंत्रित करते और मॉनिटर करते हैं। व्यावहारिक रूप में इसके पाँच चरण हैं: अपने AI का इन्वेंटरी बनाएँ, हर यूज़ केस को प्रभाव के हिसाब से रैंक करें, हाई-रिस्क वालों पर कंट्रोल लगाएँ, गवर्नेंस तय करें, और टेस्ट किए हुए इंसिडेंट प्लान के साथ मॉनिटर करें।

यह गाइड उन CIO, रिस्क ओनर और SAP प्रोग्राम लीड के लिए है जिनके पास फ़ाइनेंस, HR या प्रोक्योरमेंट में AI पहले से है, या जल्द आने वाला है। यह हर चरण को NIST AI RMF और EU AI Act से जोड़ती है, और शुरुआत के लिए एक रिस्क रजिस्टर टेम्पलेट देती है।

ऑटोमेटेड फ़ैसले तेज़ी से बिगड़ते हैं। 2012 में Knight Capital ने गड़बड़ ट्रेडिंग सॉफ़्टवेयर डिप्लॉय किया और US SEC के मुताबिक 45 मिनट में $460 मिलियन से ज़्यादा गँवा दिए, क्योंकि सिस्टम को समय रहते रोकने वाला कोई नहीं था। वह मशीन लर्निंग नहीं थी। वह एक ऑटोमेटेड डिसीज़न सिस्टम था जिसमें न असरदार मॉनिटरिंग थी, न किल स्विच। आज कई AI डिप्लॉयमेंट में ठीक यही कमी है।

नीचे के सिद्धांत अब भी सही हैं। तीन बाहरी बदलाव इस बात को बदलते हैं कि आप किस आधार पर योजना बनाते हैं।

NIST ने जनरेटिव AI प्रोफ़ाइल जोड़ी। NIST AI Risk Management Framework (AI RMF 1.0, जनवरी 2023) चार फ़ंक्शन पर बना है: Govern, Map, Measure, Manage। जुलाई 2024 में NIST ने Generative AI Profile (NIST AI 600-1) प्रकाशित की, जो कन्फ़ेब्युलेशन, प्रॉम्प्ट इंजेक्शन, डेटा प्राइवेसी और बौद्धिक संपदा जैसे जोखिमों को कवर करती है। अगर आप एंटरप्राइज़ डेटा पर Joule, Microsoft Copilot या अपने जनरेटिव AI एजेंट चलाते हैं, तो अपने रिस्क रजिस्टर में इसका हवाला दें। NIST का कहना है कि कोर फ़्रेमवर्क का संशोधन चल रहा है; वर्शन 1.1 अभी नहीं आया है।

EU AI Act की समय-सारणी खिसकी। यह कानून 1 अगस्त 2024 को लागू हुआ। प्रतिबंधित प्रथाओं और AI साक्षरता के दायित्व 2 फ़रवरी 2025 से लागू हुए, और जनरल-पर्पज AI के दायित्व 2 अगस्त 2025 से। बाक़ी ज़्यादातर नियम और प्रवर्तन 2 अगस्त 2026 से लागू होते हैं। 2026 में अपनाए गए Digital Omnibus संशोधनों के बाद, Annex III में सूचीबद्ध हाई-रिस्क सिस्टम (हायरिंग, क्रेडिट स्कोरिंग, ज़रूरी सेवाओं तक पहुँच और ऐसे ही दूसरे) के नियम 2 दिसंबर 2027 से लागू होते हैं, और नियंत्रित उत्पादों के भीतर हाई-रिस्क AI के नियम 2 अगस्त 2028 से। तारीख़ें जाँचने की सही जगह Commission की इम्प्लीमेंटेशन टाइमलाइन है। प्रतिबंधित प्रथाओं के लिए जुर्माना €35 मिलियन या विश्वव्यापी टर्नओवर के 7% तक जाता है, और ज़्यादातर दूसरे उल्लंघनों के लिए €15 मिलियन या 3% तक।

मिला हुआ अतिरिक्त समय इंतज़ार करने की वजह नहीं है। टेक्निकल डॉक्युमेंटेशन, डेटा गवर्नेंस, ह्यूमन ओवरसाइट और पोस्ट-मार्केट मॉनिटरिंग बनाने में ज़्यादातर टीमों की उम्मीद से ज़्यादा समय लगता है।

ISO/IEC 42001 ने AI गवर्नेंस को प्रमाणित किया जा सकने वाला मानक दिया। दिसंबर 2023 में प्रकाशित यह मानक AI मैनेजमेंट के लिए वही करता है जो ISO 27001 ने इन्फ़ॉर्मेशन सिक्योरिटी के लिए किया। ISO/IEC 23894 (2023) AI रिस्क मैनेजमेंट पर अलग से मार्गदर्शन जोड़ता है। मेरी राय में, जो भी कंपनी नियंत्रित क्षेत्रों के खरीदारों को AI-सक्षम सॉफ़्टवेयर बेचती है, उसे प्रोक्योरमेंट प्रश्नावलियों में 42001 आने की उम्मीद रखनी चाहिए।

खाड़ी देशों के संगठनों के लिए, UAE का Charter for the Development and Use of AI (2024) और सऊदी अरब के SDAIA AI Ethics Principles उस तरह बाध्यकारी क़ानून नहीं हैं जैसा EU Act है, लेकिन नियामक और सार्वजनिक क्षेत्र के खरीदार अभी से पूछते हैं कि आप उन्हें कैसे पूरा करते हैं।

सही फ़्रेमवर्क मॉडल के पूरे जीवनचक्र में चलता है, डिज़ाइन से डिप्लॉयमेंट तक और फिर रोज़ के संचालन में।

घटक	क्या कवर करता है	मुख्य कदम
गवर्नेंस ढाँचा	निगरानी और फ़ैसले के अधिकार	AI रिस्क कमेटी बनाएँ; हर सिस्टम का एक ओनर तय करें
जोखिम की पहचान	तकनीकी, नैतिक और नियामकीय जोखिम	रिस्क वर्कशॉप, थ्रेट मॉडलिंग, परिदृश्य विश्लेषण
कंप्लायंस अलाइनमेंट	EU AI Act, GDPR, ISO 42001, स्थानीय नियम	हर यूज़ केस को लागू नियमों से मैप करें
बायस और निष्पक्षता	भेदभावपूर्ण नतीजे	बायस टेस्टिंग, फ़ेयरनेस ऑडिट, समूह के हिसाब से असर
एक्सप्लेनेबिलिटी	ऐसे फ़ैसले जिन्हें लोग समझ सकें	एक्सप्लेनेबिलिटी के तरीके, मॉडल डॉक्युमेंटेशन
सुरक्षा और प्राइवेसी	मॉडल और डेटा की सुरक्षा	ट्रेनिंग डेटा एन्क्रिप्ट करें; एडवर्सेरियल टेस्टिंग
लगातार मॉनिटरिंग	डिप्लॉयमेंट के बाद का व्यवहार	KPI, एनोमली डिटेक्शन, ह्यूमन रिव्यू लूप
इंसिडेंट रिस्पॉन्स	खराबी और नैतिक उल्लंघन	एस्केलेशन पाथ, रोलबैक और रिकवरी प्लान

ज़्यादातर फ़्रेमवर्क इसलिए फेल होते हैं कि वे प्रोजेक्ट के प्रवाह से बाहर बैठे रहते हैं। AI गवर्नेंस को ऑपरेटिंग मॉडल के भीतर रहना होगा, ऑडिट और चेंज कंट्रोल के साथ। वरना समस्याएँ देर से सामने आती हैं, जब उन्हें ठीक करना ज़्यादा मुश्किल और महँगा होता है।

1. 01पहचानेंहर AI सिस्टम का इन्वेंटरी बनाएँ
2. 02रैंक करेंसंभावना और प्रभाव के हिसाब से
3. 03नियंत्रित करेंहाई-रिस्क सिस्टम पर सबसे सख़्त
4. 04गवर्न करेंहर मॉडल का एक नामित ओनर
5. 05मॉनिटर करेंअलर्ट और टेस्ट किया हुआ इंसिडेंट प्लान

क्रिटिकल सिस्टम की समीक्षा हर महीने, बाक़ी की हर तिमाही

इन्वेंटरी से शुरू करें। हर AI सिस्टम के लिए तीन सवालों के जवाब दें। यह कौन-सा डेटा प्रोसेस करता है? यह किन फ़ैसलों को प्रभावित करता है? अगर यह कुछ गलत करे तो सबसे बुरा नतीजा क्या होगा?

जोखिम की आम श्रेणियाँ:

1. बायस और निष्पक्षता। ऐतिहासिक डेटा पर ट्रेन हुए मॉडल उसके बायस भी सीख लेते हैं। अगर पाँच साल के हायरिंग फ़ैसले कुछ ख़ास प्रोफ़ाइल की ओर झुके थे, तो मॉडल वही दोहराएगा। Amazon ने एक AI रिक्रूटिंग टूल बंद कर दिया जब पता चला कि वह "women's" शब्द वाले CV की रेटिंग घटा देता था, जैसा Reuters ने 2018 में रिपोर्ट किया। यह अनुमान लगाया जा सकता था। डिप्लॉयमेंट से पहले एक बुनियादी बायस ऑडिट इसे पकड़ लेता।
2. सुरक्षा। जो AI सिस्टम पेमेंट, HR रिकॉर्ड या कॉन्ट्रैक्ट छूते हैं, वे निशाना बनते हैं। डेटा पॉइज़निंग, प्रॉम्प्ट इंजेक्शन और मॉडल चोरी असली हमले के रास्ते हैं।
3. कंप्लायंस। GDPR, EU AI Act, ISO 42001, HIPAA और स्थानीय नियम, सब एक साथ लागू हो सकते हैं। नियामक अब सिर्फ़ आउटपुट नहीं, AI के फ़ैसले के पीछे का तरीक़ा भी देखना चाहते हैं।
4. ऑपरेशनल ड्रिफ़्ट। Q1 में ट्रेन हुआ मॉडल Q3 तक अलग बर्ताव कर सकता है, क्योंकि डेटा के पैटर्न बदल जाते हैं। किसी को पता तब चलता है जब कोई ग्राहक शिकायत करता है या ऑडिट में यह निकलता है।

सारे जोखिम बराबर नहीं होते। संभावना और बिज़नेस प्रभाव के हिसाब से रैंक करें।

1. क्रिटिकल: वह AI जो फ़ाइनेंशियल अप्रूवल, रोज़गार के फ़ैसले या एक्सेस कंट्रोल को प्रभावित करता है। इन पर सबसे सख़्त कंट्रोल, ह्यूमन ओवरसाइट और पूरा डॉक्युमेंटेशन चाहिए।
2. मध्यम: वह AI जो सुझाव देता है जबकि अंतिम फ़ैसला इंसान लेता है। हल्के कंट्रोल, पर ऑडिट लॉगिंग फिर भी लागू होती है।
3. कम: सीमित स्कोप वाले आंतरिक टूल जिनका लोगों पर बहुत कम असर है। बुनियादी मॉनिटरिंग और समय-समय पर समीक्षा।

क्रॉस-चेक के तौर पर EU AI Act की श्रेणियाँ इस्तेमाल करें। हायरिंग, क्रेडिट और ज़रूरी सेवाओं तक पहुँच साफ़ तौर पर हाई-रिस्क हैं।

बायस। प्रतिनिधि ट्रेनिंग डेटा इस्तेमाल करें। तय अंतराल पर डेमोग्राफ़िक समूह के हिसाब से नतीजों का ऑडिट करें। व्यक्तियों से जुड़े फ़ैसलों में, यानी हायरिंग, लेंडिंग और एक्सेस में, इंसान को लूप में रखें। समूहों के बीच स्वीकृति दर के फ़र्क़ की जाँच करें।

सुरक्षा। ट्रेनिंग डेटा और मॉडल आउटपुट एन्क्रिप्ट करें। तय करें कि मॉडल कौन बदल सकता है। परखें कि गढ़े हुए इनपुट से व्यवहार में हेरफेर हो सकता है या नहीं। असामान्य एक्सेस पैटर्न पर नज़र रखें।

ऑपरेशनल निरंतरता। हर सिस्टम के लिए तय करें कि सामान्य क्या है, फिर अलर्ट की सीमाएँ रखें। जब कोई मेट्रिक हिले (फ़्रॉड ब्लॉक की दर, हायरिंग स्वीकृति अनुपात, सप्लायर अप्रूवल का पैटर्न), तो आप अलर्ट चाहते हैं, महीने के अंत का झटका नहीं। और पक्का करें कि कोई सिस्टम को जल्दी बंद कर सके।

AI के लिए गवर्नेंस में तीन चीज़ें चाहिए।

1. नामित ज़िम्मेदारी। हर मॉडल के आउटपुट का जवाब एक व्यक्ति दे। बिना अध्यक्ष की कमेटी किसी की ज़िम्मेदारी नहीं होती।
2. ऑडिट ट्रेल। AI से प्रभावित हर फ़ैसले का ट्रेस किया जा सकने वाला रिकॉर्ड हो: इस्तेमाल हुआ डेटा, आउटपुट, और किसने कब उसकी समीक्षा की।
3. नियामकीय अलाइनमेंट। हर सिस्टम को ISO 42001, NIST AI RMF, EU AI Act और GDPR या अपने क्षेत्र के समकक्ष नियम से जाँचें। नियम बदलें तो दोबारा जाँचें, जैसा EU की तारीख़ों के साथ अभी हुआ।

अगर आप यह किसी SAP प्रोग्राम के भीतर बना रहे हैं, तो SAP इम्प्लीमेंटेशन में AI गवर्नेंस पर मेरी गाइड बताती है कि कंट्रोल S/4HANA और SuccessFactors में कहाँ बैठते हैं।

एंटरप्राइज़ माहौल में व्यापक रूप से इस्तेमाल होने वाले टूल:

टूल	मुख्य फ़ोकस
Fiddler AI	मॉडल मॉनिटरिंग, एक्सप्लेनेबिलिटी, बायस डिटेक्शन
IBM watsonx.governance (इसमें Watson OpenScale शामिल है)	मॉडल गवर्नेंस, बायस और ड्रिफ़्ट मॉनिटरिंग, डॉक्युमेंटेशन
Microsoft Responsible AI dashboard (Azure Machine Learning)	निष्पक्षता, एरर विश्लेषण, डेटा असंतुलन
Arthur	परफ़ॉर्मेंस, ड्रिफ़्ट और निष्पक्षता की मॉनिटरिंग
Amazon SageMaker Clarify	ट्रेनिंग और इन्फ़रेंस में बायस डिटेक्शन

जब कुछ गलत होता है, तो जुगाड़ करने वाली टीमें हालात और बिगाड़ देती हैं। एस्केलेशन पाथ घटना से पहले तय करें: किसे फ़ोन जाएगा, मॉडल को रोकने या रोलबैक करने का उसके पास क्या अधिकार है, और अगर ग्राहकों का डेटा प्रभावित हुआ तो उन्हें क्या बताएँगे।

मैंने ऐसी कंपनियाँ देखी हैं जो मानकर चलती थीं कि उनका AI ठीक चल रहा है, और फिर एक चुपचाप बढ़ती गलती संकट बन गई तो भागदौड़ करनी पड़ी। लिखित इंसिडेंट प्लान, जिसे टेस्ट भी किया गया हो और जो सिर्फ़ फ़ाइल में न पड़ा हो, यही फ़र्क़ पैदा करता है।

हर AI सिस्टम के लिए एक पंक्ति। क्रिटिकल सिस्टम की समीक्षा हर महीने करें और बाक़ी की हर तिमाही।

फ़ील्ड	क्या दर्ज करें	उदाहरण
सिस्टम और ओनर	नाम, बिज़नेस ओनर, तकनीकी ओनर	इनवॉइस ऑटो-अप्रूवल मॉडल; AP मैनेजर; डेटा साइंस लीड
प्रभावित फ़ैसला	यह क्या तय या सुझाव करता है	सीमा से कम के इनवॉइस बिना रिव्यू के अप्रूव करता है
इस्तेमाल हुआ डेटा	स्रोत, व्यक्तिगत डेटा, संवेदनशील फ़ील्ड	वेंडर मास्टर, इनवॉइस लाइनें, भुगतान का इतिहास
रिस्क टियर	क्रिटिकल / मध्यम / कम; लागू हो तो EU AI Act की श्रेणी	मध्यम; Annex III नहीं
मुख्य जोखिम	बायस, सुरक्षा, कंप्लायंस, ड्रिफ़्ट	वेंडर मिक्स बदलने पर ड्रिफ़्ट; छेड़छाड़ किए इनवॉइस से फ़्रॉड
कंट्रोल	टेस्ट, ह्यूमन रिव्यू, सीमाएँ, किल स्विच	साप्ताहिक सैंपल रिव्यू; मूल्य की सीमा; अप्रूवल दर बदलने पर अलर्ट
मॉनिटरिंग मेट्रिक	आप क्या देखते हैं और अलर्ट का स्तर	ऑटो-अप्रूवल दर अपने सामान्य दायरे से बाहर
इंसिडेंट संपर्क	इसे कौन रोक सकता है, और कितनी जल्दी	AP मैनेजर, तय प्रतिक्रिया समय के भीतर
आख़िरी समीक्षा	तारीख़ और समीक्षक	हर महीने, AI रिस्क कमेटी द्वारा

जो गवर्नेंस ढाँचा इस रजिस्टर का मालिक होगा, उसके लिए मेरी AI गवर्नेंस फ़्रेमवर्क गाइड देखें। अगर आप चाहते हैं कि किसी नियामक या ऑडिटर के पूछने से पहले कोई बाहरी व्यक्ति आपका रजिस्टर जाँच ले, तो वह मेरे AI गवर्नेंस एडवाइज़री काम का हिस्सा है।

AI रिस्क मैनेजमेंट फ़्रेमवर्क क्या है?

यह उन जोखिमों की पहचान, आकलन और प्रबंधन की एक संरचित प्रक्रिया है जो तब पैदा होते हैं जब AI सिस्टम बिज़नेस फ़ैसलों को प्रभावित करते हैं। यह मॉडल के पूरे जीवनचक्र को कवर करती है और इसमें बायस, सुरक्षा, कंप्लायंस और ऑपरेशनल ड्रिफ़्ट के कंट्रोल शामिल हैं।

SAP माहौल में यह प्रोक्योरमेंट (सप्लायर स्कोरिंग), HR (उम्मीदवार स्क्रीनिंग), फ़ाइनेंस (इनवॉइस अप्रूवल) और सप्लाई चेन (डिमांड फ़ोरकास्टिंग) में इस्तेमाल होने वाले मॉडल पर लागू होती है। ये सिस्टम लोगों, पैसे और कंप्लायंस को प्रभावित करते हैं।

NIST AI Risk Management Framework क्या है?

यह अमेरिका के National Institute of Standards and Technology का स्वैच्छिक फ़्रेमवर्क है, जो जनवरी 2023 में AI RMF 1.0 के रूप में प्रकाशित हुआ और चार फ़ंक्शन पर बना है:

1. Govern: नीतियाँ, जवाबदेही और संस्कृति
2. Map: संदर्भ, इच्छित उपयोग और संभावित प्रभाव
3. Measure: बायस, मज़बूती, एक्सप्लेनेबिलिटी और सुरक्षा की टेस्टिंग
4. Manage: जोखिमों को प्राथमिकता देना, उनका उपचार करना और मॉनिटरिंग

जुलाई 2024 में NIST ने Generative AI Profile (NIST AI 600-1) जोड़ी, जो Joule और Copilot जैसे असिस्टेंट के गवर्नेंस के लिए अमेरिका का सबसे काम का संदर्भ है।

EU AI Act के हाई-रिस्क नियम कब लागू होते हैं?

2026 के Digital Omnibus संशोधनों के बाद, Annex III में सूचीबद्ध हाई-रिस्क सिस्टम (जैसे हायरिंग, क्रेडिट स्कोरिंग और ज़रूरी सेवाओं तक पहुँच) के नियम 2 दिसंबर 2027 से लागू होते हैं। EU उत्पाद सुरक्षा क़ानून के दायरे वाले उत्पादों में लगा हाई-रिस्क AI 2 अगस्त 2028 से आता है। प्रतिबंध और जनरल-पर्पज AI के नियम पहले से लागू हैं।

एंटरप्राइज़ AI के सबसे बड़े जोखिम क्या हैं?

1. बायस और भेदभाव: झुका हुआ ऐतिहासिक डेटा झुके हुए आउटपुट देता है
2. सुरक्षा: डेटा पॉइज़निंग, प्रॉम्प्ट इंजेक्शन और मॉडल चोरी
3. कंप्लायंस: GDPR, EU AI Act, ISO 42001 और सेक्टर के नियम
4. ऑपरेशनल ड्रिफ़्ट: डेटा के पैटर्न बदलने से सटीकता घटती है
5. एक्सप्लेनेबिलिटी की कमी: जिस फ़ैसले को आप समझा नहीं सकते, उसका नियामक, ग्राहक या आंतरिक ऑडिट के सामने बचाव करना मुश्किल है

AI इंसिडेंट रिस्पॉन्स प्लान में क्या-क्या होना चाहिए?

चार चीज़ें, जो घटना से पहले तय हों:

1. एस्केलेशन पाथ: सबसे पहले किसे बताया जाए, मॉडल को कौन रोक या रोलबैक कर सकता है, ग्राहकों से कौन बात करेगा
2. कंटेनमेंट: आगे की प्रक्रियाओं को तोड़े बिना सिस्टम को कैसे अलग किया जाए
3. ग्राहक संवाद: प्रभावित लोगों को क्या और कब बताएँगे
4. घटना के बाद की समीक्षा: मूल कारण, रीट्रेन या रोलबैक, और अपडेट किए गए कंट्रोल

प्लान को साल में कम से कम एक बार टेबलटॉप एक्सरसाइज़ से टेस्ट करें।