إطار إدارة مخاطر الذكاء الاصطناعي: دليل خطوة بخطوة لعام 2026

إطار إدارة مخاطر الذكاء الاصطناعي هو مجموعة الخطوات التي تستخدمها لاكتشاف مخاطر أنظمة الذكاء الاصطناعي التي تؤثر في قرارات الأعمال وترتيبها وضبطها ومراقبتها. والنسخة العملية منه من خمس خطوات: احصر ما لديك من ذكاء اصطناعي، ورتّب كل حالة استخدام بحسب أثرها، وضع ضوابط على الحالات عالية المخاطر، وأسند الحوكمة، وراقب بخطة حوادث مُختبَرة.

هذا الدليل موجّه إلى مديري تقنية المعلومات ومالكي المخاطر وقادة برامج SAP ممن لديهم ذكاء اصطناعي في المالية أو الموارد البشرية أو المشتريات، أو على وشك ذلك. وهو يربط كل خطوة بـ NIST AI RMF وEU AI Act، ويقدّم لك قالب سجل مخاطر تبدأ به.

القرارات الآلية تفشل بسرعة. ففي عام 2012 نشرت Knight Capital برنامج تداول معيباً، وبحسب هيئة الأوراق المالية والبورصات الأمريكية (SEC)، خسرت أكثر من 460 مليون دولار في 45 دقيقة لأن أحداً لم يستطع إيقاف النظام في الوقت المناسب. لم يكن ذلك تعلماً آلياً. بل كان نظام قرار آلياً بلا مراقبة فعالة ولا مفتاح إيقاف طارئ، وهذه هي الفجوة نفسها التي تعاني منها كثير من عمليات نشر الذكاء الاصطناعي اليوم.

المبادئ الواردة أدناه ما زالت قائمة. لكن ثلاثة تغييرات خارجية تبدّل ما تخطط على أساسه.

أضاف NIST ملفاً للذكاء الاصطناعي التوليدي. يقوم إطار NIST لإدارة مخاطر الذكاء الاصطناعي (AI RMF 1.0، يناير 2023) على أربع وظائف: Govern وMap وMeasure وManage. وفي يوليو 2024 نشر NIST ملف الذكاء الاصطناعي التوليدي (NIST AI 600-1)، الذي يغطي مخاطر مثل الاختلاق (confabulation) والحقن عبر التعليمات (prompt injection) وخصوصية البيانات والملكية الفكرية. وإذا كنت تشغّل Joule أو Microsoft Copilot أو وكلاء ذكاء اصطناعي توليديين خاصين بك على بيانات المؤسسة، فأشر إليه في سجل المخاطر. ويقول NIST إن الإطار الأساسي قيد المراجعة، ولا يوجد إصدار 1.1 بعد.

تغيّر الجدول الزمني لـ EU AI Act. دخل القانون حيز النفاذ في 1 أغسطس 2024. وسرت واجبات الممارسات المحظورة والإلمام بالذكاء الاصطناعي من 2 فبراير 2025، والتزامات الذكاء الاصطناعي العام الغرض من 2 أغسطس 2025. ويسري معظم القواعد المتبقية والإنفاذ من 2 أغسطس 2026. وبعد تعديلات Digital Omnibus المعتمدة في 2026، تسري قواعد الأنظمة عالية المخاطر المدرجة في الملحق III (التوظيف والتصنيف الائتماني والوصول إلى الخدمات الأساسية وما شابهها) من 2 ديسمبر 2027، وقواعد الذكاء الاصطناعي عالي المخاطر داخل المنتجات الخاضعة للتنظيم من 2 أغسطس 2028. والجدول الزمني للتنفيذ لدى المفوضية هو المكان الذي ينبغي أن تراجعه. وتبلغ الغرامات 35 مليون يورو أو 7% من حجم الأعمال العالمي للممارسات المحظورة، و15 مليون يورو أو 3% لمعظم المخالفات الأخرى.

الوقت الإضافي ليس سبباً للانتظار. فالتوثيق التقني وحوكمة البيانات والرقابة البشرية والمراقبة بعد طرح المنتج في السوق تستغرق وقتاً أطول في بنائها مما تتوقع معظم الفرق.

منح ISO/IEC 42001 حوكمة الذكاء الاصطناعي معياراً قابلاً للاعتماد. وقد نُشر في ديسمبر 2023، وهو يفعل لإدارة الذكاء الاصطناعي ما فعله ISO 27001 لأمن المعلومات. ويضيف ISO/IEC 23894 (2023) إرشادات تخص إدارة مخاطر الذكاء الاصطناعي تحديداً. وفي رأيي، على أي شركة تبيع برمجيات مزوّدة بالذكاء الاصطناعي إلى مشترين خاضعين للتنظيم أن تتوقع ظهور 42001 في استبيانات المشتريات.

وبالنسبة إلى مؤسسات الخليج، فإن ميثاق تطوير الذكاء الاصطناعي واستخدامه في الإمارات (2024) ومبادئ أخلاقيات الذكاء الاصطناعي الصادرة عن الهيئة السعودية للبيانات والذكاء الاصطناعي (SDAIA) ليست قانوناً ملزماً بالطريقة التي يلزم بها قانون الاتحاد الأوروبي، لكن الجهات التنظيمية ومشتري القطاع العام يسألون بالفعل كيف تستوفيها.

يمتد الإطار السليم عبر دورة حياة النموذج، من التصميم مروراً بالنشر وحتى التشغيل اليومي.

المكوّن	ما يغطيه	الإجراءات الرئيسية
هيكل الحوكمة	الرقابة وحقوق اتخاذ القرار	شكّل لجنة لمخاطر الذكاء الاصطناعي، وسمِّ مالكاً لكل نظام
تحديد المخاطر	المخاطر التقنية والأخلاقية والتنظيمية	ورش المخاطر، ونمذجة التهديدات، وتحليل السيناريوهات
مواءمة الامتثال	EU AI Act وGDPR وISO 42001 والقواعد المحلية	اربط كل حالة استخدام بالقواعد التي تنطبق عليها
التحيز والإنصاف	النتائج التمييزية	اختبار التحيز، وتدقيقات الإنصاف، والأثر بحسب المجموعة
قابلية التفسير	قرارات يستطيع الناس فهمها	أساليب التفسير، وتوثيق النموذج
الأمان والخصوصية	حماية النموذج والبيانات	تشفير بيانات التدريب، والاختبار العدائي (adversarial testing)
المراقبة المستمرة	السلوك بعد النشر	مؤشرات الأداء الرئيسية (KPIs)، وكشف الشذوذ، وحلقات المراجعة البشرية
الاستجابة للحوادث	الأعطال والانتهاكات الأخلاقية	مسارات التصعيد، وخطط التراجع والاستعادة

تفشل معظم الأطر لأنها تقع خارج مسار المشروع. ويجب أن تعيش حوكمة الذكاء الاصطناعي داخل نموذج التشغيل، إلى جانب التدقيق وضبط التغيير. وإلا ظهرت المشكلات متأخرة، حين يكون إصلاحها أصعب وأكثر كلفة.

1. 01التحديداحصر كل نظام ذكاء اصطناعي
2. 02الترتيببحسب الاحتمال والأثر
3. 03الضبطالأشد صرامة على الأنظمة عالية المخاطر
4. 04الحوكمةمالك مسمّى لكل نموذج
5. 05المراقبةتنبيهات وخطة حوادث مُختبَرة

راجع شهرياً للأنظمة الحرجة وفصلياً لبقية الأنظمة

ابدأ بجرد. أجب عن ثلاثة أسئلة لكل نظام ذكاء اصطناعي. ما البيانات التي يعالجها؟ وما القرارات التي يؤثر فيها؟ وما أسوأ نتيجة إذا أخطأ؟

فئات المخاطر الشائعة:

1. التحيز والإنصاف. ترث النماذج المدربة على بيانات تاريخية تحيزاتها. فإذا كانت خمس سنوات من قرارات التوظيف منحازة نحو ملفات معينة، فسيكرر النموذج ذلك. ألغت Amazon أداة توظيف بالذكاء الاصطناعي بعد أن وجدت أنها تخفّض تقييم السير الذاتية التي تتضمن كلمة «women's»، كما ذكرت Reuters في 2018. كان ذلك متوقعاً. وكان تدقيق أساسي للتحيز قبل النشر سيكتشفه.
2. الأمان. أنظمة الذكاء الاصطناعي التي تتعامل مع المدفوعات أو سجلات الموارد البشرية أو العقود أهداف للهجمات. وتسميم البيانات (data poisoning) والحقن عبر التعليمات (prompt injection) وسرقة النماذج مسارات هجوم حقيقية.
3. الامتثال. قد تنطبق GDPR وEU AI Act وISO 42001 وHIPAA والقواعد المحلية كلها في وقت واحد. وتريد الجهات التنظيمية بشكل متزايد أن ترى المنهجية وراء قرار الذكاء الاصطناعي، لا المخرجات وحدها.
4. الانحراف التشغيلي. قد يتصرف نموذج دُرّب في الربع الأول بشكل مختلف بحلول الربع الثالث مع تحول أنماط البيانات. ولا يلاحظ أحد ذلك إلى أن يشتكي عميل أو يكتشفه تدقيق.

المخاطر ليست متساوية. رتّبها بحسب الاحتمال والأثر على الأعمال.

1. حرجة: ذكاء اصطناعي يؤثر في الموافقات المالية أو قرارات التوظيف أو التحكم في الوصول. وهذه تحتاج إلى أشد الضوابط والرقابة البشرية والتوثيق الكامل.
2. متوسطة: ذكاء اصطناعي يوصي بينما يتخذ إنسان القرار النهائي. ضوابط أخف، لكن تسجيل التدقيق يظل مطلوباً.
3. منخفضة: أدوات داخلية محدودة النطاق وقليلة الأثر في الأشخاص. مراقبة أساسية ومراجعة دورية.

استخدم فئات EU AI Act للتحقق المتقاطع. فالتوظيف والائتمان والوصول إلى الخدمات الأساسية أنظمة عالية المخاطر صراحةً.

التحيز. استخدم بيانات تدريب ممثِّلة. دقّق النتائج بحسب المجموعة الديموغرافية وفق جدول منتظم. أبقِ البشر في الحلقة في القرارات المتعلقة بالأفراد: التوظيف والإقراض والوصول. وتحرَّ الفروق في معدلات القبول بين المجموعات.

الأمان. شفّر بيانات التدريب ومخرجات النموذج. قيّد من يستطيع تغيير النماذج. اختبر هل تستطيع مدخلات مصممة عمداً التلاعب بالسلوك. وراقب أنماط الوصول غير المعتادة.

استمرارية التشغيل. حدّد شكل الوضع الطبيعي لكل نظام، ثم ضع عتبات للتنبيه. فحين يتحرك مقياس (معدل حجب الاحتيال، أو نسبة قبول المرشحين، أو نمط اعتماد الموردين) تريد تنبيهاً، لا مفاجأة في نهاية الشهر. وتأكد من أن أحداً يستطيع إيقاف النظام بسرعة.

تحتاج حوكمة الذكاء الاصطناعي إلى ثلاثة أمور.

1. ملكية مسمّاة. شخص واحد يُسأل عن مخرجات كل نموذج. ولجنة بلا رئيس هي لا أحد.
2. مسارات التدقيق. كل قرار يتأثر بالذكاء الاصطناعي يحتاج إلى سجل يمكن تتبعه: البيانات المستخدمة، والمخرجات، ومتى راجعها ومن راجعها.
3. المواءمة التنظيمية. افحص كل نظام مقابل ISO 42001 وNIST AI RMF وEU AI Act وGDPR أو ما يعادلها في منطقتك. وأعد الفحص حين تتغير القواعد، كما حدث للتو مع المواعيد الأوروبية.

وإن كنت تبني هذا داخل برنامج SAP، فإن دليلي عن حوكمة الذكاء الاصطناعي في تنفيذات SAP يغطي مواضع الضوابط في S/4HANA وSuccessFactors.

أدوات واسعة الاستخدام في بيئات المؤسسات:

الأداة	التركيز الأساسي
Fiddler AI	مراقبة النماذج، وقابلية التفسير، وكشف التحيز
IBM watsonx.governance (يشمل Watson OpenScale)	حوكمة النماذج، ومراقبة التحيز والانحراف، والتوثيق
لوحة Microsoft Responsible AI (في Azure Machine Learning)	الإنصاف، وتحليل الأخطاء، واختلال توازن البيانات
Arthur	مراقبة الأداء والانحراف والإنصاف
Amazon SageMaker Clarify	كشف التحيز في التدريب والاستدلال

حين يسوء شيء ما، فإن الفرق التي ترتجل تزيد الأمر سوءاً. حدّد مسار التصعيد قبل الحادث: من يتلقى المكالمة، وما الصلاحية التي لديه لإيقاف النموذج مؤقتاً أو التراجع عنه، وماذا تقول للعملاء إن تأثرت بياناتهم.

رأيت شركات تفترض أن ذكاءها الاصطناعي يعمل جيداً، ثم تتخبط حين يتحول خطأ صامت إلى أزمة متراكمة. وخطة حوادث مكتوبة، مُختبَرة لا مجرد محفوظة في الأرشيف، هي الفارق.

صف واحد لكل نظام ذكاء اصطناعي. راجعه شهرياً للأنظمة الحرجة وفصلياً لبقية الأنظمة.

الحقل	ما يُسجَّل	مثال
النظام والمالك	الاسم، ومالك الأعمال، والمالك التقني	نموذج الاعتماد الآلي للفواتير، ومدير الحسابات الدائنة، وقائد علوم البيانات
القرار المتأثر	ما يقرره أو يوصي به	يعتمد الفواتير التي تقل عن عتبة معينة دون مراجعة
البيانات المستخدمة	المصادر، والبيانات الشخصية، والحقول الحساسة	البيانات الرئيسية للموردين، وبنود الفواتير، وسجل المدفوعات
فئة المخاطر	حرجة / متوسطة / منخفضة، وفئة EU AI Act إن لزم	متوسطة، وليست من الملحق III
المخاطر الرئيسية	التحيز، والأمان، والامتثال، والانحراف	انحراف مع تغير تشكيلة الموردين، واحتيال عبر فواتير متلاعب بها
الضوابط	الاختبارات، والمراجعة البشرية، والعتبات، ومفتاح الإيقاف الطارئ	مراجعة عينة أسبوعية، وسقف للقيمة، وتنبيه عند تغير معدل الاعتماد
مقياس المراقبة	ما تراقبه ومستوى التنبيه	معدل الاعتماد الآلي خارج نطاقه الطبيعي
جهة الاتصال عند الحوادث	من يستطيع إيقافه، وبأي سرعة	مدير الحسابات الدائنة، خلال زمن استجابة متفق عليه
آخر مراجعة	التاريخ والمراجع	شهرياً، من لجنة مخاطر الذكاء الاصطناعي

أما هيكل الحوكمة الذي يملك هذا السجل، فراجع دليلي لإطار حوكمة الذكاء الاصطناعي. وإن أردت مراجعة خارجية لسجلك قبل أن تطلبها جهة تنظيمية أو مدقق، فهذا جزء من عملي الاستشاري في حوكمة الذكاء الاصطناعي.

ما إطار إدارة مخاطر الذكاء الاصطناعي؟

عملية منظمة لتحديد المخاطر التي تنشأ حين تؤثر أنظمة الذكاء الاصطناعي في قرارات الأعمال وتقييمها وإدارتها. وهي تغطي دورة حياة النموذج وتتضمن ضوابط للتحيز والأمان والامتثال والانحراف التشغيلي.

وفي بيئات SAP تنطبق على النماذج المستخدمة في المشتريات (تقييم الموردين) والموارد البشرية (فرز المرشحين) والمالية (اعتماد الفواتير) وسلسلة الإمداد (التنبؤ بالطلب). وهذه الأنظمة تؤثر في الأشخاص والمال والامتثال.

ما إطار NIST لإدارة مخاطر الذكاء الاصطناعي؟

إطار طوعي من المعهد الوطني الأمريكي للمعايير والتكنولوجيا (NIST)، نُشر باسم AI RMF 1.0 في يناير 2023، ويقوم على أربع وظائف:

1. Govern: السياسات والمساءلة والثقافة
2. Map: السياق والاستخدام المقصود والآثار المحتملة
3. Measure: اختبار التحيز والمتانة وقابلية التفسير والأمان
4. Manage: ترتيب أولويات المخاطر ومعالجتها، والمراقبة

وفي يوليو 2024 أضاف NIST ملف الذكاء الاصطناعي التوليدي (NIST AI 600-1)، وهو أنفع مرجع أمريكي لحوكمة مساعدين مثل Joule وCopilot.

متى تسري قواعد الأنظمة عالية المخاطر في EU AI Act؟

بعد تعديلات Digital Omnibus لعام 2026، تسري قواعد الأنظمة عالية المخاطر المدرجة في الملحق III (مثل التوظيف والتصنيف الائتماني والوصول إلى الخدمات الأساسية) اعتباراً من 2 ديسمبر 2027. ويليها الذكاء الاصطناعي عالي المخاطر المضمّن في منتجات يغطيها قانون سلامة المنتجات الأوروبي في 2 أغسطس 2028. أما المحظورات وقواعد الذكاء الاصطناعي العام الغرض فهي سارية بالفعل.

ما أكبر المخاطر في الذكاء الاصطناعي المؤسسي؟

1. التحيز والتمييز: البيانات التاريخية المنحازة تنتج مخرجات منحازة
2. الأمان: تسميم البيانات والحقن عبر التعليمات وسرقة النماذج
3. الامتثال: GDPR وEU AI Act وISO 42001 وقواعد القطاعات
4. الانحراف التشغيلي: تتراجع الدقة مع تغير أنماط البيانات
5. غياب قابلية التفسير: من الصعب الدفاع أمام جهة تنظيمية أو عميل أو التدقيق الداخلي عن قرار لا تستطيع تفسيره

ما الذي ينبغي أن تغطيه خطة الاستجابة لحوادث الذكاء الاصطناعي؟

أربعة أمور، تُحدَّد قبل وقوع الحادث:

1. مسار التصعيد: من يُبلَّغ أولاً، ومن يستطيع إيقاف النموذج مؤقتاً أو التراجع عنه، ومن يخاطب العملاء
2. الاحتواء: كيف تعزل النظام دون أن تكسر العمليات اللاحقة
3. التواصل مع العملاء: ماذا تقول للمتأثرين ومتى
4. المراجعة بعد الحادث: السبب الجذري، وإعادة التدريب أو التراجع، والضوابط المحدّثة

اختبر الخطة بتمرين مكتبي (tabletop exercise) مرة واحدة في السنة على الأقل.