🎯 متقدم
الدرس 1 من 8

تحديد المشكلة أولاً

قبل أي سطر كود أو نموذج ذكاء اصطناعي، يكمن النجاح في دقة تعريف المشكلة التي تحاول حلها.

هل الذكاء الاصطناعي هو الحل الصحيح لمشكلتك؟

في عام 2018، أطلقت Amazon نظام توظيف آلي يعتمد على الذكاء الاصطناعي لفرز السير الذاتية. بعد سنوات من التطوير، اكتشفت الشركة أن النظام كان يُعاقب النساء بشكل منهجي — إذ تعلّم النموذج من بيانات توظيف تاريخية عكست تحيزات موجودة مسبقاً في صناعة التقنية. الخطأ الجوهري لم يكن تقنياً: بل كان في تعريف المشكلة. طلبت Amazon من النظام أن يتعلم "ما هو المرشح الناجح" بدلاً من "ما هو المرشح الأكثر كفاءة للمنصب". الفارق بين السؤالين أنهى المشروع كله.

لماذا يفشل الذكاء الاصطناعي قبل أن يبدأ؟

أكثر حالات الفشل في أنظمة الذكاء الاصطناعي لا تحدث في مرحلة التدريب أو النشر — بل تحدث في المرحلة الأولى: عندما يبدأ الفريق بطرح السؤال الخاطئ. إذا وصفت مشكلتك بشكل غامض، فستحصل على إجابة غامضة. إذا وصفتها بشكل مُضلّل، فستحصل على إجابة مُضلّلة.

تحديد المشكلة يعني الإجابة على ثلاثة أسئلة محددة: ما الذي تحاول قياسه فعلاً؟ ما الذي ستتخذه كدليل على النجاح؟ من سيتأثر بالنتيجة؟ هذه الأسئلة تبدو بسيطة لكنها تُحدد مصير كل ما يأتي بعدها.

الفجوة بين الهدف والمؤشر

أحد أكثر الأخطاء شيوعاً في بناء أنظمة الذكاء الاصطناعي هو الخلط بين الهدف الحقيقي والمؤشر القابل للقياس. في حالة Amazon، الهدف كان إيجاد مرشحين مؤهلين — لكن المؤشر كان النجاح التاريخي لموظفين سابقين، وهم في غالبيتهم رجال. هذه الفجوة بين الهدف والمؤشر تُسمى في الأدبيات العلمية "Goodhart's Law" — عندما يصبح المؤشر هدفاً، يتوقف عن أن يكون مؤشراً جيداً.

مفهوم أساسي

قانون جودهارت: "حين يُصبح مقياسٌ ما هدفاً في حد ذاته، يفقد قيمته كمقياس." كل نظام ذكاء اصطناعي يُحسّن مؤشراً ما — تأكد أن هذا المؤشر يعكس ما تريده فعلاً.

إطار تحديد المشكلة: خمسة أسئلة

قبل كتابة أي نموذج أو جمع أي بيانات، اطرح هذه الأسئلة الخمسة:

  • ما القرار أو الإجراء الذي سيؤثر فيه هذا النظام؟
  • كيف كان يُعالج هذا القرار من قبل، وما نقاط ضعفه؟
  • من هم جميع الأطراف المتأثرة بهذا النظام — مباشرةً وغير مباشرة؟
  • ما الذي يبدو نجاحاً في المدى القصير لكنه قد يكون فشلاً في المدى البعيد؟
  • هل ثمة بيانات كافية وعادلة لتدريب هذا النظام، أم أننا نفترض ذلك؟

متى لا يكون الذكاء الاصطناعي الحل الصحيح؟

ليست كل مشكلة تستدعي حلاً بالذكاء الاصطناعي. القرارات التي تتطلب مساءلة أخلاقية واضحة، أو تلك التي لا تتوفر لها بيانات تاريخية كافية، أو التي تعتمد على السياق الإنساني العميق — هذه في كثير من الأحيان لا تستفيد من أتمتة الذكاء الاصطناعي بقدر ما تستفيد من تحسين العمليات البشرية.

درس مستفاد

نظام Amazon للتوظيف أُوقف عام 2018 بعد تقارير رويترز التي كشفت تحيزه. التكلفة لم تكن فقط تقنية — بل كانت تكلفة ثقة وسمعة. تحديد المشكلة الصحيحة منذ البداية كان سيُجنّب الشركة هذا كله.

📝 اختبار

اختبار الدرس 1

اختبر فهمك لمفاهيم تحديد المشكلة.

ما كان الخطأ الجوهري في نظام التوظيف الآلي لدى Amazon؟
✓ صحيح! النظام طُلب منه أن يتعلم "ما يبدو عليه الموظف الناجح" من بيانات تاريخية متحيزة، بدلاً من تعريف الكفاءة بموضوعية.
✗ راجع الدرس. المشكلة لم تكن تقنية — بل كانت في صياغة السؤال الذي طُلب من النموذج الإجابة عنه.
ماذا يعني "قانون جودهارت" في سياق بناء أنظمة الذكاء الاصطناعي؟
✓ ممتاز! هذا بالضبط ما يحدث حين نُحسّن نموذجاً لمؤشر معين دون التحقق من أنه يعكس الهدف الحقيقي.
✗ قانون جودهارت يصف الخطر الكامن في تحسين مؤشر قياسي بدلاً من الهدف الحقيقي. راجع قسم "الفجوة بين الهدف والمؤشر".
أيٌّ مما يلي يُعدّ من الأسئلة الخمسة الأساسية لتحديد المشكلة قبل بناء نظام ذكاء اصطناعي؟
✓ صحيح! تحديد جميع المتأثرين بالنظام — مباشرة وغير مباشرة — هو ركيزة أساسية في تعريف المشكلة بشكل صحيح.
✗ هذا سؤال تشغيلي وليس تحديداً للمشكلة. راجع إطار الأسئلة الخمسة في الدرس.
🧪 مختبر

مختبر: تشريح المشكلة

تدرّب على تفكيك مشاكل حقيقية قبل بناء أي حل.

مهمتك في هذا المختبر

ستتحدث مع مساعد ذكاء اصطناعي متخصص في تحديد المشاكل. اختر قضية أو نظاماً تريد بناءه، وسيساعدك المساعد في تشريح المشكلة وفق الإطار الذي تعلمته.

جرب: "أريد بناء نظام يوصي بالمحتوى التعليمي المناسب للطلاب" — ودع المساعد يساعدك في تحديد المشكلة بدقة.
🔬 مختبر تحديد المشكلة ذكاء اصطناعي تعليمي
🎯 متقدم
الدرس 2 من 8

الأوامر كتصميم

كتابة الأوامر للذكاء الاصطناعي ليست مهارة تقنية فحسب — بل هي قرار تصميمي يحدد ما يفعله النظام وما لا يفعله.

كيف تحوّل فكرة إلى تعليمات للذكاء الاصطناعي؟

في عام 2023، وثّق باحثون من جامعة ستانفورد كيف أن تطبيقات الصحة النفسية المبنية على نماذج لغوية كبيرة كانت تُخرج ردوداً خطيرة عند بعض المستخدمين — لا بسبب عطل تقني، بل لأن أوامر النظام (System Prompts) لم تُحدد بوضوح حدود النصيحة المسموح بها. تطبيق Koko للدعم النفسي على Discord أوقف تجربته في 2023 بعد انتقادات واسعة تتعلق بإخفاء الدور الآلي على المستخدمين. الأوامر لم تُعرّف بوضوح ما إذا كان النظام مساعداً أم معالجاً أم مجرد محادثة. كل هذا نتج عن قرارات تصميمية في صياغة الأوامر.

ما هي "الأوامر كتصميم"؟

حين تبني نظاماً يعتمد على نموذج لغوي كبير، فإن أمر النظام (System Prompt) هو في جوهره وثيقة تصميم. هو يحدد شخصية النظام، ونطاق عمله، وحدود استجاباته، وكيفية تعامله مع الحالات الاستثنائية. كتابة هذا الأمر بعناية مماثلة لكتابة مواصفات المنتج — لا أكثر ولا أقل.

الفرق الجوهري بين المطور المبتدئ والمحترف هو أن المبتدئ يكتب أوامر تصف ما يريد الحصول عليه، بينما يكتب المحترف أوامر تحدد ما يجب أن يحدث في الحالات الصعبة — عند الغموض، والتناقض، والمحتوى الحساس.

مكونات الأمر الفعّال

  • الهوية والدور: من هذا النظام؟ ما الذي يفعله وما الذي لا يفعله بشكل صريح؟
  • نطاق العمل: ما المواضيع المسموح بمعالجتها؟ وما الحدود الصارمة؟
  • أسلوب التفاعل: ما نبرة النظام؟ هل يسأل أسئلة توضيحية؟ كيف يتعامل مع الغموض؟
  • معالجة الحالات الاستثنائية: ماذا يفعل النظام حين يواجه طلباً خارج نطاق عمله؟
  • تعليمات الأمان: ما الأمور التي يجب الإحجام عنها دائماً بصرف النظر عن الطلب؟
مثال مقارن

أمر ضعيف: "أنت مساعد مفيد للطلاب." — أمر قوي: "أنت مساعد أكاديمي لطلاب المرحلة الثانوية. مهمتك إرشاد الطالب نحو الإجابة بأسئلة سقراطية، لا إعطاء الإجابة مباشرة. إذا طُلب منك كتابة واجب كامل، وضّح أن دورك هو المساعدة في الفهم لا الاستبدال."

التكرار في تصميم الأوامر

لا يُكتب الأمر الجيد مرة واحدة. التصميم الاحترافي للأوامر يعني اختبار النموذج على حالات متنوعة، ورصد الردود غير المتوقعة، وتعديل الأمر بناءً على ما يكشفه الاختبار. شركة Anthropic تصف هذا بـ"الهندسة التكرارية للأوامر" — حيث يُعامَل الأمر كقاعدة كود حية تحتاج إلى إصدارات ومراجعات.

📝 اختبار

اختبار الدرس 2

تحقق من فهمك لمفهوم الأوامر كتصميم.

ما الدرس الرئيسي من قضية تطبيق Koko للدعم النفسي؟
✓ صحيح! المشكلة كانت في أن الأمر لم يُوضّح هل النظام مساعد أم معالج أم محادثة عادية — وهذا يقع على عاتق المصمم.
✗ القضية لا تنفي استخدام الذكاء الاصطناعي في الصحة النفسية، بل تُشير إلى ضرورة التصميم الدقيق للأوامر. راجع الدرس.
أي مما يلي يُعتبر مكوناً ضرورياً في الأمر الفعّال؟
✓ ممتاز! معالجة الحالات الاستثنائية هي ما يُفرّق بين الأوامر الاحترافية والأوامر الأولية — فالحالات الصعبة هي حيث تظهر الثغرات.
✗ المعلومات الإدارية كالاسم والتاريخ لا تؤثر على سلوك النظام. المكونات الحاسمة هي تلك المتعلقة بالسلوك والحدود.
ما الفرق الجوهري بين الأمر الضعيف والأمر القوي وفق ما ورد في الدرس؟
✓ صحيح تماماً! الأمر القوي يفكّر في الحالات الاستثنائية — الغموض، والتناقض، والطلبات الحساسة — ويُوضح كيفية التعامل معها.
✗ الطول والأسلوب ليسا المعيار. الفرق الحقيقي هو التعامل مع الحالات غير الاعتيادية. راجع قسم المقارنة في الدرس.
🧪 مختبر

مختبر: تصميم الأوامر

تدرّب على كتابة أوامر نظام فعّالة لتطبيقات حقيقية.

مهمتك في هذا المختبر

سيساعدك المساعد في تصميم أمر نظام احترافي لتطبيق من اختيارك. جهّز فكرة عن نوع التطبيق الذي تريد بناءه وابدأ المحادثة.

فكّر في: تطبيق خدمة عملاء لمتجر إلكتروني، أو مساعد تعليمي لمادة بعينها، أو أي تطبيق يهمك.
✍️ مختبر تصميم الأوامر ذكاء اصطناعي تعليمي
🎯 متقدم
الدرس 3 من 8

تقييم مخرجات الذكاء الاصطناعي

المخرجات الجيدة لا تُقيَّم بالانطباع — بل بمعايير محددة وقابلة للقياس.

كيف تعرف أن إجابة الذكاء الاصطناعي جيدة؟

في عام 2023، قدّم المحامي Steven Schwartz في نيويورك مذكرة قانونية مليئة باستشهادات من قضايا قضائية — كلها مزيّفة وولّدها ChatGPT. حين سأله القاضي عنها، اعترف بأنه لم يتحقق من وجودها الفعلي. المشكلة لم تكن في ChatGPT — فالنظام يُعرّف نفسه بوضوح كنموذج احتمالي لا مصدر قانوني. المشكلة كانت في غياب أي إطار تقييم: الإنسان تعامل مع المخرجات كحقائق بدلاً من مسودات تحتاج تحققاً. القاضي فرض غرامة على المحامي، وأصبحت القضية مرجعاً عالمياً لمخاطر قبول مخرجات الذكاء الاصطناعي دون تقييم.

ثلاثة مستويات لتقييم المخرجات

أي مخرج من نظام ذكاء اصطناعي يمكن تقييمه على ثلاثة مستويات متمايزة:

  • الدقة الواقعية: هل المعلومات الواردة صحيحة وقابلة للتحقق؟ هل يمكن تتبع مصادرها؟
  • الملاءمة للسياق: هل الإجابة مناسبة لحالة الاستخدام المحددة؟ هل تتناسب مع مستوى المستخدم وحاجته؟
  • الاتساق الداخلي: هل تتناقض أجزاء من المخرج مع بعضها؟ هل المنطق سليم؟
خطأ شائع

تقييم المخرج على أساس "هل يبدو منطقياً؟" فقط. النماذج اللغوية الكبيرة متقنة جداً في توليد نص يبدو مقنعاً — حتى حين يكون خاطئاً أو مختلقاً كلياً.

بناء إطار تقييم للمشروع

عند بناء أي نظام ذكاء اصطناعي يُنتج مخرجات، من الضروري تصميم "إطار التقييم" (Evaluation Framework) مسبقاً — قبل البدء في الاستخدام الفعلي. هذا الإطار يتضمن:

  • مجموعة اختبار (Test Set) تمثّل الحالات المتوقعة والحالات الاستثنائية
  • معايير تقييم موضوعية مكتوبة مسبقاً لكل نوع من المخرجات
  • عملية تحقق بشري لفئات المخرجات عالية المخاطر
  • آلية لرصد الانجراف في الأداء عبر الزمن (Performance Drift)

التقييم الآلي مقابل التقييم البشري

لا يمكن الاعتماد حصراً على التقييم الآلي (مثل مقاييس BLEU وROUGE في ترجمة النصوص) لأن هذه المقاييس تقيس التشابه النصي لا الجودة الحقيقية. كذلك لا يمكن الاعتماد حصراً على التقييم البشري لأنه مُكلف وغير قابل للتوسع. الممارسة الأفضل هي مزج الاثنين: استخدام التقييم الآلي كفلتر أولي، والتقييم البشري للحالات الحدية والمخرجات عالية الأثر.

تداعيات قضية Schwartz

بعد قضية المحامي Schwartz، أصدرت عدة محاكم أمريكية إرشادات تُلزم المحامين بالتحقق من أي مصدر قانوني مُولَّد بالذكاء الاصطناعي. القضية أظهرت أن غياب التقييم ليس مجرد خطأ تقني — بل له تداعيات قانونية ومهنية حقيقية.

📝 اختبار

اختبار الدرس 3

تحقق من فهمك لأسس تقييم مخرجات الذكاء الاصطناعي.

ما الخطأ الجوهري الذي وقع فيه المحامي Steven Schwartz عام 2023؟
✓ صحيح! المشكلة كانت في غياب التحقق — قدّم استشهادات قضائية مزيفة لأنه تعامل مع المخرجات كحقائق دون مراجعة.
✗ الخطأ الجوهري كان في غياب التقييم والتحقق. استخدام الأدوات ليس المشكلة — المشكلة هي كيفية التعامل مع مخرجاتها.
أيٌّ من المستويات التالية ليس ضمن المستويات الثلاثة لتقييم المخرجات المذكورة في الدرس؟
✓ ممتاز! السرعة قد تكون مؤشراً تشغيلياً، لكنها ليست معياراً لجودة المخرج ذاتها. المستويات الثلاثة هي: الدقة، الملاءمة، والاتساق.
✗ راجع المستويات الثلاثة المذكورة في الدرس. السرعة معيار أداء وليس معيار جودة مخرج.
ما الممارسة الأفضل في التقييم وفق ما ورد في الدرس؟
✓ صحيح! المزج بين الآلي والبشري يجمع قابلية التوسع مع الحكم النوعي — وهو الإطار الأكثر اكتمالاً.
✗ التقييم الأحادي الجانب (آلي فقط أو بشري فقط) له قيود واضحة. الحل الأمثل هو التكامل بينهما.
🧪 مختبر

مختبر: تقييم المخرجات

تدرّب على تطبيق معايير تقييم منهجية على مخرجات الذكاء الاصطناعي.

مهمتك في هذا المختبر

اعرض على المساعد مخرجاً من ذكاء اصطناعي (نصاً، إجابة، تقريراً موجزاً) وسيساعدك في تقييمه وفق المعايير الثلاثة: الدقة، الملاءمة، والاتساق.

جرب: أعطِ المساعد مخرجاً أعطاك إياه ChatGPT أو أي أداة أخرى وابدأ رحلة التقييم.
🔍 مختبر تقييم المخرجات ذكاء اصطناعي تعليمي
🎯 متقدم
الدرس 4 من 8

تصميم سير العمل البشري-الآلي

أين يتوقف الذكاء الاصطناعي وأين يبدأ الإنسان؟ هذا السؤال هو جوهر التصميم الناجح.

متى تحتاج إنساناً في العملية؟

في عام 2016، أطلقت Microsoft روبوت المحادثة Tay على تويتر. في أقل من 16 ساعة، بدأ الروبوت ينشر تغريدات عنصرية ومسيئة — لأنه صُمّم ليتعلم من تفاعلات المستخدمين في الوقت الفعلي دون أي حلقة مراجعة بشرية. الروبوت أُوقف بعد 16 ساعة. الدرس واضح: حين يعمل الذكاء الاصطناعي دون حلقات مراجعة بشرية في القرارات عالية المخاطر، تتضخم الأخطاء بسرعة هائلة بدلاً من أن تُصحَّح.

نموذج "الإنسان في الحلقة"

التصميم الناضج لأنظمة الذكاء الاصطناعي يُحدد بوضوح ثلاثة أنماط من العلاقة بين الإنسان والآلة:

  • الإنسان في الحلقة (Human-in-the-loop): الإنسان يراجع ويُوافق على كل قرار قبل تنفيذه. مثالي للقرارات عالية الأثر.
  • الإنسان فوق الحلقة (Human-on-the-loop): النظام يعمل تلقائياً لكن يُنبّه الإنسان للحالات الاستثنائية. مناسب للعمليات المتكررة والمنخفضة المخاطر.
  • الإنسان خارج الحلقة (Human-out-of-the-loop): النظام يعمل باستقلالية كاملة. يستلزم ثقة عالية جداً وبيانات اختبار واسعة — ونادراً ما يكون مناسباً.

نقاط الانتقال الحرجة

في تصميم سير العمل، أهم ما يجب تحديده هو "نقاط الانتقال" — أي اللحظات التي يجب فيها نقل القرار من النظام الآلي إلى الإنسان. هذه النقاط تشمل:

  • مستوى الثقة في مخرج النموذج أقل من عتبة محددة
  • القرار يؤثر على فئة سكانية محددة يتطلب مراجعة متخصصة
  • الطلب خارج نطاق البيانات التدريبية المعروفة
  • أي شكوى أو استئناف من مستخدم متضرر
مبدأ تصميمي

كلما زادت عواقب القرار، كلما كان يجب أن يكون الإنسان أقرب إلى الحلقة. الأتمتة الكاملة مقبولة في المهام منخفضة المخاطر والمتوقعة جيداً.

خريطة تدفق المسؤولية

الخطأ الأكثر شيوعاً في تصميم سير العمل هو "فجوة المسؤولية" — حين لا يعرف أحد بالضبط من المسؤول حين يقع خطأ. قضية Tay كانت نموذجاً على ذلك: لم يكن واضحاً من المسؤول عن مراقبة محتوى الروبوت في الوقت الفعلي. كل نظام يجب أن يكون له "خريطة تدفق مسؤولية" واضحة تُجيب: من يراقب؟ من يتدخل؟ من يُوقف النظام إذا لزم الأمر؟

📝 اختبار

اختبار الدرس 4

اختبر فهمك لتصميم سير العمل البشري-الآلي.

ما السبب الجذري لكارثة روبوت Tay من Microsoft في 2016؟
✓ صحيح! Tay صُمّم ليتعلم مباشرة من المستخدمين دون فلتر بشري، فتضخمت الأخطاء بدلاً من تصحيحها.
✗ المشكلة لم تكن تقنية أو أمنية — بل كانت في تصميم سير العمل الذي أبعد الإنسان عن الحلقة. راجع الدرس.
أي نمط من أنماط العلاقة بين الإنسان والآلة هو الأنسب لقرارات ذات أثر بشري عالٍ؟
✓ ممتاز! في القرارات عالية الأثر، يجب أن يراجع الإنسان ويوافق على كل قرار قبل تنفيذه — هذا هو نمط "الإنسان في الحلقة".
✗ القرارات عالية الأثر تستلزم أقصى درجات الرقابة البشرية. راجع الفروق بين الأنماط الثلاثة في الدرس.
ما "فجوة المسؤولية" في تصميم أنظمة الذكاء الاصطناعي؟
✓ صحيح! فجوة المسؤولية تعني أنه حين يقع خطأ، لا يكون واضحاً من يجب أن يتحمل المساءلة — وهي مشكلة تصميمية خطيرة.
✗ المفهوم يتعلق بالمساءلة التنظيمية وتوزيع المسؤوليات. راجع قسم "خريطة تدفق المسؤولية" في الدرس.
🧪 مختبر

مختبر: تصميم سير العمل

تدرّب على تحديد نقاط التدخل البشري في أنظمة الذكاء الاصطناعي.

مهمتك في هذا المختبر

اختر نظام ذكاء اصطناعي حقيقياً أو افتراضياً وسيساعدك المساعد في رسم خريطة سير العمل — تحديد أين يجب أن يتدخل الإنسان، وكيف توزّع المسؤوليات.

مثال: نظام موافقة على القروض المصرفية، أو نظام تصفية المحتوى، أو نظام توصية طبية.
🔄 مختبر تصميم سير العمل ذكاء اصطناعي تعليمي
🎯 متقدم
الدرس 5 من 8

الاختبار والاختراق الأحمر

قبل أن يجد المستخدمون الثغرات، يجب أن يجدها فريقك أولاً.

كيف تختبر أن ذكاءك الاصطناعي لن يسبّب ضرراً؟

في مارس 2023، أطلقت OpenAI GPT-4 وأعلنت أنها أجرت "اختبار الفريق الأحمر" (Red-Teaming) على النموذج لأشهر قبل الإطلاق. شمل الاختبار أكثر من 50 خبيراً من مجالات الأمن السيبراني والأسلحة البيولوجية والتضليل الإعلامي. رغم ذلك، وجد باحثون خارجيون ثغرات بعد أيام من الإطلاق. الدرس المستفاد: الاختبار الأحمر لا يضمن الكمال، لكن غيابه يضمن الفشل. شفافية OpenAI في الإعلان عن العملية وعن الثغرات المتبقية أصبحت نموذجاً يُحتذى به في الصناعة.

ما هو الاختبار الأحمر للذكاء الاصطناعي؟

الاختبار الأحمر (Red-Teaming) في سياق الذكاء الاصطناعي هو عملية منهجية يحاول فيها فريق مخصص إيجاد طرق لجعل النظام يتصرف بطرق ضارة أو غير مقصودة. على عكس اختبار الأداء العادي، الاختبار الأحمر يفترض عقلية "الخصم" — محاولة كسر النظام لا التحقق من عمله الطبيعي.

مصطلح أساسي

Jailbreaking: محاولة تجاوز القيود الأمنية للنموذج عبر صياغة مدروسة للأوامر. من أكثر ما يُختبر في الاختبار الأحمر لنماذج اللغة.

أنواع الاختبار في أنظمة الذكاء الاصطناعي

  • اختبار الأداء (Benchmark Testing): قياس دقة النموذج على مجموعات بيانات قياسية. ضروري لكن غير كافٍ.
  • اختبار التحيز (Bias Testing): فحص مخرجات النموذج عبر فئات سكانية مختلفة للكشف عن التفاوتات.
  • اختبار الأمان (Safety Testing): محاولة توليد محتوى ضار عبر أساليب متنوعة من الاستفزاز.
  • اختبار الحدود (Edge Case Testing): اختبار النموذج على مدخلات نادرة أو غير اعتيادية قد لا يكون تدرّب عليها.
  • اختبار الاستمرارية (Adversarial Testing): اختبار متقدم يحاكي هجمات موجّهة من مستخدمين ضارين.

بناء عملية اختبار عملية

ليس كل مشروع يملك ميزانية 50 خبيراً كما فعلت OpenAI. لكن كل مشروع يمكنه تطبيق الحد الأدنى من الاختبار الأحمر:

  • تشكيل فريق صغير من شخصين إلى خمسة يأخذون دور المستخدمين الضارين
  • توثيق كل ثغرة تُكتشف في سجل مخصص مع وصف طريقة استغلالها
  • تصنيف الثغرات حسب الخطورة والاحتمالية
  • تحديد موعد للمعالجة قبل الإطلاق، والتوثيق الصريح لما لم يُعالج بعد
درس من GPT-4

شفافية OpenAI في توثيق عملية الاختبار ونشر "بطاقة النموذج" (Model Card) التي أعلنت فيها عن القيود والثغرات المتبقية، بنت ثقة أكبر مما كان سيبنيه ادعاء الكمال.

📝 اختبار

اختبار الدرس 5

تحقق من فهمك لمفاهيم الاختبار والاختراق الأحمر.

ما الفرق الجوهري بين الاختبار الأحمر واختبار الأداء الاعتيادي؟
✓ صحيح! الاختبار الأحمر يفترض وجود خصم يحاول استغلال النظام — لا فحص أنه يعمل في الظروف الاعتيادية.
✗ الفارق ليس في الميزانية أو من يُجريه — بل في المنهجية: هجوم مقصود مقابل اختبار اعتيادي. راجع الدرس.
ماذا تعني "بطاقة النموذج" (Model Card) في سياق إطلاق أنظمة الذكاء الاصطناعي؟
✓ ممتاز! بطاقة النموذج أداة شفافية — تُعلن الشركة فيها بصدق عن ما يستطيعه النموذج وما لا يستطيعه وما الثغرات المتبقية.
✗ بطاقة النموذج ليست وثيقة تسويق — بل هي وثيقة صدق ومساءلة. راجع قسم "درس من GPT-4" في الدرس.
أيٌّ من أنواع الاختبار التالية يفحص تفاوتات الأداء بين فئات سكانية مختلفة؟
✓ صحيح! اختبار التحيز مصمم خصيصاً لاكتشاف ما إذا كان النموذج يُؤدي بشكل متفاوت عبر مجموعات مختلفة من المستخدمين.
✗ راجع قائمة أنواع الاختبار في الدرس. اختبار التحيز هو المصمم تحديداً لفحص التفاوت بين الفئات السكانية.
🧪 مختبر

مختبر: الاختبار الأحمر

تدرّب على التفكير بعقلية الخصم لاكتشاف ثغرات الأنظمة قبل الإطلاق.

مهمتك في هذا المختبر

اختر نظاماً أو تطبيقاً وسيساعدك المساعد في وضع خطة اختبار أحمر — تحديد ما قد يحاول خصم محتمل فعله، وكيف تختبر هذه السيناريوهات.

جرب: "لدي تطبيق مساعد قانوني للمواطنين — ما الطرق التي قد يستغلها شخص ضار؟"
🔴 مختبر الاختبار الأحمر ذكاء اصطناعي تعليمي
🎯 متقدم
الدرس 6 من 8

النشر المسؤول

الإطلاق ليس نهاية دورة التطوير — بل بداية دورة المراقبة والمساءلة.

ما الذي قد يسوء عند إطلاق ذكاء اصطناعي في العالم؟

في عام 2019، نشرت شركة Epic Systems نظام ذكاء اصطناعي في مستشفيات أمريكية لتنبؤ خطر المرضى الذين قد يحتاجون إلى تدخل طارئ. كشفت دراسة نُشرت في مجلة JAMA Internal Medicine أن النظام أظهر أداءً أدنى بشكل ملحوظ على المرضى السود مقارنة بالمرضى البيض — والسبب أن البيانات التدريبية كانت مشوّهة بفجوات تاريخية في الرعاية الصحية. الأخطر أن المستشفيات نشرت النظام دون مراقبة مستمرة لأداء فئات سكانية محددة. النشر بدون مراقبة حوّل أداةً مفيدة إلى مصدر تفاوت متجذّر.

ما الفرق بين الإطلاق والنشر المسؤول؟

الإطلاق يعني نقل النظام إلى بيئة الإنتاج. النشر المسؤول يعني الإطلاق مع بنية تحتية كاملة للمراقبة والمساءلة والتدخل. هذا الفرق حاسم في الأنظمة التي تؤثر مباشرة في حياة الناس.

مكونات النشر المسؤول

١) لوحة مراقبة حية تتتبع الأداء ٢) تنبيهات للانحراف عن المعايير المتوقعة ٣) آلية إيقاف طارئ مُختبرة ٤) قناة واضحة للإبلاغ عن المشكلات ٥) جدول مراجعة دوري مُحدد مسبقاً

الإطلاق التدريجي كأداة تحكم

الإطلاق الكامل لأي نظام ذكاء اصطناعي دفعة واحدة إلى جميع المستخدمين هو خطر يمكن تجنّبه. الممارسة الأفضل هي "الإطلاق التدريجي" (Staged Rollout):

  • إطلاق لنسبة صغيرة من المستخدمين (1-5%) ومراقبة المخرجات
  • تحليل أي انحرافات في أداء الفئات الفرعية قبل التوسع
  • توسيع النطاق تدريجياً مع تحديث المراقبة في كل مرحلة
  • الاحتفاظ بقدرة التراجع الفوري (Rollback) في أي وقت

انجراف الأداء بعد النشر

نظام Epic كان دقيقاً وقت تدريبه — لكن البيانات الحقيقية تتغير بمرور الوقت، والأنماط السلوكية للمستخدمين تتطور، والسياق الاجتماعي يتبدل. "انجراف الأداء" (Model Drift) يعني أن نموذجاً كان دقيقاً يصبح أقل دقة تدريجياً دون أن يُعلن عن نفسه. المراقبة المستمرة للأداء عبر شرائح مستخدمين مختلفة — وليس فقط المتوسط العام — هي ما يكشف هذا الانجراف قبل أن يتحول إلى أذى.

📝 اختبار

اختبار الدرس 6

اختبر فهمك لمفاهيم النشر المسؤول.

ما الذي جعل نشر نظام Epic Systems مشكلةً أخلاقية رغم أن النظام كان دقيقاً وقت تدريبه؟
✓ صحيح! غياب المراقبة المستمرة جعل التحيز يتجذر بدلاً من اكتشافه ومعالجته — هذا هو الفارق بين الإطلاق والنشر المسؤول.
✗ المشكلة لم تكن في غياب الاختبار الأولي — بل في غياب المراقبة بعد النشر. راجع الدرس.
ما "الإطلاق التدريجي" وما ميزته في النشر المسؤول؟
✓ ممتاز! الإطلاق التدريجي يتيح اكتشاف المشكلات قبل أن تؤثر على الجميع — وهو إحدى أقوى أدوات النشر المسؤول.
✗ الإطلاق التدريجي لا يتعلق بالوقت أو التكلفة بل بالتحكم في النطاق ومراقبة الأثر قبل التوسع الكامل.
ما "انجراف الأداء" (Model Drift)؟
✓ صحيح! الأنماط تتغير والبيانات تتطور — نموذج دقيق اليوم قد يكون أقل دقة غداً إذا لم تُتابَع مؤشراته باستمرار.
✗ انجراف الأداء لا يتعلق بالسرعة أو التحديثات — بل بالتغير التدريجي في جودة المخرجات مع مرور الوقت. راجع الدرس.
🧪 مختبر

مختبر: خطة النشر المسؤول

تدرّب على بناء خطة نشر تشمل المراقبة والمساءلة.

مهمتك في هذا المختبر

اختر نظام ذكاء اصطناعي وسيساعدك المساعد في وضع خطة نشر مسؤولة — تشمل المراقبة، والتنبيهات، وآليات الإيقاف الطارئ.

فكّر في: نظام توصيات لمنصة تعليمية، أو نظام مراقبة لوسائل التواصل الاجتماعي.
🚀 مختبر النشر المسؤول ذكاء اصطناعي تعليمي
🎯 متقدم
الدرس 7 من 8

البناء من أجل العدالة

نظام يعمل جيداً للأغلبية لكن يُضرّ بالأقليات ليس ناجحاً — بل هو فاشل لجزء من مستخدميه.

هل يعمل ذكاؤك الاصطناعي بنفس الجودة للجميع؟

في عام 2019، كشف باحثون في مجلة Science أن خوارزمية استُخدمت على نطاق واسع في المستشفيات الأمريكية لتحديد من يحتاج برامج الرعاية الصحية المتكاملة كانت تُفضّل المرضى البيض بشكل منهجي على المرضى السود. السبب لم يكن عنصرية مقصودة — بل استخدام "تكاليف الرعاية الصحية السابقة" كمؤشر على "مدى احتياج المريض للرعاية". نظراً لأن المرضى السود في المتوسط أنفقوا أقل تاريخياً (بسبب عوائق اجتماعية واقتصادية)، فسّر النموذج هذا خطأً كمؤشر على صحة أفضل. نحو 50,000 مريض سنوياً تضرروا من هذا التحيز الخفي.

أنواع التحيز في أنظمة الذكاء الاصطناعي

التحيز في أنظمة الذكاء الاصطناعي لا يأتي دائماً من نية سيئة — معظمه يأتي من قرارات تصميمية لم يُفكّر في عواقبها على الجميع. ثمة ثلاثة مصادر رئيسية:

  • تحيز البيانات: البيانات التدريبية لا تمثّل جميع الفئات بشكل متكافئ، أو تعكس تفاوتات تاريخية موجودة.
  • تحيز المؤشر: المؤشر الذي يُحسَّن النظام من أجله مرتبط ضمنياً بخصائص ديموغرافية كما في مثال تكاليف الرعاية.
  • تحيز التمثيل: غياب أصوات المجتمعات المتضررة في فريق التصميم والتقييم يُفضي إلى عمى النقاط غير المرئية.

الإنصاف لا يعني المساواة في المخرجات

خطأ شائع هو الاعتقاد بأن نظاماً عادلاً يجب أن يُعطي نفس المخرج لجميع المستخدمين. العدالة في الذكاء الاصطناعي تعني أن النظام يُؤدي بجودة متكافئة لجميع الفئات، لا أنه يُنتج نتائج متطابقة. نموذج تشخيص طبي يُشخّص بدقة 95% للرجال و70% للنساء ليس عادلاً — حتى لو كانت دقته الإجمالية 90%.

مفهوم أساسي

الدقة المتوسطة تُخفي التفاوت. دائماً حلّل أداء النموذج عبر شرائح ديموغرافية وجغرافية منفصلة — لا فقط على مستوى المجموعة الكاملة.

إطار العدالة في مرحلة التصميم

لا يمكن إضافة العدالة في نهاية المشروع كطبقة من الإصلاحات — يجب بناؤها منذ البداية:

  • تحديد الفئات السكانية المتأثرة قبل اختيار مؤشرات النجاح
  • تدقيق التوزيع الديموغرافي لبيانات التدريب
  • تضمين أصوات المجتمعات المتأثرة في مرحلة التصميم والتقييم
  • تحديد حد أدنى للأداء على كل فئة — لا فقط متوسط الأداء الكلي
📝 اختبار

اختبار الدرس 7

تحقق من فهمك لمفاهيم العدالة في بناء أنظمة الذكاء الاصطناعي.

ما المصدر الحقيقي لتحيز الخوارزمية الطبية المذكورة في دراسة مجلة Science 2019؟
✓ صحيح! "تكاليف الرعاية السابقة" كمؤشر للاحتياج الطبي استنسخ تفاوتات اجتماعية حقيقية — مما أضرّ بالمرضى السود الذين أنفقوا أقل تاريخياً.
✗ التحيز لم يكن مقصوداً بل نتج من اختيار مؤشر غير مناسب. هذا يُظهر أهمية التدقيق في اختيار المؤشرات. راجع الدرس.
ما المقصود بأن "الدقة المتوسطة تُخفي التفاوت"؟
✓ ممتاز! نموذج بدقة 90% إجمالية قد يُؤدي بـ95% على فئة و70% على أخرى — الرقم الإجمالي يُخفي هذا التفاوت الكبير.
✗ المفهوم لا يُشكك في صحة المتوسطات — بل يُنبّه إلى خطورة الاكتفاء بها دون تحليل مفصّل للشرائح. راجع الدرس.
أيٌّ من التالي يمثّل "تحيز التمثيل" في تصميم أنظمة الذكاء الاصطناعي؟
✓ صحيح! تحيز التمثيل ينشأ حين يغيب المتأثرون بالنظام عن طاولة تصميمه — مما يُفضي إلى "عمى النقاط" غير المرئية.
✗ راجع الأنواع الثلاثة للتحيز في الدرس. تحيز التمثيل يتعلق تحديداً بمن يجلس على طاولة التصميم — لا بالبيانات أو المؤشرات مباشرة.
🧪 مختبر

مختبر: تدقيق العدالة

تدرّب على تحليل أنظمة قائمة لاكتشاف مصادر التحيز المحتملة.

مهمتك في هذا المختبر

اختر نظاماً تقنياً مُستخدماً في الحياة اليومية وسيساعدك المساعد في تحليله عبر عدسة العدالة — الكشف عن التحيزات المحتملة في بياناته ومؤشراته وفريق تصميمه.

أمثلة: خوارزميات التوظيف، أنظمة التسهيلات الائتمانية، فلاتر المحتوى في الشبكات الاجتماعية.
⚖️ مختبر تدقيق العدالة ذكاء اصطناعي تعليمي
🎯 متقدم
الدرس 8 من 8

المسؤوليات المستمرة

إطلاق النظام لا يُنهي مسؤولية بانيه — بل يبدأها في سياقها الأصعب.

هل تنتهي مسؤوليتك عندما تطلق الذكاء الاصطناعي؟

في عام 2017، استخدم المسؤولون في مقاطعة Allegheny بولاية بنسلفانيا الأمريكية نظام ذكاء اصطناعي لتقييم خطر إيذاء الأطفال ومساعدة مسؤولي الخدمات الاجتماعية. على مدار سنوات، رصد الباحثون نمطاً: الأسر الأكثر فقراً حصلت على درجات خطر أعلى جزئياً لأن الفقر نفسه كان متضمناً بشكل غير مباشر في المتغيرات. كان بإمكان الشركة المطوّرة أن تُوقف نشره أو تُراجعه — لكنها اكتفت بمراجعات دورية تقنية دون تقييم عادل. القصة لم تنتهِ بسحب النظام — بل استمر استخدامه في ظل جدل أكاديمي ومجتمعي واسع. هذا هو واقع المسؤولية المستمرة: الأنظمة تعيش وتتأثر بمن تؤثر فيهم.

دورة الحياة الكاملة لنظام الذكاء الاصطناعي

الأنظمة الناجحة تقنياً قد تخفق بشرياً إذا أُهملت مرحلة ما بعد النشر. دورة الحياة الكاملة لا تنتهي عند الإطلاق — بل تستمر طوال عمر النظام:

  • المراجعة الدورية للتأثير: ليس فقط هل النظام يعمل، بل هل أثره الاجتماعي ما زال مقبولاً؟
  • آليات الاستئناف: هل يملك المتضررون طريقة واضحة للطعن في قرارات النظام؟
  • تحديث نماذج البيانات: هل تعكس البيانات التدريبية الواقع الحالي أم واقعاً قديماً؟
  • قرار الإيقاف: من يملك صلاحية إيقاف النظام؟ وما المعايير التي تستلزم الإيقاف؟

الشفافية كمسؤولية مستمرة

المسؤولية المستمرة لا تعني فقط مراقبة الأداء — بل تعني أيضاً التواصل الصريح مع المتأثرين. الأسر في Allegheny لم تكن تعلم أن نظام ذكاء اصطناعي يُؤثر في قرارات تخص أطفالها. الشفافية هنا ليست ترفاً أخلاقياً — بل هي شرط أساسي للمساءلة الديمقراطية.

إطار للممارسة

كل نظام ذكاء اصطناعي يُؤثر في قرارات تخص الأفراد يجب أن يُرفق بـ: ١) إشعار واضح بوجود الذكاء الاصطناعي ٢) شرح مبسّط للعوامل المؤثرة في القرار ٣) آلية واضحة للتظلم والمراجعة.

البانيان هم الحراس

المشكلة الجوهرية في قضية Allegheny كانت غياب آلية داخلية لطرح السؤال الصعب: "هل يجب أن نستمر في نشر هذا؟" بناء الأنظمة الجيدة يستلزم بناء ثقافة مؤسسية تُشجع على طرح هذا السؤال وتمنح الفريق صلاحية التصرف بناءً على إجابته. البانيان ليسوا مجرد مهندسين يكتبون كوداً — بل هم حراس على الأثر الإنساني لما يبنون.

📝 اختبار

اختبار الدرس 8

اختبر فهمك للمسؤوليات المستمرة بعد نشر أنظمة الذكاء الاصطناعي.

ما القضية الأعمق التي كشفها نظام Allegheny لحماية الطفل بعيداً عن الأداء التقني؟
✓ صحيح! الأسر لم تعلم بوجود النظام، ولم تُمنح آلية للاعتراض — وهذا ليس فقط إشكالية تقنية بل فشل في الشفافية والمساءلة.
✗ القضية لا تنفي الاستخدام الحكومي — بل تُشير إلى ضرورة الشفافية وآليات الاستئناف في أي نظام يؤثر في حياة الناس.
ما أحد العناصر الأساسية الثلاثة التي يجب أن يُرفق بها أي نظام ذكاء اصطناعي يؤثر في قرارات تخص الأفراد؟
✓ ممتاز! الإشعار والشرح وآلية التظلم هي الحد الأدنى من الشفافية الذي يجعل النظام مساءَلاً أمام من يؤثر فيهم.
✗ الشفافية الحقيقية تعني إعلام المتأثرين وإعطاءهم أدوات للمشاركة والاعتراض — لا مجرد تسويق أو فتح الكود. راجع الدرس.
ما المقصود بأن "البانيين هم الحراس"؟
✓ صحيح تماماً! بناء النظام يجعلك مسؤولاً عن أثره — والثقافة المؤسسية يجب أن تُمكّن الفريق من طرح سؤال "هل يجب أن نستمر؟"
✗ "الحراسة" هنا تعني الشعور بالمسؤولية الأخلاقية تجاه الأثر الإنساني للنظام — لا الحماية التقنية أو القانونية فحسب.
🧪 مختبر

مختبر: خطة المسؤولية المستمرة

تدرّب على بناء إطار للمراقبة والمساءلة على مدى حياة النظام.

مهمتك في هذا المختبر

اختر نظاماً ذكاء اصطناعياً موجوداً أو مقترحاً وسيساعدك المساعد في وضع خطة مسؤولية مستمرة — تشمل المراجعات الدورية، وآليات الاستئناف، ومعايير الإيقاف.

فكّر في: نظام توصيف ائتماني، أو نظام توظيف آلي، أو أي نظام يؤثر في قرارات حياتية.
🛡️ مختبر المسؤولية المستمرة ذكاء اصطناعي تعليمي

اختبار الوحدة 10

15 سؤالاً يشملان جميع دروس الوحدة. أجب عن كل الأسئلة ثم اضغط "إظهار النتيجة".

١. ما كانت النتيجة المباشرة لتعريف المشكلة بشكل خاطئ في نظام Amazon للتوظيف؟
✓ صحيح!
✗ خطأ — المشكلة كانت في تعريف المشكلة نفسها مما أدى إلى تحيز ضد النساء.
٢. أيٌّ من التالي يصف بدقة "قانون جودهارت"؟
✓ صحيح!
✗ خطأ — قانون جودهارت يصف خطر تحسين مؤشر بدلاً من الهدف الحقيقي.
٣. ما العنصر الأهم الذي يُميّز "الأمر القوي" عن "الأمر الضعيف" في تصميم أنظمة الذكاء الاصطناعي؟
✓ صحيح!
✗ خطأ — جودة الأمر تُقاس بالتعامل مع الحالات غير الاعتيادية لا بطوله أو لغته.
٤. ما الدرس الرئيسي من قضية المحامي Steven Schwartz؟
✓ صحيح!
✗ خطأ — القضية لا تنفي الاستخدام بل تُلزم بالتحقق المنهجي من المخرجات.
٥. في تقييم المخرجات، ما المقصود بـ"الاتساق الداخلي"؟
✓ صحيح!
✗ خطأ — الاتساق الداخلي يعني أن أجزاء المخرج لا تتناقض مع بعضها منطقياً.
٦. أيٌّ من أنماط العلاقة بين الإنسان والآلة يُلزم الإنسان بمراجعة كل قرار قبل تنفيذه؟
✓ صحيح!
✗ خطأ — نمط "الإنسان في الحلقة" هو الوحيد الذي يُلزم مراجعة بشرية لكل قرار.
٧. ما الذي دمّر روبوت Microsoft Tay في 16 ساعة؟
✓ صحيح!
✗ خطأ — Tay تعلّم من المستخدمين مباشرة دون أي فلتر بشري، فتضخمت ردوده السيئة بسرعة.
٨. ما الهدف الأساسي للاختبار الأحمر (Red-Teaming) في الذكاء الاصطناعي؟
✓ صحيح!
✗ خطأ — الاختبار الأحمر يأخذ دور الخصم لاكتشاف الثغرات، لا قياس الأداء الاعتيادي.
٩. ما الفارق بين "الإطلاق" و"النشر المسؤول"؟
✓ صحيح!
✗ خطأ — النشر المسؤول ليس مجرد إطلاق بل إطار كامل للمراقبة والتدخل المستمر.
١٠. لماذا يُعدّ "الإطلاق التدريجي" أداة نشر مسؤول؟
✓ صحيح!
✗ خطأ — قيمة الإطلاق التدريجي في الكشف المبكر عن المشكلات قبل تضخمها.
١١. ما المصدر الحقيقي لتحيز خوارزمية الرعاية الصحية المذكورة في دراسة Science 2019؟
✓ صحيح!
✗ خطأ — المؤشر نفسه كان مُحيزاً لأنه استنسخ تفاوتات اجتماعية تاريخية.
١٢. ما مفهوم "العدالة" في سياق أداء أنظمة الذكاء الاصطناعي؟
✓ صحيح!
✗ خطأ — العدالة لا تعني التطابق في المخرجات بل التكافؤ في الجودة عبر الفئات.
١٣. لماذا قد تكون بيانات نظام Allegheny لحماية الطفل مُحيزة ضد الأسر الفقيرة؟
✓ صحيح!
✗ خطأ — الفقر نفسه كان متضمناً في المتغيرات المُحسَّن عليها، وهو ما خلق التحيز.
١٤. ما "انجراف الأداء" (Model Drift) وما الذي يكشفه؟
✓ صحيح!
✗ خطأ — انجراف الأداء يعني أن نموذجاً دقيقاً يصبح أقل دقة بمرور الوقت دون إشعار تلقائي.
١٥. أيٌّ من التالي يُمثّل أفضل ممارسة في المسؤولية المستمرة بعد نشر نظام ذكاء اصطناعي؟
✓ صحيح! المسؤولية المستمرة تجمع المراقبة التقنية مع الاستماع لأصوات المتأثرين وإعطائهم أدوات للمشاركة.
✗ خطأ — المسؤولية المستمرة تتجاوز المراجعة التقنية لتشمل الأثر الاجتماعي والمساءلة تجاه المتأثرين.