🎯 متقدم · الدرس 1

الذكاء الاصطناعي يُخطئ

الأخطاء ليست عيبًا استثنائيًا — بل هي سمة هيكلية في الأنظمة التي تتعلم من البيانات.

ماذا يحدث عندما يخطئ الذكاء الاصطناعي ولا يلاحظ أحد؟

في عام 2018، نشرت شركة أمازون تفاصيل نظام توظيف آلي طورته داخليًا بين عامَي 2014 و2017. كان النظام يصنّف السير الذاتية تلقائيًا ويرفض المتقدمين دون تدخل بشري. اكتشف المهندسون أن النظام كان يعاقب بشكل منهجي على الكلمات المرتبطة بالنساء — كمدارس البنات ومنظمات المرأة. كان النموذج قد تدرّب على سير ذاتية قُدِّمت للشركة خلال عقد ماضٍ، وهي فترة هيمن فيها الرجال على المناصب التقنية. لم يتعلّم النموذج ما هو الأداء الوظيفي الجيد — بل تعلّم من يشبه مَن وصل إليه أصلًا. أُلغي المشروع كليًا عام 2017 دون نشر.

ما الذي يعنيه "الخطأ" في الذكاء الاصطناعي؟

حين يُخطئ الإنسان، نسأل: ماذا قصد؟ وهل كان يعلم؟ الذكاء الاصطناعي لا يقصد ولا يعلم — لكنه يُخطئ بطرق أكثر تعقيدًا. الخطأ في نظام الذكاء الاصطناعي لا يعني أن الكود تعطّل، بل يعني أن النموذج ينتج مخرجات لا تعكس الحقيقة أو العدالة أو الغرض المطلوب.

ثمة تمييز جوهري بين ثلاثة أنواع من الأخطاء: أخطاء القياس (حين تكون البيانات مشوّهة)، وأخطاء التعميم (حين ينجح النموذج في التدريب لكنه يفشل في الواقع)، وأخطاء التوزيع (حين تختلف البيانات الحقيقية عن بيانات التدريب).

مفهوم أساسي

تحوّل التوزيع (Distribution Shift): يحدث حين تتغيّر بيانات العالم الحقيقي عن البيانات التي تدرّب عليها النموذج. مثال: نماذج اكتشاف الاحتيال المدرّبة قبل جائحة كوفيد فشلت بعدها لأن أنماط الإنفاق تغيّرت جذريًا.

لماذا الأخطاء حتمية هيكليًا؟

كل نموذج تعلم آلي هو تعميم إحصائي. يتعلم النموذج الأنماط الأكثر احتمالًا — لا الأنماط الصحيحة دائمًا. هذا يعني أن بعض الحالات ستكون خارج نطاق ما رآه النموذج، وبعض الأنماط التي تعلمها ستكون صحيحة في المتوسط لكن خاطئة في حالات بعينها.

نموذج التعرف على الصور الذي يُخطئ في تصنيف صورة بعينها لا "يفعل" خطأ — إنه ببساطة يُعمّم من أمثلة رأى أن هذه الصورة لا تتطابق معها بما يكفي. وحين يُفضي هذا الخطأ إلى ضرر على إنسان — رفض قرض، فقدان وظيفة، حكم بالإدانة — تصبح المسألة أخلاقية وقانونية لا تقنية فحسب.

حالة موثّقة

نظام COMPAS لتقييم مخاطر العودة إلى الجريمة في الولايات المتحدة: أظهرت دراسة ProPublica عام 2016 أن النظام يُصنّف المتهمين السود بمعدل ضعف الخطأ عند توقع ارتكاب الجرائم مقارنةً بالبيض — لكن الشركة المطوّرة (Northpointe) جادلت بأن النموذج "دقيق" وفق تعريفها للدقة. الخلاف لم يكن حول الحسابات، بل حول ماذا يعني أن تكون العدالة.

مصادر الخطأ: من البيانات إلى النشر

يمكن تتبّع الخطأ في كل مرحلة من مراحل دورة حياة النموذج:

  • جمع البيانات: إذا كان التصنيف البشري مُتحيزًا أو ناقصًا، يتعلّم النموذج هذا التحيز.
  • اختيار الميزات: الميزات التي تبدو محايدة قد تكون وكلاء عن خصائص محمية (كالرمز البريدي كوكيل عن العرق).
  • هدف التدريب: تحسين المقياس الخطأ ينتج نموذجًا يتفوق في ما تقيسه لكن يفشل فيما يهمّ فعلًا.
  • بيئة النشر: النموذج يعمل في سياق لم يُصمَّم له، أو يُستخدم من أشخاص لم يُعدّ لهم.
📝 اختبار · الدرس 1

اختبار: الذكاء الاصطناعي يُخطئ

ثلاثة أسئلة لقياس فهمك

1. ما الذي تعلّمه نظام التوظيف الآلي لأمازون من بيانات التدريب التاريخية؟
✓ صحيح. النموذج تعلّم من أنماط القرارات البشرية السابقة، والتي كانت تعكس هيمنة الرجال على المناصب التقنية.
✗ غير صحيح. المشكلة أن النموذج تعلّم من التاريخ الموجود بدلًا من معايير موضوعية، فنقل التحيز البشري وضخّمه.
2. ما المقصود بـ "تحوّل التوزيع" في سياق أخطاء الذكاء الاصطناعي؟
✓ صحيح. تحوّل التوزيع يحدث حين تتغيّر الظروف الحقيقية عن تلك التي تدرّب عليها النموذج، كما حدث مع نماذج اكتشاف الاحتيال إبّان كوفيد.
✗ غير صحيح. تحوّل التوزيع يصف الفجوة بين بيئة التدريب وبيئة النشر الفعلية.
3. أيٌّ من التالي يُمثّل خطأ في "هدف التدريب"؟
✓ صحيح. حين يكون المقياس المُحسَّن (النقرات) مختلفًا عن الهدف الحقيقي (الفائدة)، ينجح النموذج بالمقياس ويفشل بالهدف.
✗ غير صحيح. خطأ هدف التدريب يعني أن النموذج يُحسّن الشيء الخطأ — ليس أنه لا يعمل، بل إنه يعمل بشكل ممتاز في اتجاه ضار.
🧪 مختبر · الدرس 1

مختبر: استكشاف أخطاء الذكاء الاصطناعي

تحدّث مع المساعد حول كيف تحدث الأخطاء في الأنظمة الحقيقية

التحقيق في أنماط الخطأ

ستناقش مع المساعد الذكي كيف تنشأ الأخطاء في أنظمة الذكاء الاصطناعي الحقيقية، وكيف يمكن الكشف عنها مبكرًا.

أمثلة على ما يمكنك مناقشته: "لماذا يُصعب اكتشاف بعض الأخطاء؟" — "ما الفرق بين خطأ في الكود وخطأ في النموذج؟" — "كيف نختبر نموذجًا قبل النشر؟"
🤖 مساعد أكاديمية AESOP الدرس 1 · أخطاء الذكاء الاصطناعي
🎯 متقدم · الدرس 2

حين لا يعرف الذكاء الاصطناعي

الهلوسة والثقة المفرطة وحدود المعرفة في نماذج اللغة الكبيرة.

هل يستطيع الذكاء الاصطناعي أن يعرف أنه لا يعرف شيئاً؟

في مايو 2023، قدّم محامٍ أمريكي اسمه ستيفن شواتز مذكرة قانونية في محكمة فيدرالية بنيويورك، مستشهدًا بست قضايا قانونية دعمها بها بحثه عبر ChatGPT. القضايا الست لم تكن موجودة قط. لم تُنشر في أي مجلة قانونية، ولم تصدر عن أي محكمة. أنتجها النموذج بثقة كاملة، مع تفاصيل دقيقة من أسماء قضاة وأرقام قضايا وتواريخ — كلها مُخترعة. حين طلب منه القاضي ثيش التحقق، بحث شواتز في محركات البحث القانونية عن هذه القضايا فلم يجدها، ثم سأل ChatGPT نفسه فأكّد له أنها موجودة. غرّم القاضي المحامي وشريكه 5000 دولار، وأمر باتخاذ إجراءات تأديبية.

الهلوسة: الثقة بلا معرفة

تُسمّى هذه الظاهرة "الهلوسة" (Hallucination)، وهي توليد نموذج لغوي محتوى مقنعًا تمامًا لكنه غير صحيح. المصطلح محلّ جدل: البعض يفضّل "اختلاق" لأن النموذج لا يُحدث هلوسة بالمعنى السريري، بل يتنبأ بالرمز التالي الأكثر احتمالًا، وأحيانًا يكون الرمز الأكثر احتمالًا خاطئًا.

لماذا تحدث الهلوسة؟

نماذج اللغة الكبيرة مُدرَّبة على التنبؤ بالكلمة التالية. لا تحتوي على قاعدة بيانات يمكنها "الاستعلام عنها". حين تُسأل عن حقيقة لم تتدرب عليها، تُولّد استجابة تبدو مقنعة وفق الأنماط التي تعلّمتها — حتى لو كانت مُخترعة كليًا.

الأخطر أن النموذج لا "يعلم" أنه لا يعلم. لا توجد آلية داخلية تُميّز بين "أنا متأكد" و"أنا أخمّن". كل استجابة تُقدَّم بنفس الأسلوب، سواء كانت حقيقة موثّقة أو اختلاقًا تامًا.

الثقة المعايرة (Calibration) وأهميتها

في الإحصاء، نقول أن نموذجًا "مُعايَر جيدًا" حين تتوافق ثقته مع دقته: حين يقول النموذج "أنا 80% واثق"، يكون صحيحًا فعلًا في 80% من المرات. نماذج اللغة الكبيرة كثيرًا ما تكون "مُبالِغة في الثقة" — تُقدّم المعلومات بيقين لا يعكس احتمال صحتها.

أبحاث Meta AI (2023) على LLaMA أظهرت أن النموذج كان واثقًا من إجابات خاطئة في نحو 30% من الحالات — وكانت ثقته من هذه الإجابات مرتفعة كثقته من الإجابات الصحيحة. هذا يُصعّب على المستخدم التمييز دون التحقق المستقل.

أنواع الجهل في نماذج اللغة

جهل مغلق: النموذج يقول "لا أعرف" — هذا نادر نسبيًا ومفيد حين يحدث.
جهل مفتوح: النموذج لا يعرف لكنه لا يُدرك جهله فيُجيب بثقة — الأكثر خطورة.
معرفة شبه صحيحة: النموذج يحتوي على جزء من المعلومة ويُكمل الباقي بأنماط متوقعة.

حدود المعرفة: ما بعد تاريخ القطع

لكل نموذج لغوي "تاريخ قطع" (Cutoff Date) — النقطة التي انتهت عندها بيانات التدريب. أي حدث بعد هذا التاريخ غير موجود في معرفة النموذج. المشكلة ليست فقط المعلومات المنسيّة — بل أن النموذج قد يُجيب على أسئلة تتعلق بالأحداث اللاحقة بنفس الثقة التي يُجيب بها على أسئلة تاريخية موثّقة.

استجابة لذلك، طوّرت شركات كـ OpenAI وGoogle نماذج مزوّدة بالبحث على الويب في الوقت الحقيقي. لكن هذا يُضيف مشكلة جديدة: جودة المصادر المُسترجَعة وصحة ربطها بالسؤال المطروح.

📝 اختبار · الدرس 2

اختبار: حين لا يعرف الذكاء الاصطناعي

ثلاثة أسئلة لقياس فهمك

1. ما الذي فعله ChatGPT في قضية المحامي شواتز؟
✓ صحيح. هذا مثال كلاسيكي على الهلوسة: توليد محتوى مُقنع تفصيليًا لكنه مختلق كليًا، مع تأكيد النموذج لصحته حين جرى التحقق منه عبره مرة أخرى.
✗ غير صحيح. النموذج لم يعترف بجهله، بل اخترع قضايا بأسماء قضاة وأرقام وتواريخ — كل شيء كان مزيفًا.
2. ما المقصود بالتعايُر الجيد (Good Calibration) في نماذج الذكاء الاصطناعي؟
✓ صحيح. التعايُر الجيد يعني أن ثقة النموذج تعكس دقته الفعلية — حين يقول "واثق 70%"، يكون صحيحًا 70% من المرات.
✗ غير صحيح. التعايُر يقيس توافق الثقة مع الدقة الفعلية، لا مجرد الاعتراف بالجهل أو الثقة المطلقة.
3. لماذا يُعدّ "الجهل المفتوح" (النموذج لا يعرف ولا يدرك جهله) أخطر من "الجهل المغلق" (النموذج يقول لا أعرف)؟
✓ صحيح. حين يقول النموذج "لا أعرف"، يعلم المستخدم أنه يحتاج للتحقق. أما حين يجيب بثقة كاملة عن شيء مختلق، يُفقد المستخدم فرصة التحقق المستقل.
✗ غير صحيح. الخطورة الجوهرية في الجهل المفتوح أن المستخدم لا يُنبَّه للحاجة للتحقق، فقد يتصرف على أساس معلومات خاطئة تبدو موثوقة.
🧪 مختبر · الدرس 2

مختبر: الهلوسة وحدود المعرفة

استكشف كيف يتعامل النموذج مع ما لا يعرفه

اختبار حدود المعرفة

ستناقش مع المساعد كيفية التعرف على الهلوسة، وما الاستراتيجيات العملية لتجنب الوقوع في فخ الثقة المفرطة لنماذج اللغة.

جرّب أن تسأل: "كيف أتحقق من معلومة أعطاني إياها نموذج ذكاء اصطناعي؟" — أو "ما علامات الهلوسة التي يجب أن أبحث عنها؟"
🤖 مساعد أكاديمية AESOP الدرس 2 · الهلوسة وحدود المعرفة
🎯 متقدم · الدرس 3

من المسؤول؟

المساءلة في عصر القرارات الآلية: حين يُخطئ النموذج، من يتحمّل التبعة؟

إذا أخطأ الذكاء الاصطناعي، من يتحمّل المسؤولية؟

في فبراير 2024، قضت محكمة بريطانية بحق امرأة فقدت عملها بعد أن قرّر نظام ذكاء اصطناعي تابع لشركة Uber أنها ارتكبت احتيالًا. اتضح أن خوارزمية التحقق من الهوية كانت تُفشل التحقق من بعض السائقين ذوي البشرة الداكنة بمعدلات أعلى، بسبب ظروف الإضاءة في صور جوازات السفر. عندما تقدّمت بالشكوى، لم تتمكن من الطعن في القرار لأن Uber لم توفّر تفسيرًا واضحًا لكيفية عمل الخوارزمية. حكمت المحكمة بأن هذا انتهاك لقانون حماية البيانات الأوروبي (GDPR) وأحكام الشفافية، وأُلزمت الشركة بالتعويض.

فجوة المساءلة في الأنظمة الآلية

المساءلة التقليدية تفترض وجود إنسان يمكن سؤاله: لماذا اتخذت هذا القرار؟ الأنظمة الآلية تُخلق "فجوة المساءلة" حين لا يوجد إنسان واحد يمكنه تفسير قرار بعينه: المطوّر لم ينشر النموذج، والمشغّل لم يبنه، والشركة تعتمد على مزوّد طرف ثالث.

نموذج توزيع المسؤولية

المطوّر: مسؤول عن جودة النموذج وتوثيق قيوده.
المُنشر: مسؤول عن الاستخدام المناسب وتوفير آليات الطعن.
المستخدم: مسؤول عن التحقق قبل التصرف بناءً على مخرجات الذكاء الاصطناعي.
المنظّم: مسؤول عن وضع معايير التحقق وإلزامية الشفافية.

الإطار القانوني: من اللوائح إلى الأحكام

قبل عام 2016، لم تكن هناك أطر قانونية واضحة للمساءلة في قرارات الذكاء الاصطناعي. اللائحة الأوروبية للذكاء الاصطناعي (AI Act 2024) تُصنّف الأنظمة عالية الخطورة — كتلك المستخدمة في التوظيف والائتمان والعدالة الجنائية — وتُلزم بمتطلبات صارمة للشفافية والتدقيق.

قضية Uber أظهرت أن الحجة "هذا ما قاله الخوارزمية" لا تُقبل دفاعًا كافيًا أمام القضاء. القرارات التي تؤثر في حقوق الأفراد تستلزم تفسيرًا وإمكانية الطعن — بصرف النظر عن كون القرار صادرًا عن إنسان أو آلة.

مبدأ الحق في التفسير

اشترط نظام GDPR الأوروبي (المادة 22) الحق في عدم الخضوع لقرار آلي يؤثر تأثيرًا قانونيًا كبيرًا دون تدخل بشري والحق في الحصول على تفسير. هذا خلق ضغطًا هندسيًا كبيرًا نحو تطوير نماذج قابلة للتفسير.

مشكلة "الصندوق الأسود" وعلاقتها بالمساءلة

النماذج العميقة كالشبكات العصبية الكبيرة تعمل بطريقة يصعب على حتى مطوّريها تفسيرها لأفراد بعينهم. هذا ليس مجرد قضية تقنية — إنه قضية حوكمة. حين يتعذّر شرح سبب رفض قرض أو احتساب علاوة، يصبح التحيز والخطأ مدفونَين في طبقات لا يمكن التحقق منها.

ميدان "قابلية التفسير" (Explainability) والـ XAI يُحاول بناء أدوات تُظهر "لماذا" قرّر النموذج ما قرّر. لكن هذه الأدوات نفسها تقريبية وقد تعطي تفسيرات مُضلِّلة. ورقة بحثية من جامعة واشنطن (2021) أثبتت أن بعض تفسيرات LIME لنماذج الائتمان كانت متناقضة مع التفسيرات التي يُنتجها SHAP للنموذج ذاته.

📝 اختبار · الدرس 3

اختبار: من المسؤول؟

ثلاثة أسئلة لقياس فهمك

1. ما الحجة القانونية الرئيسية التي قبلتها المحكمة ضد Uber في قضية التحقق من الهوية؟
✓ صحيح. الحجة لم تكن أن التمييز كان متعمدًا، بل أن القرار الآلي أثّر في حقوق قانونية دون تفسير وإمكانية طعن — وهو انتهاك صريح لـ GDPR.
✗ غير صحيح. المحكمة لم تشترط إثبات النية. المشكلة كانت غياب الشفافية وآلية الطعن في القرار الآلي.
2. ما المقصود بـ "فجوة المساءلة" في أنظمة الذكاء الاصطناعي؟
✓ صحيح. فجوة المساءلة تنشأ حين لا يوجد طرف واحد يمكنه الإجابة بشكل كامل على سؤال "لماذا اتُّخذ هذا القرار؟".
✗ غير صحيح. فجوة المساءلة مصطلح حوكمة يصف صعوبة إسناد المسؤولية حين يكون القرار مُوزَّعًا بين جهات متعددة.
3. لماذا أدوات XAI (الذكاء الاصطناعي القابل للتفسير) ليست حلًا كاملًا لمشكلة المساءلة؟
✓ صحيح. دراسة جامعة واشنطن أثبتت أن LIME وSHAP قد يُنتجان تفسيرات متناقضة للنموذج ذاته، مما يُقلّل من موثوقية هذه التفسيرات كأدلة قاطعة للمساءلة.
✗ غير صحيح. المشكلة الجوهرية في XAI أن التفسيرات نفسها غير مضمونة الدقة، وقد تتعارض بين أدوات مختلفة.
🧪 مختبر · الدرس 3

مختبر: المساءلة والقرارات الآلية

ناقش سيناريوهات المسؤولية في أنظمة الذكاء الاصطناعي الحقيقية

من يتحمّل المسؤولية؟

ستناقش مع المساعد كيفية توزيع المسؤولية حين يُخطئ نظام ذكاء اصطناعي، ومن يتحمّل التبعة في سياقات مختلفة.

جرّب أن تسأل: "إذا أخطأ نظام ذكاء اصطناعي في تشخيص مريض — من المسؤول؟" — أو "كيف يمكن تصميم نظام يجعل المساءلة واضحة؟"
🤖 مساعد أكاديمية AESOP الدرس 3 · المساءلة
🎯 متقدم · الدرس 4

التحيز داخلًا، التحيز خارجًا

كيف تدخل الانحيازات في الأنظمة، وكيف تُضخَّم على نطاق واسع.

هل يمكن لنظام أن يكون غير عادل دون قصد؟

في عام 2015، لاحظ مستخدمون أن تطبيق Photos من Google كان يُصنّف صور الأفراد ذوي البشرة الداكنة ضمن تصنيف غير لائق. أعلن Google أنه "يعمل على الإصلاح". في عام 2018، نشرت باحثة MIT وشركة مايكروسوفت جوي بولامويني وتيمنيت غبرو نتائج دراسة Gender Shades: نماذج التعرف على الجنس من ثلاث شركات كبرى أخطأت في تصنيف النساء ذوات البشرة الداكنة بنسبة تصل إلى 34.7% — مقارنةً بأقل من 1% للرجال ذوي البشرة الفاتحة. سبب الخلل: مجموعات بيانات التدريب كانت تحتوي أساسًا على وجوه ذكور بيضاء.

مصادر التحيز: ما قبل النمذجة

التحيز لا ينشأ من "خطأ" في الكود — بل من الاختيارات التي تسبق كتابة سطر واحد من الكود. من يجمع البيانات؟ من يُعلّق عليها؟ من يُقرّر ماذا تعني "الإجابة الصحيحة"؟ هذه قرارات بشرية، ومعها يدخل التحيز البشري.

  • تحيز الاختيار: مجموعة البيانات لا تمثّل التنوع الكامل للحالات التي سيواجهها النموذج.
  • تحيز التغليف: البيانات التاريخية تعكس قرارات سابقة كانت هي ذاتها متحيزة.
  • تحيز التصنيف: المُصنِّفون البشريون يُسقطون افتراضاتهم على التسميات.
  • تحيز القياس: ما يُقاس ليس بالضرورة ما يُمثّل الظاهرة الحقيقية.
تضخيم التحيز على نطاق واسع

حين ينتشر نموذج متحيز على نطاق واسع، يتضاعف الضرر. المشكلة ليست خطأ فرديًا يصيب شخصًا واحدًا — بل نمط منهجي يصيب ملايين في كل مرة يُستخدم فيها النموذج. وكلما اعتمدت الجهات المستخدمة عليه دون تدقيق، كلما رسّخت التحيز وأعطته سلطة مؤسسية.

نموذج التضخيم

دراسة من جامعة فيرجينيا (2017) على نماذج الوصف التلقائي للصور: حين تضمّنت صور المطابخ نساءً بنسبة 33%، رفع النموذج هذه النسبة إلى 68% في تنبؤاته. النموذج لم ينسخ التحيز فقط — بل ضاعفه لأنه تعلّم الارتباطات السياقية.

التحيز في البيانات العربية واللغة

للغات غير الإنجليزية سياق خاص. معظم نماذج اللغة الكبيرة تدرّبت أساسًا على النص الإنجليزي، مما يعني أن معالجتها للعربية تحمل انحيازات مزدوجة: الانحياز الحضاري الغربي في فهم السياقات، وضعف التمثيل الكمّي لتنوع اللهجات والثقافات العربية. أبحاث مركز قطر للذكاء الاصطناعي (QCAI 2023) وثّقت أن أداء نماذج كبرى على الأسئلة الثقافية العربية كان أدنى بـ 18-22% مقارنةً بالأسئلة الإنجليزية المكافئة.

📝 اختبار · الدرس 4

اختبار: التحيز داخلًا، التحيز خارجًا

ثلاثة أسئلة لقياس فهمك

1. ما الذي كشفته دراسة Gender Shades (2018)؟
✓ صحيح. الفجوة الكبيرة في الدقة كانت نتيجة مباشرة لتحيز الاختيار في بيانات التدريب التي كانت تحتوي أساسًا على وجوه ذكور بيضاء.
✗ غير صحيح. الدراسة وثّقت فجوة كبيرة جدًا في الدقة تبعًا للجنس ولون البشرة، ناجمة عن عدم توازن بيانات التدريب.
2. ما "تحيز التغليف" (Historical Bias)؟
✓ صحيح. نظام توظيف أمازون مثال كلاسيكي: تعلّم من قرارات توظيف تاريخية كانت هي ذاتها منحازة، فنقل وضخّم هذه التحيزات.
✗ غير صحيح. تحيز التغليف يصف كيف تحمل البيانات التاريخية بصمات التمييز البشري الماضي، فيتعلمها النموذج باعتبارها "أنماطًا صحيحة".
3. ما الظاهرة التي وثّقتها دراسة جامعة فيرجينيا حول وصف الصور؟
✓ صحيح. ظاهرة تضخيم التحيز تُظهر أن النموذج لا ينسخ الانحياز البشري فحسب، بل قد يُفاقمه حين يعمّم الارتباطات السياقية على نطاق واسع.
✗ غير صحيح. الدراسة وثّقت أن النموذج رفع نسبة ارتباط النساء بالمطابخ من 33% في البيانات إلى 68% في تنبؤاته — تضخيم لا مجرد انعكاس.
🧪 مختبر · الدرس 4

مختبر: التحيز في بيانات الذكاء الاصطناعي

استكشف مصادر التحيز وكيفية الكشف عنه

تحليل مصادر التحيز

ستناقش مع المساعد الذكي أين يختبئ التحيز في أنظمة الذكاء الاصطناعي وما الطرق العملية للكشف عنه وتقليصه.

جرّب أن تسأل: "كيف يمكن اختبار نموذج للكشف عن التحيز قبل النشر؟" — أو "ما أنواع التحيز الأصعب اكتشافًا ولماذا؟"
🤖 مساعد أكاديمية AESOP الدرس 4 · التحيز في البيانات
🎯 متقدم · الدرس 5

العدالة والذكاء الاصطناعي

تعريف العدالة في الأنظمة الآلية: مفاهيم متعددة، تناقضات حقيقية، قرارات صعبة.

ماذا يعني أن يكون الذكاء الاصطناعي «عادلاً»؟

عام 2016، وثّقت صحيفة ProPublica أن نظام COMPAS المستخدم في المحاكم الأمريكية لتقدير خطر العودة للجريمة يُظهر تحيزًا عرقيًا: الأشخاص السود الذين لم يرتكبوا جرائم لاحقًا صُنِّفوا "عاليي الخطورة" بمعدل ضعف المعدل لنظرائهم البيض. ردّت الشركة المطوّرة Northpointe بأن النموذج "عادل" لأن معدلات الدقة الإجمالية متساوية بين المجموعتين. كلا الادعاءين كان صحيحًا رياضيًا في آنٍ واحد. هذا ليس تناقضًا ظاهريًا — إنه تناقض حقيقي بين تعريفات مختلفة للعدالة.

تعريفات العدالة المتنافسة

الباحثون حدّدوا أكثر من 20 تعريفًا رياضيًا مختلفًا للعدالة. المشكلة ليست أن التعريفات غامضة — بل أنها أُثبت رياضيًا أنه لا يمكن تحقيق بعضها معًا في آنٍ واحد حين تختلف معدلات الحوادث بين المجموعات.

  • تكافؤ الدقة (Calibration): نفس نسبة الصحة لكل مجموعة. استخدمته Northpointe دفاعًا.
  • تكافؤ معدل الخطأ الإيجابي الكاذب: نفس نسبة التصنيف الخاطئ كـ"عالي الخطورة" بين المجموعتين. هذا ما وثّقته ProPublica.
  • تكافؤ الفرص: نفس معدل التعرف الصحيح على الحالات الفعلية عبر المجموعات.
  • الإنصاف الفردي: الأفراد المتشابهون يتلقون معاملة متشابهة.
مبرهنة Chouldechova (2017)

أثبتت الباحثة أنا شولديتشوفا رياضيًا أنه حين تختلف معدلات الجريمة بين مجموعتين، يستحيل تحقيق تكافؤ الدقة وتكافؤ معدلات الخطأ في آنٍ واحد. العدالة ليست مسألة حل تقني — بل قرار قيمي حول ما نُعظّمه.

العدالة الإجرائية مقابل العدالة التوزيعية

ثمة بُعد ثانٍ للعدالة لا يلتقطه أي مقياس رياضي: هل كانت العملية عادلة؟ الشخص الذي صُنِّف "عالي الخطورة" بناءً على عوامل لا يمكنه التحكم فيها — كمنطقته السكنية أو تاريخ عائلته — يُطرح سؤال: هل من العدل معاقبته على ما لم يختره؟

هذا التمييز بين العدالة الإجرائية (كيف اتُّخذ القرار؟) والعدالة التوزيعية (هل نتائج القرار موزّعة بإنصاف؟) يُفرز توترات حقيقية في تصميم الأنظمة. نموذج قد يكون إجرائيًا عادلًا (طبّق معيارًا موحّدًا) لكنه توزيعيًا ظالمًا (أفضى إلى نتائج غير متكافئة).

ماذا يعني هذا للمهندسين والسياسيين؟

لا يمكن اختزال العدالة في مقياس رياضي واحد واعتبار المسألة محلولة. القرار بشأن أي تعريف للعدالة يُطبَّق هو قرار سياسي وأخلاقي، وينبغي أن يخضع للنقاش العام لا أن يُدفن في تحيزات تقنية. المهندس الذي يختار مقياسًا بدلًا من آخر يتخذ قرارًا أخلاقيًا، حتى لو لم يُدرك ذلك.

📝 اختبار · الدرس 5

اختبار: العدالة والذكاء الاصطناعي

ثلاثة أسئلة لقياس فهمك

1. ما الذي أثبتته مبرهنة Chouldechova (2017) رياضيًا؟
✓ صحيح. هذا التناقض الرياضي يعني أن اختيار تعريف العدالة هو قرار قيمي لا تقني — ولا توجد "إجابة صحيحة" موضوعية.
✗ غير صحيح. المبرهنة أثبتت التناقض الرياضي بين تعريفَين محددَين للعدالة حين تختلف المعدلات الأصلية بين المجموعات.
2. كلا ادعاءَي ProPublica وNorthpointe حول COMPAS كانا صحيحَين رياضيًا. ما الدلالة العميقة لهذا؟
✓ صحيح. هذا قلب الدرس: العدالة قرار سياسي وأخلاقي، وإخفاؤه في خيارات تقنية لا يجعله محايدًا.
✗ غير صحيح. كلا الطرفين كان يُطبّق تعريفًا مختلفًا للعدالة، وكلاهما كان صادقًا. المشكلة أن هذا الاختيار لم يُناقَش علنًا.
3. ما الفرق بين العدالة الإجرائية والعدالة التوزيعية؟
✓ صحيح. نموذج يُطبّق معيارًا موحّدًا (إجرائيًا عادل) قد يُفضي إلى نتائج غير متكافئة بين المجموعات (توزيعيًا غير عادل).
✗ غير صحيح. ثمة تمييز جوهري: الإجرائية تسأل "كيف اتُّخذ القرار؟" والتوزيعية تسأل "هل نُوزِّعت النتائج بإنصاف؟".
🧪 مختبر · الدرس 5

مختبر: تعريفات العدالة في الذكاء الاصطناعي

ناقش التوترات بين تعريفات العدالة المختلفة

استكشاف مفهوم العدالة

ستناقش مع المساعد التوترات الحقيقية بين تعريفات العدالة المختلفة في سياقات الذكاء الاصطناعي العملية.

جرّب أن تسأل: "إذا كان نظام قبول جامعي عادلًا إجرائيًا لكن يُفضي لعدم مساواة — هل يجب تغييره؟" — أو "كيف تختار أي تعريف للعدالة يناسب تطبيقًا بعينه؟"
🤖 مساعد أكاديمية AESOP الدرس 5 · العدالة في الذكاء الاصطناعي
🎯 متقدم · الدرس 6

أنماط الفشل والتخفيف

كيف تفشل الأنظمة، وما الاستراتيجيات الهندسية لتقليل الضرر؟

كيف يمكننا تقليل أخطاء الذكاء الاصطناعي؟

في مارس 2018، قتلت سيارة أوبر ذاتية القيادة المُختبَرة المشاة إليين هرزبرغ في أريزونا. التحقيق الذي أجرته هيئة سلامة المواصلات الوطنية (NTSB) كشف عن سلسلة من أنماط الفشل المتداخلة: النظام رصد هرزبرغ قبل 5.6 ثوانٍ من الاصطدام لكنه لم يُعالج التصنيف بشكل صحيح (صُنِّفت أولًا "غير محددة"، ثم "مركبة"، ثم "دراجة"). كانت خاصية الفرملة التلقائية معطّلة أثناء التجارب. المشغّلة البشرية لم تكن تُراقب الطريق. لم يكن أي فشل منفرد كافيًا لإحداث الحادث — كان اجتماع فشل التصنيف، وتعطيل الفرملة، وغياب الرقابة البشرية.

تصنيف أنماط الفشل

الأنظمة المعقدة نادرًا ما تفشل بسبب خطأ واحد. هندسة السلامة تُصنّف أنماط الفشل ضمن عدة فئات:

  • فشل التصنيف: النموذج يُسيء تصنيف مدخل حرج — كما حدث في حادثة أوبر.
  • فشل الحدّ (Edge Case Failure): النموذج يعمل بشكل صحيح في الحالات الشائعة لكنه ينهار في حالات نادرة لم تكن كافية في بيانات التدريب.
  • فشل التوزيع: الحالة الجديدة تختلف اختلافًا جوهريًا عن توزيع بيانات التدريب.
  • فشل التكوين: مكونات عدة تعمل بشكل فردي صحيح لكنها تتفاعل بشكل خاطئ.
  • فشل الإنسان-الآلة: المشغّل البشري لا يفهم حالة النظام أو ينعدم انتباهه (التخدير بالأتمتة).
استراتيجيات التخفيف

لا يوجد نظام بلا أخطاء. الهدف هو تصميم أنظمة تفشل بشكل آمن وقابل للاسترداد:

الدفاع العميق (Defense in Depth)

طبقات متعددة من الضمانات بحيث لا يكون فشل طبقة واحدة كارثيًا. لو كانت الفرملة التلقائية في سيارة أوبر مُفعَّلة، لكان خطأ التصنيف وحده غير كافٍ.

  • الفشل الآمن (Fail-Safe): النظام يعود لحالة آمنة عند الفشل بدلًا من الاستمرار بشكل خاطئ.
  • حدود الثقة: النموذج يُشير حين لا يكون واثقًا بدلًا من إنتاج إجابة خاطئة بثقة.
  • تدخّل بشري للحالات الحرجة: القرارات ذات المخاطر العالية تُعاد لمشغّل بشري.
  • مراقبة الإنتاج: رصد مستمر لانحراف النموذج عن أدائه المتوقع.
  • الاختبار في الحالات النادرة: بناء مجموعات اختبار مخصصة للحالات الحرجة، ليس فقط التوزيع الطبيعي.
التخدير بالأتمتة: المشكلة الإنسانية

حين يعمل النظام بشكل صحيح 99% من الوقت، يتراجع انتباه المشغّل البشري تدريجيًا. وهذا بالضبط هو وقت أن يكون الإنسان في أشد الحاجة للانتباه — الـ 1% من الحالات الصعبة. هذه الظاهرة موثّقة في الطيران والطب والقيادة الذاتية. الحل ليس إزالة الإنسان — بل تصميم واجهات تُبقي الإنسان في حالة تنبّه حقيقية.

📝 اختبار · الدرس 6

اختبار: أنماط الفشل والتخفيف

ثلاثة أسئلة لقياس فهمك

1. ما الدرس الرئيسي من تحقيق NTSB في حادثة سيارة أوبر الذاتية (2018)؟
✓ صحيح. هذا النمط — حين تتضافر أخطاء متعددة لتُنتج كارثة — يُسمّى "حادث السويسرية" (Swiss Cheese Accident) في هندسة السلامة.
✗ غير صحيح. التحقيق وثّق ثلاثة إخفاقات متداخلة: التصنيف، وتعطيل الفرملة، وغياب الرقابة — أي منها منفردًا ربما لم يُفضِ للكارثة.
2. ما "التخدير بالأتمتة" (Automation Complacency)؟
✓ صحيح. التخدير بالأتمتة ظاهرة موثّقة في الطيران والطب والقيادة الذاتية، وتُمثّل تحديًا تصميميًا رئيسيًا في أنظمة الإنسان-الآلة.
✗ غير صحيح. التخدير بالأتمتة يصف تراجع اليقظة البشرية نتيجة الاعتماد المفرط على النظام الآلي.
3. ما مبدأ "الدفاع العميق" في سياق أنظمة الذكاء الاصطناعي؟
✓ صحيح. الدفاع العميق يأتي من هندسة الأمن السيبراني والطيران، ويُطبَّق على أمان الذكاء الاصطناعي بنفس المنطق: الأنظمة المعقدة تحتاج طبقات حماية متعددة.
✗ غير صحيح. الدفاع العميق يعني تعدد الضمانات لا الاعتماد على ضمانة واحدة قوية.
🧪 مختبر · الدرس 6

مختبر: تصميم الأنظمة الآمنة

ناقش استراتيجيات التخفيف وتصميم الفشل الآمن

هندسة السلامة في الذكاء الاصطناعي

ستناقش مع المساعد كيفية تصميم أنظمة ذكاء اصطناعي تفشل بشكل آمن وتُقلّل من الضرر عند حدوث أخطاء.

جرّب أن تسأل: "كيف يمكن تصميم نظام طبي بالذكاء الاصطناعي يفشل بأمان؟" — أو "ما الفرق بين الفشل الآمن والفشل الكارثي؟"
🤖 مساعد أكاديمية AESOP الدرس 6 · أنماط الفشل والتخفيف
🎯 متقدم · الدرس 7

الهجمات العدائية والتلاعب

حين يُستهدف الذكاء الاصطناعي عمدًا: الهجمات العدائية ومهندسو الالتفاف.

هل يمكن خداع الذكاء الاصطناعي عمداً؟

في عام 2017، أثبت باحثون في جامعة UC Berkeley أنه يمكن إضافة تشويه بصري غير مرئي للعين البشرية إلى صورة "باندا" فيُصنّفها نموذج TensorFlow بثقة 99.3% على أنها "جِبّون". الإضافة كانت مجرد ضجيج رقمي بمقدار ضئيل جدًا — غير محسوس بصريًا لأي إنسان. هذه "الأمثلة العدائية" (Adversarial Examples) ليست خيالًا علميًا: في 2019 أثبت باحثون أنه يمكن خداع نماذج التعرف على الوجوه في أنظمة المطارات باستخدام ملصقات خاصة مطبوعة على الملابس. وفي 2022، وثّق باحثون التلاعب بنماذج اكتشاف البرمجيات الضارة باستخدام مدخلات مُصمَّمة بعناية.

ما هي الهجمات العدائية؟

الهجوم العدائي هو تعديل مدروس ودقيق على المدخلات يُضلّل النموذج مع بقائه غير ملحوظ للإنسان. لفهم لماذا تعمل هذه الهجمات، يجب فهم كيف يتعلم النموذج: النموذج يُحسّن معاملاته للتمييز بين الأنماط الإحصائية. ما يبدو "مختلفًا" للإنسان (باندا مقابل جِبّون) قد يكون متطابقًا إحصائيًا من منظور النموذج، وما يبدو للإنسان إضافة ضئيلة قد يُغيّر التمثيل الرياضي للصورة جذريًا.

FGSM: الهجوم الأبسط

طريقة Fast Gradient Sign Method تحسب اتجاه التعديل الذي يُعظّم خطأ النموذج، ثم تُضيف تشويشًا ضئيلًا في هذا الاتجاه. النتيجة: صورة تبدو مطابقة للأصل لكن النموذج يُصنّفها بشكل مختلف كليًا.

أنواع التلاعب بالأنظمة

الهجمات العدائية جزء من منظومة أوسع من أساليب التلاعب:

  • حقن البيانات (Data Poisoning): إدخال بيانات تدريب مُسمَّمة لتغيير سلوك النموذج طويل المدى. مثّلت هذه الطريقة تهديدًا حقيقيًا لنماذج التعلم الاتحادي.
  • هجمات التحويل (Transfer Attacks): هجوم صُمِّم على نموذج مفتوح المصدر ينجح على نموذج مغلق لم يُختبر عليه مباشرةً — وهو ما يُسمى قابلية النقل.
  • حقن الأوامر (Prompt Injection): في نماذج اللغة، إدراج تعليمات خفية في النص تُوجّه النموذج لتجاوز قيوده أو الكشف عن معلومات حساسة.
  • هجمات الاستخراج (Model Extraction): استنتاج بنية أو بيانات تدريب النموذج من خلال استجواب مخرجاته بشكل منهجي.
الدفاعات وحدودها

أبرز الدفاعات المقترحة: التدريب العدائي (تدريب النموذج على أمثلة مُشوَّشة لتحصينه)، والشهادة (إثبات رياضي لمقاومة تشويه بمقدار محدد)، والكشف عن التشوّه. لكن كل دفاع حتى الآن قابل للاختراق بهجوم مُعدَّل. التنافس بين المهاجمين والمدافعين لا يزال جاريًا، وعمومًا الهجوم أسهل تصميمًا من الدفاع.

الأثر العملي

في سياقات اكتشاف البريد الإلكتروني الاحتيالي والتعرف على الوجوه والمركبات الذاتية، الهجمات العدائية ليست نظرية أكاديمية — بل تهديد أمني نشط يُعمل عليه في الصناعة والأجهزة الأمنية.

📝 اختبار · الدرس 7

اختبار: الهجمات العدائية والتلاعب

ثلاثة أسئلة لقياس فهمك

1. ما الخاصية الأبرز في الأمثلة العدائية الموثّقة في تجربة "الباندا والجِبّون"؟
✓ صحيح. هذه هي خاصية الأمثلة العدائية: تعديل ضئيل رياضيًا في اتجاه مُحسَّب يُضلّل النموذج كليًا دون أن يلاحظه الإنسان.
✗ غير صحيح. الأمثلة العدائية تتميز بكونها غير ملحوظة بصريًا للإنسان رغم تأثيرها الكبير على تصنيف النموذج.
2. ما "حقن الأوامر" (Prompt Injection) في نماذج اللغة الكبيرة؟
✓ صحيح. حقن الأوامر يُمثّل تهديدًا أمنيًا نشطًا للتطبيقات المبنية على نماذج اللغة الكبيرة، خاصةً حين تتعامل مع مدخلات مستخدمين غير موثوقين.
✗ غير صحيح. حقن الأوامر هو استغلال قدرة النماذج اللغوية على اتباع التعليمات المضمّنة في النص لتجاوز القيود المقصودة.
3. لماذا التدريب العدائي ليس حلًا كاملًا للهجمات العدائية؟
✓ صحيح. ديناميكية الهجوم والدفاع في الأمثلة العدائية تُشبه سباق التسلح: الهجوم يتكيف مع الدفاع والعكس، وعمومًا التصميم الهجومي أسهل من التصميم الدفاعي.
✗ غير صحيح. المشكلة الأعمق هي قابلية التكيّف: الهجمات تتطور لتجاوز الدفاعات القائمة باستمرار.
🧪 مختبر · الدرس 7

مختبر: الهجمات العدائية في الواقع

استكشف كيف يُضلَّل الذكاء الاصطناعي عمدًا

تحليل التلاعب بالأنظمة

ستناقش مع المساعد كيف تعمل الهجمات العدائية، وما الدفاعات الممكنة، وما الانعكاسات الأمنية الحقيقية لهذه التهديدات.

جرّب أن تسأل: "ما الفرق بين الهجوم العدائي وحقن البيانات المسمومة؟" — أو "كيف يمكن للمنظمات حماية نماذجها من هجمات الاستخراج؟"
🤖 مساعد أكاديمية AESOP الدرس 7 · الهجمات العدائية
🎯 متقدم · الدرس 8

تقييم ومراجعة أنظمة الذكاء الاصطناعي

من الاختبار الداخلي إلى التدقيق المستقل: بناء ثقة موثّقة لا مُدَّعاة.

كيف تقيّم ما إذا كان الذكاء الاصطناعي موثوقاً؟

في أبريل 2019، نشرت منظمة Upturn تقريرًا حول نظام ShotSpotter المستخدم في عشرات المدن الأمريكية للكشف عن إطلاق النار صوتيًا. كشف التقرير أن الشركة تسمح لموظفيها بمراجعة التصنيفات الآلية وتعديلها يدويًا حسب "السياق"، لكن هذه التعديلات لم تكن مُوثَّقة أو شفافة. في إحدى القضايا، غيّرت الشركة تصنيف تسجيل من "غير محدد" إلى "إطلاق نار" بعد طلب المدعي العام — وقُدِّمت هذه النتيجة في المحكمة كـ"دليل آلي". في 2021، ألغت مدينة شيكاغو عقدها مع ShotSpotter بعد مراجعة مستقلة وجدت معدل إنذارات كاذبة مرتفعًا جدًا.

الفرق بين التحقق والتدقيق

التحقق الداخلي (Validation) يُجيب على سؤال: "هل يعمل النموذج كما صممناه؟" التدقيق المستقل (Audit) يُجيب على سؤال أوسع: "هل يجب أن يُستخدم هذا النموذج؟ وفي هذا السياق؟ وبهذه الطريقة؟" قضية ShotSpotter تُظهر ماذا يحدث حين يُقدَّم التحقق الداخلي على أنه تدقيق مستقل.

مستويات التقييم

الاختبار التقني: الدقة، الاسترجاع، منحنيات ROC على مجموعات اختبار قياسية.
تقييم العدالة: أداء النموذج مقطوعًا على المجموعات الديموغرافية.
اختبار الضغط: الحالات الحرجة، تحوّل التوزيع، الهجمات العدائية.
تدقيق السياق: هل الاستخدام المقصود مناسب؟ هل هناك ضمانات كافية؟
التدقيق المستمر: مراقبة الأداء في الإنتاج بعد النشر.

بطاقات النموذج (Model Cards) وأوراق البيانات

في 2018، اقترحت باحثات Google بقيادة مارغريت ميتشل مفهوم "بطاقة النموذج" (Model Card): وثيقة مُوحَّدة تُرافق كل نموذج منشور وتشمل: الغرض المقصود، القيود، الأداء مقسّمًا على الفئات الفرعية، والتوصيات بأنواع الاستخدام المناسب وغير المناسب. الفكرة مستوحاة من بطاقات التغذية على العبوات الغذائية — شفافية مُوحَّدة للمستهلك.

موازيًا لذلك، اقترحت تيمنيت غبرو وزميلاتها مفهوم "أوراق البيانات" (Datasheets for Datasets): توثيق مُوحَّد لمجموعات البيانات يشمل كيف جُمعت، ومَن جمعها، وما القيود، وما الاستخدامات المناسبة. الفكرتان أصبحتا معيارًا مُعتمدًا في كبرى الشركات وبعض الأطر التنظيمية.

التدقيق الخارجي: التحديات والمتطلبات

التدقيق الخارجي الفعّال يستلزم: الوصول لبيانات التدريب والاختبار والكود ووثائق القرارات التصميمية. الشركات تُقاوم هذا لأسباب تنافسية وأمنية. نظام اللائحة الأوروبية للذكاء الاصطناعي (AI Act) يُلزم الأنظمة عالية الخطورة بتدقيق قبل الطرح في السوق، مع الحفاظ على السرية التجارية من خلال هيئات معتمدة.

التدقيق الخوارزمي في العالم العربي

هيئة الذكاء الاصطناعي السعودية (SDAIA) أصدرت إطار حوكمة الذكاء الاصطناعي 2023 الذي يشترط تقييم المخاطر والشفافية في الأنظمة الحكومية. الإمارات أعلنت عن استراتيجية ذكاء اصطناعي مسؤول تشمل متطلبات تدقيق للقطاعات الحرجة. هذه خطوات أولى نحو منظومة مساءلة إقليمية.

📝 اختبار · الدرس 8

اختبار: تقييم ومراجعة الأنظمة

ثلاثة أسئلة لقياس فهمك

1. ما الإشكالية الجوهرية في قضية ShotSpotter كما وثّقتها منظمة Upturn؟
✓ صحيح. المشكلة الأعمق لم تكن دقة النظام فقط، بل كانت تقديم مخرجات ذات تدخّل بشري على أنها "نتيجة آلية موضوعية"، مما زيّف طبيعة الدليل المقدّم للقضاء.
✗ غير صحيح. الإشكالية الجوهرية كانت في الشفافية والتمثيل المضلّل لطبيعة الأدلة — تصنيفات مُعدَّلة يدويًا قُدِّمت كنتائج آلية موضوعية.
2. ما الفرق الرئيسي بين التحقق الداخلي (Validation) والتدقيق المستقل (Audit) لأنظمة الذكاء الاصطناعي؟
✓ صحيح. هذا التمييز جوهري: التحقق يُجيب على سؤال تقني ضيّق، بينما التدقيق يُجيب على أسئلة السياق والمناسبة والعدالة والضمانات.
✗ غير صحيح. الفارق الجوهري أن التحقق تقني وداخلي، أما التدقيق فهو تقييم مستقل أوسع يشمل الملاءمة الاجتماعية والأخلاقية.
3. ما الغرض من "بطاقة النموذج" (Model Card) كما اقترحتها مارغريت ميتشل وزميلاتها؟
✓ صحيح. بطاقة النموذج هي أداة شفافية تُمكّن المستخدمين من اتخاذ قرارات مستنيرة حول مناسبة النموذج لاستخدام بعينه.
✗ غير صحيح. بطاقة النموذج هي وثيقة شفافية موحّدة تُرافق النشر وتُفصح عن الغرض والقيود والأداء التفصيلي.
🧪 مختبر · الدرس 8

مختبر: تدقيق أنظمة الذكاء الاصطناعي

ناقش إطارات التقييم ومتطلبات الشفافية

بناء منهجية تدقيق

ستناقش مع المساعد كيفية تصميم عملية تدقيق شاملة لنظام ذكاء اصطناعي، وما المعايير التي يجب قياسها ومن يجب أن يُجري التدقيق.

جرّب أن تسأل: "ما الأسئلة التي يجب طرحها عند تدقيق نظام ذكاء اصطناعي يُستخدم في القضاء؟" — أو "كيف يمكن للمواطن التحقق من عدالة نظام حكومي بالذكاء الاصطناعي؟"
🤖 مساعد أكاديمية AESOP الدرس 8 · تقييم ومراجعة الأنظمة

اختبار الوحدة 3

أحيانًا يُخطئ الذكاء الاصطناعي · 15 سؤالًا شاملًا

1. ما الفرق الجوهري بين "خطأ في الكود" و"خطأ في النموذج"؟
2. لماذا أُلغي مشروع التوظيف الآلي في أمازون؟
3. ما الذي يجعل "الجهل المفتوح" في نماذج اللغة أخطر من "الجهل المغلق"؟
4. ما الذي أثبتته قضية المحامي شواتز أمام المحكمة الفيدرالية؟
5. ما السبب الذي استندت إليه المحكمة البريطانية لإدانة Uber في قضية التحقق من الهوية؟
6. ما المقصود بـ "تحيز التضخيم" في سياق نماذج وصف الصور؟
7. ما نتيجة دراسة Gender Shades الأكثر أثرًا؟
8. ما مبرهنة Chouldechova وما دلالتها؟
9. ما درس "التخدير بالأتمتة" من حادثة سيارة أوبر الذاتية (2018)؟
10. ما أبرز خاصية في هجوم "باندا/جِبّون" العدائي؟
11. ما "حقن الأوامر" (Prompt Injection) وما خطورته؟
12. ما الإشكالية الأعمق التي كشفتها قضية ShotSpotter؟
13. ما الغرض من "بطاقة النموذج" (Model Card)؟
14. أيٌّ من التالي يُمثّل "فشل التكوين" في أنظمة الذكاء الاصطناعي؟
15. لماذا اختيار تعريف العدالة في نظام ذكاء اصطناعي هو قرار أخلاقي وليس تقنيًا فقط؟