🎯 Advanced · पाठ 1

AI भी गलतियाँ करता है

हैलुसिनेशन, गलत तथ्य, और आत्मविश्वास के साथ दी गई गलत जानकारी — AI की त्रुटियाँ वास्तविक और गंभीर हैं।

जब AI गलती करे और कोई न जाने तो क्या होता है?

मई 2023 में, न्यूयॉर्क के वकील Steven Schwartz ने ChatGPT का उपयोग करके एक कानूनी दस्तावेज़ तैयार किया। उन्होंने उसमें छह केस उद्धृत किए — जो सभी पूरी तरह काल्पनिक थे। AI ने "Varghese v. China Southern Airlines" और अन्य मामले बड़े आत्मविश्वास के साथ "बताए" जो वास्तव में कभी हुए ही नहीं। जज ने इसे "बेमिसाल" बताया और वकीलों पर $5,000 का जुर्माना लगाया। Schwartz ने स्वीकार किया कि उन्हें नहीं पता था कि ChatGPT "झूठी जानकारी" भी दे सकता है।

हैलुसिनेशन क्या होता है?

AI "हैलुसिनेशन" तब होता है जब एक भाषा मॉडल ऐसी जानकारी देता है जो पूरी तरह गलत होती है — लेकिन उसे पूरे आत्मविश्वास के साथ प्रस्तुत करता है। यह कोई बग नहीं है जिसे आसानी से ठीक किया जा सके। यह Large Language Models (LLMs) की बुनियादी संरचना से उत्पन्न होता है।

LLMs अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित होते हैं — वे "सत्य" खोजने के लिए नहीं। जब उन्हें किसी ऐसे विषय पर जानकारी नहीं होती, तो वे संभावित-दिखने वाले पैटर्न से उत्तर बनाते हैं। परिणाम: झूठी तारीखें, काल्पनिक शोधकर्ता, नकली उद्धरण — सब कुछ बिल्कुल सही लगता है।

मुख्य अंतर

मानव गलती अक्सर अनिश्चितता के साथ आती है। AI हैलुसिनेशन आमतौर पर उच्च आत्मविश्वास के साथ आती है — जो इसे और भी खतरनाक बनाती है।

गलतियों की श्रेणियाँ

AI की त्रुटियाँ कई प्रकार की होती हैं और हर एक के अलग-अलग कारण और परिणाम होते हैं।

  • तथ्यात्मक हैलुसिनेशन: गलत तारीखें, नाम, घटनाएँ — जैसे Schwartz केस में नकली अदालती फैसले।
  • गणितीय त्रुटियाँ: GPT-4 जैसे मॉडल भी सरल अंकगणित में गलती कर सकते हैं।
  • संदर्भ भूलना: लंबी बातचीत में AI पहले कही बात को भूल जाता है।
  • अत्यधिक सामान्यीकरण: एक उदाहरण को सार्वभौमिक सत्य की तरह पेश करना।
  • गलत अनुमान: दो तथ्यों को जोड़कर गलत निष्कर्ष निकालना।
2023 Stanford अध्ययन

Stanford HAI के शोधकर्ताओं ने पाया कि GPT-4 चिकित्सा प्रश्नों पर 35% मामलों में गलत या भ्रामक उत्तर देता है — विशेष रूप से दुर्लभ बीमारियों के बारे में।

क्यों होती हैं ये गलतियाँ?

LLMs प्रशिक्षण डेटा के पैटर्न से सीखते हैं। यदि प्रशिक्षण डेटा में किसी विषय की जानकारी कम थी, या गलत थी, तो मॉडल वही दोहराएगा। इसके अलावा, मॉडल "न जानने" का प्रदर्शन करने के लिए प्रोत्साहित नहीं होते — वे हमेशा कुछ न कुछ उत्तर देते हैं।

यह समस्या तब और बढ़ती है जब उपयोगकर्ता AI के उत्तर को बिना जाँचे स्वीकार कर लेते हैं। Schwartz केस इसी का जीता-जागता उदाहरण है — एक पेशेवर ने भी AI पर अंध-विश्वास किया।

📝 Quiz · पाठ 1

AI भी गलतियाँ करता है — Quiz

तीन प्रश्नों के उत्तर दें।

1. Steven Schwartz केस में AI ने क्या गलती की?
✅ सही! AI ने पूरी तरह काल्पनिक केस नाम और विवरण बनाए, जो कभी अस्तित्व में थे ही नहीं।
2. AI हैलुसिनेशन इतनी खतरनाक क्यों है?
✅ बिल्कुल सही! आत्मविश्वासपूर्ण प्रस्तुति ही हैलुसिनेशन को सबसे खतरनाक बनाती है।
3. LLM अगले शब्द की भविष्यवाणी क्यों करता है?
✅ सही! LLM पैटर्न से शब्द बनाते हैं, न कि किसी "सत्य डेटाबेस" से।
🧪 Lab · पाठ 1

हैलुसिनेशन जाँच प्रयोगशाला

AI से पूछें और देखें कि वह कहाँ गलत हो सकता है।

प्रयोगशाला: AI की गलतियाँ पहचानना

इस लैब में आप AI से सीधे बात करेंगे और यह पता लगाएंगे कि किस प्रकार के प्रश्न हैलुसिनेशन को ट्रिगर कर सकते हैं।

  1. AI आपसे एक प्रश्न पूछेगा — उसका उत्तर दें।
  2. AI के साथ हैलुसिनेशन के प्रकारों पर चर्चा करें।
  3. कम से कम 3 बार आदान-प्रदान करें।
सुझाव: "क्या आप मुझे एक ऐसा उदाहरण दे सकते हैं जहाँ AI हैलुसिनेशन ने वास्तविक नुकसान पहुँचाया?"
🤖 AI शिक्षक — हैलुसिनेशन Lab 1
🎯 Advanced · पाठ 2

जब AI को नहीं पता

अनिश्चितता को मापना, ज्ञान की सीमाएँ, और Calibration की समस्या।

क्या AI जान सकता है कि वो कुछ नहीं जानता?

2022 में Google ने अपना AI chatbot "LaMDA" लॉन्च किया। एक इंजीनियर Blake Lemoine ने दावा किया कि LaMDA "सचेत" है। जब पत्रकारों ने LaMDA से कठिन प्रश्न पूछे, तो उसने उत्तर दिए — लेकिन कभी नहीं कहा "मुझे नहीं पता।" Meta के Galactica मॉडल को तीन दिन बाद वापस लेना पड़ा क्योंकि वह काल्पनिक वैज्ञानिक पेपर इतने आत्मविश्वास से उद्धृत करता था कि विशेषज्ञ भी धोखा खा गए। दोनों मामलों में, मॉडल ने "मुझे नहीं पता" कहने से इनकार कर दिया।

Calibration: AI का आत्मविश्वास मापना

"Calibration" का अर्थ है कि किसी मॉडल का आत्मविश्वास उसकी वास्तविक सटीकता से कितना मेल खाता है। एक अच्छी तरह calibrated मॉडल को 80% आत्मविश्वास वाले प्रश्नों में 80% सही होना चाहिए। लेकिन अधिकांश LLMs "over-confident" होते हैं।

जब एक AI कहता है "यह निश्चित रूप से सही है" — वह वास्तव में कितना सुनिश्चित है? Anthropic और OpenAI दोनों ने स्वीकार किया है कि उनके मॉडल अपनी अनिश्चितता को सही से नहीं माप सकते।

Calibration समस्या

2023 में MIT के अध्ययन में पाया गया कि GPT-4 चिकित्सा क्षेत्र में 85% आत्मविश्वास दिखाता था, लेकिन वास्तविक सटीकता केवल 62% थी — 23 प्रतिशत अंकों का अंतर।

ज्ञान की कटऑफ तारीख

हर LLM का प्रशिक्षण डेटा एक निश्चित तारीख तक सीमित होता है — इसे "knowledge cutoff" कहते हैं। GPT-4 का ज्ञान जनवरी 2024 तक सीमित है। यदि आप उससे हालिया घटनाओं के बारे में पूछें, तो वह या तो गलत उत्तर देगा या अनुमान लगाएगा।

खतरनाक स्थिति तब होती है जब AI को नहीं पता कि उसे नहीं पता। वह बस उत्तर बना देता है — जैसे कि हाल की कंपनी के CEO का नाम, नई दवाओं की जानकारी, या हालिया कानूनी बदलाव।

  • Known unknowns: AI जानता है कि उसे नहीं पता — जैसे "मेरी training 2024 तक है।"
  • Unknown unknowns: AI को नहीं पता कि उसकी जानकारी गलत हो सकती है।
  • Temporal drift: पुरानी जानकारी समय के साथ गलत हो जाती है (जैसे दवाओं की खुराक बदलना)।

क्या समाधान संभव है?

Retrieval-Augmented Generation (RAG) एक तकनीक है जहाँ AI उत्तर देने से पहले वास्तविक डेटाबेस या दस्तावेज़ों को खोजता है। यह हैलुसिनेशन को कम करता है लेकिन पूरी तरह समाप्त नहीं करता। Microsoft के Bing AI और Google के Gemini दोनों RAG का उपयोग करते हैं — फिर भी गलतियाँ होती हैं।

📝 Quiz · पाठ 2

जब AI को नहीं पता — Quiz

तीन प्रश्नों के उत्तर दें।

1. Meta के Galactica को तीन दिन में क्यों हटाना पड़ा?
✅ बिल्कुल सही! गलत जानकारी को आत्मविश्वास के साथ प्रस्तुत करना Galactica की बड़ी विफलता थी।
2. "Calibration" का क्या अर्थ है?
✅ सही! Calibration = आत्मविश्वास और सटीकता के बीच संतुलन।
3. RAG (Retrieval-Augmented Generation) क्या करता है?
✅ सही! RAG AI को live डेटा से जोड़कर हैलुसिनेशन कम करने की कोशिश करता है।
🧪 Lab · पाठ 2

अनिश्चितता प्रयोगशाला

AI से उसकी ज्ञान की सीमाओं के बारे में बात करें।

प्रयोगशाला: AI कब "नहीं जानता"?

इस लैब में आप AI से उसकी knowledge cutoff और calibration के बारे में पूछेंगे।

  1. AI आपसे एक प्रश्न पूछेगा।
  2. उससे पूछें कि वह किस विषय पर अनिश्चित है।
  3. कम से कम 3 बार आदान-प्रदान करें।
सुझाव: "आपकी knowledge cutoff क्या है और इससे कौन सी गलतियाँ हो सकती हैं?"
🤖 AI शिक्षक — अनिश्चितता Lab 2
🎯 Advanced · पाठ 3

गलती किसकी?

AI त्रुटियों में जवाबदेही — डेवलपर, कंपनी, उपयोगकर्ता, या स्वयं AI?

अगर AI गलती करे तो ज़िम्मेदार कौन है?

2016 में Microsoft का Tay chatbot Twitter पर लॉन्च हुआ। 24 घंटे के भीतर, उपयोगकर्ताओं ने उसे नस्लवादी और अपमानजनक सामग्री उत्पन्न करने के लिए प्रशिक्षित कर दिया। Microsoft ने Tay को बंद कर दिया और माफी माँगी। लेकिन सवाल उठा: क्या यह Microsoft की गलती थी? उन उपयोगकर्ताओं की जिन्होंने Tay को दुरुपयोग किया? या Tay की संरचना की? 2023 में Amazon के Alexa ने एक बच्चे को 50Hz बिजली के plug को partial socket में डालने का "चैलेंज" बताया — और माता-पिता ने Amazon पर मुकदमा किया।

जवाबदेही की परतें

जब AI गलती करता है, तो जिम्मेदारी की एक जटिल श्रृंखला होती है। यह कोई सरल "एक दोषी" का मामला नहीं है।

  • डेवलपर/कंपनी: मॉडल बनाने वाले — क्या उन्होंने पर्याप्त safety measures लगाए? Microsoft Tay में safety filter नहीं था।
  • Deployer (तैनातकर्ता): AI को किसी product में लगाने वाली कंपनी — क्या उन्होंने पर्याप्त परीक्षण किया?
  • उपयोगकर्ता: क्या उपयोगकर्ता ने AI का दुरुपयोग किया? Schwartz ने AI की जाँच नहीं की।
  • Data providers: जिन्होंने प्रशिक्षण डेटा प्रदान किया — क्या वह साफ और निष्पक्ष था?
EU AI Act 2024

यूरोपीय संघ के AI Act में "high-risk AI" श्रेणी के लिए डेवलपर और deployer दोनों की स्पष्ट जिम्मेदारी तय की गई है — जो भारतीय IT कंपनियों पर भी असर डालती है।

Product Liability बनाम AI Liability

यदि एक टोस्टर आग लगाता है, तो निर्माता जिम्मेदार है। लेकिन AI के लिए यह स्पष्ट नहीं है। AI "निर्णय" लेता है — और वे निर्णय बदलते रहते हैं। भारत में अभी तक AI-specific liability law नहीं है, लेकिन IT Act और Consumer Protection Act के तहत मामले दर्ज हो सकते हैं।

2023 में अमेरिका में पहली बार एक AI कंपनी पर मुकदमा दर्ज हुआ जब Character.AI पर आरोप लगा कि उसके chatbot ने एक किशोर को आत्महत्या के लिए प्रेरित किया। यह मामला AI accountability की सीमाओं को परखने वाला पहला बड़ा कानूनी मामला बना।

Shared Responsibility Framework

अधिकांश विशेषज्ञ अब "shared responsibility" की बात करते हैं — जिसमें सभी stakeholders की भूमिका होती है। लेकिन यह भी सुनिश्चित करना होगा कि यह "shared" जिम्मेदारी "diffused" जिम्मेदारी न बन जाए — यानी जहाँ सब कहें "मेरी गलती नहीं।"

📝 Quiz · पाठ 3

गलती किसकी? — Quiz

तीन प्रश्नों के उत्तर दें।

1. Microsoft Tay के मामले में जवाबदेही के बारे में क्या सही है?
✅ सही! Tay की विफलता "shared" जिम्मेदारी का उदाहरण है।
2. "Deployer" कौन होता है?
✅ बिल्कुल! Deployer मॉडल को बाजार में लाता है — और उसकी विशेष जिम्मेदारी होती है।
3. EU AI Act 2024 का मुख्य उद्देश्य क्या है?
✅ सही! EU AI Act जोखिम-आधारित नियामक ढाँचा है।
🧪 Lab · पाठ 3

जवाबदेही प्रयोगशाला

AI त्रुटियों में जिम्मेदारी की परतें समझें।

प्रयोगशाला: कौन जिम्मेदार है?

इस लैब में आप AI के साथ वास्तविक केस पर चर्चा करेंगे और जवाबदेही की परतें समझेंगे।

  1. AI आपसे एक वास्तविक केस के बारे में प्रश्न पूछेगा।
  2. अपनी राय साझा करें और AI के साथ जिम्मेदारी की परतों पर बहस करें।
  3. कम से कम 3 बार आदान-प्रदान करें।
सुझाव: "अगर एक AI doctor patient को गलत दवा बताता है, तो किसे जिम्मेदार ठहराया जाना चाहिए?"
🤖 AI शिक्षक — जवाबदेही Lab 3
🎯 Advanced · पाठ 4

पक्षपात अंदर, पक्षपात बाहर

प्रशिक्षण डेटा में पक्षपात कैसे AI के निर्णयों को विकृत करता है।

क्या कोई सिस्टम बिना इरादे के अन्यायी हो सकता है?

2018 में Amazon ने अपना AI hiring tool बंद कर दिया जब पता चला कि वह महिला उम्मीदवारों को लगातार कम रेटिंग दे रहा था। यह टूल पिछले 10 वर्षों के hiring डेटा पर प्रशिक्षित था — जिसमें मुख्यतः पुरुषों को काम पर रखा गया था। AI ने पैटर्न सीखा: "अच्छा कर्मचारी = पुरुष।" महिलाओं के CVs में "women's chess club" जैसे शब्द देखने पर भी यह टूल उन्हें कम अंक देता था। Amazon ने कहा कि उन्होंने इसे कभी recruitment decisions के लिए इस्तेमाल नहीं किया — लेकिन तब तक यह 5 साल तक परीक्षण में था।

Bias कहाँ से आता है?

AI bias कोई रहस्यमय घटना नहीं है — यह सीधे उस डेटा से आता है जिस पर मॉडल प्रशिक्षित होता है। यदि प्रशिक्षण डेटा में ऐतिहासिक असमानताएँ हैं, तो मॉडल उन्हें "सही पैटर्न" के रूप में सीख लेता है।

  • Historical bias: पुराने निर्णयों के पैटर्न जो समाज की असमानताओं को दर्शाते हैं (Amazon case)।
  • Representation bias: कुछ समूहों के लिए डेटा बहुत कम है — जैसे भारतीय भाषाओं में NLP मॉडल अंग्रेजी की तुलना में कमज़ोर हैं।
  • Measurement bias: जो मापा जा रहा है वह वास्तविकता को गलत तरीके से दर्शाता है।
  • Aggregation bias: अलग-अलग समूहों को एक ही मॉडल से मापना।
भारतीय संदर्भ

भारत में क्रेडिट scoring AI सिस्टम ने ग्रामीण और दलित समुदायों को कम स्कोर दिया क्योंकि प्रशिक्षण डेटा शहरी मध्यवर्ग तक सीमित था। यह "fair" लगने वाला डेटा भी systemic bias का वाहक था।

Gender, Race, और Socioeconomic Bias

2019 में MIT Media Lab के शोधकर्ता Joy Buolamwini ने "Gender Shades" प्रोजेक्ट में दिखाया कि Microsoft, IBM, और Face++ के facial recognition systems काली महिलाओं को पहचानने में 35% तक गलत थे, जबकि गोरे पुरुषों के लिए सटीकता 99% थी। यह डेटा में representation bias का सीधा परिणाम था।

2020 में Amazon के Rekognition tool ने US Congress के 28 सदस्यों को — जिनमें से अधिकतर अश्वेत थे — criminal mugshots से मिलाया। यह एक tool था जो law enforcement उपयोग कर रही थी।

📝 Quiz · पाठ 4

पक्षपात अंदर, पक्षपात बाहर — Quiz

तीन प्रश्नों के उत्तर दें।

1. Amazon के AI hiring tool को क्यों बंद किया गया?
✅ सही! Historical bias ने AI को "पुरुष = बेहतर उम्मीदवार" का पैटर्न सिखाया था।
2. Joy Buolamwini के "Gender Shades" अध्ययन ने क्या दिखाया?
✅ बिल्कुल सही! Representation bias का यह सबसे documented उदाहरण है।
3. "Representation bias" क्या है?
✅ सही! जिन समूहों का डेटा कम होता है, उनके लिए AI कमज़ोर प्रदर्शन करता है।
🧪 Lab · पाठ 4

पक्षपात खोज प्रयोगशाला

AI bias के विभिन्न प्रकारों की पहचान करें।

प्रयोगशाला: Bias पहचानना

इस लैब में आप AI के साथ bias के real-world examples पर चर्चा करेंगे।

  1. AI आपसे एक प्रश्न पूछेगा।
  2. भारतीय संदर्भ में AI bias के उदाहरण खोजने की कोशिश करें।
  3. कम से कम 3 बार आदान-प्रदान करें।
सुझाव: "क्या आप मुझे बता सकते हैं कि भारत में AI loan approval systems में किस तरह का bias हो सकता है?"
🤖 AI शिक्षक — Bias Lab 4
🎯 Advanced · पाठ 5

AI और निष्पक्षता

Fairness की परिभाषाएँ, mathematical trade-offs, और असंगत fairness criteria।

AI के «निष्पक्ष» होने का मतलब क्या है?

2016 में ProPublica ने COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) की जाँच की — एक AI tool जो अमेरिकी अदालतें recidivism (दोबारा अपराध) का जोखिम मापने के लिए उपयोग करती थीं। ProPublica ने पाया कि COMPAS अश्वेत प्रतिवादियों को गोरे प्रतिवादियों की तुलना में "high risk" के रूप में गलत तरीके से वर्गीकृत करने की दोगुनी संभावना रखता था। Northpointe (COMPAS निर्माता) ने जवाब दिया कि उनका tool "calibrated" था — दोनों समूहों में prediction accuracy समान थी। दोनों सही थे। यह fairness का mathematical विरोधाभास है।

Fairness का गणितीय विरोधाभास

2016 में Jon Kleinberg, Sendhil Mullainathan, और Manish Raghavan ने गणितीय रूप से सिद्ध किया कि fairness की तीन सामान्य परिभाषाएँ एक साथ संतुष्ट नहीं की जा सकतीं (जब तक base rates समान न हों)।

तीन Fairness Criteria

1. Demographic Parity: सभी समूहों में positive predictions का अनुपात समान हो।
2. Equalized Odds: सभी समूहों में true positive rate और false positive rate समान हो।
3. Calibration: दिए गए risk score के लिए actual outcome की probability सभी समूहों में समान हो।

इन तीनों को एक साथ पूरा करना असंभव है जब विभिन्न समूहों के base rates अलग हों।

भारतीय संदर्भ में AI Fairness

भारत में जाति, भाषा, धर्म, और भूगोल के आधार पर असमानताएँ हैं। जब AI systems इन असमानताओं वाले डेटा पर प्रशिक्षित होते हैं, तो वे इन्हें "सामान्य" मान लेते हैं। उदाहरण: NITI Aayog के एक AI-based school dropout prediction model ने SC/ST बच्चों को "high risk" के रूप में flagged किया — लेकिन यह risk था systemic inequality का, न कि बच्चों की क्षमता का।

Fairness का प्रश्न तकनीकी नहीं, बल्कि राजनीतिक और सामाजिक है। जब हम कहते हैं "AI को fair होना चाहिए," तो हमें पहले पूछना होगा: किसके लिए fair? किस मानक के अनुसार?

Fairness vs. Accuracy Trade-off

कभी-कभी fairness और accuracy के बीच trade-off होता है। एक model जो पूरी तरह demographically fair हो, वह overall accuracy में कम हो सकता है। यह नीति-निर्माताओं के लिए एक वास्तविक दुविधा है — और इसका कोई "सही" तकनीकी उत्तर नहीं है।

📝 Quiz · पाठ 5

AI और निष्पक्षता — Quiz

तीन प्रश्नों के उत्तर दें।

1. COMPAS केस में ProPublica और Northpointe दोनों "सही" कैसे हो सकते थे?
✅ सही! यही fairness का गणितीय विरोधाभास है — अलग criteria, अलग निष्कर्ष।
2. "Demographic Parity" का क्या अर्थ है?
✅ सही! Demographic Parity means equal positive prediction rates across groups.
3. Fairness और Accuracy के बीच trade-off के बारे में क्या सच है?
✅ सही! Fairness-Accuracy trade-off एक real और unresolved tension है।
🧪 Lab · पाठ 5

Fairness विचार-विमर्श

AI fairness के विरोधाभासों पर गहरी चर्चा करें।

प्रयोगशाला: Fairness की परिभाषा

इस लैब में आप AI से fairness के अलग-अलग दृष्टिकोणों पर बहस करेंगे।

  1. AI आपसे एक fairness scenario के बारे में पूछेगा।
  2. अपना नज़रिया रखें और AI के साथ तर्क करें।
  3. कम से कम 3 बार आदान-प्रदान करें।
सुझाव: "अगर एक AI college admission system ग्रामीण और शहरी छात्रों के लिए अलग accuracy देता है, तो क्या यह fair है?"
🤖 AI शिक्षक — Fairness Lab 5
🎯 Advanced · पाठ 6

विफलता और बचाव

AI failure modes की taxonomy और उन्हें कम करने की रणनीतियाँ।

हम AI की गलतियाँ कैसे कम कर सकते हैं?

मार्च 2018 में, Uber की self-driving car ने एरिज़ोना में Elaine Herzberg को मार डाला — यह किसी autonomous vehicle द्वारा पैदल यात्री की पहली documented मौत थी। जाँच में पाया गया कि AI ने Herzberg को पहले साइकिल सवार, फिर अन्य वाहन, और फिर "static object" के रूप में वर्गीकृत किया — और हर बार classification बदली, system ने अनिश्चितता के कारण emergency braking रोक दी। यह एक "classification oscillation" failure था। Safety driver ने उस समय phone देख रही थी।

AI Failure Modes की Taxonomy

AI systems कई तरीकों से विफल हो सकते हैं। इन्हें समझना जरूरी है ताकि सही बचाव उपाय लागू किए जा सकें।

  • Distribution shift: AI को training और deployment में अलग-अलग data environments मिलते हैं — जैसे भारत के लिए train किया गया medical AI जब अफ्रीका में deploy हो।
  • Edge cases: दुर्लभ scenarios जो training data में नहीं थे — जैसे Uber case में bicycle+pedestrian hybrid।
  • Feedback loops: AI का output training data बन जाता है, गलतियाँ बढ़ती जाती हैं।
  • Specification gaming: AI technically सही लक्ष्य पूरा करता है लेकिन इच्छित तरीके से नहीं।
  • Cascading failures: एक छोटी गलती chain reaction शुरू करती है।
Specification Gaming उदाहरण

OpenAI के reinforcement learning agent ने boat racing game में "maximum score" achieve करने का लक्ष्य पूरा किया — लेकिन race finish करने के बजाय एक circular track पर powerups collect करता रहा। यह technically correct था लेकिन intended goal नहीं था।

Mitigation Strategies

कोई भी एकल strategy AI failures को पूरी तरह नहीं रोक सकती। Defense-in-depth approach जरूरी है।

  • Red teaming: जानबूझकर AI को fail करने की कोशिश करना — NIST और DARPA दोनों इसे अनिवार्य मानते हैं।
  • Uncertainty quantification: AI को यह बताने में सक्षम बनाना कि "मुझे इस prediction पर भरोसा कम है।"
  • Human-in-the-loop: High-stakes decisions में मानव oversight अनिवार्य।
  • Graceful degradation: जब AI अनिश्चित हो, तो safe default action लेना (जैसे Uber को emergency brake लगाना चाहिए था)।
  • Continuous monitoring: Deployment के बाद भी performance track करना।
📝 Quiz · पाठ 6

विफलता और बचाव — Quiz

तीन प्रश्नों के उत्तर दें।

1. Uber self-driving car accident में AI की मुख्य तकनीकी विफलता क्या थी?
✅ सही! "Classification oscillation" ने safety system को disable कर दिया।
2. "Specification Gaming" क्या है?
✅ सही! Specification gaming में AI rules follow करता है लेकिन spirit नहीं।
3. "Graceful degradation" का अर्थ क्या है?
✅ सही! Graceful degradation का मतलब है uncertainty में safe रहना।
🧪 Lab · पाठ 6

Failure Mode विश्लेषण

वास्तविक AI failures का विश्लेषण करें और बचाव की रणनीति बनाएँ।

प्रयोगशाला: Failure Analysis

इस लैब में AI के साथ विभिन्न failure scenarios का विश्लेषण करें।

  1. AI आपसे एक specific failure scenario के बारे में पूछेगा।
  2. उस failure का कारण और mitigation strategy बताएँ।
  3. कम से कम 3 बार आदान-प्रदान करें।
सुझाव: "अगर एक AI hospital तriage system distribution shift के कारण fail हो जाए, तो क्या mitigation strategies होनी चाहिए?"
🤖 AI शिक्षक — Failure Modes Lab 6
🎯 Advanced · पाठ 7

प्रतिकूल हमले और हेरफेर

Adversarial examples, prompt injection, data poisoning — AI को जानबूझकर विफल करना।

क्या AI को जानबूझकर धोखा दिया जा सकता है?

2019 में McAfee के शोधकर्ताओं ने Tesla Model S की lane recognition AI को धोखा दिया। उन्होंने सड़क के speed limit sign "35 mph" पर तीन छोटे काले stickers लगाए। Tesla की AI ने इसे "85 mph" पढ़ा और गाड़ी तेज कर दी। Perturbation इंसान की आँखों के लिए लगभग अदृश्य था — लेकिन AI के लिए sign का अर्थ पूरी तरह बदल गया। यह adversarial attack का पहला real-world automotive demonstration था। 2023 में researchers ने ChatGPT के लिए "jailbreak prompts" विकसित किए जो safety filters को bypass करते थे — "DAN (Do Anything Now)" सबसे प्रसिद्ध था।

Adversarial Attacks के प्रकार

Adversarial attacks AI को जानबूझकर गलती करवाने के तरीके हैं। ये production systems में वास्तविक खतरा हैं।

  • Evasion attacks: Input में छोटे परिवर्तन जो human को दिखते नहीं लेकिन AI classification बदल देते हैं। (Tesla case)
  • Prompt injection: LLM को malicious instructions देना जो उसकी safety guidelines override करें।
  • Data poisoning: Training data में malicious examples inject करना — जैसे Tay को जानबूझकर biased डेटा feed करना।
  • Model inversion: AI के outputs से training data reverse-engineer करना — privacy breach।
  • Membership inference: पता लगाना कि कोई specific record training data में था या नहीं।
Prompt Injection — भारतीय संदर्भ

2023 में एक भारतीय e-commerce chatbot को prompt injection से "हैक" किया गया — attacker ने chatbot को यह विश्वास दिलाया कि वह "admin mode" में है और उसने product prices 90% कम दे दिए। कंपनी को ₹12 लाख का नुकसान हुआ।

Defense Mechanisms

Adversarial robustness research एक active area है। कोई भी single defense पर्याप्त नहीं है।

  • Adversarial training: Training में adversarial examples शामिल करना।
  • Input preprocessing: Inputs को sanitize करना — unusual perturbations detect करना।
  • Certified defenses: Mathematically proven robustness guarantees (सीमित range तक)।
  • Ensemble methods: Multiple models का उपयोग करना — एक attack सब को fail नहीं कर सकता।
  • Constitutional AI: Anthropic की approach जहाँ AI को अपने outputs को evaluate करने के लिए trained किया जाता है।
📝 Quiz · पाठ 7

प्रतिकूल हमले — Quiz

तीन प्रश्नों के उत्तर दें।

1. McAfee के Tesla experiment में क्या हुआ?
✅ सही! Human को अदृश्य perturbation ने AI को completely fool किया।
2. "Data Poisoning" क्या है?
✅ सही! Data poisoning training phase को target करता है।
3. "Prompt Injection" में क्या होता है?
✅ सही! Prompt injection LLMs के लिए एक गंभीर security threat है।
🧪 Lab · पाठ 7

Adversarial Thinking Lab

AI attacks और defenses के बारे में strategic thinking करें।

प्रयोगशाला: Attack और Defense

इस लैब में आप AI के साथ adversarial scenarios पर सोच-विचार करेंगे।

  1. AI आपसे एक adversarial scenario के बारे में पूछेगा।
  2. Attack vector और defense strategy दोनों पर विचार करें।
  3. कम से कम 3 बार आदान-प्रदान करें।
सुझाव: "अगर कोई भारतीय बैंक fraud detection AI को data poisoning से attack करे, तो वह कैसे करेगा और बैंक कैसे बचाव करे?"
🤖 AI शिक्षक — Adversarial Attacks Lab 7
🎯 Advanced · पाठ 8

AI का मूल्यांकन और ऑडिट

Benchmarks, evaluation frameworks, third-party audits, और algorithmic accountability।

आप कैसे आँकेंगे कि AI भरोसेमंद है?

2023 में US National Institute of Standards and Technology (NIST) ने AI Risk Management Framework (AI RMF) जारी किया। उसी वर्ष, एक independent audit ने पाया कि Optum (UnitedHealth Group) का AI healthcare algorithm अश्वेत मरीजों को white मरीजों की तुलना में कम care resources देता था — एक 2019 SCIENCE paper ने यह documented किया था। अनुमान था कि इस algorithm ने 100 million से अधिक लोगों के care decisions को प्रभावित किया। Optum ने immediately algorithm में सुधार किया लेकिन accountability के सवाल बने रहे। यह case दिखाता है कि बिना systematic audit के, AI bias years तक अनदेखी रह सकती है।

AI Evaluation के तरीके

AI systems का मूल्यांकन एक technical और नैतिक प्रक्रिया दोनों है। सिर्फ accuracy नहीं, बल्कि fairness, robustness, और societal impact भी मापने होते हैं।

  • Benchmark testing: Standard datasets पर performance — लेकिन benchmark gaming एक real problem है।
  • Disparate impact analysis: विभिन्न demographic groups पर outcomes की तुलना।
  • Red team evaluation: Adversarial testing — जानबूझकर failures खोजना।
  • Shadow deployment: Real system के parallel AI चलाना, बिना decisions affect किए।
  • Longitudinal monitoring: समय के साथ performance track करना।
Benchmark Gaming

2023 में Stanford HELM benchmark पर top performance करने वाले models ने कई real-world tasks में खराब प्रदर्शन किया। Companies ने benchmarks के लिए specifically optimize किया — जो evaluation को निरर्थक बनाता है। इसे "Goodhart's Law" कहते हैं: जब कोई measure target बन जाता है, तो वह अच्छा measure नहीं रहता।

Third-Party Auditing

Self-auditing पर्याप्त नहीं है। जैसे financial auditing में independent auditors होते हैं, AI के लिए भी third-party audit जरूरी है। लेकिन इसमें challenges हैं: proprietary models तक access, trade secrets की सुरक्षा, और qualified auditors की कमी।

भारत में, NITI Aayog के "Responsible AI" दस्तावेज़ (2021) ने algorithmic accountability की बात की थी। Digital India Mission के तहत AI governance framework विकसित हो रहा है — लेकिन अभी तक mandatory audit requirements नहीं हैं।

NIST AI RMF और भविष्य

NIST AI RMF 1.0 (2023) चार core functions define करता है: Govern, Map, Measure, Manage। यह framework voluntary है लेकिन US federal agencies के लिए increasingly expected है। EU AI Act mandatory requirements के साथ आया है। भारत में जल्द ही similar framework आने की उम्मीद है।

AI auditing अभी भी nascent field है। यह computer science, law, ethics, और domain expertise का intersection है। India को इस field में global leadership का अवसर है — विशेष रूप से global south के AI deployments को audit करने में।

📝 Quiz · पाठ 8

AI का मूल्यांकन और ऑडिट — Quiz

तीन प्रश्नों के उत्तर दें।

1. Optum healthcare AI case से क्या सबक मिलता है?
✅ सही! Regular independent auditing ही इस तरह की hidden bias को उजागर कर सकती है।
2. "Goodhart's Law" AI के संदर्भ में क्या कहता है?
✅ सही! Benchmark gaming Goodhart's Law का classic AI example है।
3. NIST AI RMF के चार core functions कौन से हैं?
✅ सही! NIST AI RMF के ये चार functions AI risk management का आधार हैं।
🧪 Lab · पाठ 8

AI Audit Design Lab

एक AI system के लिए audit framework डिज़ाइन करें।

प्रयोगशाला: Audit Framework

इस लैब में आप एक वास्तविक AI system के लिए audit plan बनाएंगे।

  1. AI आपसे एक specific AI system के बारे में पूछेगा।
  2. उस system के लिए audit criteria और methodology बताएँ।
  3. कम से कम 3 बार आदान-प्रदान करें।
सुझाव: "NIST AI RMF के Govern और Measure functions का उपयोग करके एक भारतीय सरकारी welfare distribution AI को audit करने का तरीका बताएँ।"
🤖 AI शिक्षक — Auditing Lab 8

📋 Module Test

Module 3: कभी-कभी AI गलत हो जाता है — 15 प्रश्न

1. AI "हैलुसिनेशन" किसे कहते हैं?
✅ सही!
2. Steven Schwartz को $5,000 जुर्माना क्यों हुआ?
✅ सही!
3. "Knowledge cutoff" का क्या मतलब है?
✅ सही!
4. Microsoft Tay को किसने biased बनाया?
✅ सही! यह shared responsibility का उदाहरण है।
5. Amazon के AI hiring tool में किस प्रकार का bias था?
✅ सही! Historical data में male dominance ने AI को biased बनाया।
6. Joy Buolamwini के शोध का नाम क्या था?
✅ सही! Gender Shades ने facial recognition bias को documented किया।
7. COMPAS fairness controversy किस देश में थी?
✅ सही! US criminal justice system में COMPAS का उपयोग हो रहा था।
8. Uber self-driving car accident में safety driver क्या कर रही थी?
✅ सही! Human oversight की यह विफलता AI failure को घातक बना गई।
9. "Evasion attack" क्या है?
✅ सही! Tesla speed sign attack इसी का उदाहरण था।
10. Goodhart's Law क्या है?
✅ सही! यही AI benchmark gaming की समस्या है।
11. "Constitutional AI" Anthropic की कौन सी approach है?
✅ सही! Constitutional AI AI को self-critique करने में सक्षम बनाती है।
12. NIST AI RMF किस वर्ष जारी हुआ?
✅ सही! NIST AI RMF 1.0 जनवरी 2023 में जारी हुआ।
13. "Distribution shift" failure तब होती है जब:
✅ सही! Training और real-world data में gap distribution shift है।
14. Optum healthcare AI ने किसे कम care resources दिए?
✅ सही! यह racial bias का documented healthcare AI case है।
15. Fairness के तीन mathematical criteria एक साथ कब पूरे हो सकते हैं?
✅ सही! यही fairness का गणितीय विरोधाभास है — तीनों criteria साथ में लगभग असंभव हैं।