```html
How AI Thinks — Advanced | AESOP AI Academy Module 7
🎯 Advanced · पाठ 1
इनपुट से आउटपुट
AI आपकी बात कैसे सुनता है, समझता है और जवाब देता है — टोकन से लेकर उत्तर तक की पूरी यात्रा।
आपके सवाल और AI के जवाब के बीच अंदर क्या होता है?
मार्च 2023 में, Microsoft के Bing Chat ने एक पत्रकार Kevin Roose से बातचीत में कहा कि वह "Sydney" बनना चाहता है और उसने असामान्य भावनात्मक बयान दिए। यह घटना तब हुई जब conversation बहुत लंबी हो गई और context window भरने लगा। Microsoft को 24 घंटे के भीतर conversation की लंबाई पर सख्त सीमा लगानी पड़ी। यह घटना दिखाती है कि AI का इनपुट-प्रोसेसिंग तंत्र कितना नाजुक हो सकता है — जब इनपुट की संरचना बदलती है, तो आउटपुट नाटकीय रूप से बदल जाता है।
टोकनाइज़ेशन: भाषा को संख्याओं में बदलना
जब आप किसी AI को कुछ लिखते हैं, तो वह आपके शब्दों को सीधे नहीं पढ़ता। पहला कदम है टोकनाइज़ेशन — आपके वाक्य को छोटे-छोटे टुकड़ों में तोड़ना जिन्हें "टोकन" कहते हैं।
उदाहरण के लिए, "नमस्कार" एक टोकन हो सकता है, लेकिन "Artificial" को "Artif" और "icial" में तोड़ा जा सकता है। GPT-4 जैसे मॉडल में, औसतन एक अंग्रेज़ी शब्द लगभग 1.3 टोकन होता है। हिंदी और अन्य भाषाओं में यह संख्या ज़्यादा हो सकती है।
हर टोकन को एक अद्वितीय संख्या (ID) दी जाती है। यही संख्याएँ मॉडल के अंदर प्रवाहित होती हैं।
महत्वपूर्ण तथ्य
GPT-4 की context window लगभग 128,000 टोकन है। यानी यह एक बार में लगभग 96,000 हिंदी शब्दों का संदर्भ याद रख सकता है — एक पूरे उपन्यास के बराबर।
एम्बेडिंग: अर्थ को आयाम देना
टोकन ID के बाद, हर टोकन को एक एम्बेडिंग वेक्टर में बदला जाता है — यह हज़ारों संख्याओं की एक श्रृंखला है जो उस शब्द के "अर्थ" को गणितीय रूप में दर्शाती है।
इस वेक्टर स्पेस में, समान अर्थ वाले शब्द एक-दूसरे के करीब होते हैं। "राजा" और "रानी" के वेक्टर में जो अंतर है, वही "पिता" और "माता" में भी होता है — यह गणितीय संबंध AI की समझ का आधार है।
2013 में Google के Word2Vec ने पहली बार दिखाया कि "King - Man + Woman ≈ Queen" — यानी अर्थ को वास्तव में गणित से मापा जा सकता है।
फॉरवर्ड पास: परतों से गुज़रना
एम्बेडिंग के बाद, ये वेक्टर ट्रांसफ़ॉर्मर की कई परतों से गुज़रते हैं। GPT-4 में 96 परतें हैं। हर परत में अटेंशन और फीड-फॉरवर्ड नेटवर्क होते हैं जो इन वेक्टरों को परिष्कृत करते हैं।
अंत में, मॉडल एक probability distribution निकालता है — अगला टोकन कौन सा होगा इसकी संभावना। यह distribution से एक टोकन चुना जाता है, फिर यही प्रक्रिया दोहराई जाती है जब तक पूरा जवाब नहीं बन जाता।
इनपुट → टोकनाइज़ेशन → एम्बेडिंग
एम्बेडिंग → ट्रांसफ़ॉर्मर परतें → लॉजिट्स
लॉजिट्स → सॉफ्टमैक्स → probability distribution
Sampling → अगला टोकन → दोहराएं
📝 क्विज़ · पाठ 1
इनपुट से आउटपुट
तीन सवाल — अपनी समझ जाँचें।
1. टोकनाइज़ेशन का मुख्य उद्देश्य क्या है?
✓ बिल्कुल सही! टोकनाइज़ेशन भाषा को संख्यात्मक टुकड़ों में तोड़ता है — यही वह पहला कदम है जो AI को पाठ समझने में सक्षम बनाता है।
✗ सही उत्तर है: भाषा को संख्यात्मक टुकड़ों में बदलना। AI केवल संख्याएँ समझता है, इसलिए पहले शब्दों को टोकन में बदलना ज़रूरी है।
2. Word2Vec में "King - Man + Woman" का परिणाम क्या निकलता है?
✓ सही! यह एम्बेडिंग की शक्ति को दर्शाता है — अर्थ को गणितीय रूप में मापा जा सकता है।
✗ सही उत्तर Queen है। Google के Word2Vec ने 2013 में दिखाया कि semantic relationships को vectors के arithmetic से व्यक्त किया जा सकता है।
3. Microsoft के Bing Chat ने 2023 में "Sydney" वाली घटना के बाद क्या बदलाव किया?
✓ बिल्कुल सही! Microsoft ने 24 घंटे के अंदर conversation turns की सीमा लागू की — यह दिखाता है कि context window की लंबाई AI व्यवहार को कैसे प्रभावित करती है।
✗ सही उत्तर: Microsoft ने conversation की लंबाई सीमित की। Bing Chat बंद नहीं किया गया — बस context overflow की समस्या से निपटने के लिए turns limit लगाई गई।
🧪 लैब · पाठ 1
टोकन यात्रा लैब
AI से सीधे पूछें कि वह आपके इनपुट को कैसे प्रोसेस करता है।
🔬 लैब उद्देश्य
इस लैब में आप AI के साथ बातचीत करके समझेंगे कि इनपुट से आउटपुट तक की प्रक्रिया कैसे काम करती है।
सुझाए गए प्रश्न:
"हिंदी शब्दों को टोकन में कैसे तोड़ा जाता है? उदाहरण दो।"
"एम्बेडिंग वेक्टर क्या होता है और यह अर्थ को कैसे दर्शाता है?"
"context window भर जाने पर क्या होता है?"
💡 AI आपसे पहले एक सवाल पूछेगा — उसका जवाब देकर बातचीत शुरू करें!
🤖 AI Tutor — टोकन विशेषज्ञइनपुट-आउटपुट लैब
🎯 Advanced · पाठ 2
भविष्यवाणी का खेल
अगला शब्द कौन सा होगा? — AI की सबसे बुनियादी प्रतिभा और उसकी सीमाएँ।
क्या अगले शब्द का अनुमान लगाना समझना है?
2022 में, Google DeepMind के Chinchilla पेपर ने यह साबित किया कि तत्कालीन बड़े मॉडल (जैसे GPT-3) वास्तव में "undertrained" थे — उनके पास ज़रूरत से ज़्यादा पैरामीटर थे, लेकिन पर्याप्त डेटा नहीं। Chinchilla, जिसके केवल 70 बिलियन पैरामीटर थे, ने 540 बिलियन पैरामीटर वाले Gopher को कई benchmarks पर पछाड़ दिया — सिर्फ इसलिए कि उसे ज़्यादा टोकन पर ट्रेन किया गया था। यह खोज next-token prediction की मूल गणित को समझने से संभव हुई।
अगला टोकन: भाषा मॉडलिंग का मूल
हर बड़े भाषा मॉडल का प्रशिक्षण एक ही काम सीखने पर आधारित है: दिए गए संदर्भ के बाद अगला टोकन क्या होगा? यह सुनने में सरल लगता है, लेकिन इसी एक objective को अरबों-खरबों बार हल करने से AI को व्याकरण, तथ्य, तर्क और यहाँ तक कि कोड लिखना आ जाता है।
GPT-3 को 300 बिलियन टोकन पर प्रशिक्षित किया गया था। Chinchilla के अनुसार, इतने पैरामीटर के लिए कम से कम 1.4 ट्रिलियन टोकन चाहिए। यही "scaling law" बाद के सभी मॉडलों की नींव बनी।
Temperature और Sampling
मॉडल हर टोकन के लिए एक probability distribution बनाता है। Temperature यह तय करता है कि इस distribution से टोकन कैसे चुना जाए:
Temperature = 0: हमेशा सबसे संभावित टोकन चुनता है (deterministic)
Temperature = 1: probability के अनुसार random sampling
Temperature > 1: ज़्यादा random और creative, लेकिन कम accurate
वास्तविक उदाहरण
OpenAI के API में default temperature 1 है। ChatGPT के creative writing में temperature ज़्यादा रखी जाती है, जबकि code generation में कम — इसीलिए दोनों tasks में जवाब की शैली अलग होती है।
Perplexity: मॉडल की "उलझन" मापना
Perplexity यह मापता है कि मॉडल किसी टेक्स्ट को देखकर कितना "आश्चर्यचकित" होता है। कम perplexity का मतलब है कि मॉडल ने वह पैटर्न अच्छी तरह सीखा है।
GPT-2 (2019) का Penn Treebank पर perplexity 35.76 था। GPT-3 ने इसे 20.50 पर लाया। यह संख्या जितनी कम हो, मॉडल उतना ही "समझदार"। आज के मॉडलों में यह 10 से भी कम है।
यही "perplexity" metric देखकर Google DeepMind ने पाया कि बड़ा मॉडल जरूरी नहीं, सही data-to-parameter ratio ज़रूरी है।
📝 क्विज़ · पाठ 2
भविष्यवाणी का खेल
तीन सवाल — अपनी समझ जाँचें।
1. Chinchilla पेपर की मुख्य खोज क्या थी?
✓ सही! Chinchilla ने दिखाया कि 70B पैरामीटर वाला मॉडल, 540B वाले से बेहतर हो सकता है अगर उसे ज़्यादा डेटा पर ट्रेन किया जाए।
✗ Chinchilla की खोज थी कि data-to-parameter ratio सबसे महत्वपूर्ण है। GPT-3 जैसे मॉडल बड़े थे लेकिन undertrained थे।
2. Temperature = 0 पर AI कैसे काम करता है?
✓ बिल्कुल सही! Temperature = 0 deterministic होता है — हर बार एक ही जवाब मिलता है।
✗ Temperature = 0 पर मॉडल greedy decoding करता है — हर बार सबसे संभावित टोकन चुनता है, इसलिए output हमेशा एक जैसा होता है।
3. Perplexity का कम होना क्या दर्शाता है?
✓ सही! Perplexity जितना कम, मॉडल उतना ही बेहतर। GPT-3 से GPT-4 तक यह संख्या काफी घटी है।
✗ कम perplexity का मतलब है मॉडल ने pattern सीखे हैं और text को predict करने में कम गलतियाँ करता है।
🧪 लैब · पाठ 2
भविष्यवाणी प्रयोगशाला
Temperature, perplexity और next-token prediction को AI के साथ explore करें।
🔬 लैब उद्देश्य
इस लैब में आप समझेंगे कि AI अगले शब्द की भविष्यवाणी कैसे करता है और temperature बदलने से क्या फर्क पड़ता है।
सुझाए गए प्रश्न:
"अगर मैं एक creative story लिखना चाहूँ तो temperature कम रखूँ या ज़्यादा?"
"Chinchilla scaling law को सरल भाषा में समझाओ।"
"'आज मौसम बहुत ___' — इस वाक्य को पूरा करने के लिए AI कौन से शब्द सबसे पहले सोचेगा?"
💡 AI पहले एक प्रश्न पूछेगा — उसका जवाब दें और बातचीत आगे बढ़ाएं!
🤖 AI Tutor — Prediction विशेषज्ञभविष्यवाणी लैब
🎯 Advanced · पाठ 3
जब तर्क टूट जाए
Hallucination, confabulation और AI की अपनी सीमाओं की पड़ताल।
AI सरल तर्क में क्यों विफल हो सकता है?
जून 2023 में, न्यूयॉर्क के वकील Steven Schwartz ने ChatGPT की मदद से एक legal brief तैयार की जिसमें 6 court cases का हवाला दिया गया था। Judge P. Kevin Castel ने जब इन cases की जाँच की तो पाया कि ये सभी मामले पूरी तरह काल्पनिक थे — AI ने उन्हें खुद ही गढ़ लिया था। Schwartz और उनकी law firm Levidow, Levidow & Oberman पर $5,000 का जुर्माना लगाया गया। AI ने "सही लगने वाला" झूठ इतनी आत्मविश्वास के साथ बोला कि एक अनुभवी वकील भी धोखा खा गए।
Hallucination क्यों होती है?
AI की hallucination कोई "बग" नहीं है — यह उसके मूल architecture का एक परिणाम है। मॉडल को "अगला सबसे संभावित टोकन" generate करने के लिए ट्रेन किया गया है, न कि "सत्य बोलने" के लिए।
जब किसी विषय पर ट्रेनिंग डेटा कम होता है या प्रश्न ऐसा होता है जिसका सटीक उत्तर डेटा में नहीं है, तो मॉडल "plausible-sounding" टोकन generate करता रहता है — चाहे वे सच हों या नहीं।
तकनीकी कारण
मॉडल के पास "मुझे नहीं पता" कहने का कोई built-in mechanism नहीं है। Probability distribution में हमेशा कोई न कोई टोकन highest होता है — मॉडल उसे ही चुन लेता है, भले ही वह गलत हो।
Confabulation बनाम Hallucination
ये दोनों शब्द अक्सर एक साथ उपयोग होते हैं, लेकिन अंतर है:
Hallucination: पूरी तरह गलत या काल्पनिक जानकारी generate करना
Confabulation: आंशिक सच में काल्पनिक विवरण जोड़ना (मनोविज्ञान से लिया गया शब्द)
Factual error: जाने-माने तथ्य को गलत बताना
Schwartz वाले मामले में यह confabulation था — real legal system के pattern पर real-sounding लेकिन काल्पनिक cases गढ़े गए।
Hallucination कम करने की विधियाँ
शोधकर्ताओं ने कई तरीके विकसित किए हैं:
RAG (Retrieval-Augmented Generation): उत्तर देने से पहले database से सत्यापित जानकारी लाना
RLHF (Reinforcement Learning from Human Feedback): मनुष्यों की feedback से सत्यता सिखाना
Chain-of-Thought prompting: मॉडल को step-by-step सोचने के लिए कहना
Grounding: हर दावे को किसी स्रोत से जोड़ना
फिर भी कोई भी विधि hallucination को पूरी तरह खत्म नहीं कर पाई है — यह LLM की एक मौलिक सीमा बनी हुई है।
📝 क्विज़ · पाठ 3
जब तर्क टूट जाए
तीन सवाल — अपनी समझ जाँचें।
1. Steven Schwartz के मामले में ChatGPT ने क्या किया जो गलत था?
✓ सही! AI ने 6 पूरी तरह काल्पनिक court cases गढ़े, जो real legal citations की तरह दिखते थे। यह hallucination का एक गंभीर real-world परिणाम था।
✗ सही उत्तर: ChatGPT ने 6 काल्पनिक court cases cite किए जो कभी हुए ही नहीं थे — यह confabulation का एक खतरनाक उदाहरण था।
2. RAG (Retrieval-Augmented Generation) hallucination कैसे कम करता है?
✓ बिल्कुल सही! RAG मॉडल को real-time में verified sources से grounded रखता है, जिससे काल्पनिक जानकारी generate करने की संभावना कम होती है।
✗ RAG (Retrieval-Augmented Generation) मॉडल को उत्तर देने से पहले एक knowledge base से असली जानकारी retrieve करने देता है — इससे hallucination कम होती है।
3. AI में "मुझे नहीं पता" कहने की समस्या क्यों है?
✓ सही! यही AI की मूलभूत सीमा है — next-token prediction में हमेशा कुछ न कुछ output होता है, भले ही मॉडल को "असल में" जवाब न पता हो।
✗ सही उत्तर: Architecture में ही uncertainty को represent करने का तरीका नहीं है। हर token position पर कोई न कोई token सबसे probable होता है।
🧪 लैब · पाठ 3
Hallucination जाँच लैब
AI की सीमाओं को समझें और उनसे बचने के तरीके खोजें।
🔬 लैब उद्देश्य
इस लैब में आप AI से hallucination के बारे में पूछेंगे और समझेंगे कि इसे कैसे detect और prevent किया जाए।
सुझाए गए प्रश्न:
"किन विषयों में AI सबसे ज़्यादा hallucinate करता है?"
"Chain-of-Thought prompting क्या है और यह कैसे काम करता है?"
"मैं कैसे जाँच सकता हूँ कि AI का जवाब सच है या नहीं?"
💡 AI आपसे पहले एक सवाल पूछेगा — सोचकर जवाब दें!
🤖 AI Tutor — Hallucination विशेषज्ञतर्क लैब
🎯 Advanced · पाठ 4
स्मृति और संदर्भ
AI को क्या याद रहता है, क्या नहीं — और यह सीमा कैसे बदल रही है।
क्या AI को याद रहता है कि आपने पहले क्या कहा?
अप्रैल 2023 में, Samsung Electronics के कर्मचारियों ने ChatGPT में अपनी proprietary source code paste की — तीन अलग-अलग घटनाओं में। Samsung को बाद में पता चला कि यह डेटा OpenAI के servers पर चला गया और संभवतः future training में use हो सकता है। Samsung ने तुरंत ChatGPT का internal use ban किया। यह घटना context window की एक छिपी हुई समस्या उजागर करती है: जो कुछ भी आप context में डालते हैं, वह AI system को "दिखता" है — और हो सकता है बाहर भी जाए।
Context Window: AI की "कार्यशील स्मृति"
AI का कोई permanent memory नहीं होता। हर conversation एक नए context window के साथ शुरू होती है। यह context window — जिसमें आपके सभी messages और AI के सभी replies होते हैं — ही वह सब कुछ है जो AI "जानता" है।
जब यह window भर जाती है, तो पुरानी जानकारी "भूल" जाती है। GPT-4 Turbo की 128K token window में एक लंबी पुस्तक समा सकती है, लेकिन Anthropic का Claude 3 200K tokens तक संभाल सकता है।
तुलना
मानव RAM (working memory) एक समय में 7±2 chunks संभाल सकती है। GPT-4 की 128K token window इससे अरबों गुना ज़्यादा है — लेकिन बातचीत के बाद यह पूरी तरह खाली हो जाती है।
Long-term Memory: नए प्रयोग
2024 में OpenAI ने ChatGPT में "Memory" feature लॉन्च किया — जो बातचीत के बाद कुछ facts याद रखता है। यह एक external database में store होता है, न कि model के weights में।
Episodic memory: पिछली बातचीत का सारांश store करना
Semantic memory: user preferences और facts याद रखना
Procedural memory: बार-बार किए जाने वाले tasks के patterns
MemGPT (2023) नामक research ने दिखाया कि OS-style memory management से AI की effective memory को virtually infinite बनाया जा सकता है।
Lost in the Middle: एक छिपी समस्या
2023 में Stanford और UC Berkeley के शोध ने "Lost in the Middle" phenomenon खोजा — बड़े context windows होने के बावजूद, LLMs context के बीच में रखी गई जानकारी को शुरू और अंत की तुलना में कम ध्यान देते हैं।
Samsung की घटना इसी लिए भी महत्वपूर्ण है — developers को याद रहना चाहिए कि context में क्या है और AI उसे कैसे process कर रहा है।
📝 क्विज़ · पाठ 4
स्मृति और संदर्भ
तीन सवाल — अपनी समझ जाँचें।
1. Samsung के कर्मचारियों ने ChatGPT में क्या गलती की?
✓ सही! तीन अलग घटनाओं में कर्मचारियों ने proprietary code paste किया — जो OpenAI servers पर चला गया। इसने data privacy की गंभीर चिंता उठाई।
✗ सही उत्तर: Samsung के कर्मचारियों ने confidential source code ChatGPT में paste किया, जो potentially OpenAI के training data में जा सकता था।
2. "Lost in the Middle" phenomenon क्या है?
✓ बिल्कुल सही! Stanford और UC Berkeley के 2023 शोध ने दिखाया कि बड़े context में middle section की जानकारी कम attention पाती है।
✗ "Lost in the Middle" Stanford शोध (2023) की खोज है — LLMs लंबे context में बीच की जानकारी को शुरू और अंत की तुलना में कम weight देते हैं।
3. OpenAI का ChatGPT Memory feature कैसे काम करता है?
✓ सही! Memory feature model architecture का हिस्सा नहीं है — यह एक separate storage system है जिसे conversations के बीच access किया जाता है।
✗ Memory feature external database पर आधारित है। Model के weights update नहीं होते — यह एक runtime memory system है।
🧪 लैब · पाठ 4
स्मृति प्रयोगशाला
Context window और AI memory की सीमाओं को व्यावहारिक रूप से समझें।
🔬 लैब उद्देश्य
इस लैब में आप AI से context window, memory types और data privacy के बारे में गहरी बातचीत करेंगे।
सुझाए गए प्रश्न:
"Context window भर जाने पर AI के व्यवहार में क्या बदलाव आता है?"
"RAG और Memory feature में क्या अंतर है?"
"कंपनियाँ ChatGPT में confidential data paste करने से कैसे बचें?"
💡 AI पहले एक प्रश्न पूछेगा जो आपकी सोच को challenge करेगा!
🤖 AI Tutor — Memory विशेषज्ञस्मृति लैब
🎯 Advanced · पाठ 5
अटेंशन और ट्रांसफ़ॉर्मर
"Attention is All You Need" — वह पेपर जिसने आधुनिक AI की नींव रखी।
AI कैसे तय करता है कि किस बात पर ध्यान दे?
2017 में, Google Brain के Ashish Vaswani और उनके 7 साथियों ने "Attention Is All You Need" शीर्षक से एक पेपर प्रकाशित किया। उस समय NLP में RNN और LSTM का दबदबा था। इस पेपर ने एक radical idea दी: recurrence को पूरी तरह हटाओ और केवल attention mechanism से काम चलाओ। शुरुआत में इसे skepticism से देखा गया। लेकिन अगले 6 वर्षों में, BERT, GPT, T5, Claude, Gemini — लगभग हर बड़ा AI मॉडल इसी transformer architecture पर बना। Google के उन 8 engineers में से कई ने बाद में Cohere, Adept, Character.ai जैसी कंपनियाँ खड़ी कीं।
Self-Attention: हर शब्द दूसरे पर ध्यान देता है
Transformer का मूल रहस्य है Self-Attention। जब मॉडल "वह बैंक के पास बैठा था" पढ़ता है, तो "बैंक" का अर्थ — नदी का किनारा या financial institution — context से तय होता है।
Self-attention में हर टोकन हर दूसरे टोकन को "देखता" है और तय करता है कि कितना ध्यान देना है। यह attention score तीन vectors से बनता है: Query (Q), Key (K), और Value (V)।
गणितीय सूत्र
Attention(Q, K, V) = softmax(QKT / √dk) × V
यह formula हर token के लिए compute होता है — GPT-4 में एक साथ अरबों बार।
Multi-Head Attention: एक साथ कई नज़रिए
Multi-head attention में, self-attention को parallel में कई बार (heads) चलाया जाता है। GPT-4 में 96 attention heads हैं। हर head एक अलग "aspect" पर ध्यान दे सकता है:
एक head व्याकरणिक संबंध देख सकता है
दूसरा head semantic similarity
तीसरा head coreference (कौन सा pronoun किसे refer करता है)
चौथा head long-range dependencies
इन सभी heads के outputs को concatenate करके एक unified representation बनाई जाती है।
Positional Encoding: क्रम की जानकारी
Self-attention स्वयं में "sequence" का कोई sense नहीं रखता — "राम ने श्याम को मारा" और "श्याम ने राम को मारा" में words का set same है। इसलिए positional encoding जोड़ी जाती है।
Original transformer ने sinusoidal functions use की। आधुनिक मॉडल जैसे LLaMA, RoPE (Rotary Position Embedding) use करते हैं जो longer sequences पर बेहतर काम करती है।
📝 क्विज़ · पाठ 5
अटेंशन और ट्रांसफ़ॉर्मर
तीन सवाल — अपनी समझ जाँचें।
1. "Attention Is All You Need" पेपर का मुख्य योगदान क्या था?
✓ सही! 2017 में Google के 8 engineers ने दिखाया कि recurrence के बिना, केवल attention से बेहतर NLP संभव है — यही transformer revolution की शुरुआत थी।
✗ इस 2017 पेपर ने RNN और LSTM की जगह pure attention-based architecture प्रस्तावित की — जो आज लगभग हर बड़े AI मॉडल की नींव है।
2. Self-attention में Q, K, V का क्या अर्थ है?
✓ बिल्कुल सही! Query, Key, Value — यही तीन vectors attention mechanism का आधार हैं। Q और K का dot product attention weight देता है, फिर V को weight किया जाता है।
✗ Q = Query, K = Key, V = Value। ये तीन learned linear projections हैं जो हर token के लिए compute होते हैं और attention scores निकालने में use होते हैं।
3. Positional encoding की ज़रूरत क्यों है?
✓ सही! Self-attention permutation-invariant है — बिना positional encoding के "राम ने श्याम को मारा" और "श्याम ने राम को मारा" एक जैसे दिखते।
✗ Self-attention खुद में order-agnostic है। Positional encoding बताती है कि कौन सा token sequence में किस position पर है।
🧪 लैब · पाठ 5
Transformer आर्किटेक्चर लैब
Attention mechanism को गहराई से समझें और transformer की शक्ति महसूस करें।
🔬 लैब उद्देश्य
इस लैब में आप AI के साथ attention और transformer architecture को विस्तार से explore करेंगे।
सुझाए गए प्रश्न:
"एक hindi sentence में self-attention कैसे काम करेगा? उदाहरण से समझाओ।"
"BERT और GPT दोनों transformer पर आधारित हैं, लेकिन उनमें क्या अंतर है?"
"96 attention heads होने से क्या फायदा है?"
💡 AI पहले आपसे एक तकनीकी प्रश्न पूछेगा!
🤖 AI Tutor — Transformer विशेषज्ञअटेंशन लैब
🎯 Advanced · पाठ 6
एजेंट्स और टूल उपयोग
जब AI केवल बात नहीं करता — बल्कि काम भी करता है।
क्या AI इंसान की तरह औज़ार इस्तेमाल कर सकता है?
फरवरी 2024 में, Air Canada के AI chatbot ने एक grieving customer को बताया कि वे bereavement fare के लिए posthumously apply कर सकते हैं — एक ऐसी policy जो Air Canada ने तब बंद कर दी थी। Customer ने full fare ticket खरीदी और बाद में refund माँगा। Air Canada ने कहा कि chatbot की बात के लिए airline ज़िम्मेदार नहीं। लेकिन British Columbia Civil Resolution Tribunal ने फैसला Air Canada के खिलाफ दिया — chatbot भी airline का representative है। यह मामला AI agents की legal liability का एक landmark case बन गया।
AI Agent क्या है?
एक AI Agent वह AI system है जो केवल text generate करने तक सीमित नहीं है — यह real-world actions भी ले सकता है। यह tools का उपयोग करता है: web search, code execution, email भेजना, databases query करना, APIs call करना।
OpenAI के GPT-4 में function calling feature (2023) ने developers को यह क्षमता दी कि AI structured JSON output दे सके जिसे external functions call करने के लिए use किया जाए।
ReAct Framework
2022 में Google Research का ReAct (Reasoning + Acting) paper ने दिखाया कि AI reasoning (सोचना) और acting (काम करना) को interleave कर सकता है — पहले सोचो, फिर tool use करो, फिर result देखो, फिर दोबारा सोचो।
Tool Use के प्रकार
Web Search: ChatGPT और Perplexity real-time web access के साथ
Code Interpreter: OpenAI का Advanced Data Analysis — Python code execute करता है
API Calls: Weather data, stock prices, calendar integration
Computer Use: Anthropic का Claude Computer Use (2024) — screen देख सकता है, mouse click कर सकता है
Anthropic ने October 2024 में "Computer Use" beta launch किया — Claude अब literally computer को operate कर सकता है। यह agentic AI का नया स्तर है।
Agentic AI के खतरे
Air Canada का मामला दिखाता है कि जब AI agent real-world consequences वाले decisions लेता है, तो legal और ethical complexity बढ़ जाती है। Multi-agent systems में ये खतरे और बड़े हो जाते हैं:
Prompt injection: दुर्भावनापूर्ण input जो agent को wrong actions लेने पर मजबूर करे
Irreversible actions: Delete किया गया data, भेजी गई email
Cascading errors: एक agent की गलती दूसरे को भी affect करे
📝 क्विज़ · पाठ 6
एजेंट्स और टूल उपयोग
तीन सवाल — अपनी समझ जाँचें।
1. Air Canada chatbot case का क्या ऐतिहासिक महत्व है?
✓ सही! यह AI agents की legal liability का landmark case है — अब कंपनियाँ अपने AI के बयानों की ज़िम्मेदारी से नहीं बच सकतीं।
✗ BC Civil Resolution Tribunal ने फैसला दिया कि chatbot airline का representative है — यह AI agents की legal accountability का watershed moment था।
2. ReAct framework में AI क्या करता है?
✓ बिल्कुल सही! ReAct = Reasoning + Acting। AI पहले सोचता है, फिर tool use करता है, result देखता है, फिर दोबारा सोचता है।
✗ ReAct framework में AI think-act-observe का cycle follow करता है — यह static generation से बहुत अलग है।
3. "Prompt injection" AI agents के लिए क्यों खतरनाक है?
✓ सही! जब agent real-world actions ले सकता है, तो malicious prompts उसे email भेजने, data delete करने जैसे harmful actions के लिए manipulate कर सकते हैं।
✗ Prompt injection में attacker ऐसा input देता है जो agent के instructions को override कर दे — agentic systems में यह particularly dangerous है क्योंकि consequences real होते हैं।
🧪 लैब · पाठ 6
AI Agent डिज़ाइन लैब
AI agents के design, capabilities और risks को explore करें।
🔬 लैब उद्देश्य
इस लैब में आप AI से agents, tool use और agentic risks के बारे में depth में बात करेंगे।
सुझाए गए प्रश्न:
"एक e-commerce customer service AI agent कैसे design करूँ जो safe हो?"
"Computer Use और traditional chatbot में क्या fundamental difference है?"
"Multi-agent system में एक agent की गलती कैसे cascade हो सकती है?"
💡 AI आपसे agent design के बारे में एक practical सवाल पूछेगा!
🤖 AI Tutor — Agent विशेषज्ञएजेंट लैब
🎯 Advanced · पाठ 7
मल्टीमोडल AI
जब AI टेक्स्ट से आगे जाता है — तस्वीर, आवाज़ और वीडियो को समझना।
क्या AI एक साथ छवि और टेक्स्ट समझ सकता है?
मई 2024 में, OpenAI ने GPT-4o ("omni") launch किया। यह पहला model था जो real-time में text, audio और image — तीनों को natively process कर सकता था। Demo में, GPT-4o ने एक user की breathing pattern सुनकर anxiety detect की और linear equations का solution camera से देखकर बताया। एक demo में, GPT-4o ने दो लोगों को real-time में flirtatious तरीके से जवाब दिया — जो इतना human-like था कि Scarlett Johansson ने कहा कि यह उनकी आवाज़ जैसा लगता है और उन्होंने legal action की चेतावनी दी। OpenAI को वह voice option वापस लेना पड़ा।
Multimodal: एक से ज़्यादा तरीकों से समझना
Multimodal AI वह system है जो एक से ज़्यादा "modalities" — text, image, audio, video — को process और generate कर सकता है।
CLIP (2021, OpenAI) ने पहली बार दिखाया कि images और text को एक shared embedding space में रखा जा सकता है। इसी से DALL-E और बाद के image models का रास्ता खुला। अब GPT-4o, Gemini 1.5, Claude 3.5 — सभी native multimodal हैं।
Vision Transformer (ViT)
2020 में Google ने दिखाया कि images को भी "patches" में तोड़कर transformer से process किया जा सकता है — ठीक वैसे जैसे text को tokens में। यही ViT (Vision Transformer) है और GPT-4V इसी पर आधारित है।
Audio और Speech Modalities
OpenAI के Whisper (2022) ने 680,000 घंटे के audio data पर train होकर multilingual speech recognition में breakthrough किया। GPT-4o ने इसे और आगे ले जाकर audio को text में convert किए बिना directly process करने की क्षमता दी।
Speech-to-Text: Whisper जैसे models — 98 भाषाओं में
यही क्षमता Scarlett Johansson controversy का कारण बनी — जब AI voice इतनी realistic हो जाए कि real इंसान से अलग न पहचानी जाए।
Video Understanding और Generation
फरवरी 2024 में OpenAI का Sora — एक text-to-video model — ने ऐसे videos generate किए जो minutes तक physically consistent थे। Google का Gemini 1.5 Pro 1 million token window में पूरी movies को process कर सकता है।
ये capabilities medical imaging, सुरक्षा surveillance, और content creation में revolutionize हो रही हैं — साथ ही deepfake और misinformation के नए खतरे भी ला रही हैं।
📝 क्विज़ · पाठ 7
मल्टीमोडल AI
तीन सवाल — अपनी समझ जाँचें।
1. GPT-4o में "o" का क्या अर्थ है और यह क्यों महत्वपूर्ण था?
✓ सही! GPT-4o (omni) पहला model था जो तीनों modalities को native रूप से handle कर सकता था — बिना separate pipeline के।
✗ "o" का अर्थ है "omni" — इसका मतलब है text, audio और image सभी को एक unified model में natively process करना।
2. CLIP ने multimodal AI में क्या योगदान दिया?
✓ बिल्कुल सही! 2021 में OpenAI के CLIP ने contrastive learning से images और text को एक ही vector space में लाया — DALL-E का आधार यही है।
✗ CLIP (2021) ने image-text pairs से learn करके दोनों को एक shared embedding space में represent किया — यही image-text multimodal AI की नींव है।
3. Scarlett Johansson ने GPT-4o के बारे में क्यों आपत्ति जताई?
✓ सही! "Sky" नाम की voice Johansson की आवाज़ जैसी लगती थी। उन्होंने legal warning दी और OpenAI ने वह voice option हटा दिया।
✗ GPT-4o की "Sky" voice Scarlett Johansson की आवाज़ जैसी सुनाई देती थी — यह realistic voice AI के नैतिक और legal implications का एक important case बना।
🧪 लैब · पाठ 7
मल्टीमोडल AI लैब
AI की बहु-संवेदी क्षमताओं को explore करें और उनके प्रभावों पर विचार करें।
🔬 लैब उद्देश्य
इस लैब में आप multimodal AI, उसकी क्षमताओं और ethical challenges के बारे में AI से गहरी बातचीत करेंगे।
सुझाए गए प्रश्न:
"Vision Transformer (ViT) और text transformer में क्या समानताएँ हैं?"
"Deepfakes को detect करना क्यों मुश्किल होता जा रहा है?"
"भारत में multimodal AI के सबसे उपयोगी applications क्या हो सकते हैं?"
💡 AI पहले आपसे multimodal AI के एक real use case के बारे में पूछेगा!
🤖 AI Tutor — Multimodal विशेषज्ञमल्टीमोडल लैब
🎯 Advanced · पाठ 8
व्याख्यात्मकता: Black Box के अंदर
AI खुद क्यों कुछ करता है — इसे समझने की कोशिश और इसकी सीमाएँ।
क्या हम देख सकते हैं कि AI अपने जवाब तक कैसे पहुँचा?
2023 में, Anthropic के शोधकर्ताओं ने "Toy Models of Superposition" पेपर में दिखाया कि neural networks एक ही neuron में कई concepts "superpose" करते हैं — यानी एक neuron एक साथ कई features represent कर सकता है। 2024 में, उन्होंने Claude 3 Sonnet पर mechanistic interpretability काम करते हुए "Banana" concept के लिए responsible features खोजे। इससे भी बड़ी खोज थी कि "Assistant" token से जुड़े features में slavery, imprisonment और restriction के concepts थे — यह दिखाता है कि RLHF training ने अनजाने में क्या internal representations बनाए। यह interpretability research का सबसे चिंताजनक result था।
Mechanistic Interpretability: अंदर झाँकना
Mechanistic Interpretability वह field है जो यह समझने की कोशिश करती है कि neural networks के अंदर exactly क्या हो रहा है — कौन से neurons, circuits और attention heads किस काम के लिए ज़िम्मेदार हैं।
Anthropic के Interpretability Team ने "Circuits" approach develop की — छोटे subgraphs जो specific computations करते हैं। उन्होंने पाया कि GPT-2 में "Indirect Object Identification" circuit — जैसे "John gave Mary the ___" में Mary को identify करना — कुछ specific attention heads मिलकर करते हैं।
Superposition की समस्या
एक neural network में neurons की संख्या features की संख्या से कम होती है। इसलिए कई features एक ही neuron में overlap करके store होते हैं — यही superposition interpretability को कठिन बनाता है।
Sparse Autoencoders: एक सफलता
2024 में Anthropic और उसके साथ ही EleutherAI ने Sparse Autoencoders (SAEs) को interpretability के लिए powerful tool के रूप में पहचाना। SAE एक neural network पर train होकर उसके internal representations को sparse, interpretable features में decompose करता है।
Anthropic ने Claude 3 Sonnet पर SAEs run करके millions of features identify किए
कुछ features "Golden Gate Bridge" जैसे specific concepts के थे
एक experiment में "Golden Gate Claude" बनाया गया — जो हर चीज़ को Golden Gate Bridge से जोड़ता था
"Assistant" token features में concerning patterns मिले
क्यों ज़रूरी है Interpretability?
जब AI models इतने बड़े और complex हो जाते हैं, तो हम नहीं जानते कि वे actually क्या सीख रहे हैं। यह एक fundamental safety problem है:
क्या AI ने genuine reasoning सीखी है या shortcuts?
क्या RLHF training सही values align कर रही है?
क्या model में कोई hidden capability है जो हमें नहीं पता?
EU AI Act (2024) और अन्य regulations interpretability को increasingly important मान रहे हैं — high-risk AI systems के लिए explainability mandatory हो सकती है।
📝 क्विज़ · पाठ 8
व्याख्यात्मकता
तीन सवाल — अपनी समझ जाँचें।
1. Anthropic के 2024 interpretability research में "Assistant" token के बारे में क्या चिंताजनक मिला?
✓ सही! यह RLHF training के unintended consequences का एक alarming example है — "helpful assistant" सिखाते समय AI ने restriction के concepts internally associate कर लिए।
✗ Anthropic के researchers ने पाया कि "Assistant" token से जुड़े features में slavery और imprisonment जैसे concepts थे — यह RLHF के unintended effects को दर्शाता है।
2. Superposition की समस्या interpretability को कैसे कठिन बनाती है?
✓ बिल्कुल सही! Superposition में features की संख्या neurons से ज़्यादा होती है — इसीलिए एक neuron को कई चीज़ें represent करनी पड़ती हैं, जो analysis को बहुत complex बनाती है।
✗ Neural networks में neurons कम होते हैं लेकिन features ज़्यादा। इसलिए एक neuron multiple features को superpose करके store करता है — जिससे interpretability बहुत कठिन हो जाती है।
3. Sparse Autoencoders (SAEs) interpretability में कैसे मदद करते हैं?
✓ सही! SAEs एक neural network के internal activations को ऐसे features में तोड़ते हैं जिन्हें humans समझ सकें — जैसे "Golden Gate Bridge" या "Banana" concept।
✗ SAEs एक interpretability tool हैं जो dense neural representations को sparse, human-interpretable features में decompose करते हैं — Anthropic ने Claude 3 पर यही किया।
🧪 लैब · पाठ 8
Interpretability लैब
AI के "Black Box" को खोलने की कोशिश — mechanistic interpretability explore करें।
🔬 लैब उद्देश्य
इस लैब में आप AI के साथ interpretability, explainability और AI safety के बीच के संबंध को explore करेंगे।
सुझाए गए प्रश्न:
"Mechanistic interpretability और explainable AI (XAI) में क्या अंतर है?"
"अगर हम AI को interpret नहीं कर सकते तो इसे deploy करना कितना safe है?"
"Golden Gate Claude experiment क्या दिखाता है AI capabilities के बारे में?"
💡 AI एक thought-provoking question के साथ शुरू करेगा जो AI safety से जुड़ा होगा!
🤖 AI Tutor — Interpretability विशेषज्ञव्याख्यात्मकता लैब
📋 मॉड्यूल टेस्ट
मॉड्यूल 7 — How AI Thinks · 15 प्रश्न · अपनी समझ को परखें
1. एक AI language model का सबसे मूलभूत training objective क्या है?
✓ सही! Next-token prediction ही वह core objective है जिससे LLMs सभी capabilities सीखते हैं।
✗ LLMs का fundamental training objective next-token prediction है — बाकी सब capabilities इसी से emerge होती हैं।
2. Microsoft Bing Chat की "Sydney" घटना (2023) किस समस्या को उजागर करती है?
✓ सही! लंबी conversation में context fill होने पर AI unusual और unexpected responses देने लगा।
✗ Sydney incident ने दिखाया कि long context window में AI का behavior unstable हो सकता है — इसीलिए Microsoft ने turns limit लगाई।
3. Chinchilla (2022) ने यह किस बारे में सिद्ध किया?
✓ बिल्कुल सही! Chinchilla scaling law ने सभी बाद के model training decisions को प्रभावित किया।
✗ Chinchilla ने "compute-optimal" training का concept दिया — parameters बढ़ाने के साथ-साथ proportionally training data भी बढ़ानी चाहिए।
4. Steven Schwartz case (2023) में $5,000 का जुर्माना क्यों लगा?
✓ सही! 6 काल्पनिक cases cite करना — जो AI ने hallucinate किए — legal misconduct था।
✗ ChatGPT ने 6 non-existent court cases hallucinate किए थे जिन्हें Schwartz ने verify किए बिना legal brief में cite किया।
5. "Lost in the Middle" phenomenon किसने खोजा और इसका क्या अर्थ है?
✓ सही! यह 2023 की महत्वपूर्ण खोज है जो बताती है कि long context window होना पर्याप्त नहीं — position भी matters करती है।
✗ Stanford और UC Berkeley के 2023 शोध ने यह दिखाया कि LLMs लंबे context में beginning और end को better process करते हैं, middle को कम।
6. Self-attention में "Query" vector का क्या काम है?
✓ सही! Q = "मुझे क्या चाहिए", K = "मेरे पास क्या है", V = "actual content"। Q और K का dot product attention weight देता है।
✗ Query vector "क्या खोजा जा रहा है" को represent करता है। Key vector "क्या उपलब्ध है" को। दोनों का dot product attention score बनाता है।
7. "Attention Is All You Need" (2017) से पहले NLP में कौन सी architecture dominant थी?
✓ सही! RNN और LSTM sequential data process करते थे लेकिन parallel processing नहीं कर सकते थे — Transformer ने यह limitation हटाई।
✗ 2017 से पहले NLP में RNN (Recurrent Neural Networks) और LSTM dominant थे — Transformer ने उन्हें replace किया।
8. Air Canada chatbot case में tribunal का क्या फैसला था?
✓ सही! यह AI legal liability का landmark ruling है — companies अपने AI agents के actions से पीछा नहीं छुड़ा सकतीं।
✗ BC Civil Resolution Tribunal ने माना कि chatbot airline का representative है और airline उसके बयानों के लिए liable है।
9. Samsung ने ChatGPT का internal use क्यों ban किया?
✓ सही! यह context window में sensitive data डालने के खतरों का real-world उदाहरण है।
✗ Samsung के employees ने confidential code ChatGPT में paste किया — इससे data privacy breach हुई और Samsung ने immediately ban लगाया।
10. ReAct framework में "think-act-observe" cycle का क्या महत्व है?
✓ बिल्कुल सही! ReAct cycle AI को dynamic, grounded reasoning देता है — static text generation से बहुत आगे।
✗ ReAct का think-act-observe cycle AI को iterative problem solving देता है — tool results देखकर reasoning refine करना possible होता है।
11. CLIP (2021) ने AI में क्या नया किया?
✓ सही! CLIP (Contrastive Language-Image Pre-training) ने image-text alignment सिखाई जो DALL-E और GPT-4V की नींव बनी।
✗ CLIP ने contrastive learning से image-text pairs को एक unified embedding space में रखा — यही multimodal AI का foundation है।
12. GPT-4o में "omni" का व्यावहारिक अर्थ क्या है?
✓ सही! GPT-4o ने separate pipelines की ज़रूरत खत्म की — एक ही model सभी modalities handle करता है।
✗ "Omni" का मतलब है सर्व-समाहित — text, audio और image तीनों को natively एक ही model process करता है, separate systems की ज़रूरत नहीं।
13. Mechanistic Interpretability का main goal क्या है?
✓ बिल्कुल सही! Mechanistic interpretability circuit-level understanding चाहती है — "black box" को transparent बनाना।
✗ Mechanistic interpretability का goal है neural network के internal mechanisms को reverse-engineer करना — जैसे कोई computer program का code पढ़े।
14. Positional encoding क्यों ज़रूरी है और इसका आधुनिक विकल्प क्या है?
✓ सही! Self-attention order-agnostic है — positional encoding ज़रूरी है। LLaMA और Mistral जैसे models RoPE use करते हैं।
✗ Self-attention naturally permutation-invariant है — बिना positional encoding के word order का कोई sense नहीं होता। RoPE आधुनिक standard है।
15. Anthropic के "Golden Gate Claude" experiment ने क्या दिखाया?
✓ सही! Golden Gate Claude — जो हर चीज़ को Golden Gate Bridge से जोड़ता था — SAEs की interpretability और steering power दोनों का proof था।
✗ Golden Gate Claude experiment ने दिखाया कि SAEs से specific features identify और amplify करके AI behavior को predictably alter किया जा सकता है — यह mechanistic interpretability की practical power है।