📘 Transformer Architecture का परिचय

🔰 परिचय: Transformer – LLMs की रीढ़

Transformer Architecture वह क्रांतिकारी तकनीक है जिस पर लगभग सभी आधुनिक LLMs आधारित होते हैं — जैसे GPT, Claude, Gemini, LLaMA, आदि।
Google द्वारा 2017 में प्रकाशित पेपर “Attention is All You Need” में इसे पहली बार प्रस्तुत किया गया था।

यह आर्किटेक्चर NLP के लिए इतना प्रभावी साबित हुआ कि RNNs और LSTMs लगभग अप्रचलित हो गए।

🧱 Transformer का मूल उद्देश्य

Transformer का लक्ष्य है — टोकन (शब्द) अनुक्रम को प्रोसेस करना इस तरह से कि प्रत्येक टोकन, अन्य सभी टोकन के सन्दर्भ को समझ सके।

इसका प्रयोग किया जाता है:

• वाक्य/पैरा को समझने के लिए

• टेक्स्ट जनरेट करने के लिए

• अनुवाद, सारांश, कोडिंग जैसी गतिविधियों के लिए

🔄 पारंपरिक NLP बनाम Transformer आधारित NLP

⚙️ Transformer के प्रमुख घटक

1. Input Embedding

• शब्दों को संख्यात्मक vectors में बदला जाता है।

• इन्हें word embeddings कहते हैं (उदाहरण: Word2Vec, BERT embeddings आदि)।

2. Positional Encoding

• चूंकि Transformer में क्रम (sequence) को inherent रूप से नहीं समझा जाता, इसलिए यह जानकारी अलग से दी जाती है।

• Sinusoidal functions का प्रयोग होता है ताकि मॉडल को टोकन की स्थिति का बोध हो।

3. Multi-Head Self-Attention

• प्रत्येक टोकन अन्य सभी टोकन पर “ध्यान” देता है।

• “Self-attention” की सहायता से शब्दों के बीच संबंध को देखा जाता है।

• Multiple attention heads एक साथ काम करते हैं, जिससे अलग-अलग प्रकार के रिलेशन सीखे जा सकते हैं।

4. Feed Forward Neural Network (FFN)

• प्रत्येक Attention Layer के बाद एक FFN होता है जो Non-linearity जोड़ता है और Representations को अपडेट करता है।

5. Layer Normalization & Residual Connections

• हर ब्लॉक में Residual Path और Normalization होता है, जिससे Gradient Flow बेहतर होता है और ट्रेनिंग स्थिर रहती है।

🔁 Transformer Architecture: High-Level Overview

Input Sentence → Token Embeddings → Positional Encoding  
↓  
Multi-Head Self-Attention Layer  
↓  
Feed Forward Neural Network  
↓  
Repeat for N Layers  
↓  
Final Output Embeddings → Prediction (Next Word / Task Specific)

🎯 Encoder vs Decoder

Transformer में दो प्रमुख भाग होते हैं:

GPT जैसे मॉडल सिर्फ Decoder Stack का उपयोग करते हैं।
BERT जैसे मॉडल सिर्फ Encoder Stack का उपयोग करते हैं।
T5, BART जैसे मॉडल Encoder + Decoder दोनों का प्रयोग करते हैं।

🔎 Self-Attention: एक उदाहरण

मान लीजिए वाक्य है:

“The cat sat on the mat.”

Self-Attention Layer यह सीखता है कि “cat” का संबंध “sat” और “mat” से अधिक है, जबकि “the” जैसी शब्दों की महत्ता कम होती है।

यह प्रक्रिया निम्न 3 स्कोरों पर आधारित होती है:

• Query (Q)

• Key (K)

• Value (V)

और Output होता है:

Attention(Q, K, V) = softmax(QKᵀ / √d_k) × V

🧩 Transformer की विशेषताएँ

• Parallel Processing की क्षमता

• Long Context Understanding

• Scalability to Billions of Parameters

• Instruction-tuning और Fine-tuning में सक्षम

📌 Key Takeaways (सारांश बिंदु)

• Transformer Architecture ने NLP की दिशा को पूरी तरह बदल दिया।

• इसमें Self-Attention, Positional Encoding, Feed Forward Layers जैसे घटक होते हैं।

• यह RNN/LSTM की सीमाओं को पार करता है।

• GPT मॉडल सिर्फ Decoder आधारित होते हैं, जबकि BERT Encoder आधारित।