वेक्टर एंबेडिंग्स और सिमिलरिटी गणित: शुरुआती गाइड

पुराने सर्च इंजन केवल अक्षरों के मिलान (Keyword Search) पर निर्भर थे। यदि आप "गाड़ी" खोजते थे, तो वह केवल "कार" लिखने वाले दस्तावेज़ों को छोड़ देता था क्योंकि अक्षर आपस में मेल नहीं खाते थे।

आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम वेक्टर एंबेडिंग्स (Vector Embeddings) का उपयोग करके इस समस्या का समाधान करते हैं। टेक्स्ट की शाब्दिक तुलना के बजाय, एंबेडिंग मॉडल शब्दों और वाक्यों को गणितीय निर्देशांकों (Spatial Coordinates) में बदलते हैं।

इस शुरुआती गाइड में, हम समझेंगे कि एंबेडिंग्स अर्थ को ज्यामितीय स्थान में कैसे दर्शाती हैं, टेक्स्ट सिमिलरिटी मापने के गणितीय सूत्रों की तुलना करेंगे, और वेक्टर डेटाबेस द्वारा उपयोग की जाने वाली स्पीड ऑप्टिमाइजेशन ट्रिक को समझेंगे।

1. वेक्टर एंबेडिंग क्या है?

एंबेडिंग मॉडल एक विशेष न्यूरल नेटवर्क है जो सिमेंटिक ट्रांसलेटर के रूप में काम करता है। यह किसी भी इनपुट टेक्स्ट को लेता है और निश्चित लंबाई वाली फ्लोटिंग-पॉइंट संख्याओं की सूची (Vektor) आउटपुट करता है।

Input Text: "automobile"  ---> Embedding Model ---> [0.024, -0.412, 0.891, ..., 0.105]
Input Text: "car"         ---> Embedding Model ---> [0.021, -0.408, 0.887, ..., 0.112]

ये संख्याएँ यादृच्छिक नहीं हैं। ये एक उच्च-आयामी (High-Dimensional) गणितीय मानचित्र पर निर्देशांक का काम करती हैं। चूंकि "car" और "automobile" का अर्थ एक समान है, मॉडल उनके निर्देशांकों को एक-दूसरे के पास रखता है।

2. भाषा की ज्यामिति: डायमेंशनलिटी को समझना

वेक्टर ऐरे में संख्याओं की कुल संख्या उसकी डायमेंशनलिटी (जैसे 768 डायमेंशन) तय करती है।

हालाँकि इंसान 768-आयामी स्थान की कल्पना नहीं कर सकते, लेकिन इसका गणित 2D एरो खींचने जैसा ही काम करता है:

प्रत्येक वेक्टर मूल बिंदु (Origin [0, 0, ... 0]) से शुरू होता है।
वेक्टर के मान बताते हैं कि तीर प्रत्येक अक्ष पर कितना आगे बढ़ता है।
तीर की नोक सिमेंटिक स्पेस में एक बिंदु पर पहुँचती है।

2D Vector Space Visualization:

  Y Axis (Concept: Technology)
    ^
    |      * "laptop" [2.1, 4.8]
    |      * "computer" [2.3, 4.5]
    |
    |                         * "banana" [4.9, 0.4]
    +------------------------------------------------> X Axis (Concept: Food)

महत्वपूर्ण नियम: कभी भी किसी एक संख्या (जैसे 42वें डायमेंशन) को अलग से समझने का प्रयास न करें। अर्थ सभी डायमेंशन के पूरे पैटर्न में फैला होता है।

3. गणितीय मेट्रिक्स: दूरी और निकटता मापना

दो टेक्स्ट का अर्थ एक जैसा है या नहीं, यह मापने के लिए कंप्यूटर 4 मुख्य सूत्रों का उपयोग करते हैं:

1. वेक्टर मैग्नीट्यूड (L2 Norm)

यह तीर की कुल लंबाई मापता है:

$\|\mathbf{a}\| = \sqrt{\sum_{i=1}^{n} a_i^2}$

2. डॉट प्रोडक्ट (Dot Product)

यह दो वेक्टर के प्रत्येक अंक को आपस में गुणा करके उनका योग निकालता है:

$\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i$

3. यूक्लिडियन दूरी (L2 Distance)

यह दोनों तीरों की नोक के बीच की सीधी रेखा की दूरी मापता है:

$d(\mathbf{a}, \mathbf{b}) = \sqrt{\sum_{i=1}^{n} (a_i - b_i)^2}$

4. कोसाइन सिमिलरिटी (Cosine Similarity)

यह दो तीरों के बीच के कोण ( $\theta$ ) को मापता है और तीर की लंबाई को नजरअंदाज करता है:

$\cos(\theta) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \|\mathbf{b}\|}$

टेक्स्ट सर्च के लिए सबसे बेहतरीन: यदि 3 शब्दों की खोज और 500 शब्दों का लेख एक ही विषय पर हैं, तो उनके तीर एक ही दिशा में होंगे ( $\theta \approx 0^\circ \implies \cos(\theta) \approx 1.0$ )।

4. प्रोडक्शन इंजीनियरिंग: "Normalize-Then-Dot" ट्रिक

कोसाइन सिमिलरिटी निकालने के लिए भाग (Division) करना पड़ता है, जो लाखों वेक्टर के लिए काफी धीमा होता है।

वेक्टर डेटाबेस (जैसे Pinecone, Milvus, pgvector) एक गणितीय शॉर्टकट अपनाते हैं:

स्टेप 1: डेटाबेस में डालते ही नॉर्मलाइज़ करना

जब भी नया वेक्टर सेव होता है, सिस्टम उसकी लंबाई को 1.0 ( $\hat{\mathbf{a}}$ ) बना देता है:

$\hat{\mathbf{a}} = \frac{\mathbf{a}}{\|\mathbf{a}\|}$

स्टेप 2: तेज़ सर्च

चूंकि दोनों तीरों की लंबाई 1.0 है ( $\|\hat{\mathbf{a}}\| = 1$ और $\|\hat{\mathbf{b}}\| = 1$ ), कोसाइन सूत्र का निचला हिस्सा (हर) 1 बन जाता है:

$\cos(\theta) = \frac{\hat{\mathbf{a}} \cdot \hat{\mathbf{b}}}{1 \times 1} = \hat{\mathbf{a}} \cdot \hat{\mathbf{b}}$

पहल से ही नॉर्मलाइज़ करने के कारण कोसाइन सिमिलरिटी सीधा डॉट प्रोडक्ट बन जाती है। डेटाबेस को रनटाइम पर भाग नहीं करना पड़ता और सर्च अत्यधिक तेज़ हो जाती है।