इस संपीड़न तकनीक को क्या कहते हैं?

क्वांटाइज़ेशन उन अरबों संख्याओं—जिन्हें पैरामीटर कहा जाता है और जो किसी AI मॉडल के ज्ञान को बनाती हैं—को संग्रहित करने में इस्तेमाल होने वाली परिशुद्धता को घटा देता है, उदाहरण के लिए 16 बिट परिशुद्धता में संग्रहित संख्याओं को घटाकर केवल 4 या 8 बिट कर देता है। चूँकि हर संख्या फिर कम मेमोरी और गणना लेती है, मॉडल छोटा और चलाने में तेज़ हो जाता है, जिससे अक्सर एक सक्षम मॉडल को विशेष सर्वर के बजाय लैपटॉप या फ़ोन जैसे सामान्य हार्डवेयर पर फिट करना संभव हो जाता है।

बफ़रिंग का मतलब है डेटा—अक्सर ऑडियो या वीडियो—को सहज प्लेबैक के लिए अस्थायी रूप से संग्रहित करना, जो मॉडल की संख्यात्मक परिशुद्धता घटाने से अलग अवधारणा है। इंडेक्सिंग का मतलब है डेटा को इस तरह व्यवस्थित करना, जैसे किसी डेटाबेस में, कि उसे जल्दी खोजा जा सके, इसका मॉडल के संख्या-भंडारण को छोटा करने से कोई संबंध नहीं।

जब सावधानी से किया जाए, तो क्वांटाइज़ेशन किसी मॉडल के आकार को नाटकीय रूप से घटा सकता है जबकि उसकी सटीकता पर मुश्किल से ही असर डालता है, यही वजह है कि यह एक अहम तकनीक बन गई है जो आश्चर्यजनक रूप से शक्तिशाली AI को केवल बड़े डेटा सेंटरों के बजाय रोज़मर्रा के उपभोक्ता उपकरणों पर चलाना संभव बनाती है।