एआई भाषा मॉडलों में "टोकन" क्या है?

टोकन वह बुनियादी इकाई है जिसका इस्तेमाल एआई मॉडल टेक्स्ट प्रोसेस करने के लिए करता है, और यह हमेशा एक पूरा शब्द नहीं होता—आम शब्द एक ही टोकन हो सकते हैं, जबकि लंबे शब्द छोटे-छोटे टुकड़ों में बंट जाते हैं, और यहां तक कि विराम चिह्न भी अपने आप में एक टोकन गिना जा सकता है। चूंकि मॉडल टेक्स्ट को टोकन-दर-टोकन पढ़ते और बनाते हैं, इनकी संदर्भ सीमा और इस्तेमाल की लागत दोनों अक्षरों या पूरे शब्दों के बजाय टोकन गिनती में मापी जाती हैं।

एक डिजिटल सुरक्षा 'की' और क्रिप्टोकरेंसी दोनों में भी 'टोकन' शब्द इस्तेमाल होता है, लेकिन ये पूरी तरह असंबंधित क्षेत्रों—प्रमाणीकरण और डिजिटल मुद्रा—की पूरी तरह अलग अवधारणाओं का वर्णन करते हैं।

चूंकि एक ही विचार को अलग-अलग भाषाओं या शब्दों में कहने पर अलग-अलग संख्या में टोकन बनते हैं, वही वाक्य अनुवाद होने पर या ज़्यादा शब्दों में लिखे जाने पर प्रोसेस करने में साफ़ ज़्यादा खर्चीला हो सकता है।