basics

ChatGPT सारखे भाषा मॉडेल्स संपूर्ण वाक्य एकदम वाचत नाहीत. मजकूर लहान तुकड्यांमध्ये तोडून प्रोसेस केला जातो — आणि मराठी/कोरियन सारखा मजकूर इंग्रजीपेक्षा जास्त तुकड्यांत मोडला जातो, त्यामुळे तेच परिच्छेद प्रोसेस करणं 'जास्त खर्चिक' ठरतं.

या तुकड्यांना काय म्हणतात?

• टोकन्स ✓
• पिक्सेल्स
• पॅकेट्स

Quration — Quration AIQ