basics

ChatGPT-এর মতো ল্যাংগুয়েজ মডেল পুরো বাক্য একসাথে পড়ে না। এরা টেক্সটকে ছোট ছোট টুকরোয় ভেঙে প্রসেস করে — আর বাংলা বা কোরিয়ান টেক্সট ইংরেজির তুলনায় বেশি টুকরোয় ভাগ হয়, তাই একই কথা প্রসেস করতে বেশি 'খরচ' হয়।

এই টুকরোগুলোকে কী বলা হয়?

• টোকেন (Token) ✓
• পিক্সেল (Pixel)
• প্যাকেট (Packet)

Quration — Quration AIQ