এআই ভাষা মডেলে "টোকেন" কী?

টোকেন হলো এআই মডেল লেখা প্রক্রিয়াকরণের জন্য ব্যবহার করে এমন মৌলিক একক, আর এটা সবসময় একটা গোটা শব্দ নয়—সাধারণ শব্দ একটামাত্র টোকেন হতে পারে, অন্যদিকে লম্বা শব্দ ছোট ছোট টুকরায় ভাঙা হয়, এমনকি যতিচিহ্নও নিজেই একটা টোকেন হিসেবে গণ্য হতে পারে। মডেলগুলো টোকেন ধরে ধরে লেখা পড়ে ও তৈরি করে বলে এদের কনটেক্সট সীমা আর ব্যবহারের খরচ, অক্ষর বা গোটা শব্দের বদলে টোকেন সংখ্যায় মাপা হয়।

একটা ডিজিটাল নিরাপত্তা চাবি আর ক্রিপ্টোকারেন্সি দুটোতেই "টোকেন" শব্দটা ব্যবহৃত হয়, কিন্তু সম্পূর্ণ ভিন্ন, অসম্পর্কিত ক্ষেত্র—প্রমাণীকরণ আর ডিজিটাল মুদ্রা—থেকে আসা ধারণা বর্ণনা করে।

যেহেতু একই ধারণা বিভিন্ন ভাষায় বা বিভিন্নভাবে প্রকাশ করলে ভিন্ন সংখ্যক টোকেন লাগে, একই বাক্য অনুবাদ করলে বা আরও দীর্ঘায়িতভাবে লিখলে তা প্রক্রিয়াকরণে লক্ষণীয়ভাবে বেশি খরচ হতে পারে।