tech
جب کہا جاتا ہے کہ کسی AI ماڈل کی کوئی 'کونٹیکسٹ حد' ہے یا اسے استعمال کرنے پر اتنی لاگت آتی ہے، تو یہ اعداد الفاظ یا حروف میں نہیں بلکہ انہی خاص اکائیوں میں گنے جاتے ہیں۔
ٹوکن وہ بنیادی اکائی ہے جسے ایک اے آئی ماڈل متن کو پروسیس کرنے کے لیے استعمال کرتا ہے، اور یہ ہمیشہ ایک مکمل لفظ نہیں ہوتا — عام الفاظ ایک ہی ٹوکن ہو سکتے ہیں، جبکہ لمبے الفاظ چھوٹے حصوں میں توڑ دیے جاتے ہیں، اور رموزِ اوقاف بھی اپنا الگ ٹوکن شمار ہو سکتے ہیں۔ چونکہ ماڈل ٹوکن بہ ٹوکن متن پڑھتے اور تخلیق کرتے ہیں، ان کی کانٹیکسٹ حد اور استعمال کی لاگت دونوں حروف یا مکمل الفاظ کی بجائے ٹوکن کی تعداد میں ناپی جاتی ہیں۔
ایک ڈیجیٹل سیکیورٹی کلید اور کرپٹو کرنسی دونوں بھی لفظ "ٹوکن" استعمال کرتے ہیں، مگر غیر متعلقہ شعبوں کے بالکل مختلف تصورات بیان کرتے ہیں، یعنی تصدیق اور ڈیجیٹل کرنسی۔
چونکہ مختلف زبانیں یا ایک ہی خیال کے مختلف اظہار مختلف تعداد میں ٹوکن استعمال کرتے ہیں، ایک ہی جملہ ترجمہ شدہ یا زیادہ تفصیلی طور پر لکھا گیا پروسیس کرنے کے لیے نمایاں طور پر زیادہ خرچہ لے سکتا ہے۔
tech
ChatGPT میں "GPT" کا مطلب کیا ہے؟ایسے چیٹ بوٹ سے ایک "اے آئی ایجنٹ" کو بنیادی طور پر مختلف کیا چیز بناتی ہے؟"مشین لرننگ" کیا ہے؟سافٹ ویئر کے "اوپن سورس" ہونے کا کیا مطلب ہے؟آسان الفاظ میں "بلاک چین" کیا ہے؟کلاؤڈ کمپیوٹنگ میں "کلاؤڈ" کیا ہے؟اے آئی میں "نیورل نیٹ ورک" تقریباً کس چیز کی نقل پر بنایا گیا ہے؟"NFT" کس چیز کی نمائندگی کرتا ہے؟سافٹ ویئر میں "API" کیا ہے؟"ٹیورنگ ٹیسٹ" کیا ماپتا ہے؟"کمپیوٹر وژن" کیا ہے؟"پرامپٹ انجینئرنگ" کیا ہے؟Quration — Quration Play