AI மொழி மாதிரிகளில் "டோக்கன்" என்றால் என்ன?

ஒரு டோக்கன் என்பது ஒரு AI மாதிரி உரையை செயலாக்கப் பயன்படுத்தும் அடிப்படை அலகு, மேலும் இது எப்போதும் ஒரு முழு சொல் அல்ல - பொதுவான சொற்கள் ஒரே ஒரு டோக்கனாக இருக்கலாம், நீளமான சொற்கள் சிறு துண்டுகளாக பிரிக்கப்படும், மேலும் நிறுத்தற்குறிகள் கூட தனித்தனி டோக்கனாக கணக்கிடப்படலாம். மாதிரிகள் உரையை டோக்கன் டோக்கனாக படித்து உருவாக்குவதால், அவற்றின் சூழல் வரம்பும் பயன்பாட்டுச் செலவும் எழுத்துகளிலோ முழு சொற்களிலோ அல்லாமல் டோக்கன் எண்ணிக்கையில் அளக்கப்படுகின்றன.

ஒரு டிஜிட்டல் பாதுகாப்பு டோக்கனும் கிரிப்டோகரன்சி டோக்கனும் 'டோக்கன்' என்ற அதே சொல்லைப் பயன்படுத்துகின்றன, ஆனால் அவை முற்றிலும் வேறுபட்ட, தொடர்பற்ற துறைகளிலிருந்து - அதாவது அங்கீகாரம் மற்றும் டிஜிட்டல் நாணயம் - வந்த கருத்துக்களை விவரிக்கின்றன.

வெவ்வேறு மொழிகளோ ஒரே கருத்தின் வெவ்வேறு சொற்றொடர்களோ வெவ்வேறு எண்ணிக்கையிலான டோக்கன்களைப் பயன்படுத்துவதால், மொழிபெயர்க்கப்பட்ட அல்லது அதிக விவரமாக எழுதப்பட்ட அதே வாக்கியம் செயலாக்குவதற்கு குறிப்பிடத்தக்க அளவு அதிக செலவாகலாம்.