Katika miundo ya lugha ya AI, "token" ni nini?

Token ni kipimo cha msingi ambacho modeli ya AI hutumia kuchakata maandishi, na si mara zote neno zima — maneno ya kawaida yanaweza kuwa token moja tu, wakati maneno marefu zaidi hugawanywa vipande vidogo zaidi, na hata alama za uandishi zinaweza kuhesabiwa kama token yake yenyewe. Kwa kuwa modeli husoma na kuzalisha maandishi token kwa token, kikomo chake cha muktadha na gharama ya matumizi vyote hupimwa kwa idadi ya token badala ya herufi au maneno kamili.

Ufunguo wa usalama wa kidijitali na sarafu ya kidijitali pia hutumia neno "token," lakini kueleza dhana tofauti kabisa kutoka nyanja zisizohusiana, yaani uthibitisho na sarafu ya kidijitali.

Kwa kuwa lugha tofauti au maneno tofauti ya wazo lile lile hutumia idadi tofauti ya token, sentensi ile ile iliyotafsiriwa au kuandikwa kwa maneno mengi zaidi inaweza kuishia kugharimu zaidi kuchakata.