Sa AI language models, ano ang "token"?

Ang token ay ang pangunahing yunit na ginagamit ng isang AI model para iproseso ang teksto, at hindi ito palaging buong salita — maaaring iisang token ang isang karaniwang salita, samantalang ang mas mahahabang salita ay hinahati sa mas maliliit na piraso, at kahit ang bantas ay maaaring bilangin bilang sarili nitong token. Dahil binabasa at ginagawa ng model ang teksto isang token nang isang token, parehong sinusukat sa bilang ng token ang context limit at gastos nito sa halip na mga letra o buong salita.

Ginagamit din ang salitang "token" para sa isang digital security key at cryptocurrency, pero naglalarawan sila ng ganap na ibang konsepto mula sa hiwalay na larangan, katulad ng authentication at digital na salapi.

Dahil iba-iba ang bilang ng token na ginagamit ng iba't ibang wika o pagbabalangkas ng parehong ideya, ang parehong pangungusap na isinalin o binalangkas nang mas mahaba ay maaaring maging mas mahal na iproseso.