Nei modelli linguistici di IA, che cos'è un "token"?

Un token è l'unità di base che un modello di IA usa per elaborare il testo, e non è sempre una parola intera: le parole comuni possono essere un singolo token, mentre le parole più lunghe vengono spezzate in pezzi più piccoli, e anche la punteggiatura può contare come token a sé. Poiché i modelli leggono e generano testo token per token, sia il loro limite di contesto sia il costo d'uso vengono misurati in numero di token piuttosto che in lettere o parole intere.

Una chiave di sicurezza digitale e una criptovaluta usano entrambe la parola "token", ma descrivono concetti completamente diversi provenienti da ambiti non correlati, ossia autenticazione e valuta digitale.

Poiché lingue diverse o formulazioni diverse della stessa idea usano numeri diversi di token, la stessa frase tradotta o scritta in modo più prolisso può finire per costare sensibilmente di più da elaborare.