Wat is in AI-taalmodellen een "token"?

Een token is de basiseenheid die een AI-model gebruikt om tekst te verwerken, en het is niet altijd een heel woord — veelvoorkomende woorden kunnen één enkel token zijn, terwijl langere woorden in kleinere stukken worden opgesplitst, en zelfs leestekens kunnen als eigen token tellen. Omdat modellen tekst token voor token lezen en genereren, worden zowel hun contextlimiet als hun gebruikskosten gemeten in aantal tokens in plaats van letters of hele woorden.

Een digitale beveiligingssleutel en cryptovaluta gebruiken ook allebei het woord "token", maar beschrijven volledig andere concepten uit ongerelateerde vakgebieden, namelijk authenticatie en digitale valuta.

Omdat verschillende talen of formuleringen van hetzelfde idee een verschillend aantal tokens gebruiken, kan dezelfde zin, vertaald of uitgebreider geschreven, aanzienlijk meer kosten om te verwerken.