Was ist in KI-Sprachmodellen ein „Token"?

Ein Token ist die grundlegende Einheit, mit der ein KI-Modell Text verarbeitet, und das ist nicht immer ein ganzes Wort – gängige Wörter können ein einzelnes Token sein, während längere Wörter in kleinere Teile zerlegt werden, und sogar Satzzeichen können als eigenes Token zählen. Da Modelle Text Token für Token lesen und erzeugen, werden sowohl ihre Kontextgrenze als auch ihre Nutzungskosten in Tokenzahlen gemessen, nicht in Buchstaben oder ganzen Wörtern.

Ein digitaler Sicherheitsschlüssel und eine Kryptowährung verwenden ebenfalls das Wort „Token“, beschreiben aber völlig andere Konzepte aus unabhängigen Bereichen, nämlich Authentifizierung und digitales Geld.

Da unterschiedliche Sprachen oder Formulierungen derselben Idee unterschiedlich viele Tokens benötigen, kann derselbe Satz übersetzt oder umständlicher formuliert deutlich mehr an Verarbeitungskosten verursachen.