Dalam model bahasa AI, apakah "token"?

Token ialah unit asas yang digunakan model AI untuk memproses teks, dan ia tidak selalu satu perkataan penuh — perkataan biasa mungkin satu token tunggal, manakala perkataan yang lebih panjang dipecahkan kepada bahagian yang lebih kecil, malah tanda baca pun boleh dikira sebagai tokennya sendiri. Oleh sebab model membaca dan menghasilkan teks token demi token, kedua-dua had konteksnya dan kos penggunaannya diukur dalam bilangan token berbanding huruf atau perkataan penuh.

Kunci keselamatan digital dan mata wang kripto kedua-duanya juga menggunakan perkataan "token", tetapi menggambarkan konsep yang sama sekali berbeza daripada bidang yang tidak berkaitan, iaitu pengesahan dan mata wang digital.

Oleh sebab bahasa atau cara penyataan idea yang sama menggunakan bilangan token yang berbeza, ayat yang sama diterjemahkan atau ditulis dengan lebih panjang lebar boleh menghasilkan kos pemprosesan yang ketara lebih tinggi.