ในโมเดลภาษา AI "โทเคน (token)" คืออะไร?

โทเคนคือหน่วยพื้นฐานที่โมเดล AI ใช้ประมวลผลข้อความ และไม่ได้เป็นคำเต็มเสมอไป คำทั่วไปอาจเป็นโทเคนเดียว ในขณะที่คำยาวๆ จะถูกแบ่งออกเป็นชิ้นเล็กๆ และแม้แต่เครื่องหมายวรรคตอนก็อาจนับเป็นโทเคนของตัวเองได้ เพราะโมเดลอ่านและสร้างข้อความทีละโทเคน ทั้งขีดจำกัดบริบทและต้นทุนการใช้งานจึงถูกวัดเป็นจำนวนโทเคนแทนที่จะเป็นตัวอักษรหรือคำเต็ม

กุญแจความปลอดภัยดิจิทัลและสกุลเงินดิจิทัลต่างก็ใช้คำว่า "token" เช่นกัน แต่อธิบายแนวคิดที่แตกต่างกันโดยสิ้นเชิงจากสาขาที่ไม่เกี่ยวข้องกัน คือการยืนยันตัวตนและสกุลเงินดิจิทัล

เพราะภาษาหรือการใช้ถ้อยคำที่ต่างกันสำหรับแนวคิดเดียวกันใช้จำนวนโทเคนต่างกัน ประโยคเดียวกันที่ถูกแปลหรือเขียนอย่างเยิ่นเย้อกว่าจึงอาจมีต้นทุนในการประมวลผลสูงขึ้นอย่างเห็นได้ชัด