basics

โมเดลภาษาอย่าง ChatGPT ไม่ได้อ่านประโยคทั้งประโยคทีเดียว แต่จะสับข้อความออกเป็นชิ้นเล็ก ๆ ก่อนประมวลผล — และข้อความภาษาไทยก็ถูกตัดเป็นชิ้นมากกว่าภาษาอังกฤษ ทำให้เนื้อความเดียวกัน 'แพงกว่า' ในการประมวลผล

ชิ้นเล็ก ๆ เหล่านี้เรียกว่าอะไร?

• โทเคน (Tokens) ✓
• พิกเซล (Pixels)
• แพ็กเก็ต (Packets)

Quration — Quration AIQ