เมื่อพูดถึงโมเดล AI ที่มี 'พารามิเตอร์ 7 หมื่นล้านตัว' นั่นคือการนับอะไร?

พารามิเตอร์ (parameter) หมายถึงจำนวนตัวเลขที่ปรับได้ หรือที่เรียกว่าน้ำหนัก (weight) ที่ถูกปรับแต่งภายในโมเดลระหว่างการฝึกฝน ไม่ใช่จำนวนเอกสารที่มันเรียนรู้มาหรือจำนวนคนที่มันรองรับได้พร้อมกัน โดยทั่วไปแล้ว พารามิเตอร์ที่มากขึ้นหมายถึงความสามารถในการแทนรูปแบบที่ซับซ้อนมากขึ้น เพราะมีค่าภายในที่ปรับได้มากขึ้นเพื่อจับความละเอียดอ่อนในข้อมูล

จำนวนเอกสารฝึกฝนอธิบายถึงขนาดของชุดข้อมูลที่โมเดลเรียนรู้มา และจำนวนผู้ใช้พร้อมกันอธิบายถึงเรื่องโครงสร้างพื้นฐานเซิร์ฟเวอร์และความต้องการใช้งาน ทั้งสองแนวคิดนี้แตกต่างอย่างมากจากจำนวนน้ำหนักที่ปรับได้ซึ่งฝังอยู่ในตัวโมเดลเอง

ใหญ่กว่าไม่ได้แปลว่าดีกว่าเสมอไป เพราะโมเดลขนาดเล็กที่ฝึกฝนมาอย่างดีสามารถเทียบเท่าหรือเอาชนะโมเดลขนาดใหญ่ในหลายงานได้มากขึ้นเรื่อยๆ แสดงให้เห็นว่าวิธีฝึกฝนโมเดลและข้อมูลที่มันเห็นสำคัญพอๆ กับจำนวนพารามิเตอร์ดิบๆ