當人們說某個 AI 模型有「700 億參數」時，他們數的到底是什麼？

「參數」指的是模型在訓練過程中不斷調整的可調整數值,也就是「權重」的數量,而不是模型學習過的文件數量,也不是它能同時服務多少使用者。一般來說,參數愈多,代表模型能容納更複雜模式的能力愈強,因為內部可以調整的數值更多,更能捕捉資料中的細微差異。

訓練文件的數量描述的是模型學習所用資料集的大小,同時使用者的數量則牽涉到伺服器基礎設施和需求量的問題,這兩者都跟模型本身內建的可調整權重數量截然不同。

「愈大不代表愈好」,因為訓練得當的較小模型,在許多任務上已逐漸追平甚至超越較大的模型,顯示訓練方式和所用資料的品質,可能和單純的參數數量一樣重要。