這種壓縮技術叫什麼？

量化(quantization)會降低儲存AI模型知識所需的每一個數字(稱為參數,共有數十億個)的精度,舉例來說,把原本以16位元精度儲存的數字,轉換成只用4位元或8位元來儲存。由於每個數字所需的記憶體與運算量因此減少,模型會變得更小、運行更快,通常能讓一個能力強大的模型得以在筆記型電腦或手機這類一般硬體上運行,而不必仰賴專門的伺服器。

緩衝(buffering)指的是暫時儲存資料(通常是音訊或影片)以確保播放流暢,這和降低模型的數值精度是不同的概念。索引(indexing)指的是像資料庫那樣整理資料,以便能快速找到,和縮減模型的數字儲存量無關。

只要處理得當,量化能大幅縮小模型的體積,同時對其準確度的影響微乎其微,這也是為什麼它已成為讓強大得驚人的AI得以在一般消費性裝置上運行、而不只是侷限於大型資料中心的一項關鍵技術。