この圧縮技術は何と呼ばれるでしょう？

量子化とは、AIモデルの知識を構成する数十億もの数値(パラメーターと呼ばれる)それぞれを保存する際の精度を下げる手法であり、たとえば16ビットの精度で保存されていた数値を、わずか4ビットや8ビットへと変換する。これにより一つ一つの数値が使うメモリと計算量が減るため、モデルはより小さく、より速く動くようになり、専用のサーバーではなく、ノートパソコンやスマートフォンといった普通のハードウェアに、高性能なモデルを収められるようになることも多い。

バッファリングとは、音声や動画などのデータを滑らかに再生するために一時的に保存しておくことを指し、モデルの数値精度を下げることとは別の概念だ。インデックス作成とは、データベースなどでデータをすばやく見つけられるよう整理することを指し、モデルの数値保存量を減らすこととは無関係である。

注意深く行えば、量子化はモデルの精度をほとんど損なうことなくサイズを劇的に縮小できる。これが、驚くほど強力なAIを大規模データセンターだけでなく、日常的な家庭用デバイス上でも動かせるようにする重要な技術となっている理由だ。