この訓練手法は何と呼ばれるでしょう?

知識蒸留は、より小さく効率的な「生徒」モデルを訓練し、より大きく高性能な「教師」モデルの出力や振る舞いを模倣させることで、教師が学んだ技能の多くを事実上コンパクトな形へと移し替える手法だ。生徒モデルは多数の例にわたる教師の応答から学び、一から学ぶとなればはるかに高くつくはずの推論のパターンやスタイルを吸収する。これにより企業は、規模は小さくても驚くほど優れた性能を発揮する、速くて安価なツールを展開できるようになる。

暗号化は、許可された当事者だけがデータを読めるようにデータを乱すセキュリティ技術であり、モデル間で技能を移し替えるという概念とはまったく異なる。オーバークロックとは、性能を上げるためにハードウェアを標準設定より速く動かすことであり、モデルがどう訓練されるかとは無関係なハードウェア側の工夫だ。

これは、今日利用できる多くの高速で安価なAIチャットボットが、依然として日常的な作業で驚くほど優れた性能を発揮している大きな理由の一つだ。あらゆる利用者のリクエストに対して直接動かすには現実的でないほど、はるかに大きく高価なモデルから蒸留された知識を、実質的に受け継いでいるためである。