這種訓練技術叫什麼?

知識蒸餾(knowledge distillation)訓練一個較小、較有效率的「學生」模型去模仿一個規模較大、能力較強的「教師」模型的輸出與行為,藉此有效地把教師模型所學到的技能大量轉移到一個精簡的形式之中。學生模型透過大量範例學習教師模型的回應,吸收其中的推理與風格模式,而這些若要從頭學起,成本會高得多,讓企業得以部署速度快、成本低廉,卻依然表現亮眼的工具,儘管其規模較小。

加密是一種把資料打亂、使只有授權方能讀取的安全技術,和在模型之間轉移技能是完全不同的概念。超頻是指讓硬體以超出標準設定的速度運行以提升效能,是一種與模型訓練方式無關的硬體技巧。

這正是為什麼如今許多快速、低成本的AI聊天機器人,在日常任務上依然表現得相當出色的重要原因之一,因為它們實際上是繼承了規模遠大、成本遠高的模型所蒸餾出的知識,而若要為每一次使用者請求直接運行那些龐大模型,將會非常不切實際。