Quration AIQ

basics

打造優秀小模型有一條捷徑：拿大模型的答案當教材，去教一個小模型。這個技巧的名字，借用自釀酒提純的過程。

它是什麼？

蒸餾（Distillation）
蒸餾把大型「教師」模型的能力轉移給小型「學生」模型。它推動了「便宜卻能用」的模型競賽——同時也引發了「拿別家模型的輸出來訓練是否合理」的爭議。
▶ Quration AIQ

basics

業界主要的應對方式是什麼？這條為千億級投資背書的經驗法則叫什麼？這個超越特定任務型 AI、目標是打造像人類一樣通用機器智慧的詞，其縮寫是什麼？這些叫什麼？這個統稱叫什麼？這些小碎片叫什麼？當人們說某個 AI 模型有「700 億參數」時，他們數的到底是什麼？這種現象叫什麼？這篇論文叫什麼？這個利用人類回饋進行訓練的步驟叫什麼？這個上限叫什麼？「開放權重」模型的旗艦代表 Llama，是由哪家公司發布的？

Quration — Quration AIQ