Quration AIQ

basics

小さなモデルを上手に作る近道として、大きなモデルが出した答えを教材にして小さなモデルを教える手法が広く使われています。

蒸留酒を作る工程から名前を取ったこの手法は?

蒸留
蒸留(Distillation)は大きな「教師モデル」の能力を小さな「生徒モデル」に移す手法です。低コストで高性能なモデルを作る競争の核心技術であり、「他社モデルの出力で学習してよいのか」という論争の材料にもなっています。
▶ Quration AIQ

basics

業界が見出した対応策の一つは?数千億円規模の投資の根拠となったこの経験則の名前は?この目標の略称は?数学・コーディング・知識の問題集でモデルを採点し比較するこれは?この総称は?この単位の名前は?「700億パラメータのモデル」のように言うとき、この「パラメータ」は何を数えているのでしょうか?この現象を何と呼ぶでしょうか?この論文のタイトルは?この人のフィードバックを反映する追加訓練を何と呼ぶでしょうか?この上限を何と呼ぶでしょうか?その代表格Llamaは、どの企業が公開したものでしょうか?

Quration — Quration AIQ