basics
ChatGPTのような言語モデルは文章を丸ごと読みません。テキストを細かく切った単位で処理していて、日本語は英語よりこの単位が多くなりがちで、同じ内容でも処理コストが「高く」なります。
basics
「700億パラメータのモデル」のように言うとき、この「パラメータ」は何を数えているのでしょうか？この現象を何と呼ぶでしょうか？この論文のタイトルは？この人のフィードバックを反映する追加訓練を何と呼ぶでしょうか？この上限を何と呼ぶでしょうか？その代表格Llamaは、どの企業が公開したものでしょうか？こうした複数の形式の入出力を扱うモデルを何と呼ぶでしょうか？この「推論モデル」がその時間に行っていることは？この方式を何と呼ぶでしょうか？蒸留酒を作る工程から名前を取ったこの手法は？業界が見出した対応策の一つは？数千億円規模の投資の根拠となったこの経験則の名前は？Quration — Quration AIQ