「専門家の混合(Mixture of Experts)」モデルはどうやってこれを実現しているのでしょう?

混合エキスパート(Mixture of Experts)モデルは、ネットワークを「エキスパート」と呼ばれる多数の小さな専門化されたサブネットワークに分割し、入力データのそれぞれについて、どの一握りのエキスパートに処理させるかを決める振り分けの仕組みを使う。すべてのリクエストに対してモデル全体のパラメーターを起動するのではなく、そのプロンプトに応じて関連する少数のエキスパートだけが作動する。これにより、モデル全体としては膨大な総パラメーター数を持ちながらも、一つの質問に答えるコストは、毎回すべてのパラメーターを使う場合よりもはるかに低く抑えられる。

使われていないパラメーターを永久に削除してしまえば、後で別の入力のためにそれらを呼び出す能力が失われ、多くの専門化されたエキスパートを備えておくという目的そのものが台無しになる。すべてのパラメーターを二回動かすことは、単純にコストを倍にするだけであり、コストを下げるというこの設計の目的とは正反対になってしまう。

この構造こそが、今日の最も高性能なモデルが数千億にも及ぶパラメーター数を持ちながらも、すべてのパラメーターを毎回使っていたら現実的ではないような速度とコストで、日常的な問い合わせに答えられる理由の一つとなっている。