複数の入力形式を同時に扱うAIモデルは何と呼ばれるでしょう？

マルチモーダルモデルとは、テキストや画像、音声、動画といった複数の種類の入力を、単一の統合されたシステムの中で処理・理解できるよう設計されたAIシステムのことであり、以前のチャットボットのように書かれた言葉だけに限定されない。これにより、写真を見せて質問したり、音声クリップを聞かせたり、グラフを共有したりすると、それらの異なる種類の情報の間につながりを見いだして、意味のある形で応答してもらえるようになる。

オープンウェイトモデルとは、内部パラメーターが誰でもダウンロード・利用できるよう公開されているAIモデルのことであり、モデルがどの種類の入力を処理できるかではなく、アクセスやライセンスに関する別の概念だ。オフラインモデルは単にインターネット接続なしで動作するというだけで、複数の形式を扱うこととは無関係な、また別の特性である。

こうした入力形式の融合こそが、現代のAIアシスタントが写真の中の様子を説明したり、グラフを要約したり、動画についての音声での質問に答えたりできるようにしている。こうした機能は、ほんの数年前であればまったく別個の専用システムを必要としていたはずのものだ。