Comment appelle-t-on les modèles d'IA qui gèrent plusieurs types d'entrée à la fois ?

Un modèle multimodal est un système d'IA conçu pour traiter et comprendre plus d'un type d'entrée, comme le texte, les images, l'audio et la vidéo, au sein d'un même système unifié, plutôt que de se limiter au langage écrit comme le faisaient les agents conversationnels précédents. Cela permet de lui montrer une photographie et de poser une question à son sujet, de lui faire écouter un extrait audio, ou de lui partager un graphique, et d'obtenir une réponse pertinente qui établit des liens entre ces différents types d'informations.

Les modèles à poids ouverts sont des modèles d'IA dont les paramètres internes sont publiés pour que quiconque puisse les télécharger et les utiliser, un concept différent, lié à l'accès et à la licence, plutôt qu'aux types d'entrée qu'un modèle peut traiter. Les modèles hors ligne fonctionnent simplement sans nécessiter de connexion internet, une autre caractéristique sans rapport avec la gestion de plusieurs formats.

Ce mélange de types d'entrée est ce qui permet aux assistants d'IA modernes de décrire ce qui se passe sur une photo, de résumer un graphique ou de répondre à des questions orales sur une vidéo, des capacités qui auraient nécessité des systèmes entièrement distincts et spécialisés il y a encore quelques années.