Como se chamam os modelos de IA que lidam com vários tipos de entrada ao mesmo tempo?

Um modelo multimodal é um sistema de IA construído para processar e compreender mais de um tipo de entrada, como texto, imagens, áudio e vídeo, dentro de um único sistema unificado, em vez de se limitar à linguagem escrita como faziam os chatbots anteriores. Isso permite mostrar a ele uma fotografia e fazer perguntas sobre ela, tocar um trecho de áudio ou compartilhar um gráfico, e obter uma resposta com sentido que estabelece conexões entre esses diferentes tipos de informação.

Modelos de pesos abertos (open-weight) são modelos de IA cujos parâmetros internos são disponibilizados publicamente para qualquer um baixar e usar, um conceito diferente relacionado a acesso e licenciamento, não a quais tipos de entrada um modelo consegue processar. Modelos offline simplesmente rodam sem precisar de conexão com a internet, outra característica sem relação com lidar com múltiplos formatos.

Essa combinação de tipos de entrada é o que permite que assistentes de IA modernos descrevam o que está acontecendo em uma foto, resumam um gráfico ou respondam perguntas faladas sobre um vídeo, capacidades que, há apenas alguns anos, teriam exigido sistemas inteiramente separados e especializados.