¿Cómo se llaman los modelos de IA que manejan varios tipos de entrada a la vez?

Un modelo multimodal es un sistema de IA construido para procesar y comprender más de un tipo de entrada, como texto, imágenes, audio y vídeo, dentro de un único sistema unificado, en lugar de estar limitado al lenguaje escrito como los chatbots anteriores. Esto te permite mostrarle una fotografía y preguntarle sobre ella, reproducirle un clip de audio o compartirle un gráfico, y hacer que responda con sentido estableciendo conexiones entre esos distintos tipos de información.

Los modelos de pesos abiertos son modelos de IA cuyos parámetros internos se publican para que cualquiera pueda descargarlos y usarlos, un concepto distinto relacionado con el acceso y las licencias, no con qué tipos de entrada puede procesar un modelo. Los modelos sin conexión simplemente funcionan sin necesitar internet, otra característica sin relación con manejar múltiples formatos.

Esta mezcla de tipos de entrada es lo que permite a los asistentes de IA modernos describir lo que ocurre en una foto, resumir un gráfico o responder preguntas habladas sobre un vídeo, capacidades que hace apenas unos años habrían requerido sistemas totalmente separados y especializados.