Wie nennt man KI-Modelle, die mehrere Eingabearten zugleich verarbeiten?

Ein multimodales Modell ist ein KI-System, das gebaut wurde, um mehr als eine Art von Eingabe zu verarbeiten und zu verstehen, etwa Text, Bilder, Audio und Video, innerhalb eines einzigen einheitlichen Systems, statt wie frühere Chatbots auf geschriebene Sprache beschränkt zu sein. Das erlaubt es, ihm ein Foto zu zeigen und dazu Fragen zu stellen, ihm einen Audioclip vorzuspielen oder ein Diagramm zu teilen, und eine sinnvolle Antwort zu erhalten, die Verbindungen zwischen diesen verschiedenen Informationsarten herstellt.

Offene-Gewichte-Modelle sind KI-Modelle, deren interne Parameter öffentlich zum Herunterladen und Nutzen freigegeben werden, ein anderes Konzept zu Zugang und Lizenzierung, statt zu der Frage, welche Eingabearten ein Modell verarbeiten kann. Offline-Modelle laufen schlicht ohne Internetverbindung, ein weiteres unabhängiges Merkmal ohne Bezug zum Umgang mit mehreren Formaten.

Diese Vermischung von Eingabearten ist es, was moderne KI-Assistenten in die Lage versetzt, zu beschreiben, was auf einem Foto passiert, ein Diagramm zusammenzufassen oder gesprochene Fragen zu einem Video zu beantworten, Fähigkeiten, die noch vor wenigen Jahren völlig separate, spezialisierte Systeme erfordert hätten.