Những mô hình AI xử lý nhiều loại đầu vào cùng lúc được gọi là gì?

Mô hình đa phương thức (multimodal) là một hệ thống AI được xây dựng để xử lý và hiểu nhiều hơn một loại đầu vào, chẳng hạn văn bản, hình ảnh, âm thanh và video, trong một hệ thống thống nhất duy nhất, thay vì bị giới hạn ở ngôn ngữ viết như các chatbot trước đây. Điều này cho phép bạn cho nó xem một bức ảnh và hỏi về nó, phát cho nó nghe một đoạn âm thanh, hay chia sẻ một biểu đồ, và nó phản hồi có ý nghĩa bằng cách rút ra liên kết giữa những loại thông tin khác nhau đó.

Mô hình trọng số mở (open-weight) là các mô hình AI có tham số nội tại được công khai phát hành để bất kỳ ai cũng có thể tải xuống và sử dụng, một khái niệm khác liên quan đến quyền truy cập và cấp phép, chứ không phải mô hình có thể xử lý loại đầu vào nào. Mô hình ngoại tuyến (offline) chỉ đơn giản chạy mà không cần kết nối internet, một đặc điểm không liên quan khác, chẳng dính dáng gì đến việc xử lý nhiều định dạng.

Sự pha trộn các loại đầu vào này chính là điều cho phép các trợ lý AI hiện đại mô tả những gì đang diễn ra trong một bức ảnh, tóm tắt một biểu đồ, hay trả lời câu hỏi bằng giọng nói về một video, những khả năng mà chỉ vài năm trước sẽ đòi hỏi các hệ thống hoàn toàn tách biệt, chuyên biệt.