tech
Một số mô hình AI lớn nhất chứa hàng trăm tỷ tham số, nhưng chỉ kích hoạt một phần nhỏ trong số đó để trả lời mỗi câu lệnh.
Một mô hình Mixture of Experts (hỗn hợp chuyên gia) chia mạng của nó thành nhiều mạng con chuyên biệt nhỏ hơn, gọi là "chuyên gia", và dùng một cơ chế định tuyến để quyết định một số ít trong đó nên xử lý mỗi phần dữ liệu đầu vào. Thay vì kích hoạt mọi tham số trong toàn bộ mô hình cho mỗi yêu cầu, chỉ một tập hợp con nhỏ, phù hợp gồm các chuyên gia được bật lên cho mỗi câu hỏi cụ thể, cho phép mô hình tổng thể chứa một số lượng tham số khổng lồ trong khi vẫn giữ chi phí trả lời bất kỳ câu hỏi nào thấp hơn nhiều so với việc dùng mọi tham số mỗi lần.
Xóa vĩnh viễn các tham số không dùng đến sẽ loại bỏ khả năng mô hình gọi đến chúng cho các đầu vào khác sau này, đi ngược lại mục đích có sẵn nhiều chuyên gia chuyên biệt. Chạy mỗi tham số hai lần chỉ đơn giản làm tăng gấp đôi chi phí thay vì giảm nó, ngược lại hoàn toàn với những gì thiết kế này đạt được.
Kiến trúc này là một phần lý do vì sao những mô hình mạnh mẽ nhất hiện nay có thể chứa số lượng tham số lên đến hàng trăm tỷ nhưng vẫn trả lời các truy vấn hàng ngày với tốc độ và chi phí sẽ không khả thi nếu mọi tham số đều được dùng cho mỗi câu trả lời.
tech
Loại tài liệu huấn luyện do AI tạo ra này được gọi là gì?Cách thứ hai—huấn luyện trên các ví dụ—được gọi là gì?'Đóng dấu mờ' văn bản này thường hoạt động ra sao?Kỹ thuật huấn luyện này gọi là gì?Kỹ thuật nén này được gọi là gì?Những mô hình AI xử lý nhiều loại đầu vào cùng lúc được gọi là gì?Công ty nào vận hành dịch vụ robotaxi thương mại hoàn toàn không người lái này?Trên thang SAE nổi tiếng, số cấp độ cao nhất, đại diện cho tự động hóa hoàn toàn, là bao nhiêu?Tên của robot hình người do hãng xe Tesla giới thiệu là gì?Công ty nào tiên phong dịch vụ giao hàng y tế bằng drone này ở châu Phi?Robot kho của Amazon ra đời từ thương vụ mua lại nhà sản xuất robot nào năm 2012?Tên của robot phẫu thuật được dùng rộng rãi do Intuitive Surgical sản xuất là gì?Quration — Quration Play