Kỹ thuật huấn luyện này gọi là gì?

Chưng cất kiến thức (knowledge distillation) huấn luyện một mô hình "học trò" nhỏ hơn, hiệu quả hơn để bắt chước đầu ra và hành vi của một mô hình "giáo viên" lớn hơn, có khả năng cao hơn, chuyển giao hiệu quả phần lớn kỹ năng đã học của giáo viên vào một hình thức gọn nhẹ. Mô hình học trò học từ các phản hồi của giáo viên qua nhiều ví dụ, thẩm thấu các mẫu hình lập luận và phong cách vốn sẽ tốn kém hơn nhiều nếu học từ đầu, cho phép các công ty triển khai những công cụ nhanh, rẻ nhưng vẫn hoạt động ấn tượng dù kích thước nhỏ hơn.

Mã hóa là một kỹ thuật bảo mật xáo trộn dữ liệu để chỉ những bên được ủy quyền mới đọc được, một khái niệm hoàn toàn khác với việc chuyển giao kỹ năng giữa các mô hình. Ép xung nghĩa là chạy phần cứng nhanh hơn thiết lập chuẩn của nó để tăng hiệu năng, một mẹo phần cứng không liên quan đến cách một mô hình được huấn luyện.

Đây là một lý do chính vì sao rất nhiều chatbot AI nhanh, giá rẻ hiện có vẫn hoạt động ấn tượng trong các tác vụ hàng ngày, vì chúng thực chất thừa hưởng kiến thức đã chưng cất từ những mô hình lớn hơn, tốn kém hơn nhiều, những mô hình sẽ không thực tế nếu chạy trực tiếp cho mọi yêu cầu của người dùng.