basics
Trong nhiều năm, một niềm tin đơn giản đã biện minh cho những khoản đầu tư lớn nhất vào AI: cứ đổ thêm dữ liệu và sức tính toán vào mô hình, nó sẽ tiếp tục cải thiện.
Quy luật mở rộng quy mô (scaling laws) là mô hình thực nghiệm đứng sau niềm tin này — những mối quan hệ được quan sát cho thấy, đến một mức độ nhất định, việc tăng kích thước mô hình, dữ liệu huấn luyện và sức mạnh tính toán được đầu tư vào có xu hướng tạo ra những cải thiện hiệu suất khá dự đoán được, điều này mang lại cho các nhà đầu tư một cơ sở để cam kết những khoản tiền khổng lồ cho các lượt huấn luyện ngày càng lớn hơn.
Định luật Moore mô tả xu hướng lịch sử của các chip máy tính có mật độ transistor tăng gấp đôi theo thời gian, còn Định luật Murphy là một câu nói dí dỏm rằng bất cứ điều gì có thể sai sẽ sai — không cái nào mô tả mối quan hệ giữa dữ liệu-và-tính toán với hiệu suất, thứ đã biện minh cho những khoản đầu tư lớn nhất của AI.
Gần đây hơn, sự chú ý đã chuyển sang 'inference-time scaling' (mở rộng quy mô tại thời điểm suy luận) — phát hiện rằng để mô hình suy nghĩ lâu hơn tại thời điểm trả lời, thay vì chỉ làm mô hình lớn hơn trong quá trình huấn luyện, cũng có thể đáng tin cậy để tăng hiệu suất — khơi mào tranh luận về việc liệu quy mô huấn luyện trước truyền thống có đang gặp phải lợi suất giảm dần hay không.
basics
Viết tắt cho mục tiêu vượt xa AI chuyên biệt cho một tác vụ — trí tuệ máy tổng quát như con người — là gì?Những bộ đề này gọi là gì?Thuật ngữ chung cho những mô hình này là gì?Những mảnh nhỏ này được gọi là gì?Khi người ta nói một mô hình AI có '70 tỷ tham số', họ đang đếm cái gì?Hiện tượng này được gọi là gì?Bài báo đó tên gì?Bước huấn luyện dựa trên phản hồi con người này gọi là gì?Giới hạn này được gọi là gì?Llama, mô hình tiên phong của trào lưu 'open-weight' này, được công ty nào phát hành?Chúng ta gọi những mô hình xử lý nhiều dạng đầu vào và đầu ra như vậy là gì?Những 'mô hình suy luận' này đang làm gì trong khoảng dừng đó?Quration — Quration AIQ