Apa nama aturan empiris ini — pembenaran di balik taruhan miliaran dolar?

Scaling laws adalah pola empiris di balik keyakinan ini — hubungan yang teramati menunjukkan bahwa, sampai titik tertentu, meningkatkan ukuran model, data pelatihannya, dan daya komputasi yang dicurahkan cenderung menghasilkan peningkatan performa yang cukup bisa diprediksi, yang memberi investor alasan untuk mengucurkan dana besar demi sesi pelatihan yang makin besar.

Moore's Law menggambarkan tren historis chip komputer yang kira-kira menggandakan kepadatan transistornya seiring waktu, dan Murphy's Law adalah ungkapan sinis bahwa apa pun yang bisa salah pasti akan salah — tak satu pun menggambarkan hubungan data-dan-komputasi terhadap performa yang membenarkan investasi terbesar AI.

Belakangan, perhatian bergeser ke 'inference-time scaling' — penemuan bahwa membiarkan model berpikir lebih lama saat menjawab, bukan sekadar membuat model lebih besar saat pelatihan, juga bisa secara andal meningkatkan performa — memicu perdebatan apakah scaling pra-pelatihan tradisional mulai mengalami hasil yang makin berkurang.