Hoe heet deze empirische regel — de rechtvaardiging voor miljardeninvesteringen?

Schaalwetten zijn het empirische patroon achter deze overtuiging — waargenomen verbanden die laten zien dat, tot op zekere hoogte, het vergroten van de omvang van een model, zijn trainingsdata en de erop losgelaten rekenkracht vrij voorspelbare prestatieverbeteringen oplevert, wat investeerders een rationale gaf om enorme sommen te steken in steeds grotere trainingsruns.

De wet van Moore beschrijft de historische trend dat computerchips ruwweg elke zoveel tijd verdubbelen in transistordichtheid, en de wet van Murphy is een geestige uitspraak dat alles wat mis kan gaan, ook misgaat — geen van beide beschrijft het verband tussen data-en-rekenkracht en prestaties dat AI's grootste investeringen rechtvaardigde.

Recenter is de aandacht verschoven naar 'inference-time scaling' — de ontdekking dat een model op het moment van antwoorden langer laten nadenken, in plaats van het model alleen groter te maken tijdens de training, ook betrouwbaar de prestaties kan verbeteren — wat een debat aanwakkerde over de vraag of de traditionele schaalwetten voor voortraining tegen afnemende meeropbrengsten aanlopen.