Come si chiama questa regola empirica — la giustificazione di scommesse miliardarie?

Le leggi di scala (scaling laws) sono lo schema empirico alla base di questa convinzione — relazioni osservate che mostrano come, fino a un certo punto, aumentare le dimensioni di un modello, i suoi dati di addestramento e la potenza di calcolo impiegata tenda a produrre miglioramenti delle prestazioni abbastanza prevedibili, il che ha dato agli investitori una ragione per impegnare somme enormi in addestramenti sempre più grandi.

La Legge di Moore descrive la tendenza storica dei chip informatici a raddoppiare più o meno la densità di transistor nel tempo, e la Legge di Murphy è un detto scherzoso secondo cui tutto ciò che può andare male, andrà male — nessuna delle due descrive la relazione tra dati, calcolo e prestazioni che ha giustificato i più grandi investimenti dell'IA.

Più di recente, l'attenzione si è spostata verso lo "scaling al momento dell'inferenza" — la scoperta che lasciare che un modello pensi più a lungo nel momento della risposta, anziché limitarsi a renderlo più grande durante l'addestramento, può anch'essa migliorare in modo affidabile le prestazioni — alimentando il dibattito su se lo scaling tradizionale del pre-addestramento stia incontrando rendimenti decrescenti.