Jak nazywa się ta empiryczna reguła — uzasadnienie miliardowych zakładów?

Prawa skalowania to empiryczny wzorzec stojący za tym przekonaniem — obserwowane zależności pokazujące, że do pewnego momentu zwiększanie rozmiaru modelu, ilości danych treningowych i mocy obliczeniowej zwykle przynosi dość przewidywalne poprawy wydajności, co dało inwestorom uzasadnienie do angażowania ogromnych sum w coraz większe cykle trenowania.

Prawo Moore'a opisuje historyczny trend mniej więcej podwajania gęstości tranzystorów w chipach komputerowych z czasem, a prawo Murphy'ego to żartobliwe powiedzenie, że wszystko, co może pójść źle, pójdzie źle — żadne z nich nie opisuje zależności między danymi i mocą obliczeniową a wydajnością, która uzasadniała największe inwestycje w AI.

Ostatnio uwaga przesunęła się w stronę 'skalowania w czasie wnioskowania' (inference-time scaling) — odkrycia, że pozwolenie modelowi na dłuższe myślenie w momencie udzielania odpowiedzi, a nie tylko powiększanie modelu podczas trenowania, może również niezawodnie zwiększać wydajność — co wywołało debatę, czy tradycyjne skalowanie na etapie wstępnego trenowania osiąga malejące zyski.