数千億円規模の投資の根拠となったこの経験則の名前は？

スケーリング則とは、この考え方を支える経験則だ。モデルのサイズ、訓練データ量、投入する計算資源を増やすと、ある程度まではかなり予測可能な形で性能が向上するという観測結果であり、これが投資家に、ますます大規模な訓練に莫大な資金を投じる根拠を与えた。

ムーアの法則はコンピュータチップのトランジスタ密度が時とともにおおよそ倍増していくという歴史的な傾向を表し、マーフィーの法則は『失敗しうることは必ず失敗する』という皮肉な格言だ。どちらもAI最大の投資を正当化してきたデータ・計算量と性能の関係を表すものではない。

最近では『推論時スケーリング』——モデルを訓練時に大きくするのではなく、答える瞬間により長く考えさせることでも性能が確実に向上するという発見——に注目が移っている。これが従来の事前学習によるスケーリングが収穫逓減に陥りつつあるのかどうかをめぐる議論を呼んでいる。