బిలియన్ డాలర్ల పెట్టుబడులకు కారణం చెప్పిన ఈ ప్రయోగాత్మక నియమాన్ని ఏమని పిలుస్తారు?

స్కేలింగ్ లాస్ ఈ నమ్మకం వెనుక ఉన్న అనుభావిక నమూనా — ఒక పరిమితి వరకు, మోడల్ పరిమాణం, దాని శిక్షణ డేటా, దానిపై వెచ్చించిన కంప్యూటింగ్ శక్తిని పెంచడం పనితీరులో సాపేక్షంగా ఊహించదగిన మెరుగుదలలను ఉత్పత్తి చేస్తుందని చూపే గమనించిన సంబంధాలు — ఇవి పెద్ద మొత్తాలను నానాటికీ పెద్ద శిక్షణ రన్‌లకు కేటాయించడానికి పెట్టుబడిదారులకు ఒక కారణాన్ని ఇచ్చాయి.

మూర్స్ లా కంప్యూటర్ చిప్‌లు కాలక్రమేణా ట్రాన్సిస్టర్ సాంద్రతను దాదాపు రెట్టింపు చేసే చారిత్రక ధోరణిని వివరిస్తుంది, మర్ఫీస్ లా తప్పు జరగగలిగే ప్రతిదీ తప్పు అవుతుందనే వ్యంగ్యమైన సామెత — AI యొక్క అతిపెద్ద పెట్టుబడులను సమర్థించిన డేటా-కంప్యూట్-పనితీరు సంబంధాన్ని ఏదీ వివరించదు.

ఇటీవల, దృష్టి 'ఇన్ఫరెన్స్-టైమ్ స్కేలింగ్' వైపు మళ్లింది — శిక్షణ సమయంలో మోడల్‌ను కేవలం పెద్దదిగా చేయడం కంటే, సమాధానం ఇచ్చే క్షణంలో మోడల్‌ను ఎక్కువసేపు ఆలోచించనివ్వడం కూడా విశ్వసనీయంగా పనితీరును పెంచగలదనే కనుగొన్న అంశం — సంప్రదాయ ప్రీ-ట్రైనింగ్ స్కేలింగ్ క్షీణిస్తున్న రాబడులను ఎదుర్కొంటుందా అనే చర్చను రేకెత్తించింది.