इसे क्या कहा जाता है?

'स्केलिंग लॉज़' इस विश्वास के पीछे की अनुभवजन्य प्रवृत्ति है — देखा गया संबंध जो दिखाता है कि एक हद तक, किसी मॉडल के आकार, उसके प्रशिक्षण डेटा और उस पर झोंकी गई कंप्यूटिंग शक्ति को बढ़ाने से प्रदर्शन में काफ़ी अनुमानित रूप से सुधार होता है, जिसने निवेशकों को हर बार पहले से बड़े प्रशिक्षण-रन में भारी रकम लगाने का औचित्य दिया।

'मूर्स लॉ' कंप्यूटर चिप्स में ट्रांज़िस्टर घनत्व के समय के साथ लगभग दोगुना होते जाने की ऐतिहासिक प्रवृत्ति बताता है, और 'मर्फ़ीज़ लॉ' एक व्यंग्यात्मक कहावत है कि जो गलत हो सकता है वह होकर रहेगा — इनमें से कोई भी डेटा-और-कंप्यूट-से-प्रदर्शन वाले उस संबंध का वर्णन नहीं करता जिसने AI के सबसे बड़े निवेशों को उचित ठहराया।

हाल में ध्यान 'इन्फरेंस-टाइम स्केलिंग' की ओर मुड़ा है — यह खोज कि जवाब देते समय मॉडल को बस ज़्यादा सोचने देना, न कि प्रशिक्षण के दौरान मॉडल को बड़ा बनाना, भी भरोसेमंद रूप से प्रदर्शन बढ़ा सकता है — जिसने यह बहस छेड़ दी है कि क्या परंपरागत प्री-ट्रेनिंग स्केलिंग घटते प्रतिफल की ओर बढ़ रही है।