जब लोग किसी AI मॉडल को '70 बिलियन पैरामीटर्स' वाला बताते हैं, तो वे असल में क्या गिन रहे होते हैं?

'पैरामीटर' उन समायोज्य संख्याओं, या 'वेट्स' (भार-मूल्यों) की गिनती को कहते हैं जो प्रशिक्षण के दौरान किसी मॉडल के अंदर ढाले जाते हैं—यह न तो वह दस्तावेज़ों की संख्या है जिनसे मॉडल ने सीखा, और न ही यह बताता है कि वह एक साथ कितने लोगों को सेवा दे सकता है। सामान्यतः, ज़्यादा पैरामीटर का मतलब है कि मॉडल में जटिल पैटर्न को दर्शाने की ज़्यादा क्षमता है, क्योंकि उसमें डेटा की बारीकियों को पकड़ने के लिए बस ज़्यादा आंतरिक मान समायोजित किए जा सकते हैं।

प्रशिक्षण दस्तावेज़ों की संख्या मॉडल के सीखने वाले डेटासेट के आकार को बताती है, और एक साथ इस्तेमाल करने वाले उपयोगकर्ताओं की संख्या सर्वर की संरचना और मांग से जुड़ी एक बिल्कुल अलग बात है—ये दोनों ही मॉडल में गढ़े गए समायोज्य वेट्स की गिनती से बहुत अलग अवधारणाएँ हैं।

बड़ा होना अपने-आप बेहतर होने की गारंटी नहीं है, क्योंकि अच्छी तरह प्रशिक्षित छोटे मॉडल कई कामों में बड़े मॉडलों की बराबरी कर चुके हैं या उन्हें पीछे भी छोड़ चुके हैं—यह दिखाता है कि मॉडल को कैसे प्रशिक्षित किया गया और उसे किस तरह का डेटा दिखाया गया, यह भी सिर्फ पैरामीटर की गिनती जितना ही मायने रखता है।