'700 బిలియన్ పారామీటర్ల మోడల్' అని ఎవరైనా చెప్పినప్పుడు, వాళ్లు లెక్కిస్తున్నది ఏమిటి?

"పారామీటర్లు" అంటే శిక్షణ సమయంలో మోడల్‌లో ట్యూన్ చేసే సర్దుబాటు చేయగల సంఖ్యలు లేదా "వెయిట్స్" సంఖ్య—మోడల్ నేర్చుకున్న డాక్యుమెంట్ల సంఖ్య కాదు, అది ఒకేసారి ఎంతమందికి సేవ చేయగలదో అనేది కూడా కాదు. సాధారణంగా చెప్పాలంటే, ఎక్కువ పారామీటర్లు అంటే మోడల్‌కు సంక్లిష్ట నమూనాలను ప్రాతినిధ్యం వహించే సామర్థ్యం ఎక్కువ ఉంటుందని అర్థం, ఎందుకంటే డేటాలోని సూక్ష్మ భేదాలను గ్రహించడానికి సర్దుబాటు చేయగల అంతర్గత విలువలు ఎక్కువగా ఉంటాయి.

శిక్షణ డాక్యుమెంట్ల సంఖ్య మోడల్ నేర్చుకున్న డేటాసెట్ పరిమాణాన్ని వర్ణిస్తుంది, ఏకకాలంలో వాడే వినియోగదారుల సంఖ్య సర్వర్ మౌలిక సదుపాయాలు, డిమాండ్‌కు సంబంధించిన వేరే విషయం—రెండూ మోడల్‌లో నిర్మించిన సర్దుబాటు చేయగల వెయిట్ల లెక్క కంటే పూర్తిగా భిన్నమైన భావనలు.

పెద్దదైతే స్వయంచాలకంగా మెరుగైనది కాదు—బాగా శిక్షణ పొందిన చిన్న మోడళ్లు అనేక పనుల్లో పెద్ద మోడళ్లను సమానంగా లేదా అంతకంటే మెరుగ్గా అధిగమిస్తున్నాయి, మోడల్‌ను ఎలా శిక్షణ ఇచ్చారు, అది ఎలాంటి డేటాను చూసిందనేది ముడి పారామీటర్ల సంఖ్యంత ముఖ్యమని ఇది చూపిస్తుంది.