basics
برسوں تک AI انڈسٹری میں ایک سادہ عقیدہ حکمرانی کرتا رہا: ماڈل، ڈیٹا اور compute بڑھاؤ، کارکردگی متوقع طور پر بہتر ہوتی جائے گی۔
اسکیلنگ لاز (scaling laws) اس یقین کے پیچھے مشاہداتی نمونہ ہیں — یہ رشتے ظاہر کرتے ہیں کہ ایک حد تک، کسی ماڈل کے سائز، اس کے تربیتی ڈیٹا، اور اس پر خرچ ہونے والی کمپیوٹنگ پاور میں اضافہ کرنے سے کارکردگی میں کافی قابل پیش گوئی بہتری آتی ہے، جس نے سرمایہ کاروں کو مسلسل بڑے تربیتی عمل پر بھاری رقم لگانے کی دلیل دی۔
مورز لا (Moore's Law) کمپیوٹر چپس کی وقت کے ساتھ ٹرانزسٹر کثافت تقریباً دوگنی ہونے کے تاریخی رجحان کو بیان کرتا ہے، اور مرفیز لا (Murphy's Law) ایک طنزیہ محاورہ ہے کہ جو کچھ بھی غلط ہو سکتا ہے وہ ہو کر رہے گا — ان میں سے کوئی بھی ڈیٹا اور کمپیوٹ سے کارکردگی کے اس رشتے کو بیان نہیں کرتا جو اے آئی کی سب سے بڑی سرمایہ کاریوں کا جواز تھا۔
حال ہی میں توجہ 'انفرنس-ٹائم اسکیلنگ' کی طرف منتقل ہو گئی ہے — یہ دریافت کہ ماڈل کو تربیت کے دوران محض بڑا بنانے کے بجائے جواب دیتے وقت زیادہ دیر تک 'سوچنے' دینا بھی کارکردگی کو قابل بھروسا انداز میں بڑھا سکتا ہے — جس نے اس بحث کو جنم دیا کہ آیا روایتی پری-ٹریننگ اسکیلنگ کم ہوتے ہوئے فائدوں کا شکار ہو رہی ہے۔
basics
کسی مخصوص کام کے لیے AI سے آگے، انسان جیسی عمومی مصنوعی ذہانت کے مقصد کا مخفف کیا ہے؟انہیں کیا کہا جاتا ہے؟اس کے لیے چھتری کی طرح استعمال ہونے والی اصطلاح کیا ہے؟ان ٹکڑوں کو کیا کہا جاتا ہے؟جب کسی AI ماڈل کو '70 بلین پیرامیٹرز والا' کہا جاتا ہے، تو دراصل کیا شمار کیا جا رہا ہوتا ہے؟اس رجحان کو کیا کہا جاتا ہے؟اس پیپر کا نام کیا تھا؟اس human-feedback ٹریننگ مرحلے کو کیا کہا جاتا ہے؟اس حد کو کیا کہا جاتا ہے؟Llama — وہ 'open-weight' ماڈلز کا سب سے مشہور نام — کس کمپنی نے جاری کیا؟ایسے ماڈلز جو مختلف طرح کی input اور output ہینڈل کریں، کیا کہلاتے ہیں؟یہ 'reasoning models' اس وقفے میں کیا کرتے ہیں؟Quration — Quration AIQ