Quration AIQ

basics

Syarikat AI gemar bermegah tentang saiz model menggunakan satu nombor besar tunggal, seolah-olah nombor yang lebih besar sahaja menjamin mesin yang lebih bijak.

Apabila orang menyebut model AI mempunyai '70 bilion parameter,' apa sebenarnya yang mereka kira?

Bilangan nombor boleh laras (pemberat) di dalam model
Parameter ialah pemberat dalaman yang dilaraskan semasa latihan. Secara umum, lebih banyak parameter bermakna lebih besar daya ekspresi — tetapi model kecil yang dilatih dengan baik semakin sering mengatasi model besar.

Parameter merujuk kepada bilangan nombor boleh laras, atau pemberat, yang ditala di dalam model semasa latihan, bukannya bilangan dokumen yang dipelajarinya atau berapa ramai pengguna yang boleh dilayaninya pada satu masa. Secara umum, lebih banyak parameter bermakna lebih banyak kapasiti bagi model untuk mewakili corak yang kompleks, kerana terdapat lebih banyak nilai dalaman yang boleh dilaraskan untuk menangkap nuansa dalam data.

Bilangan dokumen latihan menggambarkan saiz set data yang dipelajari oleh model, dan bilangan pengguna serentak menggambarkan sesuatu tentang infrastruktur pelayan dan permintaan, kedua-duanya konsep yang sangat berbeza daripada bilangan pemberat boleh laras yang tertanam di dalam model itu sendiri.

Lebih besar bukan bermakna automatiknya lebih baik, kerana model yang lebih kecil tetapi dilatih dengan baik semakin banyak menyamai atau mengatasi model yang lebih besar dalam pelbagai tugas, menunjukkan cara model dilatih dan data yang dilihatnya boleh sama pentingnya dengan bilangan parameter mentah.

▶ Quration AIQ

basics

Apa nama fenomena ini?Apa tajuknya?Apa nama langkah latihan maklum balas manusia ini?Apa nama had ini?Llama, model unggulan 'berat terbuka' yang boleh dimuat turun dan dijalankan sesiapa sahaja di pelayan sendiri, dikeluarkan oleh syarikat mana?Apa panggilan bagi model yang mengendalikan pelbagai bentuk input dan output?Apa yang dilakukan model 'penaakulan' ini semasa jeda itu?Apa nama pendekatan ini?Apa itu?Apa salah satu respons utama industri?Apa nama peraturan empirikal ini — justifikasi taruhan bernilai bilion — dipanggil?Apa akronim bagi matlamat melampaui AI khusus tugas — kecerdasan mesin yang seumum kecerdasan manusia?

Quration — Quration AIQ