Apakah kelebihan utama AI 'pada peranti' ini?

AI pada peranti, atau AI "tepi" (edge AI), berjalan terus pada cip telefon itu sendiri berbanding menghantar permintaan ke pusat data yang jauh. Ini bermakna ciri seperti terjemahan langsung atau penyuntingan foto terus berfungsi tanpa sambungan internet, dan oleh kerana data anda, seperti suara atau foto anda, tidak pernah meninggalkan peranti itu, ia juga menawarkan kelebihan privasi yang bermakna berbanding menghantar maklumat itu ke pelayan awan yang jauh.

AI pada peranti tidak menjadikan model jauh lebih besar berbanding AI awan; sebaliknya adalah benar, kerana perkakasan telefon mempunyai had yang lebih ketat pada kuasa pemprosesan, ingatan, dan jangka hayat bateri, memaksa model pada peranti untuk menjadi lebih kecil dan cekap. Ia juga tidak memerlukan sambungan 5G yang berterusan; intipati sebenarnya ialah ia boleh berfungsi tanpa sebarang rangkaian langsung.

Memandangkan cip telefon telah menjadi lebih berkuasa untuk tugas AI, pengeluar semakin banyak membina "unit pemprosesan neural" khusus ke dalam peranti mereka, perkakasan yang direka untuk menjalankan model kompak ini dengan cekap tanpa menghabiskan bateri.