Ano ang isang mahalagang bentahe ng 'on-device' AI na ito?

Ang on-device, o "edge," AI ay tumatakbo nang direkta sa sariling chip ng telepono sa halip na magpadala ng mga kahilingan sa malayong data center. Nangangahulugan ito na patuloy na gumagana ang mga feature tulad ng live na pagsasalin o pag-edit ng larawan kahit walang koneksiyon sa internet, at dahil ang iyong datos, tulad ng iyong boses o larawan, ay hindi na aalis sa device, nagbibigay din ito ng makabuluhang bentahe sa pribasiya kumpara sa pagpapadala ng impormasyong iyon sa malayong cloud server.

Hindi ginagawang mas malaki ng on-device AI ang mga modelo kaysa sa cloud AI; kabaligtaran ang totoo, dahil mas mahigpit ang hangganan ng hardware ng telepono sa processing power, memory, at buhay ng baterya, na pumipilit sa on-device na modelo na maging mas maliit at mahusay. Hindi rin nito kailangan ang palaging koneksiyon sa 5G; ang buong punto ay maaari itong gumana nang walang network.

Habang lumalakas ang mga chip ng telepono para sa mga gawaing AI, pinatatakbo na ng mga tagagawa ang dedikadong "neural processing unit" sa kanilang mga device, hardware na dinisenyo upang mahusay na patakbuhin ang mga compact na modelong ito nang hindi masyadong nakakaubos ng baterya.