Qual é uma vantagem fundamental dessa IA 'no dispositivo'?

A IA local, ou de "borda" (edge), roda diretamente no chip do próprio celular em vez de enviar solicitações a um data center distante. Isso significa que recursos como tradução ao vivo ou edição de fotos continuam funcionando sem conexão com a internet, e, como seus dados, como sua voz ou suas fotos, nunca saem do dispositivo, isso também oferece uma vantagem real de privacidade em comparação a enviar essa informação a um servidor remoto na nuvem.

A IA local não torna os modelos muito maiores do que a IA em nuvem; o oposto é verdadeiro, já que o hardware do celular tem limites mais apertados de poder de processamento, memória e duração de bateria, forçando os modelos locais a serem menores e mais eficientes. Ela também não exige uma conexão 5G constante; todo o ponto é que ela pode funcionar sem rede alguma.

À medida que os chips dos celulares foram ficando mais potentes para tarefas de IA, os fabricantes passaram a embutir cada vez mais "unidades de processamento neural" dedicadas em seus aparelhos, hardware projetado para rodar esses modelos compactos de forma eficiente sem esgotar a bateria.