Como se chama essa técnica de treinamento?

A destilação de conhecimento (knowledge distillation) treina um modelo "aluno" menor e mais eficiente para imitar as saídas e o comportamento de um modelo "professor" maior e mais capaz, transferindo efetivamente boa parte do que o professor aprendeu para uma forma compacta. O aluno aprende a partir das respostas do professor em muitos exemplos, absorvendo padrões de raciocínio e estilo que seriam muito mais caros de aprender do zero, permitindo que empresas implantem ferramentas rápidas e baratas que ainda assim têm um desempenho impressionante apesar do tamanho menor.

Criptografia é uma técnica de segurança que embaralha dados para que apenas partes autorizadas possam lê-los, um conceito totalmente diferente de transferir habilidades entre modelos. Overclocking significa rodar hardware mais rápido do que suas configurações padrão para aumentar o desempenho, um truque de hardware sem relação com a forma como um modelo é treinado.

Essa é uma das principais razões pelas quais muitos chatbots de IA rápidos e baratos disponíveis hoje ainda têm um desempenho impressionante em tarefas do dia a dia, já que eles efetivamente herdam conhecimento destilado de modelos muito maiores e mais caros, que seriam inviáveis de rodar diretamente para cada solicitação de usuário.