¿Cómo se llama esta técnica de entrenamiento?

La destilación de conocimiento entrena a un modelo "estudiante" más pequeño y eficiente para imitar los resultados y el comportamiento de un modelo "profesor" más grande y capaz, transfiriendo efectivamente gran parte de la habilidad aprendida del profesor a una forma compacta. El estudiante aprende de las respuestas del profesor a través de muchísimos ejemplos, absorbiendo patrones de razonamiento y estilo que resultarían mucho más caros de aprender desde cero, permitiendo a las empresas desplegar herramientas rápidas y baratas que aun así rinden de forma impresionante pese a su tamaño reducido.

El cifrado es una técnica de seguridad que codifica los datos para que solo las partes autorizadas puedan leerlos, un concepto totalmente distinto de transferir habilidades entre modelos. El overclocking significa hacer que el hardware funcione más rápido que su configuración estándar para aumentar el rendimiento, un truco de hardware sin relación con cómo se entrena un modelo.

Esta es una razón importante por la que muchos chatbots de IA rápidos y baratos disponibles hoy en día siguen rindiendo de forma impresionante en tareas cotidianas, ya que en la práctica heredan conocimiento destilado de modelos mucho más grandes y costosos que resultaría poco práctico ejecutar directamente para cada solicitud de usuario.