이 훈련 기법을 무엇이라고 부를까요?

지식 증류는 더 크고 뛰어난 '교사' 모델의 출력과 행동을 흉내 내도록 더 작고 효율적인 '학생' 모델을 학습시켜, 교사가 익힌 능력의 상당 부분을 압축된 형태로 사실상 옮기는 기법입니다. 학생 모델은 수많은 예시에 대한 교사의 응답으로부터 배우면서, 처음부터 스스로 학습하려면 훨씬 큰 비용이 드는 추론 패턴과 스타일을 흡수합니다. 그 덕분에 기업들은 크기는 작아도 인상적으로 잘 작동하는 빠르고 저렴한 도구를 배포할 수 있습니다.

암호화는 데이터를 뒤섞어 승인된 당사자만 읽을 수 있게 만드는 보안 기법으로, 모델 간에 능력을 전달하는 것과는 완전히 다른 개념입니다. 오버클로킹은 하드웨어를 표준 설정보다 더 빠르게 돌려 성능을 높이는 것으로, 모델이 학습되는 방식과는 무관한 하드웨어 기법입니다.

이것이 바로 오늘날 나와 있는 빠르고 저렴한 수많은 AI 챗봇들이 여전히 일상적인 작업에서 인상적인 성능을 보이는 큰 이유입니다. 모든 사용자 요청마다 직접 돌리기엔 비현실적일 만큼 훨씬 크고 비싼 모델로부터 증류된 지식을 사실상 물려받았기 때문이죠.