이런 '추론' 모델의 가장 큰 장점은?

추론 모델은 초기 챗봇들이 흔히 그랬듯 한 번에 즉시 답을 내놓는 대신, 최종 답을 내기 전에 중간 단계를 거쳐 문제를 차근차근 풀어봅니다. 질문을 받는 순간 추가로 연산 자원을 들여 내부적으로 추론 과정을 담은 일종의 메모장을 생성함으로써, 이런 모델들은 실수를 잡아내고 여러 접근법을 탐색하며 여러 단계로 이루어진 문제를 처리할 수 있고, 어려운 수학, 논리 퍼즐, 복잡한 코딩 과제에서 성능이 눈에 띄게 좋아집니다.

이런 모델도 클라우드 서비스를 통해 실행되는 한 여전히 인터넷 연결이 필요하므로, 그 선택지는 이 모델들이 어떻게 배포되는지를 잘못 이해한 것입니다. 또한 이전 모델보다 메모리를 덜 쓰는 것도 아닙니다. 단계별로 추론하는 과정은 답 하나당 더 많은 연산 자원을 쓰는 경향이 있는데, 그 숨은 추론 과정을 생성하는 데 추가적인 처리 시간과 전력이 들기 때문입니다.

이는 단순히 모델을 더 크게 만드는 것만이 성능을 높이는 유일한 길이 아님을 보여줍니다. 질문을 받는 순간 모델이 '더 오래 생각'하도록 하는 것이, 처음부터 더 큰 모델을 새로 학습시켜 얻는 성능 향상과 맞먹거나 이를 능가할 수도 있습니다.