Quration AIQ

basics

ChatGPT가 이전의 어떤 챗봇보다 '말이 통한다'고 느껴진 비결 중 하나는, 인터넷 텍스트로 사전학습한 뒤 사람이 선호하는 답변 방향으로 한 번 더 다듬는 훈련이었습니다.

사람의 피드백을 반영하는 이 후속 훈련을 뭐라고 부를까요?

RLHF(인간 피드백 강화학습)
RLHF는 사람이 매긴 답변 선호를 보상 신호로 삼아 모델을 다듬는 기법입니다. '아는 것'을 만드는 사전학습과 '말하는 법'을 만드는 정렬 단계가 분리되어 있는 셈입니다.
▶ Quration AIQ

basics

모델이 한 번에 기억하며 처리할 수 있는 텍스트 분량에 한도가 있기 때문인데, 이 한도를 부르는 말은?이런 '오픈 웨이트' 모델의 대표주자 라마(Llama)는 어느 회사가 공개했을까요?이렇게 여러 형태의 입력과 출력을 함께 다루는 모델을 부르는 말은?이전 모델과 달리 답을 내놓기 전에 눈에 띄게 오래 뜸을 들이는데, 이 '추론 모델'이 그 시간에 하는 일은?이런 방식을 부르는 말은?술을 정제하는 과정에서 이름을 딴 이 기법은?업계가 찾은 대응책 중 하나는?수천억 원짜리 베팅의 근거가 된 이 경험 법칙의 이름은?특정 작업만 잘하는 AI를 넘어 인간 수준의 범용 지능을 가리키는 이 목표의 약자는?수학·코딩·상식 시험 문제집으로 모델들의 점수를 매겨 비교하는 이것은?이런 모델을 통칭하는 말은?이 조각의 이름은?

Quration — Quration AIQ