검색증강생성(RAG)이 하는 일은?

검색증강생성(RAG)은 문서 데이터베이스나 웹 같은 외부 지식 원천에서 사용자의 질문과 관련된 내용을 찾아낸 뒤, 그 내용을 질문과 함께 모델에 넣어주어 최신 정보에 근거해 답하도록 합니다. 이는 거대 언어모델의 핵심적인 약점, 즉 지식이 학습이 끝난 시점에 그대로 멈춰있다는 문제를 해결합니다. 검색 기능이 없다면 그 이후 일어난 일을 알 수도, 한 번도 학습한 적 없는 비공개 문서에 접근할 수도 없기 때문입니다.

질문이 들어올 때마다 모델 전체를 다시 학습시키는 것은 매번 AI를 처음부터 새로 만드는 것과 다름없어 엄청난 비용이 들며, RAG가 작동하는 방식이 아닙니다. 잘못된 답을 보여준 뒤 삭제하는 것은 오래된 지식 문제를 해결하지 못합니다. 그건 사후 뒷수습일 뿐, 애초에 더 나은 답을 내놓는 것과는 다릅니다.

RAG는 특정 회사에 맞춘 AI 어시스턴트를 만드는 데 널리 쓰이게 되었습니다. 범용 모델이 회사 내부 문서에 관한 질문에 답하게 해주면서도, 맞춤형 모델을 처음부터 학습시키는 막대한 비용을 들이지 않아도 되기 때문입니다.