Wat doet Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation doorzoekt een externe kennisbron, zoals een documentendatabase of het web, naar passages die relevant zijn voor de vraag van een gebruiker, en voert die passages dan samen met de vraag aan het model, zodat het antwoord gegrond is in actuele informatie. Dit pakt een kernzwakte van grote taalmodellen aan: hun kennis is bevroren op het moment waarop de training eindigde, dus zonder het opzoeken van informatie kunnen ze niet weten wat daarna is gebeurd of toegang krijgen tot privédocumenten waarop ze nooit getraind zijn.

Het hele model bij elke vraag opnieuw trainen zou enorm duur zijn, in feite de AI elke keer opnieuw vanaf nul opbouwen, wat niet is hoe RAG werkt. Foute antwoorden achteraf verwijderen pakt verouderde kennis niet aan; dat is reactieve opruiming, geen betere antwoorden vooraf.

RAG is populair geworden voor het bouwen van AI-assistenten op maat van specifieke bedrijven, waardoor een algemeen model vragen kan beantwoorden over interne documenten zonder de enorme kosten van het trainen van een eigen model vanaf nul.