Wat is RAG? Zo laat je AI antwoorden op basis van je eigen bedrijfsdata

Kort antwoord: RAG (retrieval-augmented generation) is een techniek waarbij een AI-model eerst in je eigen documenten en data zoekt en pas daarna antwoord geeft op basis van wat het gevonden heeft. Zo krijg je antwoorden in de stijl van ChatGPT over je eigen producten, prijzen en werkwijzen, met bronvermelding en zonder een eigen model te trainen. De kwaliteit hangt meer af van je data en toegangsrechten dan van het gekozen AI-model.

Wat is RAG?

RAG is een methode die een taalmodel vlak voor het antwoorden toegang geeft tot kennis die niet in zijn trainingsdata zit. De term komt uit een onderzoeksartikel uit 2020 van Patrick Lewis en collega’s. Zij koppelden een taalmodel aan een zoeksysteem over een grote tekstverzameling en kregen specifiekere en feitelijk juistere antwoorden dan met een model dat alleen op zijn eigen trainingskennis leunt (Lewis e.a., 2020).

Het probleem dat RAG oplost, kent iedereen die ChatGPT op het werk heeft geprobeerd: het model weet niets van jouw bedrijf en verzint soms antwoorden die overtuigend klinken maar niet kloppen. AWS beschrijft RAG als een manier om het model eerst in een betrouwbare kennisbron buiten de trainingsdata te laten zoeken, zodat het actuele bronnen gebruikt en kan laten zien waar het antwoord vandaan komt, zonder dat het model opnieuw getraind hoeft te worden (AWS).

Als bedrijven het hebben over ‘ChatGPT op eigen data’, een ‘eigen AI-assistent’ of een ‘kennisbank met AI’, zit daar technisch bijna altijd RAG achter.

Hoe werkt RAG?

RAG werkt in drie stappen: indexeren, ophalen en antwoorden (AWS).

1. Indexeren. Documenten, handleidingen, webpagina’s en databasegegevens worden opgeknipt in kleinere tekstfragmenten (‘chunks’). Elk fragment wordt omgezet in een reeks getallen, een zogenoemde embedding, die de betekenis vastlegt, en opgeslagen in een vectordatabase.
2. Ophalen. Stelt iemand een vraag, dan wordt die ook omgezet in een embedding. Het systeem zoekt de fragmenten die qua betekenis het dichtst in de buurt komen. Veel oplossingen combineren dat met klassiek zoeken op trefwoorden.
3. Antwoorden. De gevonden fragmenten gaan samen met de vraag naar het taalmodel. Dat formuleert het antwoord en kan aangeven op welke documenten het gebaseerd is.

Verandert een document, dan pas je de index aan, niet het model. Daarom is RAG geschikt voor kennis die regelmatig verandert, zoals prijslijsten, productinformatie en interne procedures. De bestandszoekfunctie van OpenAI combineert bijvoorbeeld semantisch zoeken met zoeken op trefwoorden en geeft aan uit welk bestand een antwoord komt (OpenAI).

RAG, fine-tuning of gewoon ChatGPT?

RAG is de juiste keuze als AI correct moet antwoorden op basis van je eigen, veranderende kennis. Fine-tuning is beter om een model een vaste stijl of een vast formaat te leren, en gewone ChatGPT volstaat als de taak geen bedrijfsdata nodig heeft.

Waarvoor gebruiken bedrijven RAG?

RAG levert het meest op waar medewerkers of klanten vaak iets vragen dat al ergens op papier staat. Dat zijn steeds meer Nederlandse bedrijven: in 2025 gebruikte 33 procent van de bedrijven met 10 of meer werkzame personen een of meer AI-technologieën, tegen 23 procent in 2024 en 14 procent in 2023 (CBS). Typische toepassingen:

• Klantenservice. Een chatbot op je website die antwoordt op basis van je FAQ, productbladen en leveringsvoorwaarden. Lees meer over AI-klantenservice.
• Interne kennisbank. Medewerkers vragen naar het personeelshandboek, werkinstructies of eerdere projecten in plaats van door mappen te klikken.
• Verkoop en offertes. Verkopers krijgen antwoorden over producten, voorwaarden en eerdere offertes, plus een eerste opzet voor nieuwe offertes. Zie offerte-automatisering.
• Technische service. Monteurs zoeken onderweg in handleidingen en storingslogs.
• Financiële en operationele data. Vragen over gegevens uit je boekhoud- of ordersysteem, bijvoorbeeld via een Exact Online-koppeling of een bredere systeemintegratie.

Van RAG naar een AI-agent bouwen

Een AI-agent bouwen begint vaak met RAG: de agent moet eerst je kennis kunnen opzoeken voordat hij er iets mee kan doen. Het verschil is dat een RAG-systeem alleen antwoordt, terwijl een agent ook handelingen uitvoert, zoals een ticket aanmaken, een order opzoeken of een offerte klaarzetten.

In een automatiseringstool als n8n zie je dat goed terug. De AI Agent-node koppelt een taalmodel aan een of meer tools, en de agent bepaalt zelf welke tool hij gebruikt om een taak uit te voeren (n8n Docs). Een van die tools kan een zoekfunctie in je eigen documenten zijn, de rest kunnen koppelingen met je CRM, mailbox of boekhouding zijn. Meer over het platform lees je in Wat is n8n?, en hoe wij agents opzetten staat op de pagina AI-agent.

Bouw een agent pas als de RAG-laag betrouwbaar antwoordt. Een agent die handelt op basis van een verkeerd opgehaald document, maakt de fout groter in plaats van kleiner.

Drie routes naar AI op eigen data

Er zijn drie hoofdroutes: de ingebouwde oplossing in je kantoorsoftware, kant-en-klare bouwstenen van de grote cloudaanbieders, of een RAG-oplossing die speciaal voor jouw doel gebouwd is.

1. Ingebouwd in Microsoft 365

Microsoft Copilot gebruikt een semantische index over de gegevens van je organisatie in Microsoft 365. Die index wordt automatisch opgebouwd en Copilot toont alleen content waar de gebruiker al toegang toe heeft. Volgens Microsoft worden prompts, antwoorden en gegevens uit de index niet gebruikt om de onderliggende taalmodellen te trainen, en voor klanten binnen de EU-gegevensgrens wordt de index opgeslagen in datacenters in de EU of EVA (Microsoft Learn). Werk je al in Microsoft 365, dan is dit vaak het makkelijkste startpunt.

2. Bouwstenen van cloudaanbieders

Moet de AI klanten op je website te woord staan of data uit meerdere systemen combineren, dan bouw je met de bouwstenen van de grote aanbieders. OpenAI biedt een kant-en-klare bestandszoekfunctie: je uploadt bestanden naar een vectoropslag en het model doorzoekt die zelf voordat het antwoordt (OpenAI). AWS heeft vergelijkbare diensten (AWS). Controleer waar de data verwerkt wordt en sluit een verwerkersovereenkomst af.

3. Eigen RAG-oplossing

Heb je specifieke eisen aan hoe documenten worden opgeknipt, welke bronnen meedoen of wie wat mag zien, dan is een eigen oplossing de beste route. Die wordt vaak gecombineerd met automatisering in n8n, zodat nieuwe documenten automatisch in de index belanden en verouderde eruit verdwijnen.

RAG, AVG en de AI-verordening

Het belangrijkste bij AI op eigen data is bepalen wat de AI mag zien en wie welke antwoorden krijgt. Dat is geen theoretisch risico. De Autoriteit Persoonsgegevens kreeg meerdere meldingen van datalekken doordat medewerkers persoonsgegevens van bijvoorbeeld patiënten of klanten deelden met een AI-chatbot. Volgens de AP gebeurt dat vaak op eigen initiatief van medewerkers, tegen de afspraken met de werkgever in (Autoriteit Persoonsgegevens). Een goed ingerichte RAG-oplossing is juist een manier om dat te voorkomen: medewerkers krijgen een goedgekeurde tool in plaats van losse chatbots.

• Toegang: de oplossing moet de rechten volgen die al gelden. Wie geen salarisgegevens mag inzien, mag ze ook niet in een AI-antwoord krijgen.
• Verwerkersovereenkomst: leg afspraken met de leverancier vast en controleer waar data wordt opgeslagen en verwerkt.
• Afspraken met medewerkers: de AP adviseert duidelijke afspraken over welke gegevens wel en niet in AI-chatbots mogen (Autoriteit Persoonsgegevens).
• Transparantie: vanaf 2 augustus 2026 gelden onder de AI-verordening transparantieverplichtingen voor AI-chatbots: gebruikers moeten weten dat ze met een geautomatiseerd systeem praten (AP en ACM, Europese Commissie). AP en ACM vragen organisaties bovendien om altijd de mogelijkheid te bieden om met een medewerker te spreken.

Veelgemaakte fouten bij RAG-projecten

De meeste RAG-projecten die tegenvallen, struikelen over data en testen, niet over het model.

• Rommelige data. Oude versies, dubbele en tegenstrijdige documenten geven tegenstrijdige antwoorden. Ruim op voordat je indexeert.
• Verkeerde fragmentgrootte. Te grote of te kleine tekstfragmenten bepalen of de juiste passages gevonden worden.
• Geen testset. Leg 30 tot 50 echte vragen met de juiste antwoorden vast en test de oplossing daartegen bij elke wijziging.
• Geen bronnen in het antwoord. Laat altijd zien op welk document een antwoord gebaseerd is, zodat de gebruiker het kan controleren.
• Niemand is eigenaar. Iemand moet verantwoordelijk zijn voor actuele documenten, anders verouderen de antwoorden snel.

Wat zo’n project kost, hangt vooral af van de hoeveelheid data en het aantal gekoppelde systemen. Een indicatie vind je bij onze tarieven voor AI-automatisering.