Was ist RAG? So antwortet KI auf Basis Ihrer eigenen Unternehmensdaten

Kurz gesagt: RAG (Retrieval-Augmented Generation) ist ein Verfahren, bei dem eine KI zuerst in Ihren eigenen Dokumenten und Daten sucht und erst dann auf Basis der Fundstellen antwortet. So bekommt ein Unternehmen Antworten im Stil von ChatGPT zu eigenen Produkten, Preisen und Abläufen, mit Quellenangabe und ohne ein eigenes Modell zu trainieren. Über die Qualität entscheiden vor allem die Datenbasis und die Zugriffsrechte, weniger die Wahl des KI-Modells.

Was ist RAG?

RAG ist eine Methode, die einem Sprachmodell kurz vor der Antwort Wissen zur Verfügung stellt, das nicht in seinen Trainingsdaten steckt. Der Begriff geht auf eine Forschungsarbeit von Patrick Lewis und Kollegen aus dem Jahr 2020 zurück. Sie kombinierten ein Sprachmodell mit einer Suche in einer großen Textsammlung und erhielten spezifischere und faktentreuere Antworten als mit einem Modell, das nur auf sein antrainiertes Wissen zurückgreift (Lewis u. a., 2020).

Das Problem kennt jeder, der ChatGPT im Job ausprobiert hat: Das Modell weiß nichts über Ihr Unternehmen und erfindet im Zweifel Antworten, die plausibel klingen, aber falsch sind. AWS beschreibt RAG als Weg, das Modell vor der Antwort in einer verlässlichen Wissensbasis außerhalb seiner Trainingsdaten nachschlagen zu lassen, damit es aktuelle Quellen nutzt und sie benennen kann, ohne neu trainiert zu werden (AWS).

Wenn in Unternehmen von „KI mit eigenen Daten“, einem „Firmen-ChatGPT“ oder einer „eigenen KI“ die Rede ist, steckt technisch fast immer RAG dahinter.

Wie funktioniert RAG?

RAG funktioniert in drei Schritten: Indexieren, Abrufen, Antworten (AWS).

1. Indexieren. Dokumente, Handbücher, Webseiten und Datenbankinhalte werden in kleinere Textabschnitte („Chunks“) zerlegt. Jeder Abschnitt wird in einen Zahlenvektor übersetzt, ein sogenanntes Embedding, das seine Bedeutung abbildet, und in einer Vektordatenbank gespeichert.
2. Abrufen. Stellt jemand eine Frage, wird auch sie in ein Embedding übersetzt. Das System sucht die Abschnitte, die inhaltlich am nächsten liegen. Viele Lösungen kombinieren das mit einer klassischen Stichwortsuche.
3. Antworten. Die gefundenen Abschnitte gehen zusammen mit der Frage an das Sprachmodell. Es formuliert die Antwort und kann angeben, auf welchen Dokumenten sie beruht.

Ändert sich ein Dokument, wird der Index aktualisiert, nicht das Modell. Deshalb eignet sich RAG für Wissen, das sich ändert, etwa Preislisten, Produktdaten oder interne Richtlinien. Die Dateisuche von OpenAI kombiniert zum Beispiel semantische Suche und Stichwortsuche und liefert Verweise auf die Quelldatei mit (OpenAI).

Die Datenschutzkonferenz (DSK) weist auf eine Grenze hin: Weil nur inhaltlich ähnliche Abschnitte abgerufen werden, können logisch zusammenhängende Informationen fehlen, wenn sie über lange Textpassagen verteilt sind (DSK). Wie Dokumente zerlegt werden, ist deshalb keine Nebensache.

RAG, Fine-Tuning oder normales ChatGPT?

RAG ist die richtige Wahl, wenn KI korrekt auf Basis Ihres eigenen, sich ändernden Wissens antworten soll. Fine-Tuning eignet sich eher, um einem Modell einen bestimmten Stil oder ein festes Format beizubringen. Das Fraunhofer-Institut IESE rät ausdrücklich davon ab, einem Sprachmodell per Fine-Tuning Wissen antrainieren zu wollen (Fraunhofer IESE).

Wofür Unternehmen RAG nutzen

RAG bringt am meisten, wo Mitarbeitende oder Kunden häufig etwas fragen, das bereits irgendwo schriftlich steht. Typische Einsatzfälle:

• Kundenservice. Ein Chatbot auf der Website, der aus FAQ, Produktdatenblättern und AGB antwortet. Mehr dazu unter KI im Kundenservice.
• Interne Wissensdatenbank. Mitarbeitende fragen nach Mitarbeiterhandbuch, Prozessen oder früheren Projekten, statt sich durch Ordner zu klicken.
• Vertrieb und Angebote. Der Vertrieb bekommt Antworten zu Produkten, Konditionen und früheren Angeboten sowie erste Entwürfe für neue Angebote. Siehe Angebotsautomatisierung.
• Technischer Service. Servicetechniker schlagen unterwegs in Handbüchern und Fehlerprotokollen nach.
• Dokumente und Verträge. Fragen an Verträge, Richtlinien und Archive, oft zusammen mit einem Dokumentenmanagement.
• Daten aus ERP und CRM. Fragen an Auftrags- oder Kundendaten, angebunden über eine Systemintegration.

Drei Wege zu KI mit eigenen Daten

Es gibt drei Hauptwege: die eingebaute Lösung Ihrer Office-Umgebung, fertige Cloud-Bausteine oder eine eigens gebaute RAG-Lösung, die auch auf eigenen Servern laufen kann.

1. Eingebaut in Microsoft 365

Microsoft Copilot nutzt einen semantischen Index über die Daten Ihrer Organisation in Microsoft 365. Der Index wird automatisch erstellt, und Copilot zeigt nur Inhalte an, auf die die jeweilige Person ohnehin Zugriff hat. Laut Microsoft werden Prompts, Antworten und Daten aus dem Index nicht zum Training der zugrunde liegenden Sprachmodelle verwendet, und für Kunden innerhalb der EU-Datengrenze wird der Index in einem Rechenzentrum in der EU oder EFTA gespeichert (Microsoft Learn). Wer ohnehin in Microsoft 365 arbeitet, startet hier oft am einfachsten.

2. Fertige Cloud-Bausteine

Soll die KI Kunden auf der Website antworten oder Daten aus mehreren Systemen verbinden, baut man die Lösung mit den Bausteinen der großen Anbieter. OpenAI bietet eine fertige Dateisuche: Sie laden Dateien in einen Vektorspeicher, und das Modell durchsucht ihn selbstständig, bevor es antwortet (OpenAI). AWS bietet vergleichbare Dienste (AWS). Prüfen Sie dabei, wo die Daten verarbeitet werden, und schließen Sie einen Auftragsverarbeitungsvertrag ab.

3. Eigene RAG-Lösung, auch on-premise

Die DSK hebt hervor, dass RAG es oft ermöglicht, ein kleineres Sprachmodell einzusetzen, weil das Faktenwissen aus Ihren Dokumenten kommt. Das erweitert die Auswahl an Modellen, und unter Umständen kann das gesamte System on-premise betrieben werden, sodass keine personenbezogenen Daten an Online-Anbieter großer Sprachmodelle gehen (DSK). Häufig wird eine solche Lösung mit einem Automatisierungswerkzeug wie n8n verknüpft oder zu einem KI-Agenten ausgebaut, der auf Basis der Antworten auch handelt.

RAG und DSGVO: was die Aufsichtsbehörden sagen

Das Wichtigste bei KI mit eigenen Daten ist, zu steuern, was die KI sehen darf und wer welche Antworten bekommt. Das ist in Deutschland auch der größte Bremsklotz: 2025 nutzten 26 % der Unternehmen ab zehn Beschäftigten KI (Destatis). Von den Unternehmen, die KI erwogen, aber nicht eingeführt haben, nannten 60 % Bedenken beim Datenschutz und 44 % Probleme mit Verfügbarkeit oder Qualität der nötigen Daten (Destatis).

Die Datenschutzkonferenz hat im Oktober 2025 die „Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode“ veröffentlicht (DSK). Die Kernaussagen für Unternehmen:

• Richtigkeit: RAG kann falsche Ausgaben verringern, weil veraltete oder fehlerhafte Referenzdokumente gelöscht oder korrigiert werden können. Ganz ausschließen lassen sich falsche Antworten aber nicht.
• Zugriffsrechte: In der Vektordatenbank und den Referenzdokumenten lassen sich bewährte Maßnahmen wie Mandantentrennung und ein Rechte- und Rollenkonzept umsetzen. Im Sprachmodell selbst geht das nicht.
• Löschung: Einträge in der Vektordatenbank sind direkt adressierbar und damit gezielt löschbar. Das Problem der Löschung im Sprachmodell selbst bleibt bestehen.
• Rechtsgrundlage: Auch ein RAG-System braucht eine Rechtsgrundlage, denn personenbezogene Daten aus den Dokumenten werden verarbeitet und gespeichert. Ein rechtswidrig trainiertes Modell wird durch RAG nicht rechtmäßig.

Dazu kommt die KI-Verordnung der EU: Wer einen Chatbot einsetzt, muss Menschen darüber informieren, dass sie mit einer Maschine sprechen. Die Transparenzpflichten gelten seit August 2026 (Europäische Kommission). Praktisch heißt das: Auftragsverarbeitungsvertrag mit dem Anbieter, klare Regeln, welche Daten in den Index dürfen, und ein sichtbarer Hinweis im Chatfenster.

Typische Fehler bei RAG-Projekten

Die meisten RAG-Projekte, die enttäuschen, scheitern an Daten und Tests, nicht am Modell.

• Unaufgeräumte Daten. Alte Versionen, Dubletten und widersprüchliche Dokumente führen zu widersprüchlichen Antworten. Räumen Sie auf, bevor Sie indexieren.
• Ungünstige Chunks. Zu große oder zu kleine Textabschnitte entscheiden darüber, ob die richtigen Passagen gefunden werden.
• Keine Tests. Legen Sie 30 bis 50 echte Fragen mit den richtigen Antworten fest und testen Sie die Lösung bei jeder Änderung dagegen.
• Keine Quellen in der Antwort. Zeigen Sie immer, auf welchem Dokument die Antwort beruht, damit Nutzer sie prüfen können.
• Niemand verantwortet die Inhalte. Jemand muss dafür sorgen, dass die Dokumente aktuell bleiben, sonst veralten die Antworten schnell.

Was ein solches Projekt kostet, hängt vor allem von Datenmenge und Anzahl der angebundenen Systeme ab. Einen Überblick gibt unsere Seite zu den Kosten von KI-Automatisierung.