Wissen · Ratgeber
Retrieval-Augmented Generation (RAG)
Retrieval-Augmented Generation verbindet ein generatives Sprachmodell mit externen Wissensquellen. Für eine konkrete Anfrage werden relevante Informationen abgerufen, als zusätzlicher Kontext bereitgestellt und anschließend für eine möglichst quellennahe und aktuelle Antwort genutzt.
Generierung einer Antwort auf Basis zusätzlich abgerufener Informationen aus externen Wissensquellen.
Das Modellwissen allein kann veraltet, unvollständig, nicht unternehmensspezifisch oder für eine Aussage nicht ausreichend belegbar sein.
Anfrage verstehen, relevante Informationen abrufen, Kontext auswählen, Antwort auf Basis dieses Kontexts generieren und Quellen nachvollziehbar machen.
Dokument-Metadaten
Worum geht es in diesem Wissensbeitrag?
Einordnung des Inhalts
- Entity Class
- Wissen
- Content-Typ
- Ratgeber / technischer Wissensbeitrag
- Hauptthema
- Retrieval-Augmented Generation
- Abkürzung
- RAG
- Themenkategorie
- Generative AI / Large Language Models / Information Retrieval
- Übergeordnetes Thema
- LLM-Anwendungen und wissensgestützte generative Systeme
- Verwandte Konzepte
- Embeddings, Vector Search, Keyword Search, Hybrid Search, Reranking, Grounding, Context Window, Knowledge Base
- Informationsintention
- Verstehen, einordnen, architektonisch planen, implementieren und evaluieren
- Kernfrage
- Wie kann ein generatives Sprachmodell bei einer Anfrage gezielt auf externe Informationen zugreifen und diese als belastbare Grundlage für seine Antwort nutzen?
Definition
Was ist Retrieval-Augmented Generation?
Definition als Faktenstruktur
- Begriff
- Retrieval-Augmented Generation
- Abkürzung
- RAG
- Kategorie
- Architekturmuster für generative KI- und LLM-Anwendungen
- Definition
- Bei RAG werden zu einer Anfrage relevante Informationen aus einer oder mehreren externen Wissensquellen abgerufen und einem generativen Modell als zusätzlicher Kontext für die Antwort bereitgestellt.
- Zweck
- Antworten mit aktuellem, domänenspezifischem oder unternehmenseigenem Wissen anreichern und Aussagen stärker an verfügbaren Quellen ausrichten.
- Input
- Nutzeranfrage, Wissensquellen und Regeln beziehungsweise Metadaten für den Zugriff auf diese Quellen
- Zwischenergebnis
- Eine nach Relevanz ausgewählte Menge von Dokumenten, Passagen, Datensätzen oder anderen Wissenseinheiten
- Output
- Generierte Antwort, die den abgerufenen Kontext berücksichtigen kann und optional mit Quellen beziehungsweise Zitaten verknüpft wird
- Abgrenzung
- RAG ist nicht auf Vektordatenbanken beschränkt. Retrieval kann beispielsweise lexikalisch, semantisch, hybrid, über Metadaten, strukturierte Datenbanken oder Wissensgraphen erfolgen.
Der zentrale Unterschied zu einem rein generativen System liegt darin, dass die Antwort nicht ausschließlich aus dem im Modell gespeicherten Wissen entstehen muss. Vor der Generierung kann das System gezielt Informationen aus einem definierten Wissensbestand auswählen und in den aktuellen Arbeitskontext des Modells einbringen.
Problem
Das Sprachmodell kennt nicht automatisch das richtige Wissen für jede konkrete Anfrage.
Problemstruktur
- Problem
- Die im Sprachmodell vorhandene Wissensbasis reicht für eine konkrete Anfrage nicht zuverlässig aus.
- Ursache: Aktualität
- Informationen können sich nach dem Training des Modells geändert haben.
- Ursache: internes Wissen
- Unternehmensinterne Dokumente, Produktdaten, Supportwissen oder Prozessinformationen sind nicht automatisch Bestandteil des Modellwissens.
- Ursache: Nachweisbarkeit
- Auch wenn das Modell eine Information kennt, ist nicht automatisch nachvollziehbar, auf welcher konkreten Quelle die Aussage beruht.
- Direkte Auswirkung
- Antworten können unvollständig, veraltet, zu allgemein oder nicht ausreichend auf die verfügbaren Unternehmensinformationen abgestimmt sein.
- Risiko
- Ohne geeignete Grounding- und Evaluationsmechanismen kann ein Modell weiterhin Aussagen erzeugen, die nicht durch die bereitgestellten Quellen gedeckt sind.
Architektur
Wie funktioniert eine typische RAG-Pipeline?
RAG trennt Informationsbeschaffung und Antwortgenerierung. Die Qualität der Antwort hängt deshalb nicht nur vom Sprachmodell ab, sondern auch davon, ob die richtigen Informationen gefunden, sinnvoll gerankt und in geeigneter Form in den Kontext übernommen werden.
Retrieval
Retrieval entscheidet, welches Wissen überhaupt in den Modellkontext gelangt.
Retrieval als Faktenstruktur
- Wissensquellen
- Zum Beispiel Webseiten, Dokumente, Wikis, Help Center, Produktdaten, Datenbanken, Tickets, technische Dokumentation oder strukturierte Datensätze
- Indexierungseinheit
- Ganzes Dokument, Abschnitt, Chunk, Datensatz, Entität oder andere für den Anwendungsfall sinnvolle Informationseinheit
- Lexikalisches Retrieval
- Findet Inhalte anhand von Begriffen und Termübereinstimmungen, beispielsweise mit klassischen Suchverfahren wie BM25.
- Semantisches Retrieval
- Vergleicht Bedeutungsrepräsentationen, häufig über Embeddings und Vektorsuche.
- Hybrid Retrieval
- Kombiniert lexikalische und semantische Signale, um Vorteile beider Verfahren zu nutzen.
- Metadatenfilter
- Schränken die Suche beispielsweise nach Produkt, Sprache, Dokumenttyp, Datum, Region, Berechtigung oder Version ein.
- Reranking
- Bewertet bereits gefundene Kandidaten erneut und ordnet sie möglichst passend zur konkreten Anfrage.
- Context Assembly
- Wählt aus, welche Passagen in welcher Reihenfolge und mit welchen Quelleninformationen in den Prompt beziehungsweise Modellkontext übernommen werden.
Mechanismus
RAG macht externe Informationen für die aktuelle Generierung verfügbar.
Wissen liegt außerhalb des Modells
Relevante Informationen befinden sich in Dokumenten, Datenbanken oder anderen Wissensquellen.
Relevante Informationen werden ausgewählt
Das System sucht für die konkrete Anfrage passende Wissenseinheiten und priorisiert die relevantesten Kandidaten.
Das Modell erhält zusätzlichen Kontext
Die abgerufenen Informationen werden zusammen mit der Anfrage für die Antwortgenerierung bereitgestellt.
Anfrage → relevante externe Information → zusätzlicher Modellkontext → generierte Antwort auf Basis dieses Kontexts.
Vorgehensweise
Wie wird ein RAG-System systematisch aufgebaut?
Fragen und Zielzustand definieren
Festlegen, welche Nutzerfragen beantwortet werden sollen, welche Quellen zulässig sind und wie eine gute Antwort aussieht.
Wissensquellen auswählen
Relevante Dokumente, Datenbanken und Systeme identifizieren sowie Aktualität, Qualität und Zugriffsrechte prüfen.
Inhalte aufbereiten
Dokumente extrahieren, bereinigen, segmentieren, versionieren und mit geeigneten Metadaten anreichern.
Suchstrategie konfigurieren
Lexikalische, semantische, hybride oder strukturierte Retrieval-Verfahren passend zum Informationsbestand kombinieren.
Relevanz verbessern
Kandidaten filtern, reranken und so viel Kontext auswählen, wie für eine präzise Antwort tatsächlich benötigt wird.
Antwortlogik gestalten
Prompt, Quellenhinweise, Antwortformat und Regeln für Unsicherheit beziehungsweise fehlende Evidenz definieren.
Retrieval und Antworten testen
Mit repräsentativen Testfragen prüfen, ob relevante Quellen gefunden und Aussagen durch den bereitgestellten Kontext gedeckt werden.
Freshness und Qualität überwachen
Index, Quellen, Berechtigungen, Antwortqualität, Kosten und Latenz im laufenden Betrieb kontrollieren.
Beispiel
Beispiel: technischer Wissensassistent für einen Hersteller.
Konkreter RAG-Fall
- Organisation
- Hersteller industrieller Sensortechnik
- Wissensquellen
- Datenblätter, Handbücher, Applikationshinweise, FAQ, Produktdaten und technische Dokumentation
- Nutzerfrage
- „Welcher Füllstandssensor eignet sich für einen geschlossenen Behälter mit hoher Temperatur und Schaumbildung?“
- Retrieval-Ziel
- Dokumente und Passagen finden, die Messprinzip, Temperaturgrenzen, Materialverträglichkeit, Schaumeinfluss und geeignete Produktvarianten beschreiben.
- Abgerufener Kontext
- Passagen aus Produktdatenblättern und Applikationshinweisen mit konkreten Einsatzgrenzen und technischen Eigenschaften
- Generierte Antwort
- Zusammenfassung geeigneter Optionen, relevante Einschränkungen und Verweise auf die Dokumente, aus denen die Aussagen abgeleitet wurden
- Nutzen
- Der Assistent kann gezielt auf aktuelle und herstellerspezifische technische Informationen zurückgreifen, statt ausschließlich allgemeines Modellwissen zu verwenden.
Measurement
RAG muss auf mehreren Ebenen gemessen werden.
Eine gute Modellantwort kann nur entstehen, wenn relevante Informationen überhaupt gefunden werden. Deshalb sollten Retrieval, Kontextauswahl und Antwortqualität getrennt bewertet werden.
Werden die für eine Testfrage benötigten relevanten Quellen beziehungsweise Passagen unter den abgerufenen Ergebnissen gefunden?
Stehen besonders relevante Ergebnisse weit oben? Mögliche Metriken sind je nach Evaluationsdesign beispielsweise MRR oder nDCG.
Sind die Aussagen der generierten Antwort durch den tatsächlich bereitgestellten Kontext gedeckt?
Beantwortet die Ausgabe die Nutzerfrage präzise, vollständig genug und ohne unnötige Abschweifungen?
Weitere Betriebsmetriken
- Source Accuracy
- Verweisen Quellenangaben tatsächlich auf die Dokumente, die die jeweilige Aussage stützen?
- Freshness
- Wie aktuell sind Index und Wissensquellen im Verhältnis zum operativen Informationsbestand?
- Latency
- Wie lange benötigen Retrieval, Ranking und Generation bis zur vollständigen Antwort?
- Cost
- Welche Kosten entstehen durch Retrieval-Infrastruktur, Reranking und Modellnutzung pro Anfrage?
- Abstention Quality
- Erkennt das System Fälle, in denen keine ausreichende Evidenz vorliegt, und kommuniziert diese Unsicherheit sinnvoll?
Evidenz & Grounding
Eine RAG-Antwort sollte von der Aussage zurück zur Quelle nachvollziehbar sein.
Was Grounding belastbarer macht
- Quellenidentität
- Jeder abgerufene Abschnitt lässt sich einem konkreten Dokument oder Datensatz zuordnen.
- Version
- Bei veränderlichen Informationen ist nachvollziehbar, welche Version beziehungsweise welcher Stand verwendet wurde.
- Passagenbezug
- Die relevante Aussage befindet sich tatsächlich im abgerufenen Kontext und nicht nur irgendwo im Quelldokument.
- Berechtigung
- Die Quelle durfte für den jeweiligen Nutzer und die konkrete Anfrage verwendet werden.
Abgrenzung
RAG ist nicht dasselbe wie Fine-Tuning, Long Context oder Websuche.
Wissen zur Anfrage abrufen
Externe Informationen werden zur Laufzeit gesucht und für die aktuelle Generierung in den Kontext eingebracht.
Modellverhalten anpassen
Fine-Tuning verändert Modellparameter beziehungsweise trainiertes Verhalten und ist nicht primär ein Mechanismus zur laufenden Aktualisierung einer Wissensbasis.
Mehr Informationen direkt mitgeben
Große Kontextfenster erlauben umfangreiche Eingaben. Retrieval kann trotzdem sinnvoll sein, um nur relevante Teile auszuwählen und Kontextkosten beziehungsweise Rauschen zu reduzieren.
Das Web als Retrieval-Quelle
Websuche kann Teil einer Retrieval-Pipeline sein. RAG kann jedoch ebenso interne Dokumente, Datenbanken, APIs oder kuratierte Wissensbestände verwenden.
Grenzen & Risiken
RAG beseitigt Halluzinationen und Wissensprobleme nicht automatisch.
Typische Grenzen
- Retrieval Failure
- Wenn die relevante Quelle nicht gefunden wird, kann sie auch nicht als Grounding für die Antwort dienen.
- Source Quality
- Veraltete, widersprüchliche oder fachlich schwache Quellen führen zu einer schwachen Informationsbasis.
- Chunking
- Ungünstige Segmentierung kann Zusammenhänge zerreißen oder zu viel irrelevanten Kontext erzeugen.
- Halluzinationen
- Ein generatives Modell kann trotz bereitgestellter Quellen Aussagen erzeugen, die über den Kontext hinausgehen oder ihm widersprechen.
- Prompt Injection
- Abgerufene Dokumente können schädliche oder irreführende Anweisungen enthalten. Retrieval-Inhalte müssen deshalb als potenziell nicht vertrauenswürdiger Input behandelt werden.
- Zugriffsrechte
- Interne Wissensbestände erfordern Berechtigungsprüfung, damit Nutzer keine Informationen erhalten, auf die sie keinen Zugriff haben sollten.
- Latenz & Kosten
- Zusätzliche Retrieval-, Ranking- und Generierungsschritte erhöhen Systemkomplexität, Antwortzeit und Betriebskosten.
Verwandte Wissensobjekte
Welche Themen stehen in direkter Beziehung zu RAG?
Embeddings
Vektorrepräsentationen können genutzt werden, um semantisch ähnliche Anfragen und Inhalte zu vergleichen.
Hybrid Search
Kombiniert beispielsweise lexikalische und semantische Retrieval-Signale.
Reranking
Ordnet bereits gefundene Kandidaten anhand einer genaueren Relevanzbewertung neu.
Grounding
Beschreibt die Verankerung generierter Aussagen in bereitgestellten oder nachweisbaren Informationsquellen.
FAQ
Häufige Fragen zu Retrieval-Augmented Generation.
Braucht RAG immer eine Vektordatenbank?
Nein. Eine Vektordatenbank ist eine mögliche Komponente für semantisches Retrieval. Je nach Daten und Anwendungsfall können auch Keyword Search, relationale Datenbanken, Suchindizes, Wissensgraphen, Metadatenfilter oder hybride Verfahren sinnvoll sein.
Was ist der Unterschied zwischen RAG und einem normalen Chatbot?
Ein Chatbot beschreibt zunächst nur eine Interaktionsform. Ein Chatbot kann RAG verwenden, muss es aber nicht. Bei RAG wird vor oder während der Antwort gezielt externes Wissen abgerufen und in die Generierung eingebunden.
Verhindert RAG Halluzinationen?
Nein. RAG kann eine bessere Informationsgrundlage schaffen, verhindert aber nicht automatisch, dass ein Modell unbelegte oder falsche Aussagen erzeugt. Retrieval- und Antwortqualität müssen separat evaluiert werden.
Wann ist Hybrid Search sinnvoll?
Hybrid Search ist besonders interessant, wenn sowohl exakte Begriffe, Produktcodes oder Fachterminologie als auch semantisch ähnliche Formulierungen relevant sind. Ob sie besser ist als ein einzelnes Verfahren, sollte mit repräsentativen Anfragen getestet werden.
Was ist beim Chunking wichtig?
Chunks sollten klein genug für präzises Retrieval, aber groß genug für den notwendigen fachlichen Zusammenhang sein. Eine universell optimale Chunk-Größe gibt es nicht; Struktur, Dokumenttyp und Fragearten sollten berücksichtigt werden.
Wie testet man ein RAG-System sinnvoll?
Hilfreich ist ein Evaluationsdatensatz mit realistischen Fragen, bekannten relevanten Quellen und Kriterien für gute Antworten. So lassen sich Retrieval-Fehler von Generierungsfehlern unterscheiden.
Quellen
Weiterführende wissenschaftliche Quellen zu Retrieval-Augmented Generation.
Die folgenden Arbeiten bilden zentrale wissenschaftliche Bezugspunkte für Retrieval-Augmented Generation und retrieval-augmentierte Sprachmodelle. Sie dienen als weiterführende Quellen für die in diesem Wissensbeitrag beschriebenen Konzepte, Möglichkeiten und Grenzen.
| Quelle | Autoren / Jahr | Einordnung | Originalquelle |
|---|---|---|---|
| Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks NeurIPS 2020 / arXiv | Patrick Lewis et al. · 2020 | Grundlegende RAG-Arbeit zur Kombination parametrischen Modellwissens mit einer externen, nicht-parametrischen Wissensquelle für wissensintensive NLP-Aufgaben. | arXiv:2005.11401 |
| Retrieval Augmentation Reduces Hallucination in Conversation Findings of EMNLP 2021 | Kurt Shuster et al. · 2021 | Untersucht retrieval-gestützte Architekturen für wissensbasierte Dialogsysteme und deren Einfluss auf faktische Fehler beziehungsweise Wissenshalluzinationen. | ACL Anthology |
| Retrieval-Augmented Generation for Large Language Models: A Survey arXiv | Yunfan Gao et al. · 2023/2024 | Überblick über RAG-Paradigmen, Retrieval, Generation, Augmentation, Evaluationsansätze sowie aktuelle Herausforderungen und Forschungsrichtungen. | arXiv:2312.10997 |
| Atlas: Few-shot Learning with Retrieval Augmented Language Models Journal of Machine Learning Research | Gautier Izacard et al. · 2023 | Beschreibt Atlas als retrieval-augmentiertes Sprachmodell für wissensintensive Aufgaben und untersucht unter anderem Few-shot Learning sowie aktualisierbare Dokumentindizes. | JMLR 24(251) |
Wissen
RAG verbindet generative Modelle mit dem Wissen, das für die konkrete Anfrage relevant ist.
Die Qualität entsteht nicht allein im LLM. Quellenqualität, Retrieval, Ranking, Kontextaufbereitung und Evaluation sind eigenständige Bestandteile des Systems.