Wissen
Chunking
Chunking bezeichnet die Zerlegung eines längeren Dokuments in kleinere, separat adressierbare Einheiten. In Retrieval- und RAG-Systemen bestimmt Chunking, welche Textmenge gemeinsam eingebettet, indexiert, gefunden und später als Evidenz an ein Sprachmodell übergeben wird. Die Wahl der Chunk-Grenzen beeinflusst deshalb direkt, wie viel lokaler Kontext erhalten bleibt, wie präzise Retrieval arbeiten kann und wie viele redundante oder unvollständige Informationen ein System verarbeitet.
Chunking bestimmt, welche Teile eines Dokuments als eigenständige Retrieval- und Indexierungseinheiten behandelt werden.
Kleine Chunks erhöhen Lokalität, können aber Kontext verlieren. Große Chunks erhalten mehr Kontext, können Relevanzsignale verwässern.
Es gibt keine universell beste Chunkgröße oder Chunking-Methode; Dokumentstruktur, Query-Typ und Retrieval-Architektur sind entscheidend.
Dokument-Metadaten
Worum geht es in diesem Wissensbeitrag?
Einordnung des Inhalts
- Entity Class
- Wissen
- Content-Typ
- Technischer Grundlagen- und Ratgeberbeitrag
- Hauptthema
- Chunking
- Nahe Begriffe
- Document Segmentation, Text Segmentation, Passage Splitting, Chunk Boundary Detection
- Primärer Einsatz
- Retrieval, RAG, Embedding-Indizes und Long-Document Processing
- Optimierungsobjekt
- Retrieval-Einheit und deren semantische beziehungsweise strukturelle Vollständigkeit
- Kernfrage
- Welche Textmenge sollte gemeinsam indexiert und abgerufen werden, damit relevante Evidenz gefunden wird, ohne unnötigen oder abgeschnittenen Kontext zu erzeugen?
Definition
Was ist Chunking?
Chunking ist die Aufteilung eines Dokuments in kleinere Segmente, die unabhängig voneinander gespeichert, eingebettet, durchsucht oder an nachgelagerte Systeme übergeben werden können. Ein Chunk kann beispielsweise aus einer festen Anzahl Tokens, einem Absatz, einem Abschnitt, einer semantischen Einheit oder einem hierarchisch definierten Dokumentteil bestehen.
Dokument D → Segmentierungsfunktion S(D) → {Chunk₁, Chunk₂, …, Chunkₙ}
Definition als Faktenstruktur
- Input
- Dokument, Webseite, PDF, Transkript, Code, Tabelle oder anderes längeres Informationsobjekt
- Chunk
- Kleinere adressierbare Einheit, die für Retrieval oder Verarbeitung separat behandelt wird
- Boundary
- Grenze zwischen zwei Chunks; kann regelbasiert, strukturell oder semantisch bestimmt werden
- Chunk Size
- Größe eines Chunks, beispielsweise gemessen in Tokens, Zeichen, Sätzen oder strukturellen Blöcken
- Overlap
- Textmenge, die bewusst in zwei benachbarten Chunks wiederholt wird
- Metadata
- Zusätzliche Herkunftsinformationen wie Dokument-ID, Überschrift, Abschnitt, URL oder Seitenzahl
- Output
- Retrieval-Einheiten, die indexiert und später gezielt wiedergefunden werden können
Abgrenzung
Chunking ist nicht dasselbe wie Tokenisierung oder Kontextfenster
Text → Tokens
Tokenisierung zerlegt Text in die Einheiten, die ein Modell verarbeitet. Chunking gruppiert größere Textbereiche zu Retrieval- oder Verarbeitungseinheiten.
Dokument → Retrieval-Einheiten
Chunking entscheidet, welche Informationen gemeinsam indexiert und als eine Einheit wiedergefunden werden.
Maximal aktiver Modellkontext
Das Kontextfenster beschreibt, wie viele Tokens ein Modell in einem einzelnen Inferenzlauf berücksichtigen kann. Es legt nicht automatisch die optimale Retrieval-Einheit fest.
Information verdichten
Zusammenfassung verändert beziehungsweise komprimiert Inhalt. Chunking segmentiert zunächst, ohne den Originaltext notwendigerweise semantisch zu reduzieren.
Mental Model
Chunking bestimmt die kleinste Einheit, die Retrieval sehen kann
Das Retrieval-System sucht nicht automatisch im vollständigen Originaldokument. Es sucht in den Repräsentationen, die während der Indexierung erzeugt wurden. Wenn eine wichtige Aussage über zwei Chunk-Grenzen verteilt wird, kann diese Beziehung im Index schwächer repräsentiert sein als im Originaldokument.
Originaldokument mit Struktur und Reihenfolge.
Text, Überschriften, Tabellen und andere Blöcke werden extrahiert.
Chunk-Grenzen werden anhand einer Strategie bestimmt.
Chunk erhält Metadaten oder zusätzlichen Elternkontext.
Chunk wird als eigenständige Such- beziehungsweise Indexeinheit gespeichert.
Query wählt passende Chunks aus.
Optional werden Parent-Kontext oder Nachbarchunks ergänzt und neu bewertet.
Ausgewählte Evidenz gelangt in den aktiven LLM-Kontext.
Chunk-Grenze → Repräsentation → Retrieval-Kandidat → verfügbare Evidenz für die Antwort
Chunk Size Trade-off
Warum weder möglichst kleine noch möglichst große Chunks generell optimal sind
Hohe Lokalität
Kleine Chunks enthalten häufig weniger irrelevanten Text und können sehr spezifisch zu einer Query passen. Gleichzeitig steigt das Risiko, Definitionen, Referenzen oder Begründungen vom benötigten Kontext zu trennen.
Mehr lokaler Kontext
Größere Chunks bewahren mehr zusammenhängenden Kontext. Sie können jedoch mehrere Themen vermischen, wodurch ein einzelnes Embedding oder Retrieval-Signal weniger präzise wird.
Chunk kleiner → Retrieval-Präzision potenziell ↑, Kontextverlust potenziell ↑
Chunk größer → Kontextvollständigkeit potenziell ↑, Relevanzverdünnung potenziell ↑
Parameter
Welche Entscheidungen eine Chunking-Strategie festlegt
Chunking-Konfiguration
- Boundary Unit
- Zeichen, Token, Satz, Absatz, Überschrift, Abschnitt, semantischer Wechsel oder LLM-Entscheidung
- Target Size
- Angestrebte beziehungsweise maximale Chunkgröße
- Minimum Size
- Verhindert sehr kleine Fragmente ohne eigenständigen Informationswert
- Overlap
- Wiederholter Kontext zwischen benachbarten Chunks
- Hierarchy
- Beziehung zwischen Dokument, Abschnitt, Unterabschnitt und Retrieval-Chunk
- Context Inheritance
- Ob Überschriften, Dokumenttitel oder Elternzusammenfassungen dem Chunk hinzugefügt werden
- Atomicity
- Ob Tabellen, Listen, Codeblöcke, Definitionen oder andere semantische Einheiten zusammenbleiben sollen
- Retrieval Granularity
- Ob derselbe Korpus auf mehreren Granularitätsstufen gleichzeitig indexiert wird
Overlap
Warum überlappende Chunks Grenzprobleme reduzieren und gleichzeitig Redundanz erzeugen
Bei Sliding-Window-Chunking wird ein Teil des vorherigen Chunks im nächsten wiederholt. Das kann Informationen schützen, die zufällig an einer festen Chunk-Grenze liegen. Gleichzeitig wächst die Zahl der Indexeinträge und dieselbe Evidenz kann mehrfach in den Retrieval-Ergebnissen erscheinen.
für Dokumentlänge N, Chunkgröße C und Overlap O:
n ≈ 1 + ceil((N − C) / (C − O)) für N > C
Auswirkungen von Overlap
- Vorteil
- Kontext an willkürlichen Grenzen kann in mindestens einem Chunk vollständig erhalten bleiben
- Indexgröße
- Mehr Overlap erzeugt mehr gespeicherten beziehungsweise wiederholten Text
- Retrieval-Duplikate
- Ähnliche Nachbarchunks können gleichzeitig in Top-k landen und Context Budget verbrauchen
- Deduplication
- Post-Retrieval-Deduplizierung oder Parent-/Neighbor-Merging kann Redundanz reduzieren
- Grenze
- Overlap repariert keine grundsätzlich falschen semantischen oder strukturellen Chunk-Grenzen
Chunking-Strategien
Welche Arten von Chunking unterschieden werden können
Feste Länge
Dokumente werden nach einer festen Zahl von Zeichen oder Tokens geteilt. Das Verfahren ist schnell und reproduzierbar, ignoriert aber semantische und strukturelle Grenzen.
Feste Länge mit Overlap
Benachbarte Chunks überlappen sich. Dadurch sinkt das Risiko, dass eine wichtige Information genau an einer Grenze zerfällt.
Natürliche Textgrenzen
Sätze oder Absätze bleiben als elementare Einheiten erhalten und werden gegebenenfalls bis zu einer Zielgröße gruppiert.
Hierarchie von Separatoren
Das System versucht zunächst gröbere Grenzen wie Abschnitte oder Absätze und fällt bei zu großen Segmenten auf feinere Separatoren bis hin zu Sätzen oder Zeichen zurück.
Dokumentstruktur erhalten
Überschriften, Listen, Tabellen, Codeblöcke oder andere Blocktypen bestimmen die Segmentierung. Ziel ist, semantisch und funktional zusammengehörige Einheiten nicht zu zerreißen.
Bedeutungswechsel als Grenze
Satz- oder Passage-Embeddings werden verglichen, um starke semantische Übergänge als mögliche Chunk-Grenzen zu erkennen.
Modell entscheidet Segmentgrenzen
Ein Sprachmodell analysiert den Verlauf eines Dokuments und identifiziert thematische beziehungsweise diskursive Wechsel. Das kann flexibler, aber deutlich rechenintensiver sein.
Mehrere Ebenen gleichzeitig
Dokumente werden als Baum oder Parent-Child-Struktur repräsentiert. Retrieval kann auf kleinen Einheiten suchen und anschließend größeren Kontext nachladen.
Fixed vs. Semantic
Semantisch komplexer bedeutet nicht automatisch besser
Semantic Chunking soll kohärentere Segmente erzeugen, indem Bedeutungswechsel statt ausschließlich fester Längen verwendet werden. Die Forschung zeigt jedoch kein einheitliches Bild: Die zusätzlichen Berechnungskosten führen nicht in jeder Retrieval- oder QA-Aufgabe zu konsistenten Qualitätsgewinnen.
Fixed-Size
- Stärke
- Einfach, schnell, deterministisch und kostengünstig
- Schwäche
- Kann Sätze, Argumente oder Themen an willkürlichen Grenzen trennen
- Gut geeignet
- Homogene Texte oder robuste Baselines, gegen die komplexere Strategien gemessen werden
Semantic Chunking
- Stärke
- Kann thematisch zusammengehörige Sätze flexibler gruppieren
- Schwäche
- Benötigt zusätzliche Embeddings, Schwellenwerte oder Modellaufrufe
- Forschungslage
- NAACL 2025 fand keine konsistenten Vorteile, die die zusätzlichen Kosten über alle getesteten Aufgaben rechtfertigten
Structure-Aware Chunking
Dokumentstruktur ist selbst ein Informationssignal
Ein Dokument besteht nicht nur aus einer linearen Zeichenfolge. Überschriften, Absätze, Tabellen, Listen, Fußnoten, Codeblöcke, Bildunterschriften und andere Layout- beziehungsweise Markup-Strukturen können anzeigen, welche Inhalte zusammengehören.
Überschriften als Parent Context
Unterabschnitte können ihren Titel und übergeordnete Überschriften als Metadaten oder Kontext erben.
Zeilen und Spalten nicht blind zerlegen
Tabellenrelationen verlieren Bedeutung, wenn Zellen ohne Header oder Zeilenkontext in getrennte Chunks zerlegt werden.
Aufzählung und Einleitung verbinden
Listenpunkte können von einer vorausgehenden Kategorie, Bedingung oder Frage abhängen und sollten diesen Kontext behalten.
Funktionale Grenzen berücksichtigen
Codeblöcke sollten eher entlang von Funktionen, Klassen oder logischen Einheiten als mitten in syntaktischen Strukturen geteilt werden.
Late Chunking
Late Chunking verschiebt die Segmentierung hinter die kontextuelle Tokenrepräsentation
Konventionelles Embedding-Chunking teilt ein Dokument zuerst und kodiert anschließend jeden Chunk unabhängig. Dadurch kennt der Encoder beim Embedding eines Chunks den umliegenden Dokumentkontext nicht mehr. Late Chunking dreht diese Reihenfolge um.
Ein längerer Text wird als zusammenhängender Kontext verarbeitet.
Das Embedding-Modell erzeugt kontextualisierte Tokenrepräsentationen.
Jedes Token kann Information aus dem größeren Dokumentkontext aufnehmen.
Erst nach der Transformer-Verarbeitung werden Chunkbereiche festgelegt.
Tokenrepräsentationen eines Chunkbereichs werden zusammengefasst.
Der Chunk-Vektor enthält Informationen aus dem umliegenden Dokumentkontext.
Chunks bleiben separat suchbar, ohne vollständig kontextisoliert eingebettet zu sein.
split → encode each chunk
Late Chunking
encode long context → split token representations → pool per chunk
Hierarchisches Chunking
Retrieval kann auf einer Granularität suchen und auf einer anderen Kontext liefern
Hierarchische Ansätze trennen Retrieval-Granularität von Kontext-Granularität. Ein kleiner Child-Chunk kann präzise gefunden werden, während anschließend der übergeordnete Abschnitt, benachbarte Chunks oder eine Zusammenfassung als zusätzlicher Kontext bereitgestellt werden.
Gesamtdokument als oberste Ebene.
Abschnitte bilden Parent Nodes.
Kleinere Einheiten werden separat indexiert.
Query findet eine präzise lokale Passage.
Übergeordneter Zusammenhang wird nachgeladen.
LLM erhält Detail plus notwendigen größeren Zusammenhang.
Chunks → Embeddings → Clustering → Zusammenfassungen → rekursiver Baum → Retrieval über mehrere Abstraktionsebenen
Multi-Granularity
Die passende Chunkgröße kann von der Query abhängen
Eine Detailfrage kann von sehr kleinen Passagen profitieren, während eine thematische oder zusammenfassende Frage größeren Kontext benötigt. Neuere Forschung untersucht deshalb Retrieval über mehrere Granularitätsstufen statt einer global fixierten Chunkgröße.
Kleine Granularität
Konkrete Fakten, Parameter oder Definitionen können mit kurzen, spezifischen Chunks leichter isoliert werden.
Mittlere Granularität
Fragen nach Ursachen, Bedingungen oder Vergleichen benötigen häufig mehrere zusammenhängende Aussagen.
Große Granularität
Zusammenfassende oder thematische Fragen können von Abschnitts- oder Dokumentrepräsentationen profitieren.
Context Inheritance
Ein Chunk benötigt häufig Informationen, die außerhalb seines Textbereichs liegen
Typische Kontextinformationen
- Document Title
- Identifiziert das übergeordnete Dokument oder Thema
- Section Heading
- Gibt einem lokal kurzen Absatz seinen thematischen Rahmen
- Parent Path
- Zum Beispiel Dokument → Kapitel → Unterkapitel → Chunk
- Source URL / Document ID
- Erhält Provenance und ermöglicht spätere Citation beziehungsweise Quellzuordnung
- Page / Position
- Position im Originaldokument für Nachbarschaft und Rekonstruktion
- Content Type
- Text, Tabelle, Liste, Code, Caption oder anderer struktureller Typ
- Version / Timestamp
- Unterstützt Aktualität und Dokumentversionierung
lokaler Text + notwendiger Parent Context + Provenance + Position im Original
Beispiel
Wie eine schlechte Chunk-Grenze Retrieval-Information zerstören kann
Originalstruktur
- Überschrift
- Wetterbeständigkeit
- Satz 1
- Das Kameragehäuse besitzt eine umlaufende Abdichtung.
- Satz 2
- Der Hersteller erlaubt den Einsatz bei leichtem Regen.
- Satz 3
- Ein Untertauchen des Geräts ist nicht vorgesehen.
Ungünstige feste Grenze
- Chunk A
- Überschrift + Satz 1
- Chunk B
- Satz 2 + Satz 3 ohne Überschrift
- Risiko
- Chunk B enthält die entscheidende Nutzungsaussage, verliert aber einen Teil des thematischen Rahmens. Chunk A enthält die technische Eigenschaft, aber nicht die Nutzungsbedingung.
Strukturorientierter Chunk
- Chunk
- Überschrift + Satz 1 + Satz 2 + Satz 3
- Vorteil
- Eigenschaft, erlaubte Nutzung und Grenze bleiben gemeinsam retrievbar
- Abwägung
- Bei sehr langen Abschnitten muss trotzdem erneut segmentiert werden, damit der Chunk nicht zu viele unabhängige Themen enthält.
Evaluation
Wie lässt sich Chunking-Qualität messen?
Chunking sollte nicht nur anhand der durchschnittlichen Chunklänge beurteilt werden. Entscheidend ist, ob relevante Evidenz in kohärenten, auffindbaren und ausreichend vollständigen Einheiten landet und im End-to-End-System tatsächlich genutzt werden kann.
Wie häufig befindet sich die benötigte Evidenz innerhalb der ersten k gefundenen Chunks?
Ob mindestens ein relevanter Chunk innerhalb der ersten k Retrieval-Ergebnisse erscheint.
Bewertet Relevanz und Rangposition gefundener Chunks.
Wie gut stimmen algorithmische Grenzen mit semantisch oder manuell sinnvollen Segmentgrenzen überein?
Wie stark gehören die Inhalte innerhalb eines Chunks semantisch zusammen?
Bleiben notwendige Referenzen und abhängige Informationen innerhalb der Retrieval-Einheit erhalten?
Wie viele Top-k-Slots werden durch überlappende oder nahezu identische Chunks belegt?
Verbessert die Chunking-Strategie tatsächlich die nachgelagerte Antwortqualität?
Wie viele Chunks und Vektoren müssen gespeichert und durchsucht werden?
Welche Rechenzeit entsteht bei semantischer, LLM-basierter oder adaptiver Segmentierung?
Intrinsic Evaluation
Neuere Forschung versucht Chunking auch unabhängig von QA-Scores zu bewerten
Der Ansatz „Adaptive Chunking“ von 2026 schlägt dokumentbasierte Qualitätsmetriken vor, um die Eignung verschiedener Segmentierungsstrategien bereits am Dokument selbst zu bewerten. Dadurch soll Chunking nicht nur indirekt über ein vollständiges RAG-System beurteilt werden.
References Completeness
Bewertet, ob notwendige Referenzbeziehungen innerhalb der Chunks erhalten bleiben.
Intrachunk Cohesion
Misst die semantische Kohärenz der Inhalte innerhalb eines Chunks.
Document Contextual Coherence
Bewertet Chunking im Verhältnis zur Kontextstruktur des Gesamtdokuments.
Block Integrity
Prüft, ob natürliche oder strukturelle Dokumentblöcke sinnvoll erhalten bleiben.
Size Compliance
Bewertet, ob die erzeugten Segmente innerhalb gewünschter Größenbedingungen liegen.
Forschungserkenntnisse
Welche Erkenntnisse sich aus aktuellen Chunking-Studien ableiten lassen
Chunk-Grenzen beeinflussen Retrieval und QA
- Wang et al. 2025
- Zeigen, dass Dokumentsegmentierung ein eigenständiger Qualitätsfaktor in RAG ist. Zu große Chunks können irrelevante Information enthalten, zu kleine Chunks semantische Kohärenz verlieren.
- PIC
- Die Arbeit nutzt Dokumentzusammenfassungen als Pseudo-Instruktionen, um Sätze thematisch adaptiver zu gruppieren.
Semantic Chunking ist kein universeller Sieger
- Qu et al. 2025
- Vergleichen Semantic Chunking mit Fixed-Size-Ansätzen über mehrere Retrieval- und Antwortaufgaben.
- Ergebnis
- Die zusätzlichen Berechnungskosten wurden nicht durch konsistente Leistungsgewinne über alle getesteten Aufgaben gerechtfertigt.
Dokumenttyp und Query verändern die optimale Granularität
- Mix-of-Granularity
- Zhong et al. 2025 verwenden einen Router, um abhängig von der Query unterschiedliche Wissensgranularitäten auszuwählen.
- Konsequenz
- Eine einzige globale Chunkgröße ist nicht zwingend für alle Query-Typen und Quellen optimal.
Auch komplexe Strategien müssen domänenspezifisch geprüft werden
- Kreileder et al. 2026
- In einer Studie mit langen akademischen Texten übertraf clusterbasiertes Semantic Chunking unter der getesteten Konfiguration einfachere Strategien nicht.
- Konsequenz
- Chunking-Entscheidungen sollten empirisch auf dem eigenen Dokument- und Query-Mix validiert werden.
Failure Modes
Welche Fehler schlechte Chunking-Pipelines verursachen
Typische Fehlerklassen
- Boundary Fragmentation
- Frage und Antwort, Definition und Erklärung oder Bedingung und Ergebnis landen in verschiedenen Chunks
- Context Loss
- Ein lokal verständlicher Satz verliert Überschrift, Referenz oder übergeordnetes Thema
- Topic Mixing
- Ein großer Chunk enthält mehrere unabhängige Themen und erzeugt ein unscharfes Retrieval-Signal
- Overlap Duplication
- Mehrere fast identische Chunks belegen dieselben Top-k-Slots
- Broken Structure
- Tabellen, Listen, Code oder Überschrift-Inhalt-Beziehungen werden auseinandergerissen
- Lost Provenance
- Chunk besitzt keine eindeutige Herkunft, URL, Seite oder Parent-Struktur mehr
- Embedding Dilution
- Zu viele Themen werden in einen einzelnen dichten Vektor komprimiert
- Over-Engineering
- Komplexes Semantic- oder LLM-Chunking erhöht Kosten, ohne die Retrieval-Qualität messbar zu verbessern
Alternativen
Chunking ist verbreitet, aber nicht grundsätzlich zwingend
Forschung untersucht auch Retrieval-Architekturen, die feste vorab definierte Chunks umgehen oder deren Nachteile reduzieren. Dazu gehören In-Context-Retrieval über längere Dokumentrepräsentationen, Multi-Vector-Modelle, hierarchische Retrieval-Strukturen und Verfahren, die Evidenz erst nach einem groberen Dokument-Retrieval lokalisieren.
Chunking-Free In-Context Retrieval
Qian et al. 2024 schlagen vor, Evidenz aus encodierten Hidden States längerer Dokumente zu lokalisieren, ohne das Dokument vorher klassisch in Retrieval-Chunks zu teilen.
Chunking bleibt, aber später
Late Chunking behält separate Retrieval-Chunks, verschiebt die Segmentierung jedoch hinter die kontextuelle Transformer-Verarbeitung.
Mehrere Ebenen statt einer festen Granularität
RAPTOR und verwandte Ansätze organisieren Information auf mehreren Abstraktions- und Segmentebenen.
Entwicklung
Von Textsegmentierung zu adaptiver Retrieval-Granularität
Frühe automatische Segmentierung längerer Texte in Multi-Paragraph-Subtopics anhand lexikalischer Kohäsion.
Retrieval-Augmented Generation etabliert externe Passage-Retrieval-Indizes als zentrale Wissenskomponente generativer Systeme.
Hierarchische Bäume aus Chunks, Clustern und rekursiven Zusammenfassungen ermöglichen Retrieval auf mehreren Abstraktionsebenen.
LLM-basierte Segmentierung erkennt dynamisch, wo sich der Inhalt längerer narrativer Texte thematisch verschiebt.
Chunkgrenzen werden hinter die Long-Context-Encoder-Verarbeitung verschoben, um Kontext in Chunk-Embeddings zu erhalten.
CFIC untersucht Evidenzlokalisierung ohne klassisches vorab definiertes Chunking.
Systematische Vergleiche zeigen, dass zusätzliche semantische Segmentierungskosten nicht immer zu konsistenten Gewinnen führen.
Forschung verschiebt sich zu kontextabhängigen, LLM-basierten und multi-granularen Chunking-Strategien.
Chunking wird stärker als eigenständig evaluierbare und dokumentabhängig wählbare Systemkomponente behandelt.
Auswahlprinzip
Wie eine Chunking-Strategie fachlich eingeordnet werden kann
Entscheidungsdimensionen
- Dokumentstruktur
- Ist der Inhalt klar über Überschriften, Absätze, Tabellen oder andere Blocktypen strukturiert?
- Query-Typ
- Werden punktuelle Fakten, relationale Zusammenhänge oder globale Themen gesucht?
- Embedding-Modell
- Welche maximale Eingabelänge und welche Retrieval-Eigenschaften besitzt der Encoder?
- Retrieval-Architektur
- Single-Vector, Multi-Vector, Hybrid Search, Parent-Child, Hierarchical oder Late Interaction?
- Evidence Granularity
- Wie groß ist die kleinste fachlich vollständige Einheit, die eine Antwort stützen kann?
- Context Budget
- Wie viele und wie große Retrieval-Ergebnisse können sinnvoll in den LLM-Kontext übernommen werden?
- Kosten
- Wie viel zusätzliche Indexierung, Embedding-Berechnung oder LLM-Verarbeitung ist vertretbar?
- Evaluation
- Welche Strategie verbessert auf repräsentativen Queries tatsächlich Retrieval und End-to-End-Antwortqualität?
Dokumenttyp + Query-Verteilung + Encoder + Retrieval-Architektur + Kontextbudget → geeignete Chunking-Strategie
Verwandte Entitäten
Welche Leadterion-Wissensobjekte stehen in direkter Beziehung?
Embeddings
Bei Dense Retrieval wird häufig jeder Chunk separat eingebettet. Chunkgröße und Segmentgrenzen beeinflussen damit direkt, welche Information in einem Embedding verdichtet wird.
Wissensbeitrag öffnenRetrieval-Augmented Generation
RAG verwendet retrievte Information als externen Kontext. Chunking bestimmt häufig, welche Einheiten überhaupt als Retrieval-Kandidaten zur Verfügung stehen.
Wissensbeitrag öffnenContext Engineering
Chunking beeinflusst, welche externen Informationen ausgewählt und in den aktiven Kontext eines LLM eingebracht werden.
Wissensbeitrag öffnenGraphRAG
GraphRAG ergänzt lineare Chunks um explizite Entitäten, Relationen und Communities und adressiert damit Probleme, die reine Passage-Segmentierung nur begrenzt abbildet.
Wissensbeitrag öffnenGroundedness & Faithfulness
Unvollständige oder falsch segmentierte Evidenz kann die Grounding-Basis einer generierten Antwort verschlechtern.
Wissensbeitrag öffnenContext Folding
Chunking segmentiert Quellinformationen für Retrieval, während Context Folding bereits aktive Long-Horizon-Kontexte nachträglich verdichtet.
Wissensbeitrag öffnenFAQ
Häufige Fragen zu Chunking
Was bedeutet Chunking bei RAG?
Chunking bezeichnet die Zerlegung von Dokumenten in kleinere Retrieval-Einheiten. Diese Einheiten werden separat indexiert und können später passend zu einer Nutzeranfrage abgerufen werden.
Wie groß sollte ein Chunk sein?
Es gibt keine universell optimale Größe. Sie hängt unter anderem von Dokumentstruktur, Query-Typ, Embedding-Modell, Retrieval-Architektur und benötigter Evidence-Granularität ab.
Was ist Chunk Overlap?
Chunk Overlap bedeutet, dass benachbarte Chunks einen Teil ihres Textes gemeinsam enthalten. Dadurch können Informationen an festen Grenzen besser erhalten bleiben, allerdings entstehen zusätzliche Indexgröße und potenziell redundante Retrieval-Ergebnisse.
Was ist Semantic Chunking?
Semantic Chunking bestimmt Segmentgrenzen anhand von Bedeutungs- beziehungsweise Themenwechseln statt ausschließlich anhand einer festen Anzahl von Zeichen oder Tokens.
Ist Semantic Chunking immer besser als Fixed-Size Chunking?
Nein. Empirische Arbeiten zeigen, dass Semantic Chunking nicht über alle Aufgaben hinweg konsistent bessere Ergebnisse liefert und zusätzliche Rechenkosten verursachen kann.
Was ist Recursive Chunking?
Recursive Chunking versucht zunächst gröbere natürliche Grenzen wie Abschnitte oder Absätze zu verwenden und wechselt bei zu großen Segmenten schrittweise zu feineren Trennzeichen.
Was ist Late Chunking?
Late Chunking kodiert zunächst einen längeren Dokumentkontext mit einem Long-Context-Embedding-Modell. Erst danach werden die kontextualisierten Tokenrepräsentationen in Chunkbereiche geteilt und pro Chunk gepoolt.
Was ist hierarchisches Chunking?
Hierarchisches Chunking organisiert Dokumente auf mehreren Ebenen, zum Beispiel Dokument, Abschnitt und Child Chunk. Retrieval kann auf kleinen Einheiten suchen und anschließend größeren Parent-Kontext nachladen.
Braucht RAG zwingend Chunking?
Nein. Klassisches RAG verwendet häufig Chunks, aber es existieren Multi-Vector-, hierarchische und chunkingfreie Retrieval-Ansätze, die Information anders lokalisieren.
Wie evaluiert man eine Chunking-Strategie?
Über Retrieval-Metriken wie Recall@k, Hits@k und nDCG, über Boundary- und Cohesion-Metriken sowie über die nachgelagerte Antwortqualität eines vollständigen RAG-Systems.
Quellen
Wissenschaftliche Arbeiten zu Document Segmentation und Chunking für RAG
Die Literatur zeigt eine Entwicklung von klassischer Textsegmentierung über feste Passage-Indizes zu semantischen, LLM-basierten, hierarchischen, adaptiven und teilweise chunkingfreien Retrieval-Verfahren.
| Quelle | Autoren / Jahr | Einordnung | Originalquelle |
|---|---|---|---|
| TextTiling: Segmenting Text into Multi-paragraph Subtopic Passages | Marti A. Hearst · 1997 | Frühe grundlegende Arbeit zur automatischen Segmentierung längerer Texte in thematische Multi-Paragraph-Abschnitte anhand lexikalischer Kohäsion. | Computational Linguistics |
| Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks | Patrick Lewis et al. · 2020 | Zentrale RAG-Arbeit, die einen externen dichten Passage-Index als nicht-parametrischen Wissensspeicher mit einem generativen Sprachmodell verbindet. | arXiv:2005.11401 |
| RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval | Parth Sarthi et al. · ICLR 2024 | Organisiert Chunks durch rekursives Embedding, Clustering und Zusammenfassen in einer Baumstruktur, um Retrieval auf unterschiedlichen Abstraktionsebenen zu ermöglichen. | OpenReview / ICLR |
| Grounding Language Model with Chunking-Free In-Context Retrieval | Hongjin Qian et al. · ACL 2024 | Untersucht eine Alternative zu klassischem Chunking, bei der Evidenz direkt aus encodierten Dokumentrepräsentationen lokalisiert wird. | ACL Anthology |
| LumberChunker: Long-Form Narrative Document Segmentation | André V. Duarte et al. · EMNLP 2024 | LLM-basierte dynamische Segmentierung langer narrativer Texte. Das Modell identifiziert iterativ Stellen, an denen sich der Inhalt thematisch verschiebt. | ACL Anthology |
| Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models | Michael Günther et al. · 2024 | Verschiebt Chunking hinter die Transformer-Verarbeitung: Das lange Dokument wird zuerst kontextualisiert, anschließend werden Tokenrepräsentationen chunkweise gepoolt. | arXiv:2409.04701 |
| Is Semantic Chunking Worth the Computational Cost? | Renyi Qu, Ruixuan Tu & Forrest Sheng Bao · NAACL 2025 | Systematische Evaluation von Semantic Chunking gegenüber Fixed-Size-Verfahren über Retrieval und Antwortgenerierung; findet keine konsistenten Vorteile, die die zusätzlichen Kosten durchgängig rechtfertigen. | ACL Anthology |
| Document Segmentation Matters for Retrieval-Augmented Generation | Zhitong Wang et al. · ACL 2025 | Behandelt Chunking als eigenständige RAG-Komponente und führt PIC ein, das Dokumentzusammenfassungen als Pseudo-Instruktionen für die Satzgruppierung nutzt. | ACL Anthology |
| Mix-of-Granularity: Optimize the Chunking Granularity for Retrieval-Augmented Generation | Zijie Zhong et al. · COLING 2025 | Wählt abhängig von der Query unterschiedliche Wissensgranularitäten über einen Router und erweitert den Ansatz zusätzlich zu graphbasiertem Multi-Granularity Retrieval. | ACL Anthology |
| MoC: Mixtures of Text Chunking Learners for Retrieval-Augmented Generation System | Jihao Zhao et al. · ACL 2025 | Führt Boundary Clarity und Chunk Stickiness als direkte Chunking-Qualitätsmetriken ein und kombiniert mehrere Chunking Learner in einem granularity-aware Framework. | ACL Anthology |
| Adaptive Chunking: Optimizing Chunking-Method Selection for RAG | Paulo Roberto de Moura Júnior et al. · LREC 2026 | Behandelt die Auswahl der Chunking-Methode als dokumentabhängiges Problem und schlägt intrinsische Qualitätsmetriken wie References Completeness, Intrachunk Cohesion und Block Integrity vor. | ACL Anthology |
| HiChunk: Evaluating and Enhancing Retrieval Augmented Generation with Hierarchical Chunking | Wensheng Lu et al. · ACL 2026 | Führt HiCBench für die Evaluation von Chunking ein und untersucht hierarchische Dokumentstrukturierung mit Multi-Level-Chunking und Auto-Merge Retrieval. | ACL Anthology |
| Evaluating Chunking Strategies for Retrieval-Augmented Generation on Academic Texts | Valentin J. J. Kreileder et al. · 2026 | Vergleicht clusterbasiertes Semantic Chunking mit Fixed-Size- und Recursive-Strategien auf langen akademischen Dokumenten und findet unter der getesteten Konfiguration keinen Vorteil der komplexeren Methode. | arXiv:2607.01852 |
Wissen
Chunking bestimmt, in welchen Einheiten ein Retrieval-System Wissen überhaupt wiederfinden kann
Gute Segmentierung erhält fachlich zusammengehörige Information, begrenzt irrelevanten Kontext und bewahrt Provenance. Die optimale Strategie entsteht deshalb nicht aus einer universellen Tokenzahl, sondern aus dem Zusammenspiel von Dokumentstruktur, Query-Verteilung, Embedding-Modell, Retrieval-Architektur und Evaluation.