Warum Chunking nötig ist
Ein RAG-System beantwortet Fragen, indem es passende Textstellen aus einer Wissensbasis abruft und dem Sprachmodell als Kontext mitgibt. Ganze Dokumente eignen sich dafür schlecht: Ein 50-seitiges Handbuch als ein einziges Embedding verwässert die Bedeutung – der Vektor mittelt über Dutzende Themen und passt am Ende zu keiner konkreten Frage richtig gut. Ausserdem begrenzt das Context Window des Modells, wie viel abgerufener Text überhaupt verarbeitet werden kann.
Deshalb werden Dokumente vor der Indexierung in Chunks zerlegt – typischerweise wenige hundert Token pro Abschnitt. Jeder Chunk erhält sein eigenes Embedding in der Vektordatenbank und kann einzeln gefunden werden.
Der Zielkonflikt: zu gross vs. zu klein
Chunking ist ein Abwägen zwischen zwei Fehlern. Die richtige Chunk-Grösse hängt von Inhalt und Frageart ab – in der Praxis hat sich ein Arbeitsbereich von etwa 256 bis 1.024 Token etabliert.
Zu grosse Chunks
Mischen mehrere Themen in einem Vektor. Die semantische Suche wird unscharf, und das Modell bekommt viel irrelevanten Text mitgeliefert.
Zu kleine Chunks
Reissen Zusammenhänge auseinander: Ein Satz ohne seinen Absatz verliert Bezug – Pronomen, Definitionen und Begründungen zeigen ins Leere.
Overlap
Überlappung von 10–20 % zwischen benachbarten Chunks verhindert, dass relevante Information genau an einer Schnittkante verloren geht.
Metadaten
Titel, Abschnittsüberschrift und Quelle am Chunk verbessern Retrieval und Nachvollziehbarkeit der Antworten deutlich.
Die wichtigsten Chunking-Strategien
- Fixed-Size-Chunking: Schneidet nach fester Token-Anzahl, meist mit Overlap. Einfach, schnell, robust – und in Benchmarks oft überraschend konkurrenzfähig.
- Rekursives Chunking: Schneidet bevorzugt an natürlichen Grenzen (Kapitel, Absatz, Satz) und fällt erst bei Überlänge auf kleinere Einheiten zurück. Der häufigste Standard in der Praxis.
- Semantisches Chunking: Erkennt Themenwechsel anhand der Ähnlichkeit benachbarter Sätze und schneidet dort. Aufwendiger, lohnt sich vor allem bei unstrukturierten Texten.
- Strukturbasiertes Chunking: Nutzt vorhandene Dokumentstruktur (HTML-Überschriften, Markdown, Tabellen) als Schnittkanten – ideal für technische Dokumentation.
- Kontextangereichertes Chunking: Hängt an jeden Chunk eine kurze, vom LLM erzeugte Zusammenfassung des Dokumentkontexts an (Contextual Retrieval) – präziser, aber mit spürbarem Rechenaufwand bei der Indexierung.
Eine Vergleichsstudie zu fortgeschrittenen Chunking-Strategien (arXiv 2025, „Reconstructing Context“) zeigt: Aufwendigere Verfahren wie Late Chunking und Contextual Retrieval verbessern den Kontexterhalt, schlagen einfache Strategien aber nicht automatisch – entscheidend ist die Passung zu Dokumenttyp und Frageart, nicht die Komplexität der Methode.
Chunking im RAG-Gesamtsystem
Chunking wirkt am Anfang der Kette und bestimmt, was spätere Schritte überhaupt finden können: Semantic Search oder Hybrid Search rufen Chunks ab, Reranking sortiert sie – aber eine Passage, die beim Chunking zerschnitten wurde, kann kein Reranker der Welt wiederherstellen. Schlechtes Chunking erhöht damit direkt das Risiko von Halluzinationen, weil das Modell mit unvollständigem Kontext antworten muss.
Für Unternehmen heisst das: Bevor in grössere Embedding-Modelle oder teurere Infrastruktur investiert wird, lohnt der Blick auf die Chunking-Strategie – sie ist der günstigste Hebel mit dem grössten Einfluss auf die Antwortqualität.
Verwandte Begriffe
RAG-System mit präzisem Retrieval aufbauen?
Wir konzipieren Ihre Wissensbasis von der Chunking-Strategie bis zum Reranking – abgestimmt auf Ihre Dokumente und Fragetypen, DSGVO-konform und produktionsreif, im Rahmen einer KI-Beratung.
Kostenlose Erstberatung vereinbaren