Wissen
Embeddings
Embeddings sind gelernte numerische Repräsentationen von Objekten als Vektoren in einem kontinuierlichen Raum. Ein Embedding-Modell kann beispielsweise Wörter, Sätze, Dokumente, Bilder oder Produkte so abbilden, dass für die Trainingsaufgabe relevante Ähnlichkeiten und Beziehungen über die Geometrie der Vektoren messbar werden. Embeddings bilden damit eine Schnittstelle zwischen komplexen Datenobjekten und mathematischen Operationen wie Ähnlichkeitssuche, Clustering oder Klassifikation.
Ein Embedding ist ein Vektor, der ein Objekt in einem gelernten kontinuierlichen Repräsentationsraum abbildet.
Die Trainingsaufgabe formt den Raum so, dass relevante Objekte geometrisch sinnvoll verglichen werden können.
Vektornähe bedeutet modellierte Ähnlichkeit – nicht automatisch Wahrheit, Kausalität, Kompatibilität oder fachliche Korrektheit.
Dokument-Metadaten
Worum geht es in diesem Wissensbeitrag?
Einordnung des Inhalts
- Entity Class
- Wissen
- Content-Typ
- Technischer Grundlagen- und Ratgeberbeitrag
- Hauptthema
- Embeddings
- Oberkategorie
- Representation Learning / Machine Learning
- Primärer Fokus
- Text- und Retrieval-Embeddings mit Einordnung weiterer Modalitäten
- Kernproblem
- Diskrete oder komplexe Datenobjekte müssen in eine Form überführt werden, in der Modelle und Suchverfahren Ähnlichkeiten und Beziehungen numerisch verarbeiten können.
- Kernfrage
- Wie wird aus einem Wort, Text oder anderen Objekt ein Vektor, und warum kann dessen Geometrie für Suche und Machine Learning nützlich sein?
Definition
Was ist ein Embedding?
Ein Embedding ist die Ausgabe einer Abbildungsfunktion, die ein Objekt aus einem ursprünglichen Datenraum in einen Vektorraum überführt. Bei Text kann das Objekt ein Token, ein Satz, ein Absatz oder ein vollständiges Dokument sein. Der resultierende Vektor besitzt eine feste oder modellabhängige Anzahl numerischer Dimensionen.
Objekt x → Encoder f(x) → Embedding z ∈ ℝd
Definition als Faktenstruktur
- Input
- Wort, Token, Satz, Dokument, Bild, Audio, Produkt, Nutzer oder anderes Objekt
- Encoder
- Gelernte Funktion beziehungsweise Modell, das den Input in einen Vektor überführt
- Output
- d-dimensionaler numerischer Vektor
- Repräsentationsraum
- Kontinuierlicher Vektorraum, dessen Geometrie durch Training und Modellarchitektur geprägt wird
- Vergleich
- Häufig über Cosine Similarity, Skalarprodukt oder euklidische Distanz
- Bedeutung
- Der Vektor ist keine wortwörtliche Bedeutung des Objekts, sondern eine für bestimmte Trainingsziele gelernte numerische Repräsentation
Voraussetzungen
Welche Grundbegriffe braucht man, um Embeddings zu verstehen?
Geordnete Liste von Zahlen
Ein Vektor kann als Punkt oder Richtung in einem mehrdimensionalen Raum interpretiert werden. Ein Embedding ist ein solcher Vektor, dessen Werte durch ein Modell erzeugt werden.
Anzahl der Vektorkomponenten
Ein Embedding mit Dimension d besitzt d numerische Werte. Mehr Dimensionen bieten mehr Repräsentationskapazität, erhöhen aber Speicher- und Rechenbedarf.
Funktion vom Objekt zum Vektor
Der Encoder lernt, welche Merkmale für die Trainingsaufgabe wichtig sind und wie diese im Vektorraum verteilt werden.
Abstand und Richtung im Vektorraum
Ähnlichkeit wird nicht als Textregel gespeichert, sondern über mathematische Beziehungen zwischen Vektoren messbar gemacht.
Mental Model
Embeddings übersetzen Datenobjekte in eine vergleichbare Geometrie
Der entscheidende Punkt ist nicht, dass Text „in Zahlen umgewandelt“ wird. Entscheidend ist, dass Training die Positionen der Vektoren so verändert, dass für die jeweilige Aufgabe relevante Objekte näher zusammenrücken und irrelevante oder gegensätzliche Objekte stärker getrennt werden.
Ein Wort, Satz, Dokument, Bild oder anderes Objekt.
Text wird beispielsweise tokenisiert und in Modellinputs überführt.
Ein trainiertes Modell verarbeitet den Input.
Hidden States oder andere interne Repräsentationen entstehen.
Bei Text-Embeddings wird daraus häufig ein fester Vektor gebildet.
Das Objekt liegt als Punkt im gelernten Vektorraum vor.
Vektoren werden verglichen, gesucht, gruppiert oder weiterverarbeitet.
Trainingsziel → gelernter Vektorraum → messbare Nähe / Distanz → nutzbares Signal für Downstream-Aufgaben
Warum Embeddings?
Warum reichen IDs, Wörter oder rohe Texte nicht aus?
Viele Machine-Learning-Verfahren benötigen numerische Eingaben. Eine reine ID sagt jedoch nichts darüber aus, ob zwei Objekte ähnlich sind. Embeddings versuchen deshalb, aus Daten eine Repräsentation zu lernen, in der relevante Ähnlichkeit mathematisch sichtbar wird.
Identität ohne gelernte Nähe
Zwei unterschiedliche IDs sind zunächst einfach verschieden. Eine ID kodiert nicht automatisch, dass „Hund“ semantisch näher an „Katze“ als an „Steuererklärung“ liegt.
Gelernte relationale Struktur
Der Vektorraum kann Beziehungen aus Trainingsdaten verdichten. Dadurch entsteht ein kontinuierliches Signal statt nur diskreter Identität.
Embedding-Typen
Nicht jedes Embedding repräsentiert dasselbe Objekt oder dieselbe Information
Statische Wortrepräsentation
Modelle wie Word2Vec oder GloVe ordnen einem Worttyp typischerweise einen festen Vektor zu. Derselbe Worttyp erhält unabhängig vom konkreten Satz denselben Basisvektor.
Eingaberepräsentation eines Tokens
Transformer verwenden gelernte Token-Embedding-Tabellen, um Token-IDs in kontinuierliche Vektoren zu überführen, bevor weitere Layer Kontext einarbeiten.
Kontextabhängige Tokenrepräsentation
Bei BERT-artigen Modellen verändert der Satzkontext die Repräsentation eines Tokens. Dasselbe Wort kann dadurch in verschiedenen Sätzen unterschiedliche Hidden States erhalten.
Ein Vektor für einen Satz
Sentence-Embedding-Modelle verdichten einen vollständigen Satz in einen Vektor, der für Ähnlichkeit, Retrieval oder Klassifikation direkt verglichen werden kann.
Repräsentation längerer Texte
Absätze oder Dokumente können als einzelne Vektoren repräsentiert werden. Bei langen Texten beeinflussen Kontextfenster, Pooling und Chunking maßgeblich, welche Information erhalten bleibt.
Mehrere Vektoren pro Text
Verfahren wie ColBERT behalten mehrere kontextualisierte Tokenrepräsentationen und vergleichen Query und Dokument erst in einer späteren Interaktionsstufe.
Gemeinsamer Raum für verschiedene Modalitäten
Modelle wie CLIP lernen Bild- und Textrepräsentationen so, dass passende Bilder und Beschreibungen in einem gemeinsamen Raum miteinander verglichen werden können.
Produkte, Nutzer oder andere Entitäten
Embeddings können auch nicht-textuelle Entitäten repräsentieren, wenn ein Trainingssignal definiert, welche Beziehungen zwischen diesen Objekten relevant sind.
Training
Wie lernt ein Modell einen Embedding-Raum?
Ein Embedding-Raum entsteht nicht durch eine fest kodierte semantische Karte. Die Geometrie wird über ein Trainingsziel gelernt. Unterschiedliche Ziele erzeugen deshalb unterschiedliche Arten von Nähe.
Kontext vorhersagen
Word2Vec lernt Wortrepräsentationen über Vorhersageaufgaben zwischen Wörtern und ihrem Kontext. Häufig gemeinsam auftretende oder ähnlich verwendete Wörter erhalten dadurch strukturierte Repräsentationen.
Globale Ko-Okkurrenz nutzen
GloVe verbindet globale Wort-Ko-Okkurrenzstatistiken mit einem Vektormodell und lernt Repräsentationen aus statistischen Beziehungen im Korpus.
Kontextabhängige Repräsentationen lernen
BERT trainiert tiefe bidirektionale Transformer-Repräsentationen, die ein Token unter Einbezug seines linken und rechten Kontexts abbilden.
Positive Paare anziehen, Negative trennen
Moderne Text-Embedding-Modelle nutzen häufig kontrastive Ziele: Relevante beziehungsweise bedeutungsähnliche Paare sollen näher liegen als unpassende oder harte Negativbeispiele.
Query-Dokument-Relevanz lernen
Dense-Retrieval-Modelle können auf Frage-Passage- oder Query-Dokument-Paaren trainiert werden, damit der Vektorraum speziell Suchrelevanz statt allgemeiner Textähnlichkeit abbildet.
Zusätzliche Signale integrieren
Neuere Embedding-Modelle kombinieren kontrastives Lernen mit Instruktionen, hartem Negativ-Mining oder Distillation, um unterschiedliche Retrieval- und Repräsentationsaufgaben abzudecken.
Ähnlichkeit
Wie werden zwei Embeddings verglichen?
Ein Embedding allein liefert noch kein Ähnlichkeitsergebnis. Zusätzlich wird eine Vergleichsfunktion benötigt. Welche Funktion sinnvoll ist, hängt vom Modell und dessen Training ab.
Cosine Similarity
- Misst
- Winkel beziehungsweise Richtungsähnlichkeit zweier Vektoren
- Formel
- cos(a,b) = (a · b) / (||a|| · ||b||)
- Eigenschaft
- Vektorlänge wird herausnormalisiert; die Richtung steht im Vordergrund
Dot Product
- Misst
- Skalarprodukt zweier Vektoren
- Formel
- a · b = Σ aᵢbᵢ
- Eigenschaft
- Richtung und Vektorlänge können den Score beeinflussen
Euklidische Distanz
- Misst
- Direkten geometrischen Abstand zwischen zwei Punkten
- Formel
- d(a,b) = ||a − b||₂
- Eigenschaft
- Kleinere Werte bedeuten geringeren Abstand
Wenn ||a|| = ||b|| = 1, erzeugen Cosine Similarity und Dot Product dieselbe Rangfolge. Auch die euklidische Distanz ist dann direkt mit dem Winkel beziehungsweise Dot Product verknüpft.
Beispiel
Wie semantische Suche mit Embeddings funktioniert
Angenommen, eine Nutzerfrage und mehrere Dokumentpassagen werden mit demselben Retrieval-Modell eingebettet. Das Suchsystem vergleicht anschließend die Vektoren statt nur identische Wörter zu zählen.
Query
- Nutzerfrage
- „Kann ich die Kamera bei Regen verwenden?“
- Embedding
- Die Frage wird als Vektor q dargestellt
Dokumentkandidaten
- Passage A
- „Das Gehäuse ist gegen Staub und Spritzwasser abgedichtet.“
- Passage B
- „Der Akku wird über USB-C geladen.“
- Erwartetes Retrieval-Signal
- Ein geeignet trainiertes Text-Embedding-Modell sollte Passage A für die Query typischerweise als relevanter einstufen als Passage B, obwohl die Formulierungen nicht identisch sind.
Eine hohe Embedding-Ähnlichkeit bestätigt nur Retrieval-Relevanz. Sie beweist nicht automatisch, dass die Kamera eine bestimmte Schutzklasse erfüllt oder dass „spritzwassergeschützt“ mit jeder Form von Regenfestigkeit gleichgesetzt werden darf.
Dense Retrieval
Wie Embeddings in semantischer Suche und RAG eingesetzt werden
Bei Dense Retrieval werden Query und Dokumente als dichte Vektoren repräsentiert. Dokumentvektoren können vorab berechnet und indexiert werden. Zur Laufzeit wird die Query eingebettet und nach den nächstgelegenen Dokumentvektoren gesucht.
Quelltexte oder Chunks liegen vor.
Jeder Retrieval-Kandidat erhält eine Vektorrepräsentation.
Vektoren werden in einem Suchindex gespeichert.
Die Nutzeranfrage wird in denselben kompatiblen Raum eingebettet.
Nearest-Neighbor-Suche findet ähnliche Vektoren effizient.
Die ähnlichsten Dokumente oder Chunks werden ausgewählt.
Optional bewertet ein genaueres Modell die Kandidaten erneut.
Ergebnisse fließen in Suche, RAG oder andere Downstream-Aufgaben ein.
Embedding Retrieval liefert Kandidaten → RAG stellt ausgewählte Kandidaten dem Generator als Kontext bereit
Retrieval-Architekturen
Single-Vector, Multi-Vector und Cross-Encoder lösen unterschiedliche Probleme
Query und Dokument getrennt kodieren
Dokumente können vorab eingebettet werden. Das ermöglicht sehr schnelle Suche über große Sammlungen, komprimiert einen Text aber häufig auf einen einzelnen Vektor.
Feingranulare Repräsentationen behalten
ColBERT kodiert Query und Dokument unabhängig, behält jedoch mehrere kontextualisierte Vektoren und führt eine günstige Late-Interaction-Bewertung durch.
Query und Dokument gemeinsam verarbeiten
Ein Cross-Encoder sieht beide Texte gleichzeitig und kann feingranulare Interaktionen modellieren. Dafür lässt sich der Dokumentscore nicht unabhängig von der Query vorab berechnen.
Dense, sparse und Reranking kombinieren
Retrieval-Systeme kombinieren häufig Embedding-Suche mit lexikalischen Signalen oder nachgelagertem Reranking, weil unterschiedliche Verfahren unterschiedliche Fehlertypen besitzen.
Dimensionalität
Was bedeutet die Anzahl der Embedding-Dimensionen?
Dimension ist Kapazität – nicht automatisch Qualität
- Dimension d
- Anzahl numerischer Komponenten eines Embedding-Vektors
- Mehr Dimensionen
- Können mehr Repräsentationskapazität bieten, erhöhen aber Speicherbedarf und Vergleichskosten
- Interpretierbarkeit
- Einzelne Dimensionen entsprechen bei modernen Embeddings normalerweise nicht eindeutig benennbaren Konzepten
- Qualität
- Ein höherdimensionaler Vektor ist nicht automatisch besser; Training, Daten, Architektur und Zielaufgabe sind entscheidend
- Matryoshka Embeddings
- Wenn ein Modell gezielt mit Matryoshka Representation Learning trainiert wurde, können kürzere Präfixe eines Vektors unterschiedliche Kapazitätsstufen bilden
- Wichtige Grenze
- Beliebiges Abschneiden eines normalen Embeddings ist nicht automatisch gleichwertig mit einem für verschachtelte Dimensionen trainierten Modell
Anwendungen
Wofür werden Embeddings verwendet?
Inhalte nach Bedeutung statt nur nach identischen Begriffen auffinden.
Relevante Chunks für einen generativen Antwortkontext auswählen.
Ähnliche Texte oder Objekte anhand ihrer Repräsentationen gruppieren.
Embeddings als Features für nachgelagerte Klassifikationsmodelle verwenden.
Semantisch ähnliche oder nahezu identische Inhalte identifizieren.
Nutzer-, Item- oder Inhaltsrepräsentationen in einem gemeinsamen oder kompatiblen Raum vergleichen.
Bilder über Text suchen oder passende Text-Bild-Paare vergleichen.
Hochdimensionale Repräsentationen nach Dimensionsreduktion explorativ visualisieren.
Wann nicht allein verwenden?
Embedding-Ähnlichkeit löst nicht jede Such- oder Wissensaufgabe
Exakte Codes und seltene Begriffe
Produktnummern, Fehlercodes, Eigennamen oder exakte Phrasen können von lexikalischer Suche oder hybriden Verfahren zuverlässiger behandelt werden.
Explizite logische Bedingungen
Vektornähe ist kein Ersatz für Datenbankfilter, numerische Bedingungen oder formale Kompatibilitätsregeln.
Wahrheit und Evidenz
Ein ähnlicher Text ist nicht automatisch korrekt, aktuell oder ausreichend belegt. Retrieval benötigt zusätzliche Quellen- und Grounding-Prüfung.
Mehrstufige Beziehungen
Wenn die Aufgabe explizite mehrstufige Relationen, Pfade oder strukturelle Constraints verlangt, können Graph- oder strukturierte Retrieval-Verfahren geeigneter sein.
Abgrenzung
Embeddings sollten nicht mit ihren Nachbarsystemen verwechselt werden
Vergleich verwandter Konzepte
- Embedding Model
- Erzeugt Vektorrepräsentationen aus Objekten
- Vector Database / Vector Index
- Speichert und durchsucht Vektoren; erzeugt die semantische Repräsentation nicht automatisch selbst
- Generatives LLM
- Erzeugt Tokenfolgen; kann interne Repräsentationen besitzen, ist aber nicht automatisch ein optimiertes Retrieval-Embedding-Modell
- BM25 / Sparse Retrieval
- Bewertet vor allem lexikalische Übereinstimmung und Termstatistiken statt dichter gelernter Vektornähe
- Cross-Encoder
- Bewertet ein Query-Dokument-Paar gemeinsam und liefert typischerweise einen Relevanzscore statt unabhängig vorab berechenbarer Einzelvektoren
- Knowledge Graph
- Repräsentiert explizite Entitäten und Relationen; Embeddings repräsentieren Beziehungen primär implizit über Geometrie
- RAG
- Übergeordnete Architektur, die Retrieval mit generativer Antworterzeugung kombiniert; Embeddings sind eine mögliche Retrieval-Komponente
Evaluation
Embedding-Qualität ist aufgabenabhängig
Ein Modell kann bei semantischer Textähnlichkeit sehr gut sein und bei Retrieval, Clustering oder einer anderen Sprache schwächer abschneiden. Deshalb sollte ein Embedding-Modell für den tatsächlichen Einsatzfall und nicht nur anhand eines einzelnen allgemeinen Scores bewertet werden.
Korrelation zwischen menschlichen Ähnlichkeitsurteilen und Embedding-Scores.
Wie häufig relevante Dokumente innerhalb der ersten k Treffer gefunden werden.
Berücksichtigt Relevanz und Rangposition der gefundenen Ergebnisse.
Bewertet, an welcher Rangposition das erste relevante Ergebnis erscheint.
Prüft, wie gut Embeddings als Features für Klassenentscheidungen funktionieren.
Bewertet, ob semantisch oder fachlich zusammengehörige Objekte gruppierbar sind.
Wie schnell Query- und Dokument-Embeddings erzeugt und durchsucht werden können.
Wie viel Speicher Vektoren und Index bei der gewählten Dimension und Datenmenge benötigen.
Embedding-Modell + Sprache + Domäne + Granularität + Retrieval-Setup + Metrik müssen gemeinsam bewertet werden
Benchmarking
Warum ein einzelner Embedding-Benchmark nicht für jede Aufgabe reicht
Der Massive Text Embedding Benchmark (MTEB) wurde eingeführt, um Embedding-Modelle über unterschiedliche Aufgaben wie Retrieval, semantische Ähnlichkeit, Klassifikation und Clustering vergleichbarer zu evaluieren. Die ursprüngliche MTEB-Arbeit zeigte bereits, dass kein einzelnes Verfahren über alle untersuchten Aufgaben dominierte.
Konsequenz für die Modellwahl
- Keine universelle Bestleistung
- Ein hoher Durchschnittsscore ersetzt keine aufgabenspezifische Evaluation
- Sprache
- Multilinguale und cross-linguale Anforderungen müssen separat geprüft werden
- Granularität
- Kurze Queries, Sätze, Chunks und lange Dokumente stellen unterschiedliche Anforderungen
- Domäne
- Allgemeine Benchmarks können Fachsprache, Produktcodes oder domänenspezifische Relevanz nur begrenzt abbilden
Häufige Fehler
Welche Missverständnisse führen zu schlechten Embedding-Systemen?
„Ähnlich“ bedeutet „wahr“
Falsch. Embeddings liefern ein Ähnlichkeits- oder Relevanzsignal. Wahrheit und Evidenz müssen separat geprüft werden.
Embeddings verschiedener Modelle sind direkt vergleichbar
Falsch. Unterschiedliche Modelle erzeugen unterschiedliche Räume. Query- und Dokumentvektoren müssen aus kompatiblen Encodern beziehungsweise demselben vorgesehenen Embedding-Raum stammen.
Mehr Dimensionen sind immer besser
Falsch. Dimension ist nur ein Teil des Qualitäts-Kosten-Trade-offs. Ein gut trainiertes kleineres Embedding kann für eine Aufgabe besser geeignet sein.
Ein Dokument passt immer in einen Vektor
Problematisch. Lange Dokumente können mehrere Themen enthalten. Chunking, Multi-Vector-Verfahren oder hierarchisches Retrieval können die relevante Information besser erhalten.
Ein globaler Cosine-Threshold ist universell
Falsch. Score-Verteilungen hängen vom Modell, Datensatz und Anwendungsfall ab und müssen kalibriert werden.
Embedding-Suche ersetzt lexikalische Suche vollständig
Falsch. Exakte Begriffe, IDs und seltene Tokens können von lexikalischen oder hybriden Suchverfahren profitieren.
Grenzen
Welche Grenzen von Embeddings sind besonders wichtig?
Methodische und technische Grenzen
- Training Bias
- Der Repräsentationsraum übernimmt statistische Muster und mögliche Verzerrungen aus Trainingsdaten und Trainingsziel
- Domain Shift
- Ein Modell kann außerhalb der Domäne, in der es trainiert oder evaluiert wurde, deutlich schlechtere Relevanzsignale liefern
- Language Coverage
- Multilinguale Fähigkeiten sind modellabhängig; starke Leistung in Englisch garantiert keine gleichwertige Leistung in Deutsch oder anderen Sprachen
- Long-Text Compression
- Ein einzelner Vektor kann Detailinformationen langer oder mehrthematiger Dokumente verlieren
- Anisotropy / Geometry
- Repräsentationen können ungünstig im Raum konzentriert sein; kontrastives Lernen adressiert dieses Problem in mehreren Arbeiten
- Index Approximation
- Approximate-Nearest-Neighbor-Indizes tauschen häufig etwas exakte Suche gegen Geschwindigkeit und Skalierbarkeit
- Version Compatibility
- Ein Modellwechsel kann Re-Embedding und Neuindexierung erforderlich machen, weil sich der Vektorraum ändert
- Semantic Similarity Boundary
- Ähnlichkeit repräsentiert nicht automatisch logische Folgerung, Kausalität, Aktualität oder faktische Korrektheit
Entwicklung
Wie sich Embeddings von Wortvektoren zu universelleren Repräsentationen entwickelt haben
Effiziente neuronale Wortrepräsentationen machen prädiktive Word Embeddings breit einsetzbar.
Globale Ko-Okkurrenzstatistiken werden explizit zur Konstruktion von Wortvektoren genutzt.
Universal Sentence Encoder zeigt übertragbare Satzrepräsentationen für mehrere Downstream-Aufgaben.
Kontextabhängige Transformer-Repräsentationen ersetzen die Vorstellung eines einzigen festen Vektors pro Wort.
Siamese BERT-Strukturen machen semantisch vergleichbare Satzvektoren effizient vorab berechenbar.
Dense Passage Retrieval zeigt die praktische Stärke trainierter Query- und Passage-Vektoren für Open-Domain-QA.
Late Interaction verbindet vorab berechenbare Repräsentationen mit feingranulareren Tokeninteraktionen.
Kontrastives Lernen verbessert Satzembeddings und untersucht Alignment und Uniformity des Vektorraums.
Bild und Text werden über kontrastives Training in einen gemeinsam nutzbaren multimodalen Raum gebracht.
Cross-Task-Benchmarking macht sichtbar, dass Embedding-Qualität stark von der Zielaufgabe abhängt.
Großskaliges schwach überwachtes kontrastives Pretraining stärkt generalisierbare Text-Embeddings.
Verschachtelte Repräsentationen erlauben flexible Dimensionsbudgets innerhalb eines trainierten Embeddings.
Multilingualität, verschiedene Granularitäten sowie dense, sparse und Multi-Vector Retrieval werden in einem Modell zusammengeführt.
Verwandte Entitäten
Welche Leadterion-Wissensobjekte stehen in direkter Beziehung?
Large Language Models
Transformer-Sprachmodelle verwenden Token Embeddings und kontextabhängige Hidden States als interne Repräsentationen.
Wissensbeitrag öffnenByte Pair Encoding
Tokenisierung bestimmt, welche Token-IDs ein Sprachmodell oder Textencoder als Eingabe erhält, bevor daraus Tokenrepräsentationen entstehen.
Wissensbeitrag öffnenRetrieval-Augmented Generation
RAG verwendet Embeddings häufig für Dense Retrieval, ist aber als Architektur breiter als die Embedding-Komponente.
Wissensbeitrag öffnenGraphRAG
GraphRAG ergänzt oder ersetzt reine Vektornähe durch explizite Entitäten, Relationen, Pfade und Communities.
Wissensbeitrag öffnenItemRAG
ItemRAG kann Embeddings zur Kandidatensuche nutzen, kombiniert sie aber mit strukturierten Produktattributen und Relationen.
Wissensbeitrag öffnenGroundedness & Faithfulness
Gute Retrieval-Ähnlichkeit garantiert noch keine belastbare Antwort. Groundedness prüft die Beziehung zwischen generierter Aussage und Evidenz.
Wissensbeitrag öffnenFAQ
Häufige Fragen zu Embeddings
Was ist ein Embedding einfach erklärt?
Ein Embedding ist eine Liste von Zahlen, die ein Objekt wie einen Text oder ein Bild in einem gelernten Vektorraum repräsentiert. Die Position des Vektors kann genutzt werden, um das Objekt mit anderen Vektoren zu vergleichen.
Warum können Embeddings Bedeutung abbilden?
Das Trainingsziel zwingt das Modell, statistisch oder fachlich relevante Beziehungen in seiner Repräsentation nutzbar zu machen. „Bedeutung“ ist deshalb keine fest einprogrammierte Eigenschaft, sondern eine aus Daten und Trainingsziel gelernte Struktur.
Ist jede Dimension eines Embeddings ein bestimmtes Merkmal?
Normalerweise nicht. Bei modernen dichten Repräsentationen ist Information verteilt über viele Dimensionen kodiert. Einzelne Koordinaten besitzen meist keine stabile, für Menschen direkt benennbare Bedeutung.
Was ist der Unterschied zwischen Token Embeddings und Sentence Embeddings?
Token Embeddings repräsentieren einzelne Token-IDs als Eingabe eines Modells. Sentence Embeddings repräsentieren einen gesamten Satz als Vektor, der beispielsweise direkt für Ähnlichkeit oder Retrieval verwendet werden kann.
Was ist der Unterschied zwischen Word2Vec und BERT?
Word2Vec erzeugt im klassischen Einsatz einen festen Vektor pro Worttyp. BERT erzeugt kontextabhängige Repräsentationen, sodass dasselbe Token abhängig vom Satz unterschiedliche interne Vektoren erhalten kann.
Was ist Cosine Similarity?
Cosine Similarity misst die Richtungsähnlichkeit zweier Vektoren. Sie wird häufig für Embeddings verwendet, besonders wenn die Vektoren normalisiert sind.
Was ist eine Vector Database?
Eine Vector Database beziehungsweise ein Vector Index speichert Embeddings und unterstützt effiziente Nearest-Neighbor-Suche. Das Embedding-Modell und der Vektorspeicher sind unterschiedliche Komponenten.
Braucht RAG immer Embeddings?
Nein. RAG benötigt Retrieval, aber dieses Retrieval kann dense, sparse, hybrid, graphbasiert oder anderweitig implementiert sein. Embeddings sind eine verbreitete, aber nicht zwingende Retrieval-Methode.
Kann man Embeddings verschiedener Modelle mischen?
Nicht für direkte Ähnlichkeitssuche, sofern die Modelle nicht ausdrücklich einen kompatiblen gemeinsamen Raum erzeugen. Normalerweise müssen Query- und Dokumentvektoren aus demselben vorgesehenen Repräsentationsraum stammen.
Wie wählt man ein Embedding-Modell aus?
Entscheidend sind Zielaufgabe, Sprache, Domäne, Inputlänge, gewünschte Retrieval-Architektur, Latenz, Speicherbedarf und Evaluation auf repräsentativen eigenen Daten. Ein allgemeiner Leaderboard-Score reicht nicht aus.
Quellen
Wissenschaftliche Arbeiten zur Entwicklung moderner Embeddings
Die Quellen decken die Entwicklung von statischen Wortvektoren über kontextabhängige und satzbasierte Repräsentationen bis zu Dense Retrieval, kontrastivem Lernen, multimodalen Embeddings und moderner Evaluation ab.
| Quelle | Autoren / Jahr | Einordnung | Originalquelle |
|---|---|---|---|
| Efficient Estimation of Word Representations in Vector Space | Tomas Mikolov et al. · 2013 | Führt effiziente neuronale Architekturen für kontinuierliche Wortrepräsentationen ein und gehört zu den zentralen Word2Vec-Arbeiten. | arXiv:1301.3781 |
| GloVe: Global Vectors for Word Representation | Jeffrey Pennington, Richard Socher & Christopher Manning · 2014 | Verbindet globale Ko-Okkurrenzstatistiken eines Korpus mit einem log-bilinearen Modell für Wortvektoren. | ACL Anthology |
| Universal Sentence Encoder for English | Daniel Cer et al. · 2018 | Zeigt übertragbare Satzembeddings als allgemeine Features für verschiedene NLP-Aufgaben und verdeutlicht den Übergang von Wort- zu Satzrepräsentationen. | ACL Anthology |
| BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | Jacob Devlin et al. · 2019 | Etabliert tiefe bidirektionale kontextabhängige Transformer-Repräsentationen und prägt moderne kontextualisierte Textrepräsentationen. | ACL Anthology |
| Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks | Nils Reimers & Iryna Gurevych · 2019 | Modifiziert BERT mit Siamese-/Triplet-Strukturen, damit semantisch sinnvolle Satzvektoren unabhängig berechnet und effizient per Cosine Similarity verglichen werden können. | ACL Anthology |
| Dense Passage Retrieval for Open-Domain Question Answering | Vladimir Karpukhin et al. · 2020 | Zeigt Dense Retrieval mit getrennten Frage- und Passage-Encodern als leistungsfähige Alternative zu klassischen sparse Retrieval-Verfahren für Open-Domain Question Answering. | ACL Anthology |
| ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT | Omar Khattab & Matei Zaharia · 2020 | Führt Late Interaction ein: Query und Dokument werden unabhängig kontextualisiert, behalten aber mehrere Tokenrepräsentationen für feingranularen Vergleich. | arXiv:2004.12832 |
| SimCSE: Simple Contrastive Learning of Sentence Embeddings | Tianyu Gao, Xingcheng Yao & Danqi Chen · 2021 | Entwickelt ein kontrastives Framework für Satzembeddings und untersucht Alignment, Uniformity und Anisotropie in vortrainierten Repräsentationsräumen. | ACL Anthology |
| Learning Transferable Visual Models From Natural Language Supervision | Alec Radford et al. · 2021 | CLIP lernt Bild- und Textrepräsentationen durch kontrastives Training auf Bild-Text-Paaren und demonstriert gemeinsame multimodale Embedding-Räume. | ICML / PMLR |
| MTEB: Massive Text Embedding Benchmark | Niklas Muennighoff et al. · 2022 | Führt eine aufgabenübergreifende Evaluation von Text-Embeddings ein und zeigt, dass Modellqualität zwischen Retrieval, STS, Clustering und weiteren Aufgaben variieren kann. | arXiv:2210.07316 |
| Matryoshka Representation Learning | Aditya Kusupati et al. · NeurIPS 2022 | Lernt verschachtelte Repräsentationen mit unterschiedlichen nutzbaren Dimensionsstufen innerhalb eines gemeinsamen Embeddings und adressiert flexible Ressourcenbudgets. | arXiv:2205.13147 |
| Text Embeddings by Weakly-Supervised Contrastive Pre-training | Liang Wang et al. · 2022 | E5 trainiert generalisierbare Text-Embeddings über großskalige schwach überwachte Textpaare und kontrastives Pretraining für Aufgaben wie Retrieval, Clustering und Klassifikation. | arXiv:2212.03533 |
| BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings | Jianlv Chen et al. · 2024 | Kombiniert multilingualen Einsatz, unterschiedliche Textgranularitäten sowie dense, sparse und Multi-Vector Retrieval in einem gemeinsamen Modellansatz. | arXiv:2402.03216 |
Wissen
Embeddings machen Ähnlichkeit mathematisch nutzbar – aber nur innerhalb des gelernten Repräsentationsmodells
Der zentrale Zusammenhang lautet: Ein Encoder erzeugt Vektoren, das Trainingsziel strukturiert deren Geometrie und ein Ähnlichkeitsmaß macht diese Struktur für Retrieval und andere Machine-Learning-Aufgaben nutzbar. Die Qualität hängt deshalb immer von Daten, Training, Modell, Aufgabe und Evaluation gemeinsam ab.