Retrieval Augmented Generation (RAG)
Retrieval Augmented Generation (RAG) sind Systeme in denen Large Language Modelle (LLM) und Information Retrival (also dem Abrufen von Informationen in Datenbanken) kombiniert werden. Anstatt sich nur auf ihre internen Trainingsdaten zu verlassen, greifen RAG-Modelle auf eine externe Wissensbasis oder einen festgelegten Satz von Dokumenten zu, um eine Anfrage zu beantworten.
Funktionsweise:
- Ein System sucht in einer externen Datenquelle (z.B. einer Dokumentensammlung) nach Informationen, die für eine Benutzeranfrage relevant sind.
- Die gefundenen Informationen werden dem generativen Sprachmodell als zusätzlicher Kontext zusammen mit der ursprünglichen Anfrage übergeben.
- Das Sprachmodell generiert dann eine Antwort, die das neu abgerufene Wissen nutzt und integriert.
Vorteile:
- Aktualität: Das Modell kann auf aktuelle, domänenspezifische oder unternehmensinterne Daten zugreifen, ohne dass ein vollständiges erneutes Training des Modells erforderlich ist.
- Faktenbasiertheit: Die generierten Inhalte können faktengestützter sein, da sie auf überprüfbaren Quellen basieren.
- Effizienz: Hilft, die Erzeugung von falschen oder erfundenen Informationen ("Halluzinationen") zu reduzieren und die Relevanz der Antworten zu erhöhen.
Anwendungsbereiche:
- Erstellung von Antworten, die auf einer bestimmten Wissensbasis oder autoritativen Dokumenten beruhen.
- Wissensbasierte Chatbots.
- RAG wird eingesetzt bei Antwortmaschinen wie perplexity.ai, Google AI Overview, Microsoft Copilot & SearchGPT.