RAG gegen Halluzinationen

Worin die Quellen übereinstimmen

Das Team CVM (Customer Value Management) B2B von MTS baute einen Telegram-Bot zu einem Assistenten für Vertriebsmitarbeiter um. Der Assistent beantwortet Fragen zu über 100 B2B-Produkten und verweist dabei auf die Dokumentationsquelle, um die Vorbereitung auf Kundentermine zu verkürzen. Drei Anforderungen galten: Alle Daten bleiben im lokalen Stack, externe APIs sind verboten; Informationen stammen nur aus der internen Wissensdatenbank, und fehlen sie, antwortet das System ehrlich „nicht gefunden“; jede Antwort verlinkt auf den Pfad zum Textfragment, damit der Mitarbeiter sie prüfen kann. Die Architektur hat vier Stufen: Datenaufbereitung, Laden in die Vektordatenbank, Suche und Generierung mit Bewertung. Die Aufbereitung nutzt Playwright, Crawl4AI und Markdownify. Dokumente werden in Parent- und Child-Chunks zerlegt, mit dem Modell BGE-M3 vektorisiert und in pgvector gespeichert. Die Suche kombiniert Vektor- und Volltextsuche (BM25), führt die Ergebnisse per Reciprocal Rank Fusion zusammen und rerankt sie. Einfache Vektorsuche liefert 60–70 Prozent des Benötigten, die vierstufige Kette 85–90 Prozent. Der Reranker behält aus 20 gefundenen Chunks fünf. Die lokale Version mit BGE Cross-Encoder zeigte bessere Werte, doch in der Produktion war FlagEmbedding nicht verfügbar, sodass ein Metadata-Reranker zum Einsatz kam. Dort fielen die meisten Metriken, während die Antworttreue (Faithfulness) stieg – erklärt damit, dass das Modell häufiger „Information nicht gefunden“ antwortet. Die Quellen berichten weitgehend übereinstimmend.