Ihre KI zitiert Quellen und kann trotzdem falsch liegen
Montagmorgen, 43 ungelesene E-Mails und eine Frage aus dem Support: Welche Lieferzusage gilt für diesen Kunden? Die Antwort steht irgendwo, vielleicht im CRM, vielleicht in einer alten Mail. Eine normale KI kennt diese internen Quellen nicht. RAG soll ihr Zugang dazu geben. Doch wie kommt die passende Passage in die Antwort, und woran merken Sie, wenn die Suche das falsche Dokument erwischt?
Die KI braucht Ihre Unterlagen
Eine allgemeine KI kann über vieles sprechen und trotzdem nicht wissen, welche Rückgabefrist Ihr Unternehmen seinen Kunden nennt. Das Wissen liegt in internen Dateien, E-Mails oder CRM-Notizen. Ohne Zugriff darauf kann das Modell nur aus seinen Trainingsdaten und dem aktuellen Gespräch schöpfen.
RAG steht für Retrieval-Augmented Generation. Auf Deutsch: Ein System sucht erst passende Informationen aus externen Quellen und lässt ein Sprachmodell damit eine Antwort formulieren. Das Modell muss dafür nicht neu trainiert werden. Genau darin liegt der Reiz für kleine Betriebe und Konzerne gleichermaßen: Bestehendes Wissen kann für Fragen nutzbar werden, ohne dass jede Information in das Modell selbst übertragen wird.
Stellen Sie sich eine Mitarbeiterin vor, die beim Onboarding fragt, wie eine Reklamation eskaliert wird. Die KI soll dafür nicht überzeugend improvisieren. Sie soll die passende Prozessbeschreibung finden. Aber wie erkennt das System, welcher Abschnitt gemeint ist?
Von Dokumenten zur passenden Passage
Die Suche beginnt damit, dass Dokumente in kleinere Textabschnitte geteilt werden. Diese Abschnitte heißen Chunks. Das System wandelt jeden Chunk in ein Embedding um, eine Zahlenfolge, die seine inhaltliche Bedeutung abbildet. Die Zahlenfolgen werden in einer Datenbank gespeichert, damit das System später ähnliche Passagen finden kann.
Wenn jemand eine Frage stellt, sucht die Vektorsuche nach Abschnitten, deren Bedeutung zur Frage passt. „Was tun wir bei einer verspäteten Lieferung?“ kann so auch Textstellen finden, in denen von „Verzögerungen im Versand“ die Rede ist. Das ist nützlich, wenn die Frage andere Wörter verwendet als das Handbuch.
Die gefundenen Abschnitte gehen zusammen mit der Frage an das Sprachmodell. Es formuliert daraus eine Antwort. Diese Kette erklärt auch die Grenze: Das Modell kann nur mit dem Material arbeiten, das die Suche ihm tatsächlich mitgibt. Ist die Passage falsch, unvollständig oder veraltet, kann die Antwort trotzdem glatt klingen.
Schlechte Ablage wird nicht plötzlich gutes Wissen
Die heikle Arbeit passiert oft vor der ersten Frage. Liegt die aktuelle Arbeitsanweisung neben drei älteren Fassungen? Steht eine wichtige Ausnahme nur in einer E-Mail? Ein RAG-System kann diese Unordnung nicht zuverlässig in eine klare Unternehmensregel verwandeln.
Auch die Größe der Textabschnitte zählt. Ist ein Chunk sehr groß, kann eine wichtige Antwortstelle zwischen viel anderem Text verschwinden. Ist er zu klein, fehlt möglicherweise der Satz davor, der erklärt, für welchen Kunden oder Prozess die Aussage gilt. Es gibt deshalb keine sinnvolle Einheitsgröße für alle Dokumente. Die Aufteilung muss zum Aufbau und zur Art der Inhalte passen.
Für ein kleines Unternehmen kann das bedeuten, erst die häufigsten Fragen aus Angeboten, Service und Onboarding zu sammeln. Im Mittelstand kommt oft die Frage hinzu, welche Version einer Arbeitsanweisung gilt. In einem größeren Unternehmen braucht es zusätzlich klare Zuständigkeiten für Quellen, Aktualisierung und Zugriff. Wer diese Pflege übernimmt, sollte vor dem Start feststehen.
Quellen helfen, aber sie sprechen nicht für sich
Eine Antwort mit Quellenangabe lässt sich leichter kontrollieren. Sie können nachsehen, ob die genannte Passage wirklich die Rückgabefrist oder den Freigabeweg beschreibt. Doch eine Quellenangabe ist keine automatische Wahrheitsprüfung. Sie zeigt, woher Material stammt, nicht ob es aktuell, vollständig oder verbindlich ist.
Beispiel: Die Suche findet eine E-Mail mit einer Sonderzusage und ein Handbuch mit der allgemeinen Regel. Beide Passagen können zum Begriff „Lieferzeit“ passen. Die Vektorsuche bewertet Ähnlichkeit. Sie entscheidet nicht allein, welche Aussage jünger ist oder welche im konkreten Fall Vorrang hat. Für solche Fragen brauchen Sie zusätzliche Regeln und eine klare Kennzeichnung der maßgeblichen Quellen.
Auch Berechtigungen gehören in die Planung. Wenn Mitarbeitende nur bestimmte Unterlagen sehen dürfen, muss das System diese Grenzen berücksichtigen. Sonst entsteht eine neue Unsicherheit: Eine Antwort mag nützlich sein, aber durfte die fragende Person die zugrunde liegende Information überhaupt sehen?
RAG passt nicht auf jede Wissensfrage
RAG eignet sich besonders, wenn eine Frage eine konkrete Passage in internen oder aktuellen Dokumenten braucht. Es ist kein pauschaler Reparaturknopf für jede falsche KI-Antwort. Ein Fehler kann auch entstehen, weil das Modell eine vorhandene Information nicht zuverlässig abruft oder weil die Frage mehrere Auslegungen zulässt.
Noch schwieriger wird es, wenn die Antwort von Ereignissen über längere Zeit abhängt. Eine Vektorsuche kann ähnliche Textstellen finden, aber Ähnlichkeit allein sagt nicht, was zuerst geschah, welche Entscheidung eine frühere ersetzt oder wie sich eine Einschätzung verändert hat. Bei Fragen über mehrere Gespräche hinweg können irrelevante Treffer das verfügbare Kontextfenster füllen oder wichtige Details fehlen.
Das heißt für Ihre Entscheidung: Prüfen Sie zuerst, ob Ihr Problem tatsächlich eine Suche in Dokumenten ist. Geht es um eine aktuelle interne Regel, kann RAG passen. Geht es um eine Entwicklung über viele Gespräche, brauchen Sie möglicherweise zusätzlich eine Form von strukturiertem Gedächtnis und Regeln für zeitliche Zusammenhänge. Welche Frage soll Ihr System zuverlässig beantworten?
Was das für Ihr Unternehmen heißt
Starten Sie nicht mit dem gesamten Dateiarchiv. Nehmen Sie eine wiederkehrende Frage, bei der Mitarbeitende heute suchen oder Kolleginnen und Kollegen unterbrechen. Legen Sie fest, welche Quellen dafür gelten und wer sie aktuell hält. Dann testen Sie das System mit echten Fragen, auch mit unklaren Formulierungen und Fällen, in denen die Quellen einander widersprechen.
Prüfen Sie bei jeder Testantwort drei Dinge: Hat die Suche die relevante Passage gefunden? Stützt diese Passage die Antwort tatsächlich? Und kann die fragende Person die Quelle öffnen und ihre Gültigkeit beurteilen? Wenn eine Antwort danebenliegt, wird so sichtbar, ob das Problem in der Dokumentation, der Suche oder der Formulierung steckt.
Klären Sie außerdem, was bei fehlender oder widersprüchlicher Information passieren soll. Eine sichtbare Wissenslücke ist besser als eine selbstsichere Vermutung. Für den Alltag braucht es einen Eskalationsweg zu einer zuständigen Person und Zeit im Arbeitsplan, um wiederkehrende Lücken zu schließen. Sonst wird die neue Suche nur ein weiterer Ort, an dem veraltete Antworten liegen.
Klarframe OS ist eine mögliche Umsetzung: Es verbindet etwa Dokumente, E-Mails, Notion, Slack und CRM, zeigt Quellen zu Antworten und kann Wissenslücken sichtbar machen. Der erste sinnvolle Schritt bleibt die Auswahl konkreter Fragen, Quellen und Berechtigungen, nicht das Anschließen möglichst vieler Systeme.
Häufige Fragen
Was bedeutet RAG bei künstlicher Intelligenz?
RAG steht für Retrieval-Augmented Generation. Ein System sucht zunächst passende Textstellen in einer externen Wissensquelle, etwa in internen Dokumenten. Anschließend nutzt ein Sprachmodell diese Passagen, um eine Antwort zu formulieren. So kann die KI Informationen verwenden, die nicht in ihren Trainingsdaten stecken, ohne dafür neu trainiert werden zu müssen.
Was sind Embeddings und Vektorsuche?
Ein Embedding ist eine Zahlenfolge, die den Inhalt eines Textabschnitts so abbildet, dass ein System seine Bedeutung mit anderen Texten vergleichen kann. Die Vektorsuche nutzt diesen Vergleich, um Passagen zu finden, die einer Frage inhaltlich ähnlich sind. Sie findet jedoch nicht automatisch heraus, ob eine Passage aktuell oder verbindlich ist.
Warum gibt RAG falsche Antworten?
Eine falsche Antwort kann entstehen, wenn die Suche den relevanten Abschnitt verfehlt, wenn Dokumente veraltet oder widersprüchlich sind oder wenn beim Teilen eines Dokuments wichtiger Zusammenhang verloren geht. Das Sprachmodell formuliert anschließend mit dem Material, das es erhalten hat. Deshalb sollten Testfragen auch prüfen, ob die gefundene Quelle die Antwort wirklich stützt.
Kann RAG Halluzinationen verhindern?
RAG kann einem Sprachmodell passende interne oder aktuelle Informationen bereitstellen. Es verhindert aber nicht pauschal alle falschen Aussagen. Die Suche kann ungeeignete Passagen liefern, und das Modell kann sie missverstehen oder zu weit auslegen. Quellenangaben erleichtern die Kontrolle, ersetzen sie aber nicht. Prüfen Sie die Antwort deshalb gegen die Originalquelle.
Wie starte ich mit RAG im Unternehmen?
Wählen Sie zunächst eine wiederkehrende Frage und legen Sie fest, welche Dokumente dafür maßgeblich sind. Prüfen Sie, ob diese Unterlagen aktuell und verständlich sind und wer sie pflegt. Testen Sie anschließend echte Fragen und kontrollieren Sie sowohl die gefundene Passage als auch die formulierte Antwort. Klären Sie vorher, wie das System mit Lücken und widersprüchlichen Quellen umgehen soll.
Interesse?
Sie möchten wissen, was das für Ihr Unternehmen heißt?
Quellen
- Klarframe: Klarframe OS · klarframe.com
- Frontier models can recover up to 65% of facts they can't directly recall — just by thinking longer · VentureBeat, 2026-09-01
- With 91% accuracy, open source Hindsight agentic memory provides 20/20 vision for AI agents stuck on failing RAG · VentureBeat, 2025-12-16
Dieser Artikel wurde mit KI-Unterstützung recherchiert und geschrieben und vor der Veröffentlichung automatisch gegen die genannten Quellen geprüft. Mehr zu unserer KI-Transparenz
Passende Lösungen
- Klarframe OS →
Klarframe OS bündelt Wissen aus Dokumenten, E-Mails, Notion, Slack und CRM, belegt es mit Quellen und macht es als Wissenskarte verständlich. So schaffen Sie Transparenz und können agieren statt reagieren.
Klarframe AI Readiness Check
Wie bereit ist Ihr Unternehmen für KI?
Rund zehn Minuten, sofortiges Ergebnis mit Stufe, 90-Tage-Plan, passenden Lösungen und Hinweisen zum EU AI Act.
