Der KI-Agent schreibt nicht nur. Er kann auch falsch handeln
Ein KI-Agent könnte Informationen aus Postfach und CRM zusammentragen und einen Entwurf vorbereiten. Aber was geschieht, wenn er dabei eine veraltete Notiz für aktuell hält oder eine Änderung ohne Rückfrage ausführt? Genau dort entscheidet sich, ob ein Agent Arbeit abnimmt oder eine Fehlerkette startet. Die entscheidende Frage lautet deshalb nicht nur, was ein Agent kann. Sie lautet: Wo darf er handeln, und wer bemerkt es, wenn ein Zwischenschritt kippt?
Ein Agent ist eine Kette, kein Zauberknopf
Ein Chatbot beantwortet meist eine Frage in einem Gespräch. Ein KI-Agent kann darüber hinaus einen Auftrag in Schritte zerlegen, Werkzeuge aufrufen und Ergebnisse weiterverarbeiten. Ein Werkzeug ist dabei ein erlaubter Zugriff, etwa auf einen Kalender oder ein Dokument. Der geschäftliche Unterschied: Aus einer Antwort kann eine Handlung werden.
Stellen Sie sich vor, Sie bitten einen Agenten, für einen Interessenten ein Angebot vorzubereiten. Er könnte Informationen aus einem CRM suchen, passende Unterlagen heranziehen und einen Entwurf erstellen. Jeder dieser Übergänge ist ein eigener Schritt. Eine falsche Kundenzuordnung am Anfang kann den späteren Entwurf plausibel aussehen lassen, obwohl er auf dem falschen Vorgang beruht.
Der Fehler muss also nicht spektakulär sein. Vielleicht ist ein Werkzeugaufruf korrekt, aber die Information darin veraltet. Vielleicht wird ein sinnvoller Vorschlag mit einer ausgeführten Handlung verwechselt. ChatGPT Work etwa kann Aufgaben auf Basis persönlicher Informationen vorschlagen. Laut Latent Space beginnt die Arbeit aber erst, wenn die Nutzerin oder der Nutzer den Vorschlag ausführt. Wo zwischen Vorschlag und Ausführung liegt Ihre Freigabe?
Werkzeuge machen aus Antworten Handlungen
Ein Agent wird nützlicher, wenn er auf die Orte zugreifen kann, an denen Arbeit ohnehin stattfindet. Latent Space beschreibt ChatGPT Work als System, das Dienste wie Slack, E-Mail, Drive, Kalender, CRM und Projekttracker verbinden kann. Daraus kann es fertige Arbeit erstellen. Für ein kleines Unternehmen könnte das bedeuten, Informationen aus mehreren Ablagen für einen Angebotsentwurf zusammenzutragen.
Mit jedem Zugriff wächst auch der Bereich, in dem etwas schiefgehen kann. Eine falsche Datei, ein veralteter Kalendereintrag oder ein missverstandener Auftrag kann sich durch die folgenden Schritte ziehen. Das ist keine Aussage, dass jeder Agent so scheitert. Es ist eine praktische Folge davon, dass mehrere Aktionen voneinander abhängen.
Auch der Zeitpunkt der Handlung gehört zur Architektur. ChatGPT Work nutzt laut Latent Space einen Scheduler, also eine Funktion, die Aufgaben später oder wiederkehrend ausführen kann. Ein einmaliger Entwurf und eine wiederkehrende Aktion haben jedoch unterschiedliche Folgen, wenn sich Rahmenbedingungen ändern. Bevor Sie eine Aufgabe automatisieren, sollten Sie deshalb festlegen, was der Agent lesen darf, was er ändern darf und welche Schritte erst nach Ihrer Zustimmung passieren.
Das Gedächtnis kann mit der Wirklichkeit auseinanderlaufen
Ein Agent mit Gedächtnis muss nicht bei jeder Aufgabe bei null anfangen. GitHub beschreibt ein System, in dem Agenten nützliche Erfahrungen aus früheren Aufgaben als Erinnerungen speichern können. Bei einer neuen Sitzung werden die jüngsten Erinnerungen zum betreffenden Repository abgerufen und in den Prompt aufgenommen. Der Prompt ist die Arbeitsanweisung samt Kontext, die das Modell erhält.
Die heikle Frage ist nicht nur, ob der Agent etwas findet. GitHub nennt als Kernproblem, ob gespeichertes Wissen gültig bleibt, während sich Code, Branches und Beobachtungen ändern. Das Prinzip betrifft auch betriebliche Abläufe: Eine Erinnerung an eine frühere Freigaberegel kann unpassend sein, wenn die Zuständigkeit inzwischen gewechselt hat.
GitHub begegnet dem Problem, indem Erinnerungen auf konkrete Stellen im Code verweisen und beim Abruf in Echtzeit geprüft werden. Außerdem können solche Erinnerungen nur von Mitwirkenden mit Schreibrechten erstellt und innerhalb desselben Repositorys von Nutzerinnen und Nutzern mit Leserechten verwendet werden. Das sind konkrete Begrenzungen, keine Garantie, dass Wissen immer stimmt. Welche Quelle muss Ihr Agent prüfen, bevor er einer gespeicherten Notiz vertraut?
Der Fehler zeigt sich manchmal erst nach dem Test
Ein erfolgreicher Test sagt etwas über die geprüften Fälle aus. Er beantwortet nicht automatisch, was bei einer anderen Eingabe, einem veralteten Kontext oder einem unerwarteten Werkzeugergebnis passiert. In einer VentureBeat-Umfrage vom September 2026 berichteten 52 Prozent der Organisationen, die KI vor der Veröffentlichung testen, von mindestens einem Fall, in dem ein getestetes System später Kundinnen oder Kunden beeinträchtigte. 30 Prozent meldeten mehr als einen solchen Fall.
Ein weiterer Wert verdient besondere Aufmerksamkeit: Unter Organisationen, die Agenten bestimmte Änderungen ohne menschliche Prüfung ausliefern ließen, berichteten 80 Prozent von einem kundenrelevanten KI-Fehler nach bestandenen Tests. Das ist ein Zusammenhang aus der Umfrage, kein Beweis, dass fehlende Prüfung die Fehler verursacht.
VentureBeat weist ausdrücklich darauf hin, dass die Umfrage nicht erhob, ob ein Fehler von einer ungeprüften Agentenänderung stammte. Zugleich nannten nur 28 Prozent der Agenten einsetzenden Organisationen automatisierte Qualitätsprüfungen der laufenden Ausgaben als wichtigste Überwachungsmethode. Für Ihren Betrieb heißt das: Ein Test vor dem Start ersetzt nicht die Beobachtung dessen, was der Agent tatsächlich tut. Wer sieht den Fehler, bevor ihn Ihr Kunde sieht?
Was das für Ihr Unternehmen heißt
Beginnen Sie mit einem Vorgang, der häufig vorkommt und bei dem ein Mensch das Ergebnis leicht prüfen kann. In einem kleinen Betrieb könnte der Agent zunächst Kundendaten zusammentragen und einen Antwortentwurf erstellen, ohne ihn zu versenden. Ein mittelständisches Unternehmen kann denselben Ansatz für einen klar abgegrenzten Prozess erproben. In einem Konzern kommen zusätzlich mehrere Teams und Berechtigungen ins Spiel, die vorab geklärt werden müssen.
Schreiben Sie den Ablauf in Alltagssprache auf. Was kommt hinein? Welche Quelle gilt, wenn zwei Angaben voneinander abweichen? Welches Ergebnis darf der Agent vorbereiten, und für welche Handlung braucht er eine Freigabe? Damit machen Sie sichtbar, an welcher Stelle eine falsche Annahme weitergetragen werden könnte.
Prüfen Sie anschließend nicht nur den Musterfall. Geben Sie dem Ablauf auch unvollständige Angaben, widersprüchliche Informationen und eine veraltete Quelle. Legen Sie fest, wie Mitarbeitende ein falsches Ergebnis melden und wer den Zugriff oder die Erinnerung korrigiert. Das kostet Zeit, bevor die Automatisierung läuft. Ohne diese Zuständigkeit wird aus einem kleinen Fehler leicht eine unbemerkte Gewohnheit.
- Wählen Sie eine Aufgabe mit klar erkennbarem Ergebnis.
- Starten Sie mit Lesezugriff und Entwürfen, bevor der Agent Änderungen selbst ausführt.
- Benennen Sie eine Person, die Ergebnisse und gemeldete Fehler prüft.
- Dokumentieren Sie, wann eine Erinnerung veraltet ist und wie sie entfernt oder aktualisiert wird.
Geben Sie dem Agenten eine Grenze
Die Grenze sollte nicht erst dann sichtbar werden, wenn etwas schiefgeht. Definieren Sie sie vor dem ersten Einsatz: Welche Daten braucht der Agent wirklich? Welche Handlung darf er vorbereiten, welche selbst ausführen? Und bei welchen Unsicherheiten muss er an einen Menschen übergeben?
Auch Gedächtnis braucht einen Zuständigkeitsbereich. GitHub begrenzt seine beschriebenen Erinnerungen auf ein bestimmtes Repository und bindet die Nutzung an Berechtigungen. Für andere Arbeitsumgebungen lässt sich daraus keine fertige Lösung ableiten. Das zugrunde liegende Prinzip ist dennoch nützlich: Wissen sollte nicht automatisch für jeden Auftrag und jede Person gelten.
Entscheidend bleibt Ihre Prozessentscheidung: Welche Handlung darf der Agent selbst übernehmen, und welche muss ein Mensch prüfen?
Häufige Fragen
Was ist ein KI-Agent?
Ein KI-Agent kann einen Auftrag in Schritte zerlegen und dafür erlaubte Werkzeuge nutzen, etwa um Informationen aus einer Ablage abzurufen oder einen Entwurf vorzubereiten. Das unterscheidet ihn von einem Chatbot, der meist eine Antwort im Gespräch liefert. Sobald ein Agent Aktionen ausführen darf, werden Zugriffsrechte, Freigaben und laufende Kontrollen wichtig.
Wie funktioniert das Gedächtnis eines KI-Agenten?
Ein Agent kann Informationen aus früheren Aufgaben speichern und später wieder in seinen Arbeitskontext aufnehmen. GitHub beschreibt etwa repositorybezogene Erinnerungen, die bei neuen Sitzungen abgerufen werden. Eine gespeicherte Information kann jedoch veralten. Deshalb sollte ein Agent ihre Quelle prüfen und Wissen nur in dem Bereich verwenden, für den es gilt.
Warum scheitern KI-Agenten trotz bestandener Tests?
Tests decken die Situationen ab, die tatsächlich geprüft wurden. Andere Eingaben, veraltete Informationen oder unerwartete Werkzeugergebnisse können später zu Fehlern führen. VentureBeat berichtete, dass Organisationen nach bestandenen Tests kundenrelevante Fehler erlebt hatten. Die Umfrage belegt jedoch nicht, dass fehlende menschliche Prüfung diese Fehler verursacht hat.
Wie sollte ein Unternehmen KI-Agenten sicher einführen?
Starten Sie mit einer klar abgegrenzten Aufgabe, bei der ein Mensch das Ergebnis leicht kontrollieren kann. Geben Sie dem Agenten zunächst nur die nötigen Zugriffe und lassen Sie ihn Entwürfe vorbereiten, bevor er selbst Änderungen ausführt. Testen Sie auch unvollständige oder widersprüchliche Eingaben und legen Sie fest, wer Ergebnisse und Fehler überwacht.
Was ist der Unterschied zwischen einem KI-Agenten und einem Chatbot?
Ein Chatbot beantwortet typischerweise Fragen im Gespräch. Ein KI-Agent kann zusätzlich Werkzeuge aufrufen, Informationen aus mehreren Quellen zusammenführen und Schritte einer Aufgabe weiterverarbeiten. Damit kann er Arbeit vorbereiten oder ausführen. Je mehr Handlungsspielraum er erhält, desto wichtiger sind begrenzte Berechtigungen, nachvollziehbare Quellen und menschliche Freigaben.
Interesse?
Sie möchten wissen, was das für Ihr Unternehmen heißt?
Quellen
- Building an agentic memory system for GitHub Copilot · The GitHub Blog, 2026-01-15
- Unpacking ChatGPT Work: the Agent for a Billion Users · latent.space, 2026-08-04
- VB Pulse Agentic Reliability and Evals Report - September 2026 · VentureBeat, 2026-10-13
- The share of enterprises trusting AI agents to make production changes on their own has fallen from 75% to 56%, VB Intelligence finds · VentureBeat, 2026-10-08
Dieser Artikel wurde mit KI-Unterstützung recherchiert und geschrieben und vor der Veröffentlichung automatisch gegen die genannten Quellen geprüft. Mehr zu unserer KI-Transparenz
Passende Lösungen
- Klarframe OS →
Klarframe OS bündelt Wissen aus Dokumenten, E-Mails, Notion, Slack und CRM, belegt es mit Quellen und macht es als Wissenskarte verständlich. So schaffen Sie Transparenz und können agieren statt reagieren.
Klarframe AI Readiness Check
Wie bereit ist Ihr Unternehmen für KI?
Rund zehn Minuten, sofortiges Ergebnis mit Stufe, 90-Tage-Plan, passenden Lösungen und Hinweisen zum EU AI Act.
