← Blog

Praxis & Fehler

70 Prozent fertig, 26 Prozent richtig: Das KI-Code-Problem

Markierte Pull-Request-Ausdrucke und ein roter Stift liegen neben der Tastatur.

Der Montag beginnt mit einem Fehlerbericht: Die neue Filterfunktion sieht richtig aus, liefert aber für bestimmte Einträge falsche Ergebnisse. Ein Coding-Agent hat die Änderung vorbereitet. Ein Mensch muss nun herausfinden, was fehlt, und prüfen, ob andere Funktionen mitbetroffen sind. Genau diese Lücke zwischen „sieht fertig aus“ und „funktioniert vollständig“ macht ein Benchmark mit echten Entwicklungsaufgaben sichtbar. Das beste getestete Modell erfüllte im Schnitt etwa 70 Prozent der Anforderungen. Vollständig korrekt war das Ergebnis deutlich seltener. Wie lässt sich erkennen, ob ein Agent in Ihrem Team trotzdem Arbeit abnimmt?

70 Prozent klingt besser, als es ist

Die Zahl wirkt zunächst beruhigend: GPT-6 Astra, das beste von zehn getesteten Modellen, erfüllte im Schnitt rund 70 Prozent der Anforderungen einer Aufgabe. Doch bei nur 26,4 Prozent der Aufgaben war das Ergebnis vollständig korrekt. Für ein Entwicklungsteam ist das ein wichtiger Unterschied. Ein halbfertiger Vorschlag kann den Anfang erleichtern, aber er ist noch kein erledigter Auftrag.

Der Co-Design Bench prüft, ob ein Agent eine bestehende Web-App anhand einer Nutzeranfrage verändern kann. Die Aufgaben stammen aus echten Coding-Sitzungen. Teilweise mussten Nutzer ihre Wünsche mehrfach neu formulieren oder Änderungen zurücknehmen. Das ähnelt eher dem Alltag, in dem eine Anforderung unklar ist und eine Korrektur neue Fragen aufwirft, als einem sauberen Test mit einer einzigen richtigen Antwort.

Die Forschenden bezogen auch Eingaben wie Bilder, Audioaufnahmen, Videos und Dokumente ein. Damit wird sichtbar, woran sich viele Teams aus eigener Erfahrung erinnern: Der Auftrag steckt nicht immer vollständig in einem Ticket. Doch was bedeutet „erfüllt“ überhaupt, wenn die Oberfläche ordentlich aussieht und ein wichtiger Ablauf trotzdem nicht funktioniert?

Ein hübscher Bildschirm ist kein Abnahmetest

Ein grüner Haken in der Aufgabenliste beweist wenig, wenn niemand das Ergebnis ausprobiert hat. Im Benchmark testet ein KI-Richter die fertige App im Browser. Ein zweiter KI-Richter kontrolliert positive Bewertungen erneut und sucht unter anderem nach Mock-ups oder fest codierten Ergebnissen. Punkte gibt es nur für Funktionen, die tatsächlich arbeiten.

Für Ihr Team steckt darin eine klare praktische Lehre: Formulieren Sie die Abnahme so, dass sie sich beobachten lässt. Wenn eine Suche geändert wird, reicht „Suchfunktion verbessert“ nicht. Entscheidend ist, ob ein Nutzer den erwarteten Begriff eingeben und ein passendes Ergebnis erhalten kann. Die technische Umsetzung kann korrekt aussehen und dennoch am eigentlichen Zweck vorbeigehen.

Dabei bleibt auch ein KI-Test eine Prüfung, die Sie verstehen und kontrollieren müssen. Der Benchmark setzt deshalb eine zweite Kontrolle ein. In Ihrem Unternehmen kann das ein automatisierter Test sein, ergänzt durch eine menschliche Prüfung der Fälle, bei denen ein Fehler besonders teuer wäre. Welche Fälle sollten Ihre Prüfer zuerst aufdecken?

Komplexe Wünsche sind der Stresstest

Eine einzelne kleine Änderung ist selten die ganze Aufgabe. Vielleicht soll ein Formular auf dem Smartphone anders aussehen, eine Schaltfläche eine neue Aktion auslösen und der erklärende Text zugleich angepasst werden. Der Benchmark zeigt: Wenn Aufgaben mehrere Änderungstypen kombinieren, sinkt die Leistung aller getesteten Modelle.

Das ist kein Randproblem für große Entwicklungsabteilungen. Ein Mittelständler kann dieselbe Verflechtung in seinem Kundenportal, internen Werkzeug oder Bestellprozess erleben. Wer eine Änderung an der Darstellung bestellt, merkt womöglich erst beim Prüfen, dass auch ein Ablauf, ein Inhalt oder eine bestehende Funktion betroffen ist. Der Agent bearbeitet dann mehrere Abhängigkeiten, während die Anforderung vielleicht nur eine kurze Zeile im Ticketsystem ist.

GitHub empfiehlt deshalb, Aufgaben mit Kontext und Abnahmekriterien als Issues zu formulieren und sie bei Bedarf aufzuteilen. Kleinere, fokussierte Pull Requests lassen sich leichter prüfen als eine große Änderung, in der Oberfläche, Logik und Texte zugleich stecken. Wo eine Aufgabe wirklich zusammengehört, sollte sie zusammenbleiben. Doch wie verhindern Sie, dass die Aufteilung nur mehr Verwaltung erzeugt?

Was ein fairer Test im eigenen Betrieb braucht

Ein Agent kann in einem allgemeinen Benchmark gut abschneiden und trotzdem mit Ihren Konventionen, Tests oder Datenstrukturen kämpfen. Bewerten Sie Kandidaten deshalb mit Ihrem eigenen Code und Ihren eigenen Abnahmekriterien, bevor Sie ihnen Produktionsaufgaben geben. Das macht die Auswahl weniger glänzend, aber deutlich näher an der Entscheidung, die Sie tatsächlich treffen müssen.

Nehmen Sie dafür Aufgaben aus dem laufenden Arbeitsalltag. Wählen Sie Fälle, bei denen das Ergebnis bekannt ist und jemand beurteilen kann, ob es vollständig funktioniert. Erfassen Sie auch, welche Hinweise der Agent brauchte, wie viele Korrekturen anfielen und ob die Änderung im Review akzeptiert wurde. Ein einfacher Vorschlag kann nützlich sein, selbst wenn er keine Aufgabe allein abschließt. Sie müssen nur wissen, welche Art von Hilfe Sie einkaufen.

GitHub empfiehlt, Repository-Anweisungen für Teamkonventionen und Validierungsbefehle festzuhalten. Das gibt dem Agenten und den Menschen im Team dieselbe Orientierung, etwa dazu, wie Code geprüft werden soll. Für einen ersten Test können Sie eine kleine Auswahl bereits erledigter Aufgaben erneut bearbeiten lassen und Ergebnisse blind vergleichen. Welche Kennzahl zeigt dann, ob daraus ein Vorteil wird?

  • Wählen Sie Aufgaben, die in Ihrem Team regelmäßig vorkommen und deren erwartetes Ergebnis überprüfbar ist.
  • Schreiben Sie vor dem Test auf, welche Funktionen und Qualitätsbedingungen erfüllt sein müssen.
  • Prüfen Sie das fertige Ergebnis mit Tests und im Review, nicht nur anhand der Codeausgabe.
  • Notieren Sie menschliche Nacharbeit und Fehler neben der eingesetzten Zeit und den KI-Kosten.

Zählen Sie gemergte Änderungen, nicht nur Code

Die Zahl der erzeugten Codezeilen ist verführerisch, beantwortet aber nicht, ob das Team schneller liefern kann. Aussagekräftiger ist der Aufwand pro gemergtem Pull Request. Gemeint sind die gesamten Kosten der KI-gestützten Entwicklung geteilt durch die Zahl der geprüften Änderungen, die am Ende tatsächlich übernommen werden.

Diese Kennzahl braucht Begleiter. Verfolgen Sie Nacharbeit und Fehler mit, damit eine scheinbar günstigere Änderung nicht auf Kosten der Qualität entsteht. Auch ein schneller Entwurf kann die Arbeit verlagern: weg vom Schreiben, hin zu Review, Korrekturen und Fehlersuche. Im Alltag fällt das oft erst auf, wenn der PR länger offen ist und die Entwicklerin zum dritten Mal denselben Ablauf durchspielt.

GitHub verweist auf eine Faros-AI-Studie, in der Pull Requests beim Übergang von niedriger zu hoher KI-Nutzung 441 Prozent länger in der Prüfung verbrachten. Das belegt nicht, dass KI grundsätzlich Reviews verlängert. Es zeigt aber, warum eine reine Nutzungsquote oder Token-Zahl wenig über den tatsächlichen Nutzen verrät. Welche Veränderung wäre für Ihr Team ein Gewinn, wenn die Prüfung länger dauert?

Was das für Ihr Unternehmen heißt

Am kommenden Montag könnte ein Agent einen kleinen, klar abgegrenzten Fehler übernehmen. Im Issue stehen der Hintergrund und die Bedingungen für die Abnahme. Der Pull Request enthält eine fokussierte Änderung, die automatisierte Prüfungen durchläuft. Ein Entwickler prüft anschließend, ob das Verhalten in Ihrem konkreten Ablauf stimmt. So wird aus einer KI-Demonstration ein überprüfbarer Arbeitsversuch.

Starten Sie mit einer Aufgabe, deren Erfolg sich ohne Interpretationsspielraum feststellen lässt. Halten Sie fest, wie lange die Bearbeitung samt Review dauert, welche Nacharbeit nötig ist und ob die Änderung gemergt wird. Vergleichen Sie das mit dem bisherigen Ablauf. Wenn ein Agent eine Aufgabe teilweise löst, ist das nicht automatisch ein Fehlschlag. Sie brauchen eine belastbare Antwort darauf, ob die verbleibende menschliche Arbeit geringer oder lediglich anders verteilt ist.

Für ein kleines Team kann eine kurze Prüfliste genügen. Ein Mittelständler sollte zusätzlich Teamstandards und wiederkehrende Fehler erfassen. In einem großen Unternehmen müssen Vergleich und Abnahme möglicherweise für verschiedene Repositories und Verantwortliche einheitlich definiert werden. Der passende Test ist also nicht überall gleich groß. Aber die Frage bleibt dieselbe: Was gilt bei Ihnen als ausgeliefertes Ergebnis?

TeilenLinkedInXWhatsAppE-Mail

Häufige Fragen

Wie teste ich einen Coding-Agenten im eigenen Unternehmen?

Wählen Sie Aufgaben aus Ihrem echten Arbeitsalltag, für die das erwartete Ergebnis nachvollziehbar ist. Legen Sie vorher Abnahmekriterien fest und lassen Sie den Agenten mit Ihrem Code und Ihren Repository-Regeln arbeiten. Prüfen Sie danach die Funktion, die Tests, die nötige menschliche Nacharbeit und ob die Änderung den Review besteht. Ein allgemeiner Benchmark allein zeigt nicht, wie gut ein Agent zu Ihrem Team passt.

Was bedeutet die 26,4-Prozent-Zahl beim Coding-Agenten?

Im Co-Design Bench war GPT-6 Astra bei 26,4 Prozent der Aufgaben vollständig korrekt. Im Durchschnitt erfüllte es etwa 70 Prozent der Anforderungen. Die Werte beschreiben unterschiedliche Dinge: Ein Agent kann einen großen Teil einer Aufgabe erledigen, ohne dass das Ergebnis vollständig funktioniert oder alle Anforderungen erfüllt.

Wie messe ich den Nutzen von KI beim Programmieren?

Eine mögliche Kennzahl sind die Kosten pro gemergtem Pull Request. Dafür teilen Sie die Gesamtkosten der KI-gestützten Entwicklung durch die Zahl der geprüften und übernommenen Änderungen. Erfassen Sie zusätzlich Nacharbeit und Fehler. So sehen Sie eher, ob die KI Aufwand reduziert, statt nur mehr Code oder Vorschläge zu erzeugen.

Warum sollten Coding-Aufgaben in kleinere Pull Requests aufgeteilt werden?

Kleinere, fokussierte Pull Requests lassen sich gezielter prüfen als eine große Änderung, die viele Funktionen gleichzeitig betrifft. Das macht Fehler und Abweichungen leichter erkennbar. GitHub empfiehlt, Aufgaben bei Bedarf aufzuteilen und Anforderungen samt Kontext und Abnahmekriterien festzuhalten. Zusammengehörige Änderungen sollten dabei weiterhin als zusammenhängende Aufgabe behandelt werden.

Kann ein Coding-Agent menschliche Code-Reviews ersetzen?

Die verfügbaren Fakten belegen nicht, dass Coding-Agenten menschliche Reviews ersetzen. Im Co-Design Bench wird die fertige App geprüft, und positive KI-Bewertungen werden nochmals kontrolliert. Für den Unternehmenseinsatz sollten Sie die Ergebnisse daher an Ihren Tests und Abnahmekriterien messen und menschliche Prüfung dort einplanen, wo Fehler Folgen haben.

Interesse?

Sie möchten wissen, was das für Ihr Unternehmen heißt?

Hinterlassen Sie kurz Ihre Daten. Wir melden uns persönlich, ohne Verkaufsdruck und ohne Newsletter-Abo.

Quellen

  1. AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test · the-decoder.com, 2026-11-08
  2. Beyond code generation: A developer’s guide to agentic engineering · github.blog, 2026-11-06
  3. Stop counting tokens, start counting what ships · technologyreview.com, 2026-11-02

Dieser Artikel wurde mit KI-Unterstützung recherchiert und geschrieben und vor der Veröffentlichung automatisch gegen die genannten Quellen geprüft. Mehr zu unserer KI-Transparenz

Kostenloser Guide · PDF

Der KI-Kompass für kleine und mittlere Unternehmen

9 Aufgaben, die Ihr Team ab Montag abgeben kann.

Kostenlos anfordern

Klarframe AI Readiness Check

Wie bereit ist Ihr Unternehmen für KI?

Rund zehn Minuten, sofortiges Ergebnis mit Stufe, 90-Tage-Plan, passenden Lösungen und Hinweisen zum EU AI Act.

Check starten

Weitere Artikel