Zurück zur Übersicht
Blog

Codex prüft den Erfolg des Fixes

OpenAI lässt Codex Leistungsprobleme untersuchen und nach einer Korrektur erneut messen. Was Unternehmen von dieser Prüfschleife übernehmen können.

Ein Agent findet einen Fehler, schreibt eine Korrektur und meldet Erfolg. Für das Unternehmen bleibt eine Frage: Läuft die Anwendung jetzt tatsächlich wieder besser?

OpenAI beschreibt am 19. November seine interne Performance Factory. Darin untersucht Codex Leistungsprobleme von ChatGPT, schlägt Änderungen vor und prüft nach deren Auslieferung die Wirkung. Menschen entscheiden, welche Korrektur in den Betrieb kommt. Der Bericht zeigt einen konkreten Ansatz für eine Schwierigkeit betrieblicher KI-Automatisierung: Eine überzeugende Erklärung reicht für den Abschluss einer Aufgabe nicht aus. OpenAIs Engineering-Bericht

Nach der Änderung wird erneut gemessen

Der beschriebene Ablauf startet mit einem Alarm. Codex sucht die Ursache, eine weitere Sitzung hinterfragt die Diagnose. Anschließend folgen Änderungsvorschlag und menschliche Prüfung. Nach der Auslieferung vergleicht ein Agent die Leistung mit dem vorherigen Normalzustand. Bleibt die Verbesserung aus, geht die Untersuchung weiter. Aufgabenstatus und Befunde bleiben für spätere Schritte erhalten.

OpenAI nennt mehr als 1.700 Untersuchungen in gut drei Monaten. Bei einer manuellen Prüfung von 100 Ursachenvorschlägen bewertete das Team 70 Prozent als zutreffend. Die übrigen brauchten weitere Arbeit oder belegten den Zusammenhang nicht ausreichend. Das sind Anbieterangaben aus diesem internen Einsatz, keine allgemeine Erfolgsquote für Codex. Auch eine richtige Diagnose garantiert noch keinen guten Patch. Bericht und Grenzen

Ein Kundenportal als Gedankenexperiment

Angenommen, ein fiktives Kundenportal lädt nach einer Softwareänderung merklich langsamer. Ein Agent vermutet eine zusätzliche Datenbankabfrage und schlägt einen Zwischenspeicher vor. Das klingt schlüssig. Für eine Freigabe wären aus unserer Sicht trotzdem weitere Antworten nötig.

Hat die zusätzliche Abfrage die langsamen Aufrufe überhaupt betroffen? Wird derselbe Vorgang mit vergleichbaren Daten nach der Korrektur schneller? Bleiben Änderungen an Kundendaten sofort sichtbar, oder zeigt der Zwischenspeicher inzwischen veraltete Angaben?

Wir würden deshalb vor dem Versuch festlegen, welche Messung den Abschluss erlaubt und wer sie abnimmt. Beispielsweise müsste derselbe Suchvorgang wieder im vereinbarten Zeitrahmen liegen, ohne dass die fachliche Richtigkeit leidet. Dieses Beispiel ist unsere Einordnung des Prinzips, kein eigener Test der Performance Factory und kein Kundenbericht.

Skills erklären den Weg, Tests prüfen ihn

Die offizielle Skills-Dokumentation beschreibt Skills als wiederverwendbare Pakete aus Anweisungen, Ressourcen und optionalen Skripten. Für eine solche Fehlersuche kann ein Skill also festhalten, welche Informationen ein Agent sammelt und wann er die Arbeit übergibt. Der genaue betriebliche Ablauf muss dafür bereits verständlich beschrieben sein. Skills-Dokumentation

Für die Abnahme braucht es zusätzlich passende Testfälle. OpenAIs Anleitung zu Evaluationen empfiehlt aufgabenspezifische Prüfungen, menschliches Feedback und wiederholte Vergleiche bei Änderungen. Ein allgemein guter Modellwert beantwortet die Frage nach dem konkreten Kundenportal nicht. Sinnvoll wären dafür bekannte langsame Vorgänge und ein festgehaltener Normalzustand. Fehlende Messdaten sollten als fehlender Nachweis sichtbar bleiben. Hinweise zur Evaluation

Zugriffsrechte gehören zur Prüfschleife

Eine Diagnose mit Zugang zu Protokollen ist eine andere Aufgabe als eine Änderung am laufenden System. OpenAIs separater Sandbox-Bericht vom 18. November erläutert Grenzen für Datei- und Netzwerkzugriffe. Er nennt ausdrücklich verbleibende Risiken. Eine Sandbox ist damit kein Beleg, dass eine fachliche Entscheidung richtig oder eine Änderung sicher auszuliefern ist. Sandbox-Bericht

Unsere Konsequenz für einen betrieblichen Versuch wäre ein enger Auftrag: lesend untersuchen, einen prüfbaren Vorschlag ablegen und die Freigabe für den Betrieb getrennt behandeln. Wer mehr automatisieren will, sollte zunächst zeigen können, dass diese Übergaben und die anschließende Messung funktionieren.

Die Performance Factory ist hier ein Bericht über OpenAIs interne Infrastruktur. Daraus lässt sich kein frei installierbares Komplettpaket oder nachgewiesener Nutzen im eigenen Unternehmen ableiten. Übernehmen lässt sich zunächst die klare Abschlussfrage: Welche Beobachtung belegt, dass die Korrektur geholfen hat?

Quellen und Links

Das Titelbild ist eine KI-generierte Illustration mit dem CodeCell-Maskottchen. Es zeigt keine echte Oberfläche der Performance Factory.

Weitere Artikel

zu diesem Thema
CodeCell KI-Roboter
Bereit für den
Nächsten Schritt?

Wir begleiten Sie beim Einsatz von KI im Unternehmen: Von der Identifikation geeigneter Potenziale bis zur Integration passender Lösungen in bestehende Systeme.

Sprechen Sie mit uns
über Ihr Anliegen
Nutzen Sie das Formular für eine unverbindliche Anfrage. Wir melden uns zeitnah und persönlich bei Ihnen.