:quality(78))
Ein KI-Anbieter lässt sein Modell von außen prüfen. Das klingt zunächst beruhigend. Wie viel diese Prüfung aussagt, hängt aber auch davon ab, was die Prüfer sehen dürfen und was später im Bericht stehen kann. Anthropic hat am 15. Oktober eine neue Zusammenarbeit mit METR beschrieben und die Bedingungen am 16. Oktober präzisiert. Für Unternehmen, die KI einkaufen, lohnt sich ein Blick auf genau diese Bedingungen.
Mehr Einblick in die Arbeit hinter Claude
Nach Anthropics Ankündigung erhalten sechs Beschäftigte der gemeinnützigen Prüforganisation METR Firmenhardware, Arbeitsplätze und Zugang zu internen Werkzeugen. Der Zugang soll ungefähr dem der eigenen Teams zur Risikobewertung entsprechen. Bestimmte Informationen bleiben ausgenommen, darunter Kundendaten und besonders geschützte interne Angaben.
Dadurch können externe Fachleute Fragen untersuchen, die ein öffentlicher Modelltest allein kaum beantwortet. Wie wurde ein Test durchgeführt? Welche internen Informationen lagen vor? Welche Teile des untersuchten Systems konnten die Prüfer selbst ansehen? Wer einen Bericht liest, sollte solche Angaben neben dem eigentlichen Ergebnis suchen.
Die Veröffentlichungsrechte haben Bedingungen
Anthropic erklärt, die Veröffentlichung von METRs Analysen nicht pauschal verhindern zu können. Das Unternehmen darf jedoch Schwärzungen verlangen, wenn Informationen in vorher festgelegte Kategorien fallen. Ob das zutrifft, entscheidet letztlich Anthropic. METR behält das Recht, bestimmte Aussagen über erhaltene Informationen und Zugangsgrenzen zu machen. Die Klarstellung vom 16. Oktober betrifft diese Projektbedingungen.
Aus Lesersicht gehört deshalb auch zum Ergebnis, ob wichtige Passagen fehlen. Ein kurzer Hinweis auf eine Schwärzung kann für die Bewertung entscheidend sein. Er zeigt, an welcher Stelle der öffentliche Bericht weniger enthält als das Wissen der beteiligten Personen.
METR beschreibt die eigene Abhängigkeit offen
METR hat am 14. Oktober einen eigenen Beitrag zum Umgang mit KI-Unternehmen veröffentlicht. Die Organisation will offenlegen, welchen Umfang ein Auftrag hatte, welchen Zugang sie bekam und welchen Prüf- oder Schwärzungsprozessen ihre Veröffentlichung unterlag. Sie beschreibt außerdem Rechte, mit denen sie die Bedeutung fehlender Informationen kommentieren kann.
Nach eigener Aussage nimmt METR bisher keine Zahlungen oder Spenden von Unternehmen an, die führende KI-Modelle entwickeln. Kostenlosen Modellzugang erhält die Organisation durchaus. Zugleich betont sie, dass freiwillige Prüfungen weiterhin von der Mitwirkung der untersuchten Unternehmen abhängen. Zugang kann begrenzt sein; Informationen lassen sich nicht immer unabhängig überprüfen.
Diese Offenheit ist für die Einordnung hilfreich. Sie macht sichtbar, welche Fragen ein Bericht beantworten kann und wo man zusätzliche Belege braucht. Das Wort „unabhängig“ im Ankündigungstext ersetzt diese Prüfung nicht.
Ein Prüfauftrag ist noch kein Sicherheitsurteil
In seinem ebenfalls am 14. Oktober veröffentlichten Vorschlag für externe Risikobewertungen nennt METR ein begrenztes Ziel: neue öffentliche Evidenz schaffen, anhand derer andere sich ein Urteil bilden können. Der Vorschlag liefert nach eigener Darstellung keine sichere Zusage, dass die Modellentwicklung ungefährlich ist. Er deckt zudem wichtige Bereiche wie vollständige Security-Audits nicht ab.
Die aktuelle Ankündigung sollte deshalb als Information über den Zugang und das Prüfverfahren gelesen werden. Sie liefert für sich genommen kein abschließendes Urteil über Claude oder über eine konkrete Anwendung im Betrieb.
Dokumentierte Kontrollverlustfälle lassen sich ergänzend in AI Incidents nachvollziehen, einem Projekt von CodeCell Applications. Auch dort hat die Einordnung Grenzen: Die Methodik bewertet dokumentierte Ereignisse und beschreibt ausdrücklich keine Wahrscheinlichkeit für künftigen Kontrollverlust. Eine Vorfallsübersicht und ein neuer Prüfauftrag beantworten jeweils andere Fragen.
Was ein Betrieb daraus für den Einkauf mitnehmen kann
Nehmen wir einen fiktiven Mittelständler, der einen KI-Assistenten für sein internes Serviceportal einführen möchte. Der Anbieter verweist auf eine externe Prüfung. Im geplanten Einsatz soll der Assistent Unterlagen lesen, den passenden Vorgang finden und eine Antwort vorbereiten.
Bevor die Geschäftsführung daraus Sicherheit für diesen Ablauf ableitet, braucht sie den Umfang der Prüfung. Hat sie das zugrunde liegende Modell untersucht oder auch den Zugang zum Serviceportal? War das Auffinden des richtigen Vorgangs Teil des Tests? Wurde kontrolliert, ob vertrauliche Anhänge in die falsche Antwort geraten können?
Das sind unterschiedliche Prüfgegenstände. Selbst ein sorgfältiger Modellbericht beantwortet die Fragen zur eigenen Anbindung nur dann, wenn sie tatsächlich zum untersuchten Umfang gehörten. Für eine individuelle KI-Anwendung müssen deshalb auch deren konkrete Datenwege und erlaubte Aktionen betrachtet werden.
Meine Empfehlung für solche Gespräche ist eine kleine Nachweisliste:
Den vollständigen Bericht mit Datum, Modellversion und untersuchtem System anfordern.
Den Prüfauftrag mit dem geplanten eigenen Einsatz vergleichen.
Zugangsgrenzen, ausgelassene Bereiche und Schwärzungen lesen.
Offene Punkte als konkrete Tests für den eigenen Pilotbetrieb festhalten.
Das hilft auch dann, wenn ein Anbieter auf mehrere Prüfungen verweist. Die Berichte lassen sich anhand ihres Gegenstands einordnen, statt ihre Zahl als Qualitätsmaß zu verwenden. Bei der Vorbereitung eines Piloten kann unsere KI-Beratung diese Fragen mit dem geplanten Arbeitsablauf verbinden.
An der neuen Kooperation interessiert mich deshalb vor allem, ob daraus nachvollziehbare öffentliche Berichte entstehen: mit erkennbaren Ergebnissen und ebenso erkennbaren Grenzen. Erst diese Berichte lassen sich mit einer konkreten Entscheidung im Unternehmen abgleichen.
:quality(78))
:quality(78))
:quality(78))
