Einleitung
Model Cards haben sich aus gutem Grund als Standardpraxis etabliert: Sie zwingen Teams, schriftlich festzuhalten, wofür ein Modell gedacht ist, mit welchen Daten es trainiert wurde, welche Einschränkungen bekannt sind und wie es evaluiert wurde. Diese Disziplin ist wertvoll. Für sich genommen ist sie aber auch nicht überprüfbar. Eine Model Card ist ein Dokument, das genau die Organisation verfasst, die über das Modell Rechenschaft ablegen soll - und wie jede Selbstauskunft kann sie unvollständig, veraltet oder schlicht falsch sein, ohne dass ein Leser auf unabhängigem Weg erkennen könnte, was davon zutrifft.
Was eine Model Card tatsächlich belegt
Im besten Fall ist eine Model Card eine gut strukturierte Behauptung: Das ist es, was wir über die Trainingsdaten, den vorgesehenen Einsatzzweck und die Einschränkungen dieses Modells annehmen, Stand: Abfassung dieses Dokuments. Sie ist kein Beleg. Sie beweist nicht, dass die beschriebenen Trainingsdaten die tatsächlich verwendeten Trainingsdaten sind, dass sich die Daten seitdem nicht verändert haben oder dass die angegebenen Evaluierungsergebnisse die derzeit produktiv eingesetzte Modellversion widerspiegeln und nicht eine frühere, weil die Model Card nie entsprechend aktualisiert wurde. Unter wachsender regulatorischer Prüfung - allen voran durch die Dokumentationsanforderungen von Artikel 10 und Artikel 11 der KI-Verordnung der EU - ist die Lücke zwischen einer gut formulierten und einer beweisbaren Behauptung genau der Punkt, an dem sich das Risiko aufsichtsrechtlicher Maßnahmen konzentriert.
Die drei Lücken, nach denen Aufsichtsbehörden zu fragen lernen
Erstens Aktualität: Wurde diese Model Card aktualisiert, als das Modell neu trainiert oder per Fine-Tuning angepasst wurde, oder beschreibt sie eine frühere Version? Zweitens Quellenverifizierung: Gibt es irgendeine Möglichkeit, unabhängig von der Aussage des Dokuments selbst zu bestätigen, dass die beschriebenen Trainingsdaten tatsächlich die verwendeten sind? Drittens Änderungserkennung: Wenn die zugrunde liegenden Trainingsdaten nach dem Verfassen der Model Card verändert würden, würde das irgendjemand - einschließlich des Teams, das sie verfasst hat - zwangsläufig bemerken?
Herkunftsnachweis ist eine eigene Ebene, keine bessere Model Card
Diese Lücken zu schließen heißt nicht, ausführlichere Model Cards zu schreiben. Es heißt, unterhalb der Dokumentation eine Ebene hinzuzufügen, die unabhängig überprüfen kann, was die Dokumentation behauptet: die kryptografische Verankerung des tatsächlich verwendeten Trainingsdatensatzes zu dem Zeitpunkt, an dem er verwendet wird, sodass die Herkunft der Daten und jede spätere Änderung beweisbar sind, statt nur beschrieben zu werden. Eine Model Card, die mit einem solchen überprüfbaren Nachweis verbunden ist, ist keine Behauptung mehr, der ein Prüfer vertrauen muss, sondern eine Behauptung, die ein Prüfer nachprüfen kann.
- Model Cards dokumentieren Absicht und Designentscheidungen - sie sind nicht dafür ausgelegt, irgendetwas unabhängig zu beweisen
- Der Beweiswert einer Model Card nimmt in dem Moment ab, in dem ein Modell ohne entsprechende Aktualisierung neu trainiert wird
- Die kryptografische Verankerung von Trainingsdaten schließt die Lücke zwischen dem, was eine Model Card behauptet, und dem, was sich tatsächlich überprüfen lässt
- Aufsichtsbehörden unterscheiden zunehmend zwischen Dokumentation und Nachweis - Unternehmen sollten sich jetzt auf diese Unterscheidung einstellen, nicht erst, wenn ein Audit sie offenlegt
Dokumentation beschreibt, was ein Modell sein sollte. Nur ein überprüfbarer Herkunftsnachweis kann belegen, was es tatsächlich ist. Sehen Sie, wie ROOTKey KI-Trainingsdaten verankert, damit sich die Aussagen der Dokumentation unabhängig überprüfen lassen.