Einführung
Die meisten Organisationen, die KI für regulierte Entscheidungen einsetzen - Kreditscoring, Bewerbervorauswahl, Versicherungs-Underwriting, Markierung von Betrugsverdachtsfällen -, protokollieren bereits etwas. Einen Zeitstempel, eine Eingabe, eine Ausgabe, vielleicht eine Modellversionsnummer. Wenn eine Aufsichtsbehörde oder eine betroffene Person diese Entscheidung Monate später anficht, reicht dieses Protokoll selten aus. Die Frage, die tatsächlich gestellt wird, lautet nicht „Was hat das Modell ausgegeben?“, sondern „Können Sie nachweisen, dass das Modell, das diese Entscheidung getroffen hat, zum Zeitpunkt der Entscheidung mit genau den Daten gearbeitet hat, mit denen es arbeiten sollte, und zwar unverändert?“ Die meisten bestehenden Protokollierungsinfrastrukturen wurden nie dafür gebaut, diese Frage zu beantworten.
Was ein Audit-Trail, der vor der Aufsicht besteht, tatsächlich erfordert
Entscheidung, Modellversion und Daten müssen verknüpft sein - dauerhaft
Ein belastbarer Audit-Trail verbindet im Moment der Entscheidung drei Dinge: die konkrete Eingabe und Ausgabe, die exakte Modellversion, die sie erzeugt hat (kein gleitendes Label wie „production“, das im Laufe der Zeit stillschweigend auf andere Gewichte verweist), und den konkreten Stand aller Referenz- oder Trainingsdaten, auf die sich das Modell gestützt hat. Kann sich auch nur eines dieser drei Elemente in der historischen Aufzeichnung unabhängig von den anderen verändern, reißt die Kette, und eine angefochtene Entscheidung lässt sich nicht mehr verlässlich rekonstruieren.
Die Aufzeichnung muss Manipulationen erkennbar machen, nicht nur Append-only sein
Append-only-Protokollierung ist eine gute Grundlage, beweist für sich genommen aber nicht, dass nichts verändert wurde - sie erschwert lediglich beiläufige Änderungen. Ein Audit-Trail, der vor der Aufsicht besteht, verlangt, dass jede Änderung an der historischen Aufzeichnung, wie auch immer sie zustande kam, kryptografisch erkennbar ist. Das ist der Unterschied zwischen einem Protokoll, dem ein Entwickler vertraut, weil er es selbst gebaut hat, und einem Protokoll, das ein externer Prüfer unabhängig verifizieren kann, ohne sich auf das Wort der Organisation verlassen zu müssen.
Die Aufbewahrung muss die Anfechtungsfrist überdauern, nicht den Lebenszyklus des Modells
Modellversionen werden nach einem technischen Zeitplan abgekündigt und außer Betrieb genommen. Regulatorische und rechtliche Anfechtungsfristen folgen diesem Zeitplan nicht - eine Einstellungsentscheidung oder eine Kreditablehnung kann noch lange angefochten werden, nachdem das Modell, das sie getroffen hat, ersetzt wurde. Eine Audit-Trail-Architektur, die die Aufbewahrung der Aufzeichnungen an den Lebenszyklus des Modells statt an die geltende rechtliche Anfechtungsfrist knüpft, weist genau dort Lücken auf, wo es am meisten darauf ankommt.
Die Verbindung zur Datenherkunft, nicht nur zur Protokollierung
Ein Audit-Trail, der eine Entscheidung getreu aufzeichnet, die Integrität der zugrunde liegenden Daten aber nicht unabhängig verifizieren kann, hat nur die Hälfte des Problems gelöst. Wenn die Trainings- oder Referenzdaten selbst unbemerkt verändert worden sein könnten, steht selbst ein perfekt protokollierter Entscheidungspfad auf einem nicht überprüfbaren Fundament. Beide Probleme - Entscheidungsprotokollierung und Datenintegrität - müssen gemeinsam gelöst und in derselben kryptografischen Wurzel verankert werden, sonst schrumpft die stärkste Aussage des Audit-Trails auf „Uns ist nichts Ungewöhnliches aufgefallen“ zusammen, und das ist kein Nachweis.
- Jeden Entscheidungsdatensatz an eine bestimmte, unveränderliche Modellversion binden - niemals an ein gleitendes Label
- Den Stand der Referenz- und Trainingsdaten zusammen mit der Entscheidung verankern, nicht in einem separaten, abgekoppelten System
- Jede Änderung an der historischen Aufzeichnung kryptografisch erkennbar machen, statt sie nur Append-only zu führen
- Die Aufbewahrung an der geltenden rechtlichen Anfechtungsfrist ausrichten, nicht am Einsatzlebenszyklus des Modells

Ein Entscheidungsprotokoll, das die Integrität der zugrunde liegenden Daten nicht unabhängig nachweisen kann, ist kein Audit-Trail - es ist eine Behauptung. Sehen Sie, wie ROOTKey Entscheidungen, Modellversionen und Datenstand in einem einzigen, verifizierbaren Datensatz verankert.
