Introducción
La mayoría de las organizaciones que despliegan IA en una decisión regulada - calificación crediticia, selección de candidatos, suscripción de seguros, señalización de fraude - ya registran algo. Una marca de tiempo, una entrada, una salida, quizá el número de versión de un modelo. Cuando, meses después, un regulador o una persona afectada impugna esa decisión, ese registro rara vez basta. La pregunta que realmente se plantea no es «qué produjo el modelo», sino «¿puede demostrar que el modelo que produjo esta decisión operaba sobre los datos sobre los que debía operar, sin alteraciones, en el momento en que la tomó?». La mayor parte de la infraestructura de registro existente nunca se diseñó para responder a eso.
Qué exige realmente una pista de auditoría a la altura de un regulador
La decisión, la versión del modelo y los datos deben estar vinculados - de forma permanente
Una pista de auditoría defendible conecta tres elementos en el momento de la decisión: la entrada y la salida concretas, la versión exacta del modelo que la produjo (no una etiqueta móvil como «production», que apunta silenciosamente a pesos distintos con el paso del tiempo) y el estado específico de cualquier dato de referencia o de entrenamiento en el que se basó el modelo. Si cualquiera de estos tres elementos puede variar con independencia de los demás en el registro histórico, la cadena se rompe y una decisión impugnada no puede reconstruirse con confianza.
El registro debe hacer evidente cualquier manipulación, no basta con que sea de solo adición
El registro de solo adición (append-only) es una buena base, pero por sí solo no demuestra que no se haya alterado nada - solo hace más difícil alterarlo de forma casual. Una pista de auditoría a la altura de un regulador exige que cualquier modificación del registro histórico, se haya producido como se haya producido, sea detectable criptográficamente. Esa es la diferencia entre un registro en el que un ingeniero confía porque lo construyó él y un registro que un auditor externo puede verificar de forma independiente sin tener que fiarse de la palabra de la organización.
La conservación debe sobrevivir al plazo de impugnación, no al ciclo de vida del modelo
Las versiones de los modelos quedan obsoletas y se retiran según un calendario de ingeniería. Los plazos de impugnación regulatoria y judicial no siguen ese calendario - una decisión de contratación o una denegación de crédito pueden impugnarse mucho después de que el modelo que las tomó haya sido sustituido. Una arquitectura de pista de auditoría que vincule la conservación de los registros al ciclo de vida del modelo, en lugar de al plazo legal de impugnación aplicable, tendrá lagunas justo donde más importan.
Dónde enlaza esto con la procedencia de los datos, y no solo con el registro
Una pista de auditoría que registra fielmente una decisión, pero que no puede verificar de forma independiente la integridad de los datos que la sustentan, solo ha resuelto la mitad del problema. Si los propios datos de entrenamiento o de referencia pudieron alterarse sin que se detectara, incluso una pista de decisiones registrada a la perfección se asienta sobre una base que no se puede verificar. Los dos problemas - el registro de las decisiones y la integridad de los datos - deben resolverse juntos, anclados a la misma raíz criptográfica; de lo contrario, la afirmación más sólida de la pista de auditoría se reduce a «no detectamos nada anómalo», lo cual no es lo mismo que una prueba.
- Vincular cada registro de decisión a una versión de modelo específica e inmutable - nunca a una etiqueta móvil
- Anclar el estado de los datos de referencia y de entrenamiento junto con la decisión, no en un sistema aparte y desconectado
- Hacer que cualquier alteración del registro histórico sea detectable criptográficamente, no limitarse a que sea de solo adición
- Fijar la conservación en función del plazo legal de impugnación aplicable, no del ciclo de vida de despliegue del modelo
Un registro de decisiones que no puede demostrar de forma independiente la integridad de los datos que lo sustentan no es una pista de auditoría - es una afirmación. Vea cómo ROOTKey ancla decisiones, versiones de modelos y el estado de los datos en un único registro verificable.