Como criar uma pista de auditoria de decisões de IA que resista, de facto, ao escrutínio regulamentar

Registar que um modelo tomou uma decisão não é o mesmo que provar porquê, com que dados e se é possível confiar nesses dados.

7 min de leituraConformidade · Confiança
Banner do artigo do blog: Como criar uma pista de auditoria de decisões de IA que resista, de facto, ao escrutínio regulamentar

Introdução

A maioria das organizações que utilizam IA numa decisão regulada - avaliação de crédito, triagem de candidatos a emprego, subscrição de seguros, sinalização de fraude - já regista alguma coisa. Um carimbo temporal, uma entrada, uma saída, talvez o número de versão de um modelo. Quando, meses depois, um regulador ou uma pessoa afetada contesta essa decisão, esse registo raramente é suficiente. A pergunta que realmente é feita não é «o que é que o modelo produziu», mas sim «consegue provar que o modelo que produziu esta decisão estava a operar sobre os dados com que devia estar a operar, sem alterações, no momento em que a tomou». A maior parte da infraestrutura de registo existente nunca foi construída para responder a isso.

O que exige, na prática, uma pista de auditoria à altura de um regulador

A decisão, a versão do modelo e os dados têm de estar ligados - de forma permanente

Uma pista de auditoria defensável liga três elementos no momento da decisão: a entrada e a saída concretas, a versão exata do modelo que a produziu (e não uma etiqueta móvel como «production», que aponta silenciosamente para pesos diferentes ao longo do tempo) e o estado específico de quaisquer dados de referência ou de treino em que o modelo se baseou. Se qualquer um destes três elementos puder variar de forma independente dos outros no registo histórico, a cadeia quebra-se e uma decisão contestada não pode ser reconstruída com confiança.

O registo tem de tornar detetável qualquer adulteração, e não ser apenas de acréscimo

O registo só de acréscimo (append-only) é uma boa base, mas, por si só, não prova que nada foi alterado - apenas torna mais difícil alterá-lo de forma casual. Uma pista de auditoria à altura de um regulador exige que qualquer modificação ao registo histórico, independentemente da forma como tenha ocorrido, seja criptograficamente detetável. É esta a diferença entre um registo em que um engenheiro confia porque foi ele que o construiu e um registo que um auditor externo consegue verificar de forma independente, sem ter de confiar na palavra da organização.

A retenção tem de sobreviver ao prazo de contestação, não ao ciclo de vida do modelo

As versões dos modelos são descontinuadas e retiradas segundo um calendário de engenharia. Os prazos de contestação regulamentar e judicial não seguem esse calendário - uma decisão de recrutamento ou uma recusa de crédito podem ser contestadas muito depois de o modelo que as tomou ter sido substituído. Uma arquitetura de pista de auditoria que associe a retenção dos registos ao ciclo de vida do modelo, e não ao prazo legal de contestação aplicável, terá lacunas precisamente onde mais importam.

Onde isto se liga à proveniência dos dados, e não apenas ao registo

Uma pista de auditoria que regista fielmente uma decisão, mas não consegue verificar de forma independente a integridade dos dados que lhe estão subjacentes, resolveu apenas metade do problema. Se os próprios dados de treino ou de referência puderem ter sido alterados sem deteção, então até uma pista de decisões perfeitamente registada assenta numa base que não pode ser verificada. Os dois problemas - registo das decisões e integridade dos dados - têm de ser resolvidos em conjunto, ancorados na mesma raiz criptográfica; caso contrário, a afirmação mais forte da pista de auditoria reduz-se a «não reparámos em nada de errado», o que não é o mesmo que uma prova.

  1. Associar cada registo de decisão a uma versão de modelo específica e imutável - nunca a uma etiqueta móvel
  2. Ancorar o estado dos dados de referência e de treino juntamente com a decisão, e não num sistema separado e desligado
  3. Tornar criptograficamente detetável qualquer alteração ao registo histórico, e não apenas garantir que é só de acréscimo
  4. Definir a retenção em função do prazo legal de contestação aplicável, e não do ciclo de vida de implementação do modelo
Diagrama abstrato que mostra um registo de decisão ancorado criptograficamente tanto a uma versão do modelo como a um estado dos dados.
Uma pista de auditoria defensável liga a decisão, o modelo e os dados a um único ponto de ancoragem.

Um registo de decisões que não consegue provar de forma independente a integridade dos dados que lhe estão subjacentes não é uma pista de auditoria - é uma alegação. Veja como a ROOTKey ancora decisões, versões de modelos e o estado dos dados num único registo verificável.

Partilhar LinkedIn X
Todos os artigos

Fique a par

Receba insights de
ciber-resiliência no seu email.

Orientação prática e pronta para auditoria sobre integridade de dados, conformidade e continuidade - à medida que publicamos.