Introdução
As fichas de modelo (model cards) tornaram-se uma prática corrente por boas razões: obrigam as equipas a registar por escrito para que serve um modelo, que dados o treinaram, quais são as suas limitações conhecidas e como foi avaliado. Essa disciplina tem valor. É também, por si só, inverificável. Uma ficha de modelo é um documento redigido pela mesma organização a quem se pede que preste contas sobre o modelo - e, como qualquer documento autodeclarado, pode estar incompleta, desatualizada ou simplesmente errada, sem que o leitor disponha de uma forma independente de saber qual destas situações se verifica.
O que uma ficha de modelo estabelece de facto
No melhor dos casos, uma ficha de modelo é uma afirmação bem organizada: eis o que acreditamos sobre os dados de treino, a utilização prevista e as limitações deste modelo, à data em que este documento foi redigido. Não é um comprovativo. Não prova que os dados de treino descritos são os dados de treino efetivamente utilizados, que os dados não mudaram desde então, nem que os resultados de avaliação apresentados refletem a versão do modelo atualmente em produção e não uma versão anterior, por a ficha nunca ter sido atualizada para a refletir. Perante um escrutínio regulatório crescente - com os requisitos de documentação dos artigos 10.º e 11.º do AI Act da UE à cabeça - o fosso entre uma afirmação bem redigida e uma afirmação demonstrável é exatamente onde se concentra o risco sancionatório.
As três lacunas sobre as quais os reguladores estão a aprender a perguntar
Primeiro, a atualidade: esta ficha de modelo foi atualizada quando o modelo foi retreinado ou submetido a fine-tuning, ou descreve uma versão anterior? Segundo, a verificação da origem: existe alguma forma de confirmar que os dados de treino descritos são de facto os que foram utilizados, independentemente daquilo que o próprio documento afirma? Terceiro, a deteção de alterações: se os dados de treino subjacentes fossem alterados depois de a ficha de modelo ter sido redigida, alguém - incluindo a equipa que a redigiu - saberia necessariamente?
A proveniência é uma camada à parte, não uma ficha de modelo melhor
Colmatar estas lacunas não significa redigir fichas de modelo mais detalhadas. Significa acrescentar, por baixo da documentação, uma camada capaz de verificar de forma independente aquilo que a documentação afirma: a ancoragem criptográfica do conjunto de dados de treino efetivamente utilizado, no momento em que é utilizado, para que a origem dos dados e qualquer alteração posterior sejam demonstráveis, e não apenas descritas. Uma ficha de modelo acompanhada deste tipo de registo verificável deixa de ser uma afirmação em que o auditor tem de confiar e passa a ser uma afirmação que o auditor pode verificar.
- As fichas de modelo documentam a intenção e as decisões de conceção - não foram concebidas para provar nada de forma independente
- A utilidade de uma ficha de modelo como prova degrada-se no momento em que um modelo é retreinado sem uma atualização correspondente
- A ancoragem criptográfica dos dados de treino colmata o fosso entre o que uma ficha de modelo afirma e o que pode de facto ser verificado
- Os reguladores distinguem cada vez mais entre documentação e prova - as empresas devem preparar-se para essa distinção agora, e não depois de uma auditoria a pôr a nu
A documentação descreve o que um modelo deveria ser. Só a proveniência verificável pode provar o que ele é de facto. Veja como a ROOTKey ancora os dados de treino de IA para que as afirmações da documentação possam ser verificadas de forma independente.