Ajuste fino de LLM com dados empresariais não verificados: o risco de conformidade que ninguém está a cobrir

Qualquer empresa que faça o ajuste fino de um modelo com dados internos está a fazer uma afirmação implícita sobre a integridade desses dados. A maioria não verificou se essa afirmação é verdadeira.

AutorROOTKey
6 min de leituraSegurança · Empresas
Banner do artigo do blog: Ajuste fino de LLM com dados empresariais não verificados: o risco de conformidade que ninguém está a cobrir

Introdução

O ajuste fino de um modelo de finalidade geral com dados internos da empresa é hoje uma tarefa de engenharia de rotina, e não um projeto de investigação. Extraem-se o arquivo do apoio ao cliente, a base de conhecimento interna e os registos históricos de decisões, executa-se o processo de ajuste fino e coloca-se o modelo melhorado em produção. O que raramente se pergunta nesse pipeline é uma questão com verdadeiro peso regulatório: estes dados internos foram alguma vez verificados, ou simplesmente se confiou neles por serem nossos?

Dados internos não são automaticamente dados fiáveis

A maioria dos pipelines de ajuste fino assenta num pressuposto silencioso: os dados externos precisam de ser escrutinados, os internos não, porque vieram dos nossos próprios sistemas. Esse pressuposto ignora a forma como os dados internos se acumulam realmente ao longo dos anos - correções manuais que nunca foram revalidadas, registos alterados por colaboradores que entretanto saíram e cujo acesso foi revogado, entradas históricas copiadas de sistemas que entretanto foram descontinuados ou migrados com perda de dados e, no cenário mais hostil, modificações feitas por pessoas da própria organização que nunca foram pensadas para ser detetadas. Nenhum destes modos de falha exige um atacante externo. Todos podem acabar entranhados no comportamento de um modelo submetido a ajuste fino.

Porque é que isto se torna um problema de conformidade, e não apenas de engenharia

Nos termos do artigo 10.º do AI Act da UE, as obrigações de governação de dados aplicam-se aos dados de treino, validação e teste, independentemente de esses dados terem origem interna ou externa - o regulamento não distingue em função da origem dos dados, apenas em função da forma como o sistema resultante é utilizado. Um modelo interno submetido a ajuste fino e implementado num contexto de risco elevado herda o mesmo nível de exigência em governação de dados que um modelo treinado com dados de terceiros, e «sempre confiámos nestes dados» não é uma resposta defensável quando um auditor pergunta como foi verificada a integridade dos dados antes de entrarem no pipeline de treino.

O que a verificação de dados internos exige realmente

Verificar dados internos para ajuste fino não significa recolhê-los de novo a partir do zero. Significa conseguir demonstrar, para o conjunto de dados específico extraído para uma determinada execução de ajuste fino, quando cada registo foi criado ou modificado pela última vez, através de que processo, e se foi alterado desde um estado conhecido como íntegro. A maioria dos data warehouses empresariais consegue responder a parte disto para a atividade recente através dos registos de alterações habituais, mas poucos conseguem responder com confiança criptográfica que recue ao longo dos anos de histórico acumulado que normalmente alimentam um conjunto de dados de ajuste fino.

  1. Aplicar aos dados internos extraídos para ajuste fino o mesmo escrutínio de proveniência que aos dados de terceiros - a origem, por si só, não confere fiabilidade
  2. Estabelecer uma base de referência conhecida como íntegra e ancorada criptograficamente para qualquer conjunto de dados antes de este entrar num pipeline de ajuste fino
  3. Documentar e verificar quem teve acesso de escrita aos sistemas de origem ao longo de todo o histórico abrangido pelo conjunto de dados, e não apenas na atividade recente
  4. Tratar cada execução de ajuste fino como um evento que exige o seu próprio instantâneo do conjunto de dados e o seu próprio registo de verificação, e não como uma nova extração de uma fonte ativa e mutável
Diagrama abstrato que mostra dados internos a fluir para um pipeline de ajuste fino, com uma lacuna não verificada em destaque.
Interno não significa verificado. Os pipelines de ajuste fino herdam todas as lacunas de integridade que já existem nos dados da empresa.

O ajuste fino com dados internos não isenta uma empresa das obrigações de governação de dados - apenas torna a lacuna mais fácil de ignorar. Veja como a ROOTKey estabelece uma base de referência verificável para os dados empresariais antes de entrarem num pipeline de treino.

Partilhar LinkedIn X
Todos os artigos

Fique a par

Receba insights de
ciber-resiliência no seu email.

Orientação prática e pronta para auditoria sobre integridade de dados, conformidade e continuidade - à medida que publicamos.