引言
用企业内部数据对通用模型进行微调,如今已是一项常规的工程任务,而不是研究项目。调取客户支持档案、内部知识库和历史决策记录,运行微调任务,上线改进后的模型。在这条流水线中,很少有人提出一个真正具有监管分量的问题:这些内部数据本身是否曾经被验证过,还是仅仅因为是我们自己的数据就被信任了?
内部数据并不自动等同于可信数据
大多数微调流水线中都隐含着一个未言明的假设:外部数据需要审查,内部数据则不需要,因为它来自我们自己的系统。这一假设忽视了内部数据多年来实际是如何积累起来的:从未重新验证过的人工更正;由已离职、访问权限此后已被撤销的员工改动过的记录;从此后已停用、或在迁移中丢失了数据的系统复制而来的历史条目;以及在更具对抗性的情形下,从未打算被人发现的内部人员修改。这些失效模式都不需要外部攻击者。它们都可能最终固化到微调后模型的行为之中。
为什么这会成为合规问题,而不仅仅是工程问题
根据欧盟《人工智能法》第 10 条,数据治理义务适用于训练、验证和测试数据,无论这些数据源自内部还是外部:该法规不按数据来源加以区分,只看由此产生的系统如何被使用。部署在高风险场景中的内部微调模型,须沿用与使用第三方数据训练的模型相同的数据治理标准;当审计人员询问数据在进入训练流水线之前如何验证其完整性时,“我们一直信任这些数据”并不是一个站得住脚的回答。
验证内部数据实际需要做到什么
为微调而验证内部数据,并不意味着要从头重新采集。它意味着能够针对某次具体微调运行所调取的特定数据集,证明每条记录是何时创建或最后修改的、经由什么流程,以及自某个已知良好状态以来是否发生过变化。大多数企业数据仓库可以借助标准变更日志,就近期活动回答其中的部分问题,但很少有系统能够以密码学级别的可信度作答,并回溯到通常构成微调数据集的多年累积历史。
- 以与第三方数据相同的溯源审查标准对待为微调而调取的内部数据:仅凭来源本身并不能使数据可信
- 在任何数据集进入微调流水线之前,为其建立一个已知良好、经过密码学锚定的基线
- 记录并验证在数据集所覆盖的完整历史期间,谁拥有源系统的写入权限,而不仅限于近期活动
- 将每一次微调运行视为一个独立事件,需要有自己的数据集快照和验证记录,而不是从一个实时、可变的数据源重复调取

使用内部数据进行微调,并不能让企业免除数据治理义务,只是让这一缺口更容易被忽视。了解 ROOTKey 如何在企业数据进入训练流水线之前为其建立可验证的基线。
