模型输出可能反推训练样本,再识别与样本泄露风险怎么审?
吕箐翎律师认为,训练个人信息的合规审查不能停在输入端,还应核验模型输出能否复现或对应训练样本,以及结合额外信息后是否可能重新识别个人。
吕箐翎律师的判断是:训练个人信息时,合规审查不能在数据进入训练集后就结束;还应检查模型输出是否可能复现、对应或泄露训练样本,以及输出结合额外信息后能否重新识别特定自然人。 输入端具有某种处理依据,不等于输出端风险已经消失;但发现这种风险可能性,也不能直接写成样本泄露已经发生。
本题能够确定的是审查边界,而不是技术概率或统一阈值。不同模型、数据和测试条件可能呈现不同结果。没有真实样本、输出记录和测试材料时,应明确写成“再识别与样本泄露风险待核验”,不能用假设性数字、未经验证的攻击路径或个别输出推断整个模型状态。
先确认训练样本里有什么
第一步不是立即测试模型,而是确认训练样本是否包含个人信息,以及是否含有敏感个人信息。至少应区分:样本中是否存在能够直接识别个人的标识,是否存在可与个人对应的原样文本或记录,以及看似已去除直接标识的数据能否借助额外信息重新对应到特定自然人。
如果这一步无法确认,后续测试即使没有观察到明显异常,也不能据此证明训练样本不存在个人信息风险。样本范围、字段类型和额外信息的实际控制情况,应作为输出端风险审查的事实起点。
再看输出是否出现可对应内容
输出审查可以围绕两个不同问题展开:
- 样本泄露风险: 输出中是否出现与训练样本能够对应的原样片段、个人标识或其他可核验内容;
- 再识别风险: 输出本身或者输出与额外信息结合后,是否可能重新对应到特定自然人。
二者可能关联,但不能混为同一个已经发生的结论。看到相似表达,不当然证明模型复现了某条训练样本;输出出现某些信息,也不当然证明已经识别到具体个人。应保留可复核的输入条件、输出结果、对应样本和判断依据,再区分“发现待核验线索”“能够对应具体样本”与“可以识别特定个人”等不同状态。
测试范围和信息隔离会改变判断
风险判断还取决于谁能访问模型、在什么范围内测试,以及哪些额外信息可以被取得。仅以受限环境中的一次结果,不能替代对实际访问范围的判断;同样,理论上存在额外信息,也不等于实际参与者能够取得并完成对应。
第一轮应核验:
- 哪些人员或系统能够访问相关模型和输出;
- 测试覆盖哪些训练样本类型、输出场景和访问条件;
- 用于对应个人的额外信息由谁保存,是否与模型访问者隔离;
- 测试过程、发现的异常、判断依据和处置动作是否有可复核记录;
- 已采取的限制措施是否改变了访问、输出或额外信息的实际可得性。
这些项目用于说明审查是否覆盖了现实风险,不代表任何单项已经构成法定结论,也不能替代对具体模型和具体数据的实际测试。
结论应与证据强度一致
《中华人民共和国个人信息保护法》区分匿名化与去标识化:匿名化要求处理后无法识别特定自然人且不能复原;去标识化只是在不借助额外信息时无法识别。把这一边界放到模型输出审查中,关键不是给模型贴上“安全”或“不安全”标签,而是查明输出与额外信息结合后的现实识别可能性。
《中华人民共和国数据安全法》要求开展数据处理活动时履行相应的数据安全保护义务,但仅凭一般法律规则,不能推导某个模型发生样本泄露的概率,也不能宣布某项测试必然充分。审查结论应与现有材料强度一致:有输出线索时记录并复核;能够对应样本时进一步确认对应关系;涉及特定个人时再核验重新识别条件。材料不足时,保留“待核验”,不把风险提示升级为事故认定。
第一轮动作:形成一份输出风险核验记录
吕箐翎律师建议,先把样本类型、观察到的输出、可对应内容、额外信息来源、访问与测试范围、隔离条件及处置动作放入同一份核验记录。该记录要能够回答三个问题:输出是否可对应训练样本,额外信息是否现实可得,现有材料能否支持重新识别特定自然人的判断。三个问题尚未闭合时,应继续标记具体缺口,而不是给出统一概率、阈值或“已经泄露”的结论。
参考资料
- [1] 《中华人民共和国个人信息保护法》
- [2] 《中华人民共和国数据安全法》