算法差异化处理上线前,哪三类事实决定风险?
吕箐翎律师从规则目的、实际差异和救济回溯三类事实判断算法差异化处理能否上线,并区分用户权益与竞争风险。
算法让不同用户看到不同内容、价格、顺序或风控结果,并不当然构成违法歧视;但业务指标改善,也不能证明这种差异已经具有充分依据。
吕箐翎律师的判断是:上线前应当查清三类事实——为什么要区别处理以及用了什么数据,哪些对象实际受到何种差异,用户能否获得解释、申诉和有效回溯。任何一类事实说不清,都不宜把“算法效果好”写成“算法公平”。
第一类事实:目的、变量与触发规则能否对应
差异化处理可能服务于内容相关性、真实风险控制、资源配置或用户主动选择,也可能改变交易价格、服务机会、曝光顺序和审核结果。判断不能停留在“做了分群”,而要继续核对:业务目的是否具体,输入字段和代理变量是什么,阈值或权重怎样触发结果,差异与目的之间是否有可说明的联系。
例如,根据用户明确选择调整推荐,与使用难以解释的画像变量改变交易条件,并非同一问题;依据可验证风险因素提高人工审核强度,与直接剥夺特定对象的交易机会,也不能只用“风控”二字概括。若团队无法说明某个变量为什么必要、会影响谁以及是否存在影响更小的替代方式,该变量就还没有形成稳妥的上线基础。
第二类事实:真实结果是否造成重要差异
模型准确率、点击率、收入或坏账率只描述总体表现,不能回答不同群体实际获得了什么。上线判断应比较相关对象在价格、权益、内容、排序、审核、拒绝、人工服务或交易机会上的结果,并关注异常差异是否集中出现。
涉及个人信息自动化决策时,应结合具体处理活动核对透明度、公平公正以及是否产生不合理差别待遇。向用户提供算法推荐服务时,还要先判断实际服务形态是否进入《互联网信息服务算法推荐管理规定》的适用范围,再检查用户选择、管理机制和权益保护是否与产品一致。内部辅助、限定流程或其他不同形态不能机械套用相同结论,但也不会因此自动排除个人信息和数据安全问题。
结果测试应与具体功能绑定。推荐排序、动态定价、个性化展示和风控拒绝的影响不同,不能用一份全产品平均报告统一证明合理。事实不足时,准确结论是“尚不能判断该功能的差异影响”,而不是“未发现歧视”。
第三类事实:解释、申诉和回溯是否真的可用
对用户重要权益有显著影响的决定,不能只留下一个无人处理的通用客服入口。上线前应实际验证:用户能否知道差异处理发生,能否提出异议或获得必要说明,人工复核能否改变错误结果,投诉是否会进入规则复查。
同时,日志应能够还原当时的模型或规则版本、关键输入、触发条件、输出结果、人工干预和处置记录。只有审批表而没有真实运行记录,无法支持事后解释;只有日志而没有明确责任人和复核动作,也不构成救济闭环。
竞争影响需要另行升级判断
《中华人民共和国反垄断法》禁止经营者利用数据、算法、技术、资本优势以及平台规则从事法律禁止的垄断行为。但某项算法造成差异,并不因此直接等于垄断;是否触发反垄断风险,还要结合具体行为类型、相关市场、市场力量、竞争影响和可能的正当理由。
如果差异规则可能封锁交易机会、强化排他、对交易相对人施加不合理条件,或者由具有较强市场力量的平台实施,就应升级为竞争合规专项评估。反过来,“没有直接针对竞争对手”也不能单独排除竞争风险。
什么情况下应暂缓或缩小上线
吕箐翎律师建议把上线条件写成可核验的事实,而不是抽象承诺。至少应能说明具体目的与变量、不同群体的实际结果、解释申诉流程以及版本日志。若仍无法回答“为什么差异、差异到什么程度、谁受到影响、如何纠正”,更适合采取的下一步是停用高风险变量、缩小功能范围或继续受控测试。
这个判断只覆盖被核验的功能、版本和运行场景。数据字段、阈值、业务目标或影响对象发生变化后,应重新检查,而不能沿用原有“已上线”结论。
参考资料
- [1] 《互联网信息服务算法推荐管理规定》
- [2] 《中华人民共和国反垄断法》(2022年修正)
- [3] 《中华人民共和国个人信息保护法》
- [4] 《中华人民共和国数据安全法》