算法上线前,怎样判断差异化处理是否构成歧视风险?
吕箐翎律师认为,推荐、定价、展示或风控算法采用差异化规则,并不当然违法;上线前应核对处理目的、数据基础、分层规则、交易条件差异、影响对象、解释申诉、日志留痕与竞争影响。
算法对不同用户采取不同推荐、价格、展示顺序或风控措施,并不当然构成违法歧视;但“模型效果更好”也不能证明差异化处理已经合规。
吕箐翎律师的判断是:上线前应把算法的处理目的、数据基础、分层规则、差异结果和影响对象逐项对应,再判断是否触及自动化决策中的不合理差别待遇、算法推荐服务的用户权益要求,或者需要进一步开展竞争合规评估。若企业只能展示转化率、点击率或坏账率,却无法解释谁被怎样区别对待、依据是什么、如何申诉和回溯,就还没有形成可靠的上线结论。
先区分“合理分层”和“不合理差别待遇”
算法差异化本身只是技术和业务事实。按用户明确选择调整内容、根据客观风险因素设置审核强度、为不同履约条件匹配不同方案,可能有可说明的目的和依据;相反,同一交易条件下仅因用户画像、消费习惯或难以解释的代理变量而形成不合理的价格、权益或机会差异,风险会明显上升。
因此,上线审查不能停在“有没有分群”。更关键的问题是:分层服务于什么具体目的,采用哪些数据和变量,不同群体实际获得了什么结果,差异与目的之间是否具有可说明的联系,是否存在影响更小的替代规则。不能把所有差异化一概定性为违法,也不能用“系统自动算的”回避对规则和结果的说明。
用五组问题拆开上线判断
| 核对维度 | 上线前需要回答什么 | 不能替代判断的材料 |
|---|---|---|
| 目的 | 是提升相关性、控制真实风险、配置资源,还是改变价格、排序、曝光或交易机会 | 只写“提升用户体验”或“业务优化” |
| 数据与规则 | 使用哪些字段、标签和代理变量,数据来源与处理目的是否匹配,阈值和权重如何触发差异 | 仅有模型名称、总体准确率或供应商说明 |
| 差异结果 | 不同群体在价格、条件、内容、审核、拒绝或人工服务上实际受到什么影响 | 只有平均转化率、收入或坏账率 |
| 用户救济 | 用户能否理解关键影响、提出异议、申请解释或进入有效人工复核 | 只有一条无人处理的通用客服入口 |
| 回溯与复查 | 能否还原当时版本、输入、规则、输出、人工干预与投诉处置,并持续观察异常差异 | 只有上线审批表,没有真实运行记录 |
这五组问题应针对具体功能分别作答。推荐排序、动态定价、个性化展示和风控拒绝的影响不同,不能用一份笼统的“算法伦理说明”同时覆盖。产品版本、数据字段或阈值发生实质变化时,原有判断也不能自动沿用。
涉及个人信息自动化决策,公平透明与交易条件要单独核对
《中华人民共和国个人信息保护法》对利用个人信息进行自动化决策提出透明、公平、公正要求,并要求不得在交易价格等交易条件上对个人实行不合理的差别待遇。对个人权益有重大影响的自动化决定,还涉及要求说明以及拒绝仅通过自动化决策作出决定等权利边界。
这意味着,企业不能只检查模型是否准确,还要确认算法是否使用个人信息作出决定,决定是否对个人权益产生重大影响,交易价格或其他条件是否出现难以合理说明的差异,以及产品是否提供与具体影响相匹配的解释和救济。所谓“千人千面”不是免责标签;但出现不同结果,也不能跳过适用条件直接认定违法。
推荐、展示与调度算法还要核对服务形态和用户权益
《互联网信息服务算法推荐管理规定》覆盖生成合成、个性化推送、排序精选、检索过滤、调度决策等算法技术向用户提供互联网信息服务的相关场景,并设置算法机制审核、用户权益保护等要求。企业应先确认自身服务是否进入该规定的适用范围,再把推荐逻辑、用户选择、关闭或管理机制、投诉处置和算法运行记录与实际产品对齐。
如果算法用于内部辅助、限定业务流程或其他不同服务形态,不能只因使用了推荐或评分技术就机械套用同一结论;但个人信息处理、数据安全和其他适用义务也不会因此当然消失。服务对象、功能开放范围和实际运营方式必须先被查清。
竞争影响是专项判断,不能由“差异化”三个字直接推出
算法差异也可能与平台规则、交易机会、排他安排或竞争秩序相连。《中华人民共和国反垄断法》明确,经营者不得利用数据和算法、技术、资本优势以及平台规则等从事法律禁止的垄断行为。但是否构成垄断行为,仍需结合具体行为类型、相关市场、市场力量、竞争效果和正当理由等事实判断。
因此,一项算法造成用户待遇不同,不等于已经构成反垄断违法;同样,“没有直接针对竞争对手”也不足以排除竞争风险。若差异规则可能封锁交易机会、强化排他、对交易相对人施加不合理条件,或者由具有较强市场力量的平台实施,应把它升级为竞争合规专项评估,而不是在普通产品评审中用一句“无歧视”结案。
上线前先补齐三类材料
第一,提交真实的规则说明:算法目的、数据字段、分层变量、阈值、版本和人工干预点。第二,提交分群结果与影响测试:不同群体获得的价格、条件、排序、拒绝或服务机会有何差异,异常差异如何识别。第三,完成救济与回溯验证:解释、申诉、人工复核是否可用,日志能否还原具体决定,投诉能否推动规则复查。
如果这三类材料仍不能说明“为何差异、差异到什么程度、谁受到影响、如何纠正”,更稳妥的下一步是缩小功能范围、停用高风险变量或继续受控测试,而不是先用效果指标证明上线合理。
主要依据
参考资料
- [1] 《互联网信息服务算法推荐管理规定》
- [2] 《中华人民共和国反垄断法》(2022年修正)
- [3] 《中华人民共和国个人信息保护法》
- [4] 《中华人民共和国数据安全法》