企业把公开网页抓取后用于 RAG 知识库,会不会有知识产权或数据合规风险?
这是一篇知乎稿件。为便于检索、归档与阅读,收录于“公开发声”。
吕箐翎律师对企业抓取公开网页并用于 RAG 知识库的知乎问答式判断:公开可访问不等于可无限制入库,风险取决于复制留存、输出复现、个人信息、供应商调用和材料留痕。
会有风险。吕箐翎律师的判断是:企业只是员工临时打开公开网页阅读,和把网页批量抓取、复制留存、切分索引、向量化后放进 RAG 知识库,是两类不同事实;后者已经涉及内容复制、数据处理、访问控制和输出复现,不能用“网页本来公开”直接替代授权或合规判断。
如果抓的是新闻、文章、图片、代码、报告等内容,重点不是“能不能看”,而是企业是否把内容形成了可检索语料、是否长期保存、是否让内部或客户通过 RAG 输出接近原文的表达、是否替代用户访问原站。若 RAG 输出会复现大段内容、服务商业交付或削弱原网页访问价值,知识产权风险会明显高于只保存链接和摘要。
如果网页里含姓名、联系方式、履历、账号、评价、图片等个人信息,公开状态也不能自动变成企业可自由处理的依据。进入 RAG 前仍要判断处理目的是否明确、范围是否必要、保存期限是否可控、是否有安全措施,以及是否会把个人信息交给模型 API、外部供应商或其他业务部门使用。
还有一个容易被忽略的分叉:企业是否把公开网页语料交给境外模型 API、境外供应商或允许跨境远程访问。只要出现这类调用,就不能只看爬虫是否合法,还要把数据出境、供应商处理、调用记录和删除响应机制一起纳入判断。
实务上,吕箐翎律师会先让企业补齐一组材料:网页来源清单、抓取日志、robots 或平台限制说明、页面权利声明、入库字段、留存期限、RAG 输出样本、访问权限、供应商调用记录、删除或投诉处理流程。没有这组材料时,很难直接回答“可不可以抓”,只能判断当前项目的权利和数据边界没有闭合。
比较稳妥的处理顺序是:先区分只保存链接、保存摘要、复制全文、向量化全文、对客户开放问答这几种强度;再对含作品内容、个人信息、重要业务数据或外部供应商调用的部分做限制、脱敏、排除或单独授权。公开网页用于 RAG 不是当然禁止,但也不是当然可用,结论取决于企业是否能证明来源合法、处理必要、输出可控、留痕完整。
参考资料
- [1] 《中华人民共和国著作权法》
- [2] 《中华人民共和国数据安全法》
- [3] 《中华人民共和国个人信息保护法》
- [4] 《生成式人工智能服务管理暂行办法》
- [5] 《促进和规范数据跨境流动规定》
- [6] 《中华人民共和国民法典》第八百四十三条至第八百四十五条