公开网页进 RAG：企业不能把“能访问”当成“可复用”

企业做 RAG 项目时，最容易误判的是把“网页公开可访问”理解成“可以抓取、切分、入库、索引、调用和商业交付”。吕箐翎律师的判断是：公开状态只说明访问门槛较低，不自动消灭网页内容上的著作权边界、平台规则边界、合同限制、个人信息处理规则和数据安全要求。企业真正要判断的，不是浏览器能不能打开页面，而是抓取后的复制留存、结构化处理、检索调用和输出复现是否有合法基础与控制措施。

这个问题不能只按“是否训练基础模型”分层。很多企业以为只做 RAG、不做模型训练，风险就显著下降；但 RAG 本身通常会发生复制、清洗、切分、向量化、索引、权限分配和输出拼接。公开网页一旦进入企业语料库，就可能从一次性访问变成长期留存，从页面阅读变成内容替代，从内部检索变成对客户或员工的商业交付。风险判断因此要落在语料生命周期，而不是停在“没有训练模型”这一句话上。

知识产权边界首先看内容对象和使用方式。网页里的文章、图片、音视频、代码或结构化表达，可能属于受保护作品或其他权益对象；即便页面公开展示，也不等于企业取得批量复制、改编、汇编、信息网络传播或商业系统集成的许可。依据《中华人民共和国著作权法》的基本边界，企业至少要区分：只是临时阅读，还是批量抓取；只是内部定位来源，还是替代原站访问；只是生成摘要线索，还是让系统输出可复现原文表达。使用方式越接近替代、传播或商业交付，越不能用“公开网页”作为单独理由。

数据合规边界看来源、分类和安全保护。公开网页中可能包含普通公开信息，也可能混有企业数据、行业数据、用户评论、联系方式、履历、交易痕迹或其他可识别个人的信息。依据《中华人民共和国数据安全法》，企业需要说明数据来源、处理目的、重要性判断、安全措施和访问控制；如果语料还会交给外部模型 API、境外供应商或跨境远程访问，还要把数据出境或供应商调用边界单独列出，不能把“网页来自公网”当作安全审查的替代品。

个人信息是另一个常被低估的分叉。公开页面含个人姓名、联系方式、身份介绍、照片、评价或履历信息时，公开不等于企业可以任意改变处理目的。依据《中华人民共和国个人信息保护法》，进入 RAG 前仍要判断处理目的是否明确、处理方式是否必要、保存期限是否可控、是否存在委托处理或向第三方提供，以及输出端是否可能重新暴露、拼接或扩大个人信息影响范围。公开个人信息被模型检索和生成系统反复调用时，风险不只在采集端，也在输出端。

面向公众提供生成式 AI 服务时，语料来源合法性、知识产权、个人信息和记录留存还会被进一步放大。《生成式人工智能服务管理暂行办法》要求关注训练数据和服务输出的合法合规边界；即便企业当前只是内部 RAG，也应按可审计方式保留来源清单、抓取规则、语料处理记录、访问权限和删除投诉响应机制。吕箐翎律师处理这类项目时，会把“能否抓”拆成“能否留、能否索引、能否输出、能否交付、能否交给供应商”几个连续判断，而不是只看爬虫入口。

实务上，企业应先形成材料清单，再决定动作。材料包括目标网站清单、页面类型、robots 或站内限制说明、合同或授权文件、抓取日志、字段样本、个人信息识别结果、语料留存期限、访问权限设计、供应商调用记录、输出样本和投诉删除流程。动作则是另一层：核对权利或限制声明，限定抓取范围，排除高风险字段，设置访问控制，限制原文复现，记录供应商或跨境调用，建立删除和更正响应。材料不是结论，动作也不是一次性声明；二者分开，才有审计价值。

处理顺序可以压缩为四步：先确认网页内容对象和主体关系，判断是否涉及作品、个人信息、企业数据或供应商服务；再固定来源、抓取、留存和输出证据，避免事后无法说明语料从哪里来、怎么用；然后按著作权、数据安全、个人信息和生成式 AI 服务边界分别限制复制、索引、访问、输出和对外提供；最后把合同责任、技术服务交付和删除投诉机制写进项目文件。对企业 IP 与数据合规而言，公开网页不是 RAG 的免责入口，只是风险判断的起点。