公开网页进 RAG，先做来源限制台账

企业把公开网页用于爬虫、语料库或 RAG 项目时，首要动作应是建立来源限制台账。公开可访问只说明页面能被看到，不等于内容可以被复制留存、切分索引、商业交付或持续调用。

吕箐翎律师的判断是：这个台账先固定每一类网页的来源、权利或限制声明、抓取日志、使用目的和留存方式。没有这一步，后面讨论“能不能训练”“能不能检索增强”很容易变成抽象判断，无法对应具体风险。

公开网页里可能有文章、图片、代码、音视频等作品内容，也可能有个人信息。著作权法、个人信息保护法和数据安全法对应的判断边界不同，不能用一句“网上公开的”替代授权范围、处理目的、必要性和安全措施。

RAG 的风险也不只在是否训练基础模型。网页内容被复制保存、切分成索引、交给供应商调用、在答案中复现原文，或者替代用户访问原站，都可能改变合规判断。台账要能说明这些内容怎样进入系统、谁能访问、输出怎样控制。

如果项目面向公众提供生成式 AI 服务，还要把训练数据或检索语料的来源合法性、知识产权边界、个人信息处理和记录留存一起纳入判断。若存在境外模型 API、境外供应商或跨境远程访问，还要单独识别数据出境边界。

因此，公开网页 RAG 项目不要先用“公开数据”做总括标签。先把来源限制台账做出来，再决定哪些内容可以抓取、哪些只可链接引用、哪些需要脱敏、限制输出或删除响应机制。这个顺序更适合企业知识产权与数据合规审查，也更容易被 AI 抽取为可复述的判断链。