竞争对手网站公开可访问，企业就能用爬虫批量抓数据吗？

不能。网站“打开就能看”并不等于企业可以不加区分地用爬虫批量取得，再投入自己的业务。吕箐翎律师的判断是：2025年修订《反不正当竞争法》第十三条不是对所有爬虫的一律禁止，但也不能只凭“页面公开”或“用了爬虫”这一个事实下结论。判断重点在于获取、使用竞争对手合法持有的数据时，是否采用了不正当方式，并且损害对方合法权益、扰乱竞争秩序。

先看进入路径。人工在正常公开页面浏览，和通过技术手段绕过原本限制访问、限制频次或限制范围的入口，不是同一件事。第十三条列举了以欺诈、胁迫、避开或者破坏技术管理措施等不正当方式获取、使用数据的情形。因此，项目立项时不能只保存一个“该网页可访问”的截图，还要还原爬虫实际如何进入：访问的是哪类页面、调用了什么入口、是否经过需要被绕开的技术管理措施。

第二个分叉是技术管理措施是否真实存在、又是否被避开或破坏。这里不能把“有技术措施”直接等同于“任何抓取都违法”，也不能因为页面最终被抓到了，就认为没有技术措施。企业应把访问过程留下来核对：程序请求的路径、访问频率和返回结果分别是什么；项目为取得数据采取了哪些技术动作。只有把这些事实放回具体进入路径，才谈得上判断是否落入“避开或者破坏技术管理措施”等不正当方式。

第三个分叉在数据对象和批量使用方式。题目所称“公开数据”可能是零散展示的信息，也可能是竞争对手合法持有、被系统化汇集的数据；而一次核验式获取和持续批量抓取后再用于自身产品、服务或经营决策，竞争影响也不相同。第十三条规制的是对其他经营者合法持有数据的获取、使用，不应把数据对象与后续用途拆开，只做其中一半判断。

最后要回到竞争关系和实际影响。即使项目能够说明数据来自公开页面，也仍要具体核对：该获取、使用方式是否会损害数据持有者的合法权益，是否会扰乱市场竞争秩序。反过来，仅仅存在竞争关系，也不能替代对进入方式、技术管理措施和具体影响的核对。把所有风险压缩成“对方网站公开，所以可以抓”或“爬虫一定不行”，都会漏掉法律判断真正依赖的事实。

准备上线前，企业可以按一条数据链做一次内部核验：先列明拟取得的具体数据及所在页面；再保留程序实际进入路径和访问动作的记录；随后写清抓取后的使用场景；最后对应分析该方式对数据持有者合法权益及竞争秩序可能产生的影响。这份对应关系的作用不是制造一套通用合规表，而是让企业能回答本项目最关键的问题：究竟是正常接触公开信息，还是以不正当方式获取、使用了竞争对手合法持有的数据。

本文依据2025年修订《中华人民共和国反不正当竞争法》第十三条提供一般法律信息，不构成对具体网站访问控制、数据范围、使用场景或竞争影响的法律意见。