数据合规之网络爬虫技术应用的合规

开放与共享是信息网络时代数字化发展的自有属性。作为收集数据的常用手段之一，爬虫技术不仅是企业用以实现对互联网信息海量抓取的金手指，也是引发一系列不可低估风险的潘多拉魔盒。企业务必严守合规红线，审慎运用爬虫技术，方能将爬取数据聚合为有价值的数据资源，为企业发展赋能增色。如何把握爬虫技术应用的合规边界也因此成为本文的核心议题。
01、“技术无善恶”
互联网如同一张浩瀚无垠的信息之网，网络爬虫则扮演着在这张网上自动游走、捕捉信息的角色。它们遵循预设的规则，抓取、下载并储存网页信息，同时从初始网页中提取URL，形成跳转列表，不断重复这一过程直至达到一定标准为止。
爬虫本质上是一种可以自动执行的计算机程序，通过模拟人类访问网站的行为实现互联网数据的自动、高效收集。与用录音识别技术取代手动记录一样，爬虫技术只是使信息收集更为便捷的手段，本身并无合法与非法之分，实际上其中立性在业界也已达成共识。技术的中立性在于其可能被用于各种目的，在未结合具体使用场景时，技术本身不具有明确的可归责性。但爬取行为所承载的人的意志有善恶之别，因此爬取行为具有法律评价的现实意义。
在（2021）最高法知民终1687号案中，最高法认为：即使爬虫技术曾被用于违法活动，但并不等于该项技术本身具有违法性。
02、“法律却有界”
我国现行法律对爬虫技术应用的规制分布在刑事、行政、民事领域的多部立法中，呈现出碎片化的特征。
01、刑事领域
《刑法》对数据爬取行为的规范，涵盖了利用网络爬虫获取、解析网页以及存储数据的各个环节。在司法实践中，对于网络爬虫的定罪呈现出泛化的趋势，涉及计算机信息系统安全、公民个人信息保护以及著作权等多个方面。然而，谦抑性原则要求《刑法》仅规制严重的非法运用行为，一般违法行为无法径行付诸刑罚。
以营利为目的，在数据爬取过程中故意避开或者破坏权利人采取的保护著作权或者与著作权有关的权利的技术措施，可能构成侵犯著作权罪。（第217条）
如果所抓取的数据属于企业商业秘密，在抓取商业秘密后进行披露、使用或者允许他人使用的行为，情节严重的，可能构成侵犯商业秘密罪。（第219条）
如果所抓取的数据属于公民个人信息，那么后续对公民个人信息实施的出售、非法提供行为可能构成侵犯公民个人信息罪。（第253条）
数据爬取行为被认定为侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统，构成非法侵入计算机信息系统罪。（第285条第1款）侵入计算机信息系统或者采用其他技术手段，获取该计算机信息系统存储、处理或者传输的数据的，构成非法获取计算机信息系统数据罪。（第285条第2款）提供数据爬取工具的行为可构成提供侵入、非法控制计算机信息系统程序、工具罪。（第285条第3款）
使用数据爬取工具进行数据爬取的过程中占用过多带宽，导致网络流量过载，致使服务器不能正常提供服务，或者对计算机信息系统中存储、处理或传输的数据和应用程序进行删除、修改、增加的操作及造成其他计算机信息系统不能正常运行的后果的，构成破坏计算机信息系统罪。（第286条）
除上述犯罪外，非法使用爬虫技术还可能构成其他犯罪，比如：销售侵权复制品罪、非法经营罪、传播淫秽物品罪、诈骗罪等。
02、行政领域
《网络安全法》《治安管理处罚法》《个人信息保护法》等多部法律规范为数据爬取行为的行政规制提供了法律依据，所保护的法益也与《刑法》中的有关条款相似。但执法实践中针对爬虫的行政处罚并不多，行政领域条款的实际适用反而不如《刑法》中相关条款常见。
《网络安全法》规定了对非法侵入网络、干扰网络正常功能及防护措施等行为的禁止（第27条）及法律责任（第63条）。
《治安管理处罚法》规定了关于侵入计算机信息系统、破坏计算机信息系统功能、破坏计算机信息系统数据和应用程序、故意制作、传播破坏性程序的行为及处罚。（第29条）
《个人信息保护法》第61条第四项“调查、处理违法个人信息处理活动”之职责，理论上可以将所有违法爬取个人信息的爬虫活动涵盖在内。因此爬取个人信息的行为也适用第六章赋予履行个人信息保护职责的部门的规制措施及第七章规定的行政处罚与信用惩戒。
03、民事领域
爬虫相关民事诉讼主要集中在不正当竞争以及侵权两大领域，其中侵权领域主要是侵犯著作权，侵犯个人信息权益的案件较少。民事纠纷在一定情形下即可转化为刑事罪责，二者主要是情节轻重不同。如著作权侵权纠纷可能上升为侵犯著作权罪，不正当竞争行为也可能构成非法破坏计算机信息系统罪等。
《反不正当竞争法》通过对不正当竞争行为的列举和一般条款的开放性对有关数据爬取的不正当竞争行为进行规制。当企业利用网络爬虫存储的数据属于商业秘密时，可能符合第9条第1款第1项之规定，构成不正当竞争。当企业利用网络爬虫获取网页而妨碍、破坏网络平台正常运行时，可能符合第12条第2款第4项之规定，构成不正当竞争。
如果被爬数据构成“作品”且被爬取方享有系列排他性著作权权利，由于不正当竞争的证明标准较高，被爬取方也可主张构成著作权侵权，主要是《著作权法》规定的信息网络传播权。如数据爬取方抓取他人享有信息网络传播权的作品等的数据呈现，未经许可通过信息网络提供的，构成对权利人信息网络传播权的直接侵权。
03、企业如何“取之有道，用之有度”
爬虫技术若想在保持技术中立的前提下持续良好发展，必然要在合规的框架内进行操作。虽然相关法律法规纷繁复杂，但化繁为简，对爬虫技术规制的底层逻辑是一样的。总的来说，企业需要从数据爬取的目的、内容与行为三个层面进行合规把控。其中目的一般要求行为遵循合法、正当、必要原则。
注：《数据安全法》第32条规定，“任何组织、个人收集数据，应当采取合法、正当的方式”；《网络安全法》第41条规定，“网络运营者收集、使用个人信息，应当遵循合法、正当、必要的原则，公开收集、使用规则，明示收集、使用信息的目的、方式和范围，并经被收集者同意”；《个人信息保护法》第5条和第6条规定，“处理个人信息应当遵循合法、正当、必要和诚信原则”，并“应当具有明确、合理的目的，并应当与处理目的直接相关，采取对个人权益影响最小的方式”。
以下重点分析爬取内容与爬取行为的合规边界：
01、爬取内容的合规边界
1.标准一：数据的公开程度
数据所采集数据的性质是衡量爬虫合规的首要判断标准。不同类型的数据可能受到不同程度的法律保护。根据数据的公开性，可以将数据分为公开数据与非公开数据。
如果拟爬取的数据属于非公开数据，需要具备合法或合约基础。尤其对于需要利用技术手段突破或绕行反爬虫措施才能获取的非公开数据，需要谨慎爬取，否则涉嫌破坏被爬取方正常的运行机制。
如果属于公开数据，则在一定程度上可以表明数据爬取行为具有操作空间。但实际上，公开仅指数据内容能够被公众知悉，但权利主体依旧有拒绝他人复制、抓取和使用的权利，并非不特定公众可以自由使用。
在（2017）京0108民初24512号案件中，北京市海淀区人民法院认为：1.在论述云智联公司被诉行为性质前，有必要对新浪微博数据的类型进行一定区分和界定。从技术角度看，使用前端和后端概念区分平台数据可能存在范围重叠之情形，或出现分类不严谨之问题，故从规范层面看，将新浪微博数据做公开和非公开数据的区分更能体现法律意义。
2.根据微梦公司提交的新浪微博Robots协议，以及双方均认可Robots协议可以约束包括网络爬虫在内的机器人之事实，云智联公司在明知微梦公司限制除白名单以外的机器人抓取涉案数据的情况下仍然实施抓取涉案数据中的公开数据，显然亦具有明显的主观恶意。
对爬取方来说更保险一点应该抓取开放数据。开放意味着对数据获取障碍的解除，允许他人访问查阅、复制和抓取，如我国政府信息公开或权利主体已经在网站中声明可自行转载等。
2.标准二：数据的敏感程度
从爬取内容的敏感程度来看，需要注意拟爬取数据是否涉及国家秘密、商业秘密，是否是竞争对手投入成本而形成的具有商业价值的商业资源，是否属于他人拥有著作权的作品，是否为未合法公开的个人信息等。随着信息技术的飞速发展，计算机信息系统中的数据逐渐呈现出更为复杂的法益属性，可能存在同一爬取行为侵害多重法益受损的情况。如爬取行为除了侵害数据安全外，还可能同时侵害其所包含的财产权、信息安全、知识产权等。
建议企业在设置爬取内容时运用关键词审查等方式予以必要的限制，一旦企业爬取了前述敏感信息，应及时停止并完整删除已经爬取的信息，不得对外泄露，更不得用于危害国家安全、社会公共秩序、侵犯数据主体权益的活动。
02、爬取行为的合规边界
1.标准一：是否绕过了系统的防护措施
许多网站经营者会通过增加专门的反爬程序，防止爬虫脚本在本网站获取数据。常见的反爬措施包括IP限制、User-Agent、验证码反爬虫、Cookie限制等。如果爬取方利用技术手段破坏或绕开目标网站所设定的访问权限，比如采用伪造字段、代理IP池、模拟浏览器访问等手段规避、绕过企业网站的防护机制，妨碍和破坏了权利人所提供产品和服务的正常运行，可能构成不正当竞争。如果构成“侵入”或“非法控制”企业的计算机系统或程序，可能还会受到《刑法》第285条第1款“非法入侵计算机信息系统罪”、第2款“非法获取计算机系统数据”，第3款“提供侵入、非法控制计算机信息系统的程序、工具罪”的规制。
另外需要重点关注的是国内外互联网行业普遍遵守的技术规范，即Robots协议（the robots exclusion protocol）。Robots协议是指通过在ICP网站的根目录下放置robots.txt文件，用具体的语法规则设定禁止或允许访问、抓取数据的具体内容并告知搜索方，以实现其对搜索引擎的指引、宣示作用。作为爬虫访问网站时要查看的第一个文件，Robots协议虽可告知搜索引擎哪些页面可抓哪些页面不能抓，但技术上并不能设定访问壁垒，无法保证所有的爬虫都遵守此协议。可以说，Robots协议及相关合同约定均属于对数据的“弱保护”，与前述违反强制性法律的未经授权的访问行为有本质区别。在司法实践中，司法机关不会仅以违反robots协议的这一事实判定爬取方承担法律责任，但仍会将robots协议作为判断行为正当性的重要参考标准，因此违反Robots协议可能构成不正当竞争。但如果网站经营者滥用Robots协议，同样有可能构成不正当竞争。若爬取方认为对方设置的Robots协议不合理，希望能够爬取该等数据的，建议直接向被爬方提出书面修改Robots协议、准许其爬虫抓取的请求。
在（2021）京民终281号案件中，北京市高级人民法院认为：尽管robots协议客观上可能造成对某个或某些经营者的“歧视”，但在不损害消费者利益、不损害公共利益、不损害竞争秩序的情况下，应当允许网站经营者通过robots协议对其他网络机器人的抓取进行限制，这是网站经营者经营自主权的一种体现。
对于网站经营者通过robots协议限制其他网站网络机器人抓取的行为，不应作为一种互联网经营模式进行绝对化的合法性判断，而应结合robots协议设置方与被限制方所处的经营领域和经营内容、被限制的网络机器人应用场景、robots协议的设置对其他经营者、消费者以及竞争秩序的影响等多种因素进行综合判断。
在（2017）京民终487号案件中，北京市高级人民法院认为：第一，百度网讯公司、百度在线公司对robots协议的涉案使用行为属于对360搜索引擎采取的有针对性地限制抓取行为，有违公平竞争原则，影响了360搜索引擎的正常运行，进而导致360搜索引擎的网络用户流失，损害了360搜索引擎的竞争优势和相关消费者的利益。第二，上诉人在缺乏合理理由的情况下，采取针对性和歧视性的标准，限制奇虎公司的360搜索引擎抓取其相关网站网页内容，妨碍了正常的互联网竞争秩序，损害了奇虎公司的合法权益。
2.标准二：是否妨碍了被爬网站的正常运营
网络是共生共享的。为促进信息自由流动，网站经营者需要对爬取和使用网站公开数据的爬虫给予一定的容忍度。但如果超过必要数量、频次或范围、实质上妨碍了被爬网站的正常运营，如造成网站瘫痪、无法向普通用户提供服务等后果，将具有不法性。一些法院也会将爬虫技术是否会给被抓取的平台服务器的正常运行产生额外负担，导致系统负载过高，造成网站经营者较大经济损失等作为认定爬取行为是否正当的因素之一。
在（2019）粤0305刑初193号案件中：被告人开发的爬虫软件在2018年5月2日10时至5月2日12时的两小时内， 以每秒183次的频率访问“深圳市居住证系统”，导致“深圳市居住证系统”停止运行超过2小时， 该等爬虫使用行为被认定违反了《刑法》第二百八十六条的规定， 构成“破坏计算机信息系统罪”。
在（2020）粤0106民初36378号案件中，广东省广州市天河区人民法院认为：涉案软件自动化、批量化的操作与发布信息的运作方式会增加微信运行的数据量，导致增加微信产品的运行负担，减损微信产品运行的稳定性和运行效率，进而妨碍到微信平台的正常运行。亦违反了反不正当竞争法第十二条第（四）项的规定，对原告构成不正当竞争。
针对频次问题，《数据安全管理办法（征求意见稿）》第16条规定，如当采用爬虫技术访问收集流量超过网站日均流量三分之一时，可能会被认为“严重影响网站运行”。建议企业在运用网络爬虫技术进行数据爬取时严格控制该标准，如无法评估流量则可以考虑设置在访问人数较少的时段进行爬取并限制单日爬取时长。
《数据安全管理办法（征求意见稿）》第16条规定：“网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。”
3.标准三：是否构成对被爬网站的实质性替代
爬取数据之后的使用行为也是决定行为合法性的重要考察因素。实质性替代规则，即使允许采集、利用目标网站上的信息，但是采集、利用的行为不能对目标网站造成实质性的市场替代。从现有司法案例可以看出，数据的使用也应遵循“最少、必要”的原则，如超出必要限度使用数据，造成对数据持有者的实质性替代，则该爬取方被认定为构成不正当竞争的可能性较大。因此建议爬取方在向自身用户呈现爬取数据时，能够明确数据来源以避免用户混淆，同时设置跳转链接以避免被爬取方的用户流量不会完全被截取，从而避免对被爬方造成实质损害。
在（2021）浙8601民初309号案件中，杭州铁路运输法院认为：本案中，应适用《反不正当竞争法》第12条兜底条款认定被诉行为的正当性。首先，斯氏公司未经许可，突破微信IP访问限制和封禁措施，同时使用自动化脚本不间断爬虫，给原告服务器造成额外负担，破坏了微信产品的正常运行机制。其次，“极致了”官网提供微信公众号及文章搜索、展示等服务，已经构成对微信公众号部分数据内容服务的实质性替代。再次，被诉行为违反Robots协议，违反诚实信用原则，爬取方通过技术手段抓取数据后，仅通过简单统计和分析即对第三方提供，没有明显创新性，不属于技术创新的公平竞争。故此种爬取他人数据的行为构成不正当竞争。
但对所爬取数据的关联性和依附性并不直接等同于不正当竞争。如果爬取数据不用于类似业务，仅是依赖该数据开展新型服务，不仅不会产生替代后果或者损害正常市场秩序，还能丰富相关领域生态，则可能被认定为正当行为。
在（2019）沪73民终263号案件中，上海知识产权法院认为：随着互联网市场竞争的日趋激烈，互联网市场领域的各种产品或者服务关联性和依附性不断加深，依赖甚至介入于其他经营者的产品或服务而开展经营活动本身并不会损害正常的市场秩序，相反以此而否定该行为的正当性，无疑将会挫伤创新动力。同时，被告提供的产品功能，并不违背行业惯例，可以提高工作效率，给市场主体带来便利，被告并未强制、欺骗用户使用产品功能等等，从而综合认定该行为并不具有不正当性。
04、总结与建议
总体而言，如果爬取方使用的是正当的爬虫软件，遵守了目标网站的robots协议，不采用暴力破解、规避绕取等方式破坏计算机信息系统，对目标网站进行合理范围和数量内的访问，并且避开抓取未公开未授权或敏感的数据，那么基本不会导致严重的合规问题。但为了减少合规风险，建议企业在使用爬虫技术前，还应建立“事前评估+定期检查”的爬虫业务管理机制。具体而言：
1.事前建议从拟抓取数据的类型、数量和访问频次、拟抓取对象网站性质、类型以及拟抓取对象是否具有反爬取设置等方面进行综合评估。
2.事中建议持续进行分析与监测，并通过调整爬取时间，限制访问频率及次数等方式避免对目标网站造成影响。
3.事后建议一旦收到权利人的通知或自行检查抓取数据涉嫌侵权，应及时采取停止爬取或删除相关数据等补救措施。为了更好地免除自身侵权责任，还应当完善自身的声明并给出真实有效的联系渠道以供权利人进行通知。
此外，上海和深圳分别颁布的《企业数据合规指引》对爬虫技术的合规应用也提出了一定要求，可供企业参照执行：
上海《企业数据合规指引》
第十四条【自动化工具】 数据处理者在采用网络爬虫等自动化工具访问、收集数据时，应当评估对网络服务的性能、功能带来的影响，不得干扰网络服务的正常功能。
自动化工具访问、收集数据违反法律、行政法规或者行业自律公约、影响网络服务正常功能，或者侵犯他人知识产权等合法权益的，数据处理者应当停止访问、收集数据行为并采取相应补救措施。
深圳《企业数据合规指引》
第三十五条【以爬虫等手段抓取数据的合法标准】 企业采用网络爬虫等自动化工具收集数据的，应当遵守法律法规、行业自律公约，尊重爬取对象网站的爬虫协议及规则，事前评估对网络服务的性能、功能可能带来的影响，避免干扰网络服务的正常功能或妨碍计算机信息系统正常运行。
企业收集涉及他人知识产权、商业秘密或非公开的个人信息的数据，应事前征得所涉主体同意。企业不得以下列不正当的方式获取他人持有的数据：
（一）以盗窃、胁迫、欺诈，电子侵入等方式，未经授权或超越授权获取数据；
（二）违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统获取数据；（三）以非法获取内部访问、操作权限等方式，未经授权或超越授权获取数据；
（四）以提供替代性产品或服务为目的，违反约定或者合理、正当的数据抓取协议，或以其他违反诚实信用和商业道德的方式获取数据；
（五）以其他违反法律禁止性规定或可能导致不正当竞争的方式获取数据。