指引
一、爬虫技术的概述
- 爬虫技术的类型
- 爬虫技术的应用场景
- Robots协议与反爬虫技术
二、爬虫技术的法律规制
三、滥用爬虫技术的刑事风险 - 侵入系统及后续破坏行为引发的犯罪风险
- 过高频率访问行为引发的犯罪风险
- 突破反爬技术措施的行为引发的犯罪风险
四、刑事合规建议 - 事前：企业的爬取对象应当有所限制
- 事中：企业的爬取行为应当合法合规
- 事后：爬取后的数据应用行为应当谨慎
2019年初，一则「巧达科技被查封，全部员工被警方带走」的消息引发大数据行业公司的震动。据北京市海淀分局警方透露，巧达科技公司在未经授权的情况下，通过利用大量代理IP地址、伪造设备标识等技术手段，绕过服务器防护策略，通过爬虫技术大量恶意窃取多家公司放在服务器上的用户数据。
爬虫作为大数据行业公司最常用的技术手段，其使用的合法性受到诸多质疑。使用爬虫技术究竟是否会涉嫌刑事犯罪、如何才能够在合法的边界内利用爬虫技术，都仍是需要学术界和实务界深入探究的重要命题。
爬虫技术概述
1. 爬虫技术的类型
网络爬虫（又称为网页蜘蛛、网络机器人，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。爬虫技术本身并不违法，其风险的产生主要取决于爬取网页的过程、爬取的内容用以及造成的后果等方面。
根据技术和结构进行分类，爬虫可以分为以下四类：
第一类是通用网络爬虫，爬取范围是全互联网，爬取内容的主题覆盖广，这类爬虫主要应用于搜索引擎；
第二类是聚焦网络爬虫，只是选择性地爬取与预设主题相关的页面；
第三类是增量式网络爬虫，指对已下载网页采取增量式更新和只爬取新产生的或者已经发生变化的网页的爬虫；
第四类是深层网络爬虫，该类爬虫的大部分目标内容隐藏在搜索表单后，只有用户提交一些关键词才能获得。
根据功能的不同，爬虫可以分为「网页爬虫」和「接口爬虫」两类[1] 。网页爬虫以搜索引擎爬虫为主，根据网页上的超链接进行遍历爬取；「接口爬虫」则通过精准构造特定 API 接口的请求数据，而获得大量数据信息。 - 爬虫技术的应用场景
大数据时代，数据已成为互联网行业的核心竞争资源。爬虫技术具备自动化、高效化获取数据的显著优势，存在很多常见的实践应用场景。
首先，爬虫技术可以实现数据的高效收集，通过高效的自动化访问来抓取目标网站或者系统中的数据，比如应用在搜索引擎的数据收集环节。其次，还可以用于数据挖掘、舆情分析，比如抓取某目标平台的数据进行分析。
再次，爬虫技术在维护网络安全方面可以发挥作用，可以使用爬虫对网站是否存在某一漏洞进行批量验证。除了这些常规的技术应用之外，爬虫技术还在税务稽查等特殊场景应用发挥了重要作用，比如，青岛市国家税务局利用爬虫软件，爬取了某境外上市公司的减持信息，进而查处了某境外非居民企业股权转让案件，查补税款接近 2 亿元[2] 。 - Robots 协议与反爬虫技术
爬虫技术加速了数据的流通，同时也带来了数据被恶意爬取造成信息泄漏、网页被高频访问造成目标服务器或者网站设施无法正常提供服务等隐患。为了规范爬虫技术使用，早期的互联网从业者们经过讨论制定了行业规范「 Robots 协议」，并逐步形成约定俗成的行业共识，即通过爬虫技术只能够收集网站运营者允许收集的内容，对于被标记为不被允许的内容则不能收集。在此基础上，2012年11月，在中国互联网协会的主持下，包括百度、 360 等在内的 12 家搜索引擎服务企业共同签署了《互联网搜索引擎服务自律公约》。
其中，《公约》第七条明确指出，遵循国际通行的行业管理与商业规则，遵守机器人协议（ Robots 协议）。Robots 协议属于互联网行业习惯，但具有法律上的参考价值，如企业不遵守 Robots 协议，在民事诉讼过程中很大可能获得负面评价。
此外，为了防范恶意爬取带来的负面后果，网页经营者们通常会在自己经营的网页上设置反爬虫技术措施。常见的反爬虫技术具有两种设计思路：
一类在于识别爬虫身份后限制爬虫访问、不响应爬虫请求，典型的技术包括识别请求来源的IP地址和请求中包含的 User-Agent 、 Cookie/Token 、签名验证等特征数据以及实施人机校验等等；
另一类在与提高爬虫从网页源代码中提取数据的难度，典型的技术包括代码混淆、图片伪装、字体变换等[3]。
爬虫技术的法律规制
目前，我国涉及爬虫技术规制的法律规定散见于《刑法》、《网络安全法》、《反不正当竞争法》、《数据安全管理办法（征求意见稿）》等法律法规以及相关领域的司法解释之中。
在民事领域，涉及到爬虫技术的诉讼案由多是企业间的不正当竞争纠纷。在行政法层面，《网络安全法》确定了互联网技术应用的基调，《数据安全管理办法（征求意见稿）》第十六条明确规定了对于爬虫爬取信息的流量限制。在刑事领域，滥用爬虫技术有可能构成破坏计算机信息系统罪、非法获取计算机信息系统数据罪、非法侵入计算机信息系统罪、侵犯公民个人信息罪、侵犯著作权罪等。
从国外立法来看，美国法律就专门对爬虫技术进行了规制。《1986年计算机欺诈与滥用法》（简称「 CFAA 」），其中 1030(a)(5)(A)(2008) 是美国司法当局判断网络爬虫法律责任的主要依据。
该条款主要表述为：个人或其他机构未经合法授权擅自访问他人或机构的计算机以及超越合法授权访问权限范围，擅自访问、侵入任何计算机并从计算机中获取相关信息;以及利用技术非法侵害计算机储存内容和故意破坏计算机相应运行程序或篡改算法程序等，应承担与之所造成损害相对应的民事责任并赔偿相关损失，造成严重后果的应承担相应的刑事责任。
对于「未经授权」的具体标准，近期的 HiQ Labs与LinkedIn （领英）的数据纠纷一案中美国法院亦给出了答案，即抓取不需要授权即可访问的数据和默认的情况下免费可得的数据都是正常的行为，在没有对数据的「访问」采取某些步骤进行限制的情况下，那么就意味着抓取这些数据已经获得「授权」[4]。相较此前美国相关案例的态度来看，该案意味着法院对于数据抓取行为的规制有着逐渐趋于严格的意见导向。
滥用爬虫技术的法律风险
合理应用爬虫技术可以带来便利，但是如果滥用爬虫技术就有可能招致刑事风险。在这里，我们对滥用爬虫技术带来的刑事风险进行类型化分析，主要包括以下三种类型： - 侵入系统及后续破坏行为引发的犯罪风险
爬虫技术可以用于目标系统或者网站的数据修改，但如果恶意使用爬虫技术，对计算机信息系统的数据进行删除、修改等操作行为，造成严重后果的，有可能构成破坏计算机信息系统罪。
比如，2017年，王某某为获得对全运会接待服务管理系统的安全维护业务，指使黄某某对系统进行攻击，利用爬虫删除了全运会接待服务管理系统中的人员信息，对全运会接待服务工作造成严重影响，构成破坏计算机信息系统罪[5]。
此外，如果利用爬虫技术侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统，无论是否获取数据，均构成非法侵入计算机信息系统罪。
关于该罪「后果严重」以及「后果特别严重」的判定，应当依据2011年《最高人民法院、最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》进行。
合理应用爬虫技术可以带来便利，但是如果滥用爬虫技术就有可能招致刑事风险。在这里，我们对滥用爬虫技术带来的刑事风险进行类型化分析，在上篇中已经介绍了一种类型，下面接着介绍另外两种类型： - 过高频率访问行为引发的犯罪风险
爬虫技术通过自动化访问进行数据抓取，短时期、高频次的访问会增加服务器的负载，影响正常的网络服务，甚至导致服务器崩溃，其产生的后果相当于对服务器进行 DDos 攻击（ Distributed Denial of Service ，分布式拒绝服务）。
而且事实上，这种高频访问行为在日常生活中十分常见，很多时候 12306 购票系统的崩溃就是由于抢票软件短期内高频访问导致的。
这种对服务器功能产生严重影响的高频访问，造成严重后果，也会构成破坏计算机信息系统罪。
2018年，杨某利用爬虫技术高频访问深圳市居住证网站，「造成为5万以上用户提供服务的计算机信息系统不能正常运行累计1小时以上，后果特别严重」，构成破坏计算机信息系统罪[6]。
依据网信办2019年发布的《数据安全管理办法（征求意见稿）》第十六条的规定，使用爬虫技术收集流量超过网站日均流量三分之一就属于严重影响网站运行。
同时，使用爬虫进行自动化访问行为后果的严重程度，应当依据2011年《最高人民法院、最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》进行判定。关于该罪「后果严重」以及「后果特别严重」的判定同样应当依据2011年《最高人民法院、最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》进行。 - 突破反爬技术措施的行为引发的犯罪风险
实践中网页经营者通常会设置各类反爬技术措施以保护自己的数据资源。比如，在单位时间内，如果网站识别某些特定IP访问次数达到设定的阈值，就会触发验证码挑战、登录挑战等反爬取机制，以甄别相应IP的访问请求是否来自正常用户，对于不能通过验证的 IP 就不再返回数据。
针对于此，爬虫使用者往往会绕过反爬机制抓取数据，根据既往的司法实践，使得验证码登录不能发挥作用的插件和代码属于「专门用于侵入、非法控制计算机信息系统的程序、工具」，此类软件符合「具有避开或者突破计算机信息系统安全保护措施，未经授权或者超越授权对计算机信息系统实施控制的功能」的特性。
如果爬虫使用者为了绕过网页的反爬技术措施，使用爬虫工具，此时的网络爬虫应当认定为「非法获取计算机信息系统数据的工具」；而相应行为是否构成非法获取计算机信息系统数据罪或者其他犯罪，还需要对具体行为、过程及结果进行具体分析。
数据的价值来源于其所承载信息的价值。
原则上，互联网上的公开数据可以爬取，非公开数据不能爬取。当然，实践中有观点认为，在一定范围内的有权获得的数据并非已然失去保密性，例如要求用户注册登录后才能够查看的一些相对公开的数据。
因此可以爬取的公开数据的范围限于完全不受数据权利人或者控制者限制的数据，数据的权利人或者控制者准许该类数据被获取并且对获取数据的主体转向提供给公众都不再加以限制[7]。
此外，对于使用爬虫爬取数据的行为是否构成非法获取计算机信息系统数据罪或者其他犯罪，仍需要结合具体的数据类型进行判断。下面针对两种常见的特殊类型数据进行分析：
（1）含公民个人信息的数据
若爬取大量含公民个人信息的数据，有可能构成侵犯公民个人信息罪。本文开头提到的巧达科技一案中，巧达公司正是利用技术手段，大量恶意窃取了其他公司的用户数据，且行为持续时间长、影响范围广、获利巨大，很大可能构成侵犯公民个人信息罪。
巧达科技案中的行为对象是非公开的个人信息，那么爬取含公民个人信息的公开数据是否构成犯罪呢？目前，学界主流观点认为，仅单纯的爬取公开公民个人信息的行为不宜被认定为犯罪[8]。但也有学者提出观点，爬取公开个人信息的行为虽然不构成非法侵犯公民个人信息罪，但这一行为实际上已经对该罪所保护的法益产生了威胁[9]。
因此，针对公开个人信息的爬取应当慎之又慎。
（2）受著作权保护的作品数据
若爬取受著作权保护的作品数据，如果存在后续的传播行为，有可能构成侵犯著作权罪。目前，司法实践中，涉及滥用爬虫技术行为，适用“侵犯著作权罪”罪名的主要是针对爬取后的传播行为。例如，上海的王某某曾利用爬虫技术，爬取未经著作权人授权许可的电影、电视剧等各类视频资源，并链接到自己的视频网站进行播放，构成侵犯著作权罪[10]。
此外，《刑法修正案(十一)》规定了一种新的侵犯著作权方式，即「未经著作权人或者与著作权有关的权利人许可，故意避开或者破坏权利人为其作品、录音录像制品等采取的保护著作权或者与著作权有关权利的技术措施的」。
有学者认为，如果网络爬虫在爬取公开数据时避开或者破坏了保护著作权的技术措施，则依然可能因违反前置性保护要求而构成侵犯著作权罪[9]。
综上所述，数据爬取行为构成非法获取计算机信息系统数据罪的边界主要在于实施爬虫和采取反反爬虫措施时是否属于非法获取计算机信息系统数据罪中「侵入」行为或者采取「其他技术措施」的获取数据行为以及爬取数据时是否未经授权或超越授权获取数据。如果爬取行为构成「侵入」行为或者采取「其他技术措施」的获取数据行为，并在未经授权或者超越授权的情况下进行爬取，就有可能构成非法获取计算机信息系统数据罪。
如果爬取的数据是含有个人信息、商业秘密、作品等的数据，并且行为人有提供、出售、披露、信息网络传播等后续行为，实践中不一定会被评价为非法获取计算机信息系统数据罪，需对前后两个行为进行全面分析，有可能被评价为侵犯公民个人信息罪、侵犯商业秘密罪、侵犯著作权罪。
刑事合规建议
大数据与信息科技的应用激发了商业繁荣，互联网行业优势得到充分发挥，数据已成为核心竞争资源。然而，爬虫技术在开发数据价值的过程当中是一把双刃剑，其应用应当在合理的边界内开展，因此，对于爬虫技术的使用我们提出以下合规建议： - 事前：企业的爬取对象应当有所限制
在爬取对象方面，只抓取公开和明确授权的数据，并遵守网站设置的 Robots 协议。
首先，根据数据来源网站的类型考虑是否进行数据抓取。对于可以公开查询的服务类网站，例如中国裁判文书网等非商业网站，是可以进行数据抓取的；对于商业服务类网站，若是没有设置反爬声明及反爬技术措施，则一般也是可以进行数据抓取。
其次，避免未经授权爬取取公民个人信息、作品数据以及与经营者核心业务有关的数据等敏感性数据。明确授权的标准采用「用户授权+平台授权+用户授权」的三重授权原则，即用户同意平台向第三方提供信息，平台授权第三方获取信息，用户再次授权第三方使用信息，而且用户的同意必须是具体的、清晰的，是用户在充分知情的前提下自由作出的决定。 - 事中：企业的爬取行为应当合法合规
在爬取手段方面，应当使用合法合规的方式进行数据抓取，避免影响网站正常运行。
首先，爬虫行为等自动化收集信息等行为，会增加网站的运行负担，根据《数据安全管理办法（征求意见稿）》第十六条的规定，自动化访问收集流量超过网站日均流量三分之一，就属于妨碍网站正常运行的情况。企业在抓取数据时应当严格控制爬取数量和频率。
其次，网站的Robots协议会明确指出可抓取数据的范围，应当严格遵守协议，否则一旦引发司法程序则有可能会被负面评价。
再次，企业在使用爬虫技术进行数据抓取时，避免采用突破反爬措施的手段获取数据。除了本身可能产生的刑事风险外，这些突破反爬措施的手段，例如 IP 代理，通过代理服务器作为数据交互的中转站，本身还可能存在一定的数据泄露的安全风险。 - 事后：爬取后的数据应用行为应当谨慎
在爬取后的数据利用阶段，企业作为数据控制者应当尽到数据保护义务，合理规避法律风险。
首先可以对数据来源进行主动说明，表明并非恶意抓取。其次，在使用过程中还应审查抓取数据的内容，在可能涉及公民个人信息、商业秘密、著作权保护内容等情况时，要即时停止抓取并删除已抓取信息。
参考文献
[1] 腾讯安全云顶实验室：《2018上半年互联网恶意爬虫分析：从全景视角看爬虫与反爬虫》，载知乎专栏，https://zhuanlan.zhihu.com/p/41228252，2022年3月2日最新访问。
[2] 《网络爬虫技术在税务稽查中的运用》，载公众号「税月静好吧」，https://mp.weixin.qq.com/s/X4UVLeO_Nh4H4xzYSCbONQ，2022年3月1日最新访问。
[3] 邹雯、张翰雄：《⼲货|浅析数据爬取⾏为的刑事风险及防范思路》，载公众号“知产力”，2021年5月7日发布。
[4]《数据爬取之争风波再起：LinkedIn与HiQ案被美国最高法院发回重审》，载公众号“天元律师”，https://mp.weixin.qq.com/s/NBcpmHxi1XRGTmELuK8GWg，2022年2月28日最新访问。
[5]王某某、黄某某破坏计算机信息系统上诉案，天津市第一中级人民法院（2018）津01刑终300号刑事判决书。
[6]杨某某、张某某破坏计算机信息系统案，广东省深圳市南山区人民法院（2019）粤0305刑初193号刑事判决书。
[7]游涛、计莉卉：《使用网络爬虫获取数据行为的刑事责任认定-以“晟品公司”非法获取计算机信息系统数据罪为视角》，《法律适用》2019年第10期，第8-10页。
[8]周光权：《侵犯公民个人信息罪的行为对象》，《清华法学》2021年第3期，第25-40页。
[9]孙禹：《论网络爬虫的刑事合规》，《法学杂志》2022年第1期，第162-172页。
[10]王某某侵犯著作权案，陕西省勉县人民法院（2020）陕0725刑初19号刑事判决书。