“聚焦爬虫”获取数据行为的法律规制与经济分析

我代理的腾讯公司诉某爬虫技术公司不正当竞争案日前有了阶段性进展，法院对被告使用聚焦爬虫搬运我当事人数据资源的行为给出了行为保全禁令，日前这一禁令经过被告方的复议后被法院驳回复议、维持原裁定结果。这应该是目前司法领域针对提供聚焦爬虫工具以及通过聚焦爬虫获取站点公开数据行为给出的首张禁令，我觉得有必要借此讨论一下有关的法律问题，希望能给行业提供一些思考和借鉴的素材。
互联网业内有一个流行的说法：“网络上50%的流量都是爬虫创造的”，虽然没有明确的数据支持，但诸多从业者都曾表示实际占比应该只多不少，可见爬虫虽名为“虫”实则具有猛于“虎”的技术实力。
所谓“50%的流量”可以简单理解为对网站的访问，如果使用一项技术能够在网络上创造海量的到访次数（流量），尤其是这种到访还伴随着对访问对象的数据及内容的获取，那么无论是法律上还是经济上都有了对其进行评价的必要。
本文探讨的爬虫并非囊括所有类型的爬虫，而是仅针对聚焦爬虫，原因很简单，聚焦爬虫（Focused Web Crawler）在技术上跟以搜索引擎为代表的通用爬虫（General Purpose Web Crawler）形成显著区别。
通用爬虫和聚焦爬虫
爬虫在计算机领域已然是一项颇有历史的技术，发展至今已经具备了不同的形态和功用，但法律届讨论爬虫往往一概而论，这显然是脱离了基本的“技术事实”，我常主张离开对技术事实的了解，法律适用就会失去准星。
从爬取对象、技术原理、获取数据、使用目的等几个维度上，聚焦爬虫和通用爬虫至少存在如下不同：
1、爬取对象：通用爬虫是针对不特定网站进行数据和信息获取，爬行对象从一些种子地址扩充到整个网络上的链接，聚焦爬虫则是有针对性的针对特定类别或者单一网站进行数据爬取。
2、技术原理：所有爬虫都有一个共性的技术原理，就是模拟用户向服务器发送访问请求，获得服务器返回的数据和信息。但区别在于聚焦爬虫为了重复多次访问目标站点，往往需要使用伪造UA字符串、IP切换、验证码破解等技术，用以骗过站点对机器访问的识别和验证机制。
3、获取数据：通常聚焦爬虫在数据的获取上是有明确目标的，一般不会把目标网站信息全部down下来，而是在目标网站上定向获取特定内容（这类爬虫业内又叫做“定向爬虫”、“主题爬虫”），例如只爬取电商平台的用户评价信息、商品销售信息等。
4、使用目的：通用爬虫的使用目的通常是为全体互联网用户建立基础性的服务，典型的例如搜索爬虫，其不加区别的对各个站点进行访问，建立信息索引，最终向用户提供访问站点的搜索入口；聚焦爬虫则具有特定的使用目的，一般是为了拿到目标站点的数据或内容后为自己或特定的第三方使用或商用。
法律规制与经济分析
法律层面的技术中立原则要求我们不能针对聚焦爬虫技术本身进行规制和评价，所以法律评价的对象仍然是聚焦爬虫的使用行为。在这个问题上，最值得探讨的是应当秉承何种思路和逻辑来进行评价，这涉及到后续可能出现的更多爬虫类案件所应当适用的判断尺度以及所能达到的社会效果。
使用爬虫无非做两件事：一是向服务器发送访问请求，二是获取服务器返回的数据。前一个动作只是后一个动作的必要程序，所以爬虫的本质是获取目标站点服务器返回的数据和信息。
说白了，爬虫是为了自动获取数据资源而存在的一项技术，评价爬虫的使用行为归根结底是要先搞清楚数据资源的分配逻辑。
数据作为一项无形资产已经成为业内的共识，表现在《民法总则》第一百二十七条直接规定：“法律对数据、网络虚拟财产的保护有规定的，依照其规定”，尽管这个规定还没有出台，但是我们可以参考同类型的知识产权所适用的制度来看如何生产和分配数据这项资源。
知识产权制度的出发点是既要保障智力成果的产生有足够的激励，同时还要兼顾智力成果的有效流通，但必须要明确整个逻辑的起点：生产是流通的前提，缺乏生产激励的流通是无源之水，无法做到可持续发展的，这个机制的背景实际上就是经济学对稀缺资源如何配置的逻辑。
一、避免数据领域的“公地悲剧”，保障数据控制者权益
加利福尼亚大学生物学家哈丁教授1986年在科学杂志上曾发表题为《公有地的悲剧》的论文，提出“公地悲剧”案例，即在公有的草地上放羊，放牧人因为增加放养的羊会给他本人带来利益而选择不断增加羊的数量，当所有牧羊人都向草地投放羊群的时候，草地最终会荒芜。
之所以出现这种现象，是因为对每一个牧羊人而言，增加放养的羊会给他个人带来利益，而由此导致过度放牧的损失则是由全体放牧人来承担。诺贝尔经济学奖获得者科斯教授针对“公地悲剧”问题提出了著名的“科斯定理”，简单表述为：“当产权确定并且交易费用为零的时候，市场的谈判可以使得资源的配置达到最优”，定理告诉人们导致“公地悲剧”的关键原因是产权缺失或不明晰。
数据资源亦是如此，移动互联网最大的特点是可以借助移动终端的各种应用、各种传感器、摄像头、GPS等实时的收集用户数据，在智能手机已然成为人体的衍生器官而其他智能手表、手环、盒子等智能终端也日渐普及的情况下，数据油田正在不断涌现，而这种表象往往给人们带来一个错觉，认为数据油田会不断自然产生，取之不尽用之不竭。
事实上，大数据的产生有着较为苛刻的条件，通常能够沉淀大体量数据的平台往往是依赖向用户提供免费的高质量互联网服务，并且需要持续投入将此项服务维持在一个较高的水平，此类投入包括前期的产品研发、市场推广、后期的维护更新以及竞品的威胁应对等，只有满足上述条件，才有可能留住大量用户，将其数据积累到平台上。
因此，数据资源就像草地一样，是有着高昂的维护成本，这个时候谁有权对这些“数据石油”进行占有和使用，如何避免对已有的数据油田进行掠夺式的开采、如何保持对数据开发者的激励进而避免“公地悲剧”在数据领域上演，法律首先要做的就是确认“产权”或者“权益”。
顺着这个逻辑，我们发现立法层面目前尚无法针对数据给出明确的法定权利保护，但由于商业竞争中不可避免的要将此类纠纷诉诸法院，因此司法应该说在这个问题上走在了前沿，新浪微博诉脉脉案、美景大数据案都援引《反不正当竞争法》对数据权益给予了充分认可，前者确立的“三重授权原则”解决的是涉及个人信息的数据的使用规则，而后者美景案解决的是剥离掉个人信息后的纯商业数据的权益归属，整体上看，不经过数据收集、整理一方（数据控制方）的同意使用数据的行为已经被司法给出了否定评价。
不顾数据权益主体的反对使用聚焦爬虫搬运数据，这一行为非常类似于“公地悲剧”中向草场无节制投放羊群（只不过这里投放的是“爬虫”）的做法，聚焦爬虫给目标站点造成了巨大的服务器吞吐压力，同时随着站点上数据资源的外流，平台依靠数据收回前期运营投入的可能性越来越小。
这就好像一个草场，有一个人不断向草场播种、施肥、浇水，但其他人则只需要向草场上不断投放牛羊，把草一点一点吃掉而不需要承担任何维护工作，很显然，激励不足是聚焦爬虫给站点带来的最大困扰。
二、滥用聚焦爬虫对用户的“挤出效应”
在围绕数据形成的法律关系中，广大用户始终是不可或缺的参与主体。聚焦爬虫频繁访问站点，势必对用户造成“挤出效应”，表现在：
1、目标站点采取的反爬措施给用户正常访问造成限制
为了控制聚焦爬虫的频繁访问，网站往往要设置一些访问条件，例如要求输入验证码、移动拼图、找物体、找人物等等，这些设置都是希望访问网站的是真实的用户而非机器爬虫，但如此一来，真实用户也要先跨过这些访问障碍才能接触到服务器返回的数据，这本身就是对数据流通的妨碍。

（有过12306网站订票经验的用户，你所面临的重重考验就是拜聚焦爬虫所赐）
2、用户的访问通道被聚焦爬虫挤占，访问困难
服务器是有承载限度的，这跟一家商店的店员接待能力类似，频繁的机器访问，占用了原本服务器用于向真实用户返回信息的带宽和运算能力，实际上应对聚焦爬虫的过量访问已经成为诸多大型网站必须提前做好的服务器开支预算，我们很多时候觉得打开中国商标网查询商标、打开裁判文书网查看判决书、打开工商局网站查看企业信息觉得很慢，往往是因为你的访问通道被聚焦爬虫挤占了。
3、数据经聚焦爬虫搬运外流后，数据质量、安全无法保障，用户自身相关的数据安全也失去了平台的保障，变得再难维护
很多数据，尤其是高附加值的或者带有敏感信息的数据，平台会将其按照法律规定和用户的要求采取相应的安全保障措施，例如支付平台就会对用户的支付数据按照金融领域的特殊要求进行保护，即便保护措施不力，用户也知道找谁去维权。然而一旦聚焦爬虫将这些数据搬离平台，投放到其他未知的领域（实际上相当多的比例被投放到了黑灰产），平台的数据安全措施就再也发挥不了作用了，用户对于搬运走的数据缺乏合同法赋予的权利保障（用户和爬虫使用者之间没有协议），一旦发生风险，后续维权几乎是空中楼阁，甚至很多时候连侵权人是谁都不知道。
三、“数据孤岛”的破解
不少人担心赋予数据开发者权益或权利导致的“数据垄断”、“数据孤岛”的问题。实际上任何权利或者权益都是赋予权利人一定程度的“垄断”（专利本身就是合法的垄断），可见“垄断”本身并不为法律所排斥，法律排斥的是滥用“垄断地位”的行为。
破除数据孤岛的目的就是让数据流动起来，这种流动不应该体现为不打招呼、不付对价的数据搬运，而是基于赋予权利或权益前提下的数据交易。
几乎所有的平台都有开放平台，都有对外提供信息和数据的open api接口，说白了站点有专门给机器爬虫读取数据的通道，但是你读取数据前能否先跟我打个招呼，能否支付一些对等的对价，让站点有能力收回前期生产数据的成本，进而可以更好的给用户提供服务，只要有用户，数据就会源源不断的生成。
而支付了对价获得的数据，也必然会得到持有人的重视和珍惜，其会更有动力将获得的数据投入创新性使用，赢得用户的真正认可和付费，如此才使得数据流经的每一个环节上都有人受益，实现经济学上的“帕累托改进”。
所以，有产权（权益）的资源才能够真正投入持续的流通，从商业实践角度上看，几乎没有一家拥有数据资源的公司不在进行数据开放，开放平台已经成为标配，对数据资源有需求的第三方可以接入开发平台获取数据，各方按照开放平台规则对数据资源进行二次开发并分享收益，这才是赋予数据权益（权利）应该追求的经济和社会效果。
聚焦爬虫的问题在于把本来应该通过交易完成的数据流动，变成了“拿来主义”，不但让平台站点劳而无获，还挤压了正常的用户访问通道，玩的是“零和博弈”，数据没有真正的流动而只是被动的“分流”罢了。
在笔者承办的这则聚焦爬虫搬运平台数据案件中，爬虫开发公司甚至直接将从微信公众平台上爬取的公众号信息直接打包挂到网站上出售，直观的印证了离开交易后数据只是被分流出售的结果，就好像你种的果树结了果子，别人直接驱赶爬虫把果子摘走卖掉了。
小结
数据权益的保护目前仍然需要依赖《反不正当竞争法》，而反法毕竟是一部聚焦竞争秩序而非权益保护的法律，从保护市场秩序、保护用户权益的角度入手确立大数据的使用规则，不可避免的难以聚焦，权益界定、权益基础均相对模糊，当有些个案中平台数据权益和用户个人信息权利发生重叠和冲突的时候，法官仍然需要判断权利人对数据的贡献度，以及其他有关权利人的权利是否能够获得保障的问题，这使得很多情况下数据作为一项权益的保障缺乏确定性，因此应该考虑从立法层面赋予数据本身以类似知识产权性质的权利从而跟个人信息直接进行区隔，可能才是数据保护的最终解决思路。
2017年12月8日，习近平总书记在中共中央政治局集体学习上指出：“要制定数据资源确权、开放、流通、交易相关制度，完善数据产权保护制度”。随着数据资源具备石油一般的生产资料属性，立法上非常有必要给数据确立清晰的产权制度，避免实践中各种类型的数据劫持、数据搬运、数据污染等问题，加剧行业的动荡和纷争。