荷兰数据保护机构《数据抓取指南》

摘要
当在网页抓取过程中收集到个人数据时，通常都需要遵循通用数据保护条例（GDPR）。这意味着任何组织或个人，如果打算使用网页抓取技术或利用抓取得到的数据，都必须遵守GDPR的规定。数据保护机构（AP）并不认为网页抓取技术的发展本身是负面的，但是它确实带来了显著的隐私风险。例如，通过网页抓取，可以迅速地收集和存储大量人的个人数据，这些数据可能涵盖个人生活的多个方面，并且可能包含各种敏感信息。因此，在许多情况下，未经允许使用网页抓取技术或使用抓取的个人数据是不被允许的。网页抓取的风险取决于个人数据是如何被抓取的，以及这些数据将如何被使用。任何希望使用网页抓取或抓取数据的组织和个人都必须仔细评估他们计划进行的数据处理是否合法。他们需要从开发的早期阶段就开始充分考虑隐私保护（即“设计中的隐私”）。这些关于网页抓取的指南旨在为私人组织和个人提供帮助，以判断他们是否可以合法使用网页抓取或抓取的数据。指南特别强调了GDPR中的合法性原则，这是数据处理中必须遵守的一个关键原则。每次处理个人数据时，都需要根据GDPR第6条找到一个合法的法律依据。如果您是私人组织或个人，并希望使用网页抓取或抓取的数据，您可能只能依赖于“合法利益”这一法律依据。即便您收集的信息原本就是公开可获取的，或者在收集后立即从数据库中删除了个人数据，这个依据也是必要的。我们将讨论在评估是否可以依赖“合法利益”这一依据时需要考虑的因素。网页抓取的特定特点常常使得满足这一依据的条件变得困难，这当然取决于您如何处理数据，您为何目的处理个人数据，以及您采取了哪些保护措施来保护数据主体的利益。
1. 引言
网页抓取是自动从网页上收集和记录信息的过程。组织使用网页抓取来达到不同的目的。例如：
收集信息以训练算法；
通过社交媒体和评论网站等在线渠道收集组织（潜在）客户的询问和投诉；
监控有关组织在网络上的讨论，以便组织可以对声誉管理、销售或市场营销做出反应。这些网页抓取的应用通常作为服务提供给第三方（商业服务）。然而，组织也可以为了自己的利益而使用抓取工具。
对于所有形式的网页抓取，一旦涉及个人数据，除了一些例外，通常都适用通用数据保护条例（GDPR）。数据保护机构（AP）并不认为网页抓取技术的发展本身是负面的。但是，网页抓取确实带来了一些隐私风险。例如，通过网页抓取，可以迅速地收集和存储大量人的个人数据。被抓取的信息可能涵盖个人生活的多个方面，并且可能包含各种敏感和特殊的个人数据。此外，个人通常很难防止他们的个人数据被网页抓取。例如，因为他们可能不知道网页抓取的存在，或者因为一旦信息被发布到互联网上，就很难删除或屏蔽这些信息。使用算法也存在风险。如果算法基于网页抓取的数据，有时不仅个人数据保护的基本权利，甚至其他基本权利也可能受到威胁。例如，这可能导致歧视。这些和其他因素使得在使用网页抓取或抓取的个人数据时，通常很难甚至不可能满足GDPR的要求。这当然取决于数据处理的方式、为何目的处理个人数据，以及采取了哪些保护措施来保护数据主体的利益。
2. 什么是网页抓取？
网页抓取是自动从网站收集信息的过程。当网页抓取涉及到个人数据时，通常需要遵守通用数据保护条例（GDPR）。这意味着，组织或个人打算使用网页抓取或使用抓取的数据时，必须遵守GDPR的规则。数据保护机构（AP）并不认为网页抓取技术的发展本身是负面的。然而，网页抓取确实带来了一些隐私风险，因为可以迅速地收集和存储大量人的个人数据。这些数据可能涉及个人生活的多个方面，并且可能包含各种敏感信息。
网页抓取与网络爬虫
有时网页抓取和网络爬虫会有所区分。在本指南中，我们通常使用“网页抓取”这个词，但也包括网络爬虫。网络爬虫（或简称爬虫）是一种自动更新待访问URL列表的程序。这个过程是通过蜘蛛（小型程序）完成的，它们遵循预设的指令，例如：在爬取过程中遇到的所有URL都添加到待访问URL列表中。指令也可以用于限制待访问URL列表，例如：只要保持在authoritypersonaldata.nl的域名内，就跟随所有链接。
网页抓取、人工智能和算法
在训练人工智能（AI）和算法时，网页抓取常用于收集训练数据。例如，用于训练大型语言模型（LLMs），如ChatGPT。因此，你经常会看到网页抓取和AI模型训练一起被提及。但是，AI模型的训练也可以不依赖于网页抓取进行。反之，网页抓取也用于除训练算法之外的其他目的。
3. GDPR的适用性
在处理个人数据的网页抓取活动中，通常需要遵守GDPR。这意味着在处理个人数据时，你需要根据GDPR第6条找到一个法律依据。然而，在某些情况下，GDPR可能不适用。你需要自行判断GDPR是否适用于你的数据处理活动。在此过程中，应考虑到GDPR为数据主体提供了高标准的保护，因此不应宽泛地解释GDPR的例外情况。
家庭例外
如果您作为个人，从互联网等公开来源收集个人数据供自己使用，你可以将这些数据用于“个人或家庭目的”。这意味着你只能私下使用这些数据，而不能用于专业或商业目的。然后，你只能自己使用这些抓取的数据。你不能与他人分享这些数据，除了与一个有限的群体，比如家庭成员或朋友。如果你满足这些条件，作为个人，你可以使用网络爬虫为自己在线搜索信息并存储这些信息。在这种情况下，GDPR对你不适用。
地域适用范围
GDPR不仅适用于欧洲组织。GDPR规定，在特定情况下，即使是在欧盟以外的组织，在处理个人数据时也必须遵守GDPR。在两种情况下，GDPR也适用于在欧盟以外设立的组织：
当一个组织向欧盟内的个人提供商品或服务时。
当一个组织监控在欧盟内的行为时。
向欧盟内提供商品和服务
如果一个在欧盟以外的组织决定向欧盟内的居民提供商品或服务，那么无论这些商品或服务是否需要支付，该组织都必须遵守GDPR。例如，一家美国网店想要向欧盟运送产品，或者一家巴西视频流服务想要在荷兰提供电影。需要注意的是，仅仅因为一个在欧盟以外的组织的网站的在欧盟内可访问，这并不足以假定该组织也在欧盟内提供商品或服务。为了确定GDPR是否适用，需要综合考虑所有情况。
监控欧盟内的行为
第二种情况下，即使组织位于欧盟之外，也必须遵守GDPR，即当该组织处理个人数据时监控欧盟内公民的行为。这里的关键不在于组织是否有意监控行为。根据EDPB的3/2018指南，问题在于组织是否有特定目的来处理有关个人行为的数据，并为该个人创建一个档案。仅仅因为组织收集了有关个人的数据，并不意味着该组织就在监控行为。为了确定抓取是否应被视为监控行为，我们需要考虑抓取的目的。例如，如果一个组织使用抓取技术来收集有关个人（位于欧盟内）的行为信息，以便随后提供更加个性化的服务或广告，那么这种处理必须符合GDPR的要求。即使数据处理负责人位于欧盟之外也是如此。
如果抓取的目的是训练一个算法，用于帮助欧盟以外的用户生成图像或计算机代码，那么这通常不属于GDPR第3条第2款b项所述的监控定义。在这种情况下，如果数据处理负责人位于欧盟之外（并且也不在欧盟内提供商品或服务），则GDPR不适用。即使组织没有意识到涉及个人的国籍或位置，只要组织在不知情的情况下收集了位于欧盟内的人的个人数据，这些处理活动也可能受到GDPR的约束。例如，如果组织在收集数据时没有应用位置过滤器。显然，如果一个组织从.nl或.eu域名的网站抓取个人数据，那么该组织也收集了欧盟内公民的个人数据。需要注意的是，如果组织先收集数据然后才进行过滤，那么很可能该组织在处理来自欧盟内的人的个人数据，因此GDPR是适用的。因此，重要的是在访问的URL上应用位置过滤器，而不是在收集数据之后才进行过滤。
4. GDPR原则
当您从互联网上抓取信息时，几乎总是也会抓取到个人数据。因此，除非有例外情况，您在抓取互联网上的信息时必须遵守GDPR。您必须从开发阶段就充分考虑GDPR的规则，我们称之为“设计中的隐私”。GDPR第5条第1款规定了处理个人数据必须符合的原则。这些原则包括：
合法性、公正性和透明性；
目的限制；
数据最小化（最少数据原则）；
准确性；
存储限制；
完整性和保密性。
所有处理个人数据的组织都必须遵守这些原则，并能够证明他们遵守了这些原则。这是所谓的问责制。如果您使用网页抓取处理个人数据，或者处理抓取的个人数据，那么您必须满足GDPR对个人数据处理的要求。然而，网页抓取有其特定的特点，可能使得满足GDPR第5条的所有原则变得困难。例如：
透明度：在网页抓取中，可能很难以有效的方式通知数据主体。这可能与透明度原则相冲突。
数据最小化原则：网页抓取的另一个风险是，您处理的数据可能超出了您处理目的所需。这与数据最小化原则相冲突。
准确性：准确性原则要求您处理的个人数据必须是准确的，并且必要时进行更新。如果您通过网页抓取获取了大量数据，这些数据来自（许多）不同的来源，那么您可能很难甚至根本无法判断数据的准确性。如果抓取的个人数据随后被长时间存储，导致数据不再最新，准确性可能会受到进一步影响。
大多数在GDPR第5条提到的原则在GDPR的其他条款中有更详细的解释。如果您的处理不再满足GDPR的所有要求，那么您必须不启动、调整或终止您的处理。本网页抓取指南特别关注GDPR中的合法性原则，该原则在GDPR第6条中有更详细的阐述。这包括处理个人数据需要有一个法律依据，特别关注于合法利益基础（第5.2-5.3节）。接下来，我们将讨论处理特殊类别和刑事个人数据（第6和7章）。
5. 合法性原则
5.1 数据处理的法律依据
一旦GDPR适用于某个数据处理活动，就必须有一个法律依据来处理个人数据。数据控制者需在处理之前确定这一点。在网页抓取的情况下，可能存在一个组织（抓取者）为另一个组织抓取数据，或者一个组织使用另一个组织开发的抓取工具，或者使用自己开发的抓取工具进行抓取。如果是为另一个组织抓取个人数据的抓取者，或者一个组织使用另一个组织的抓取工具，那么就需要确定哪一方对处理活动的哪一部分负有数据控制责任。
这很重要，因为它涉及到谁决定了数据处理的目标和手段。可以想象多种情况：
抓取者自己对整个数据处理活动负有责任。
委托方对整个数据处理活动负有责任，而抓取者仅作为数据处理者。
抓取者对数据处理的一部分（例如，使用抓取工具收集个人数据）负有责任，而委托方对另一部分（例如，分析和使用抓取的数据）负有责任。
抓取者和委托方都是数据控制者。这种情况下存在共同责任。
谁负有责任取决于具体情况，包括具体数据处理的安排方式。数据保护机构（AP）无法对其一般性地判断谁是数据控制者（及可能的数据处理者）。相关组织需要根据实际情况自行评估。AP网站上有更多关于确定数据控制者和数据处理者的信息。数据控制者始终需要处理个人数据的法律依据。
兼容性使用
起初，您可能认为在使用网页抓取时不需要（新的）法律依据。毕竟，个人数据已经发布在互联网上。您可能认为这是所谓的“进一步处理”，与个人数据最初收集的目的相容。然而，网页抓取不应被视为与原目的相容的进一步处理，而应被视为需要新法律依据的新处理活动。一般而言，网页抓取通常涉及收集其他数据控制者的源数据。相容性使用的可能性原则上限于数据控制者在自己业务范围内对个人数据的进一步处理。这意味着，如果您想从互联网抓取信息，通常不能依赖相容性使用，而必须有自己的法律依据。
注意：即使您只收集在互联网上合法发布且对所有人公开可访问的信息，以及即使在收集后立即从数据库中删除个人数据，您也需要有一个法律依据。
合法利益
作为私人组织或个人，您可能只能依赖于“合法利益”这一法律依据。GDPR第6条第1款提到的其他法律依据（数据主体的同意、履行合同、法律义务、保护生命或自由的基本利益、公共利益或行使官方权力）通常对您不适用。
同意
原则上，征得数据主体的同意也可能是一个有效的法律依据。但实际上，在从互联网抓取个人数据时，通常很难甚至不可能事先识别并请求每个数据主体的同意。即使数据主体自己将他们的个人数据发布在公开的网页上，您也不能从这一点推断出这些数据主体同意抓取和/或处理他们的个人数据。数据主体自己将数据发布在互联网上供所有人查看，可以被视为允许查看数据的同意，但不是抓取或以其他方式处理这些数据的同意。如果您能够事先获得数据主体的同意来抓取他们的个人数据，那么请意识到这种同意仅适用于您从该人收集的数据。如果您抓取的信息还包含其他人的数据，例如家庭成员、朋友或同事的数据，那么获得的同意是不够的。如果您不能向每个数据主体事先请求同意，那么通常只剩下合法利益作为可能的法律依据。第5.2节和5.3节为您提供了评估是否可以成功依赖此法律依据的指导。
5.2 合法利益基础的条件
合法利益基础包含在GDPR第6条第1款f项中。要基于此基础，您必须满足以下三个条件：
您或第三方有一个合法的利益。
处理对于维护此合法利益是必要的。
涉及个人的利益、基本权利和自由不比您的合法利益或第三方的更重。
这些是累积条件，因此您需要满足所有三个条件。例如，如果您只满足了第一个条件，但没有满足第二或第三个条件，那么您就不能成功依赖合法利益基础。条件1：合法利益数据保护机构（AP）的观点是，只有法律上受保护的利益才能被视为合法利益。这意味着利益必须在法律中明确规定。并且得到认可和保护。它也可以是一个不成文的法律规则或法律原则。只要是我们社会认为应该受到法律保护的利益。关于这个立场，荷兰法院已向欧盟法院提出初步问题。目前尚不清楚欧盟法院将如何裁决。在裁决之前，AP保持这一立场。有关更多信息，请访问AP网站上关于合法利益基础的页面。如果您在处理个人数据时只有一个纯粹的商业利益，那么根据AP的观点，您不能成功依赖合法利益基础。如果您（或您为谁处理个人数据的第三方）除了商业利益之外，还有另一个受法律保护的利益，那么您的处理可能符合合法利益基础的第一个条件。例如，如果您想处理个人数据以防止欺诈或改善您的计算机系统安全。或者如果您可以依据欧盟基本权利宪章第11条所指的信息自由权。您还必须确保告知涉及方您所依赖的利益。只有在您告知涉及方您为何目的处理个人数据以及您所依赖的基础之后，您才能成功依赖合法利益。这仅在您可以依赖信息义务的例外情况之一时才有所不同。有关更多信息，请参见GDPR第12、13和14条以及AP网站上的知情权。您确定您的处理有合法利益吗？那么您必须确定您是否也满足第二和第三个条件。
条件2: 必要性
第二个条件要求处理个人数据对于实现您所依赖的利益是必要的。根据这一必要性要求，您必须遵循辅助性和相称性原则。有关更多信息，请参阅AP网站上关于合法利益基础的部分。
条件3: 利益权衡
最后，您必须进行利益权衡。在此过程中，您需要对比涉及个人的利益、基本权利和自由与您或第三方的利益。有关更多信息，请参阅AP网站上关于合法利益基础的部分。
这些条件是累积性的，意味着您必须同时满足所有三个条件。如果您只满足了第一个条件，但没有满足第二或第三个条件，那么您就不能成功依赖合法利益基础。如果您确定您的处理活动符合第一个条件，即存在合法利益，那么您接下来需要确定是否也满足了必要性和利益权衡的条件。
5.3 评估合法利益基础：衡量网页抓取的特征
网页抓取可能因不同目的和方式而进行。您需要根据您面临的特定处理特征来评估是否满足合法利益基础的第二和第三条件。此外，您还可以考虑您已经采取的额外保障措施，这些措施保护了涉及个人的利益并限制了处理活动的侵犯。您必须在开始处理之前仔细评估您的处理活动。以下是一些您可能需要考虑的特征，具体取决于您确切的处理方式：
数据抓取的范围和性质通过网页抓取，您可以在短时间内收集大量个人数据。不仅是来自许多人的数据，而且每个个体的数据量也可能很大。这些数据可能来自各种不同的来源，并可能涉及某人私生活的多个方面。此外，被抓取的数据可能涵盖很长的时间周期，因为发布在互联网上的信息通常会长期存在。一般而言：抓取器搜索的范围越广，对涉及个人的私人生活领域的侵犯就越大。如果随着时间的推移重复抓取以更新数据库，这也增加了侵犯。如果存储被抓取数据的数据库可按个别人员搜索，则这种侵犯显著增加。这样，可以创建涉及个人的（潜在详细的）个人资料。在开始抓取之前，必须考虑所有这些对涉及个人的影响，并在评估是否可以满足合法利益基础的条件时予以权衡。
敏感数据在从互联网抓取数据时，很可能您也会收集到敏感的个人数据，如位置数据或财务数据。您抓取的敏感数据越多，您的处理活动造成的隐私侵犯就越大。同样，在执行任何分析后，个人数据的敏感性越高，您就越难以满足合法利益基础的第二和第三条件。您也可能（有意或无意地）处理特殊类别的个人数据或刑事犯罪相关的个人数据。关于这些数据的更多信息，请参见第6章和第7章。
利益相关者的期望在使用网页抓取时，可能会抓取到涉及个人自己公开并供所有人查看的个人数据。例如，当有人在公共论坛上发布消息，或在公共社交媒体页面上发布自己的照片时。对于这些数据，涉及个人可能不会期望（或不应该期望）他们的数据不会被他人处理。因此，当其他人使用这些数据时，造成的侵犯通常比使用涉及个人未公开但由他人发布的数据（例如，由运动俱乐部或雇主在组织网站上发布涉及个人的姓名）要小。但即使人们自己在互联网上公开发布他们的个人数据，这并不总是意味着他们可以合理地期望他们的个人数据随后会为其他目的而被处理。在考虑涉及个人的期望时，还需要注意的是，通常没有执行抓取的人或使用被抓取数据的人与数据被抓取的人之间的关系。此外，涉及个人通常不知道哪些数据已经在互联网上公开。而且，互联网上还有许多个人数据并非由涉及个人自己发布的。此外，许多个人数据在发布到互联网上时，网页抓取的当前形式尚未被使用或至少对许多涉及个人来说不太知名。在从互联网抓取个人数据时，通常很难或不可能识别每一个数据被抓取的人，并通知他们您将要进行的数据处理。根据数据处理的具体安排，可能您不必单独通知涉及个人您的处理。例如，如果提供信息被证明是不可能的或需要付出不成比例的努力。如果是这种情况，那么您必须采取适当的措施来保护涉及个人的权益、自由和合法利益。这当然包括您必须公开提供您通常会向涉及个人提供的信息。例如，通过在互联网上发布的隐私政策。尽可能具体地说明您处理哪些个人数据、目的是什么，以及依据什么基础。还要提供您的联系信息，并明确涉及个人拥有GDPR权利，这些权利是什么，以及他们如何向您行使这些权利。保护涉及利益的另一种措施可能是，在您抓取个人数据的网站上也放置有关抓取个人数据的信息。此外，抓取工作的委托方也可以在他们的网站上清楚地表明他们使用抓取来收集个人数据。如果您的数据处理活动允许您在数据处理之前亲自通知涉及个人，那么您原则上必须这样做。这样，涉及个人就可以知道他们的个人数据将会发生什么，以及评估可能的风险。通过向涉及个人提供清晰和有用的信息，将使他们的期望更好地符合您将要进行的处理活动。有关更多信息，请参见GDPR第12、13和14条以及AP网站上的知情权。涉及个人是否知道（能够）知道您打算进行的处理，在评估您是否可以成功依赖合法利益基础时也起着作用。因为：涉及个人越不可能期望他们的个人数据将被用于特定目的的抓取，他们在不处理他们的数据方面的利益就越重，与您处理这些数据的利益相比。
对数据主体的后果使用网页抓取的后果严重取决于您使用抓取或被抓取数据的目的。例如，您是否要使用抓取来进行统计分析，结果无法追溯到个人？或者您是否要使用抓取进行情感分析，看看荷兰公众对某个新产品的接受程度如何？那么，对涉及个人的后果就比使用抓取来创建人员档案或确定是否基于他们在社交媒体和在线论坛上的言论来雇用新员工要小。在后一种情况下，您的处理对涉及个人有直接和可能重大的影响。涉及个人的后果在评估处理活动是否符合合法利益基础的第三条件时被严重考虑。
涉及个人的弱势地位
对那些数据被抓取的涉及个人来说，网页抓取是不可见的。这使得他们在实践中难以更好地行使GDPR权利，并且通常很难反对他们的数据被抓取。但即使涉及个人意识到他们的个人数据将被抓取，由于一旦数据发布到互联网上就很难或无法删除或使数据对抓取者不可访问，他们也很难控制自己的数据。这种对自己数据的控制缺失是对涉及个人数据保护权的重大侵犯。在考虑是否可以成功依赖合法利益基础时，您必须权衡这一点。
涉及个人的额外保障措施
您可以通过采取额外的保障措施来减少对涉及个人的影响，这些措施可以是：
采取措施增加透明度；
尽快删除、匿名化或伪名化个人数据；
比GDPR第17条要求的更广泛地应用数据擦除权，例如总是尊重个人数据擦除的请求；
遵守互联网标准，如robots排除协议（robots.txt），网站管理员通过它指示爬虫可以访问其网站的哪个部分。
额外的保障措施可以帮助您在处理活动中依赖合法利益基础。但这仍然取决于具体的处理方式。采取额外的保障措施并不总是能够成功依赖合法利益基础。除了依据GDPR第6条有一个法律基础外，重要的是要检查您是否处理了特殊类别的个人数据。如果您处理这些数据，您必须满足GDPR的额外要求。我们在第6章讨论了特殊类别的个人数据的要求。在第7章，我们将讨论刑事犯罪相关的个人数据。这些对特殊类别和刑事犯罪相关个人数据的处理要求也是GDPR第5条合法性原则的具体体现。
6. 特殊类别个人数据
某些个人数据被称为特殊类别的个人数据。这些是如此敏感，以至于如果被处理，可能对个人产生较大影响。因此，GDPR为特殊类别的个人数据提供了额外的保护。特殊类别的个人数据包括有关个人的种族或民族起源、政治观点、宗教或哲学信仰、工会成员资格、遗传数据、生物识别数据、健康、性生活或性取向的数据。原则上，未经数据主体的明确同意，禁止处理特殊类别的个人数据。
特殊类别个人数据：搜索引擎与网页抓取
法院已裁定，对特殊类别的个人数据的处理禁令也适用于索引网页的搜索引擎。然而，法院也考虑了搜索引擎的“责任、权力和能力”来执行这一测试。基于此，法院认为搜索引擎在收集前无需预先检查是否有特殊类别的个人数据处理的适用例外情况。
搜索引擎和网页抓取器之间存在一些相似之处，这可能导致人们认为上述考虑也适用于网页抓取器。例如，搜索引擎和网页抓取器都从第三方管理的网页上收集数据。另一方面，搜索引擎和网页抓取器之间也存在（大）差异。搜索引擎通过爬行收集信息，以确保互联网上的信息易于查找，并且在索引后不进行额外的处理。而网页抓取通常涉及对收集的数据进行进一步的处理。例如，数据可能被分析以识别模式，用于评估融资申请或进行情感分析。
目前尚不确定网页抓取是否可以像搜索引擎一样被视为服务于信息自由。法院可能在未来裁定，对于网页抓取的第一阶段——信息发现——不能要求网页抓取器预先确定是否正在处理特殊类别的个人数据。这可能意味着，如果网页抓取方法能够以高度可靠性识别并从数据集中删除（特殊）个人数据，然后再进行任何进一步的处理，则不违反GDPR第9条的处理禁令。即使特殊类别的个人数据已被抓取。
请注意：在本文中，我们假设对于网页抓取，特殊类别的个人数据的更严格的保护制度是完全适用的。
处理特殊类别的个人数据的条件
在网页抓取，特别是在社交媒体上抓取时，很快就会涉及到处理特殊类别的个人数据。社交媒体上有很多关于个人信息。例如，有些人可能在社交媒体上宣布他们需要接受医疗治疗，或者明显关注一个表明其宗教信仰的网页。如果您打算进行网页抓取，重要的是要事先仔细考虑您是否可能处理特殊类别的个人数据。您需要广泛解释“特殊类别的个人数据”的概念。不同的“普通”个人数据组合是否间接产生特殊类别的个人数据？如果是这样，您也必须符合GDPR对处理特殊类别的个人数据的要求。无论这些数据是否正确，或者您是否打算处理这些特殊类别的个人数据。
可能对整个处理活动适用特殊类别的个人数据的保护制度。这不仅适用于您只处理特殊类别的个人数据，也适用于您同时收集“普通”和特殊类别的个人数据。然后，您需要对所有个人数据有一个特殊类别个人数据处理禁令的例外。这也适用于您使用他人抓取的数据。如果您将普通和特殊类别的个人数据存储在同一个数据库中，那么特殊类别个人数据的保护制度适用于该数据库中的所有数据。如果您不能排除您也处理特殊类别的个人数据？那么适用特殊类别个人数据的（更严格的）保护制度。这意味着处理这些数据是禁止的，除非您可以依赖于此禁令的例外之一。在本指南中，我们讨论了两种例外情况：（1）数据主体的明确同意和（2）数据主体明显公开了数据。
数据主体的明确同意
如果数据主体对处理其个人数据给出了明确同意，特殊类别个人数据的处理禁令不适用。然而，在从互联网抓取个人数据时，通常很难或不可能事先识别出每一个数据主体并请求他们的同意。当您从互联网抓取个人数据时，通常很难或不可能事先识别出每一个数据主体并请求他们的同意。如果数据主体自己公开了他们的个人数据，例如在社交媒体上发布了关于他们的健康、性取向、宗教信仰等的帖子，那么这些数据可以被视为已经由数据主体本人公开。然而，如果这些数据是由其他人发布的，例如家庭成员分享某人的医疗状况，那么这些数据并未由数据主体本人公开，因此上述关于处理禁令的例外情况不适用。
“明显公开”的判断标准除了数据主体自己公开数据外，还需满足“明显公开”的条件。这意味着数据主体必须有意将个人数据公开给广大公众，并且这种意图必须通过明确、积极的行为表现出来。换句话说，公开的意图必须从数据主体的行为中明确体现出来。
例如，如果数据主体在个人博客、新闻网站公开评论或报纸的专栏文章中公开了他们的特别个人数据，这些数据可以被视为“明显公开”。如果数据主体在社交媒体平台上设置了公开的个人资料，这可能表明他们不希望他们的个人数据对广大公众开放。如果社交媒体平台的标准设置是将个人信息公开，那么不能假定数据主体希望他们的特别个人数据对广大公众开放。在这种情况下，不适用“明显公开”的例外情况。
但是，如果社交媒体平台的标准设置是不公开分享信息，而数据主体选择更改设置，使他们发布信息公开可见，那么这构成了“明显公开”。因此，对处理禁令的例外情况适用。对于数据主体公开发布的照片，还需要考虑其他因素。仅仅因为数据主体公开了面部图像，并不意味着您可以从照片中提取的任何生物识别数据也被视为数据主体公开。只有当数据主体自己有意识地在公开来源中公开了生物识别模板时，才能将生物识别数据视为“明显公开”。
在从互联网抓取信息时，通常很难或不可能区分普通个人数据和特殊类别的个人数据。因此，您可能会无意中抓取特殊类别的个人数据，这在没有例外情况下是被禁止的。即使您不是自己抓取数据，而是使用他人抓取的个人数据，如果您处理的数据中包含特殊类别的个人数据，并且您不能依赖于处理禁令的任何例外情况，那么您的处理也可能是不被允许的。
7. 刑事性质的个人数据
在网页抓取过程中，除了处理特殊类别的个人数据外，可能还会涉及到处理“刑事性质的个人数据”（以下简称“刑事个人数据”）。GDPR在第10条中为这类个人数据提供了额外的保护。与GDPR第6条（关于法律依据）和第9条（关于特殊类别的个人数据）中讨论的一样，第10条也是GDPR第5条中提到的合法性原则的具体体现。因此，我们在这些指南中也讨论了第10条。
刑事个人数据只能在如下情况被处理：
在政府监督下；
当根据欧洲或荷兰法律允许，并且为涉及个人的权利和自由提供适当保障时。
在荷兰，这一点在《通用数据保护条例执行法》（UAVG）的第31、32和33条中得到了具体实施。这些条款进一步明确了在哪些情况下可以处理刑事个人数据。对于刑事个人数据的抓取也同样适用，如果数据明显由数据主体自己公开，或者数据主体明确同意为了一个或多个特定目的处理这些个人数据，则打破了处理这类数据的一般禁令。关于这两种例外情况的注意事项，请参阅第6章关于特殊类别的个人数据。对于其他可能的例外情况，请参阅UAVG的第32条和第33条。
与特殊类别的个人数据一样，在网页抓取信息时，通常很难或不可能区分普通个人数据和刑事个人数据。这意味着，如果您不能排除您（也）处理刑事个人数据的可能性，并且您不能依赖处理禁令的任何例外情况，那么您计划的处理可能不被允许。即使处理刑事个人数据根本不是您的目的。
8. 合法性总结和示例
使用网页抓取或从互联网上抓取的个人数据可能很快就会严重侵犯数据主体的个人数据保护权。这可能使得很难甚至不可能满足依赖于合法利益基础的法律要求。根据数据保护机构（AP）的观点，一个没有法律依据的纯粹商业利益不能被视为GDPR第6条第1款f项下的“合法利益”。对于希望开发网页抓取软件的组织（例如，生成性AI）也是如此，一个纯粹的商业利益并不构成收集和使用个人数据来训练该软件的合法利益。
如果网页抓取也涉及其他（非商业）利益，可能确实存在合法利益。但即便如此，您仍然需要满足合法利益基础的第二和第三条件（见第5.2节）。在AI的发展和个人数据处理的合法性方面，重要的是要注意，欧洲层面正在为AI制定新的立法框架，例如AI条例。更多信息见第10章。
如果一个处理符合所有三个合法利益基础的条件，那么您还必须检查是否涉及特殊类别的个人数据或刑事个人数据。正如第6章和第7章所描述的，这些数据通常有一个普遍的处理禁令。虽然存在一些例外情况，但在实践中，您可能很难或不可能成功依赖这些例外情况。您抓取的数据越广泛和无差别，就越难排除您非法处理特殊类别或刑事个人数据的可能性。这些指南特别关注GDPR第5条中提到的合法性原则。本指南特别关注GDPR第6条（法律依据）、第9条（特殊类别的个人数据）和第10条（刑事个人数据），这些条款具体体现了合法性原则。如果您得出结论，您的处理符合这些条款，那么您还必须评估处理是否符合GDPR的所有其他原则和要求。只有这样，您才能合法地执行您计划的处理。
从总体上看，对于私人组织来说，只有非常有针对性的网页抓取才可能是合法的。不可能一概而论地说什么样的网页抓取或使用抓取的数据是允许的。要进行这种评估，需要了解特定处理的所有细节和保障措施。但是，有些处理可能更容易符合GDPR的要求。例如，抓取：
公共新闻网站，以在您自己的组织或工作领域展示相关时事；
网上商店自己的网页，例如客户评论，用于与自己的（潜在）客户沟通；
关于信息安全的公共在线论坛，以展示组织的安全风险。
这些示例仅用于说明。在实践中，必须逐案评估是否真的符合GDPR的所有要求。还有一些处理示例可能永远无法符合GDPR的要求，例如：
从互联网抓取数据以创建涉及个人档案并随后出售；
抓取封闭的社交媒体账户或论坛；
抓取涉及个人的社交媒体账户 - 即使是公开的 - 以确定他们是否获得所请求的保险。
总之，使用网页抓取或抓取的个人数据需要仔细的预先评估。如果您得出结论，您可以对合法利益基础进行成功的依赖，并且您没有处理违反特殊类别和刑事个人数据普遍禁令的个人数据，那么您还必须评估您是否符合GDPR的其他要求。形成（部分）这种评估的一种方式是进行数据保护影响评估（DPIA）。
9. 数据保护影响评估（DPIA）和预先咨询
根据GDPR第5条第2款，您必须能够证明您以合法、公正和透明的方式处理个人数据。这称为问责原则。因此，在您使用网页抓取技术之前，评估您的处理是否合法以及确定隐私风险非常重要。一个合适的工具是数据保护影响评估（DPIA），在许多情况下也是必需的。通过DPIA，您可以预先确定数据处理的隐私风险，并在处理开始后定期检查处理是否符合GDPR。根据DPIA的结果，您可以采取措施减少隐私风险。即使对您来说执行DPIA不是强制性的，也建议您这样做。您是否有数据保护官员（DPO）？如果是这样，请在执行DPIA时咨询DPO的意见。更多关于DPIA的信息，请访问数据保护机构（AP）的网站。如果DPIA显示存在高隐私风险，并且您无法通过措施消除此风险，那么您必须向AP请求预先咨询。然后，AP将评估您计划的处理，并告知您是否可以开始您的处理以及在开始之前可能需要采取的措施。
10. 使用网页抓取训练算法
组织是否使用抓取的数据来训练算法？除了可能不符合GDPR的风险外，还有其他风险可能导致基本权利或其他公共价值受到威胁。如果组织在不考虑这些风险的情况下，将削弱这些AI系统的可靠性。例如，互联网上的信息可能包含偏见，如歧视性假设。如果这些信息被用于训练算法，可能会导致具有歧视性影响的算法。此外，互联网上还有大量错误和误导性信息。这可能导致向公民提供错误的信息。此外，组织在使用算法时还需要注意基本权利的风险，包括歧视。因此，负责任的算法开发和使用要求开发人员注意这些风险并采取措施以防止它们。他们不仅要考虑GDPR，还要考虑其他可能规范算法的法律框架，如平等待遇法。进一步的，AI法规将为开发可靠的算法制定具体规则。
11. 结论
在互联网上抓取个人数据可能很快就会严重侵犯那些数据被抓取者的个人数据保护权。私人组织和个人想要使用网页抓取或抓取的个人数据吗？那么，这种使用必须符合GDPR所规定的原则和要求。首先，私人组织或个人必须确定他们是否可以依赖GDPR第6条中的一个合法基础。通常，对他们来说，可能只有“合法利益”这一基础是可行的。这些指南帮助私人组织和个人评估他们是否可以成功依赖这一基础。如果处理特殊类别或刑事个人数据，他们必须评估是否存在对这类数据的处理禁令的例外情况。GDPR中关于合法基础、特殊个人数据和刑事个人数据的条款都是GDPR第5条合法性原则的具体体现。这些指南特别关注这一原则。在抓取或使用抓取的数据时，很难满足合法性原则的要求。这当然取决于处理的目的、特定特征以及可能采取的额外保障措施来保护涉及方的利益。
如果数据控制者得出结论认为存在一个有效的合法基础，并且处理不违反特殊类别和刑事个人数据的处理规则，那么数据控制者随后还必须仔细评估预期的处理是否符合GDPR的其他原则和要求。
这些指南不涉及政府对网页抓取或抓取的个人数据的使用。除非GDPR不适用于该处理，见本指南相关章节。关于合法基础、特殊个人数据和刑事个人数据的条款都是GDPR合法性原则的具体体现。在抓取或使用抓取的数据时，满足合法性原则的要求可能是具有挑战性的。这取决于处理的目的和具体特点，以及为保护数据主体利益而可能采取的额外保障措施。