XR技术理解：AR和VR关于隐私和自主权报告（第一部分）

未来隐私论坛（The Future of Privacy Forum）于2021年4月出具一份报告《AR+VR-新兴的沉浸式数字世界对隐私和自主权方面的思考》，如今来看仍是非常重要的全面理解技术、使用场景以及合规要点的报告，故笔者分为几篇陆续推送给大家编译内容。今天推送第一部分：技术背景-VR和AR技术可以创造沉浸式虚拟技术或在物理世界展示数字物体。
第一部分：技术背景-VR和AR技术可以创造沉浸式虚拟技术或在物理世界展示数字物体
我认为[虚拟现实和增强现实]之间的关系类似于电影和电视之间的关系。它们通过相同的信号流流向相同的设备，但它们仍然是不同的。它们有不同的文化，它们以不同的方式制作，我们对它们有不同的期望。经典的VR
最终更多的是关于你，它更多的是关于人体、人类身份、人类互动。混合现实是关于探索世界。
-Jaron Lanier，计算机哲学和"虚拟现实的创始者"
XR通讯和交互模糊了数字世界和物理世界的边界，这是由计算机视觉、图形处理能力、显示技术和输入系统方面的发展共同驱动的技术。这些系统需要有效的追踪、图像渲染能力和显示技术。
VR 并不是一个新的表达方式，而AR 已经被 Pokémon Go等游戏应用普及。这两个术语已经被新的技术用语所加入，如混合现实 (MR)和XR。 研究人员和计算机科学家谈到了"虚拟连续体（virtuality Continuum）"， 最简单的理解就是是将所有这些术语视为描述不同技术应用的谱系。

图 01 XR技术谱系
对不同的沉浸式技术没有统一的定义，但像IEEE这样的技术标准机构和像消费者技术协会（Consumer Technology Association）这样的贸易协会已经努力澄清和 定义数字现实，以及相关的技术和功能。
-虚拟现实 (VR) 旨在创造一种完全沉浸式的用户体验，用数字环境取代物理现实。VR需要专门的 硬件，最常见的是通过像Oculus Quest这样的头戴式显示器来实现，依靠立体显示器、空间音频和运动跟踪传感器来模拟 "真实 "体验。
-增强现实 (AR) 通过智能手机或头戴式显示器(HUD) 将虚拟元素叠加到现实世界的环境中。AR不注重沉浸感，而是依赖于从物理世界的视觉表现中提取数据的软件，以覆盖和叠加机器生成的感知，如声音、视频、图形，或其他虚拟内容，如注释或实时评论。
-混合现实 (MR) 有时被描述为存在于AR和VR之间的谱系上，但它与AR有更多共同点，而关键的区别在于，MR旨在提供比基本AR应用更多的互动体验。虽然基本的AR只是将信息叠加到一个物理环境上，而MR环境中的虚拟内容可以与非数字物体或内容进行实时互动并作出反应。
-XR，有时被称为"扩展现实"，是一个总括性的术语，通常用来包括AR、VR和MR，以及其他未来的沉 浸式现实应用、技术或体验。
A. 虚拟现实技术（VR）使用户沉浸在虚拟的数字体验中，其中包括互动图形、声音、触觉反馈、风、水等。
计算机时代在发展过程中一直有着一个利用技术创造一个人造的、沉浸式环境的梦想。计算机研究员Ivan Sutherland被认为在20世纪60年代开创了后来的VR领域，当时他设想的"终极显示"是一个"计算机可以控制物质存在的房间"。在这样的房间里显示的椅子好到可以直接坐上去。在这样的房间里显示的手铐将是限制性的，而在这样的房间里显示的子弹将是致命的。通过适当的编程，这样的显示可以真正成为爱丽丝走入的仙境"。 对探索数字空间所需硬件的研究在持续进行中，但VR的术语迟了20年才出现。VPL研究公司的Lanier在1987年首次推广了这一术语，同年，"全息甲板"在《星际迷航：下一代》中 首次亮相，作为星舰企业号上的船员逃离现实的光子。
VR需要完全沉浸式的体验。“存在感是VR的必要条件"，斯坦福大学虚拟人际互动实验室的Jeremy Bailenson解释道。在有效的VR中，个人的运动和感知功能将虚拟环境解释为与物理现实大致相同。这种心理和生理上的效果依赖于技术的输入和输出，使用户沉浸在其中并为他们提供对数字体验的控制。
输入设备，如用户的动作捕捉的HMD和触觉设备，允许用户在虚拟环境中进行导航，并包括追踪功能，以捕捉用户的动作和位置。输入设备的范围可以从传统的控制器，包括鼠标和操纵杆，到可以捕获手部动作和手势的技术，以实现更精确的控制。有效的VR需要大量的数据收集和处理活动，还需要内部和外部输入来进行位置跟踪，并将个人的全部物理运动转化为数字环境。例如，Oculus Rift头戴式显示器的早期型号配备了十多个传感器，包括陀螺仪、加速计和罗盘，以及外部红外传感器和摄像头，以跟踪用户的头部位置。
输出显示器允许用户看到和听到虚拟环境中发生的一切，而触觉机制可以通过触觉反馈提供一种虚拟的触摸感。但一般来说，虚拟的图像和声音通过两种主要技术实现：(1) 洞穴自动虚拟环境(CAVEs)和(2)HMDs。CAVE是房间大小的装置，依靠投影仪在房间的墙壁和天花板上创造一个虚拟环境。HMD，或VR头戴式显示器，是由用户佩戴的可穿戴设备，可以产生逼真的音频和视觉效果。最近发布的头戴式显示器比之前的版本更实惠，质量更高；它们已经成为家庭VR的主要消费品，包括像任天堂的VR Kit Labo这样的低成本的版本。
精确的位置跟踪和无缝的6DoF是通常与VR头戴式显示器相关的功能，但这些技术将在使AR和MR更适合消费者，也更有功能性。
虚拟空间中的自由度
HMD提供不同的自由度(DoF)和运动来体验VR。一些系统只允许用户环顾四周，而其他系统则提供 在虚拟空间中的完全自由移动。在三维空间中总共有六个自由度。
三自由度(3DoF) 可以跟踪方向--俯仰、偏航和滚动--以记录用户是否转动了他们的头，向上或向下倾 斜，或向左或向右转动。这些类型的VR系统最好是坐在沙发上用控制器体验，可能会降低沉浸感和迷失性。六自由度创造了一个确定的物理使用空间，包括跟踪平移运动，如(4)向前或向后移动，(5) 向左或向右，以及(6)向上或向下。
定位跟踪
一个VR HMD--以及其他XR设备--需要"知道"它相对于环境的位置。位置跟踪依赖于软件和硬件的组合，以及视觉和惯性传感器来模拟用户的位置。
6DoF曾经在很大程度上依赖于直接拴在计算机上的外部传感器和摄像机。这种"由外而内"的追踪需要 精心设置和专门的空间，但现在新的VR系统可以通过HMD本身的传感器进行"由内而外"的追踪，并使 用计算机视觉来实时追踪用户的位置。一些技术支持精度超过一毫米的追踪，然后使用预测算法来减少 物理和虚拟运动之间的延迟 (或滞后)。这些类型的外部传感器也可以促进VR对手部的追踪，让用户在使用他们的手来操控虚拟环境的过程中对DoF进行更灵敏地估计。
B. 增强现实技术（AR）用计算机生成的图像和其他信息修改用户对物理世界的体验
AR与VR密切相关。AR体验显示物理世界的所有或大部分方面，但依靠技术用计算机生成的信息 (如声音、视频或图形)来增强或修改物理世界。对AR没有统一的定义，但华盛顿大学的研究人员认为，AR是由一系列相关技术组成的。
具体而言，部署AR的技术可以实时感知物理世界 的属性，向用户输出上下文信息（contextual information），并识别和跟踪物理对象。虽然这些元素都很重要，但AR的实时上下文性质是使该技术最神奇的地方。然而目前，AR最常见的应用是叠加在物理环境上的交互式滤镜，通常是以数字广告的形式，比如dancing Pokémon和Instagram以及Snap的脸部滤镜是初级 AR的主要例子。
许多带有摄像头和屏幕的智能设备可以输出基本的 AR，而通过智能手机和平板电脑实现的AR移动应用已经成为消费者与该技术互动的主要方式。在某些情况下，AR移动应用有一个缺点，即迫使用户把他们 的设备作为取景器，减少了用户的沉浸感。然而 ，基于车辆的静态智能屏幕或HUDs在很大程度上 避免了沉浸感的问题，因为它们的目的更狭窄， 即仅提供路标和其他与旅行有关的数字信息。数字眼镜允许用户在一个环境中轻松移动而不牺牲沉浸式元素，这仍然是视觉AR的圣杯。
AR的质量取决于用户设备的环境理解能力。AR软 件使用一种被称为同步测距和绘图 (concurrent odometry and mapping，简称COM)或同步定位和绘图（simultaneous localization and mapping，简称SLAM）的处理活动来了解设备相对于其周围世界的情况。简而言之，AR移动应用依靠设备的摄像头和其他设备上的传感器 (如陀螺仪和加速计)来建立本地环境地图，并定位设备在该环境中的位置。通常，环境因素如照明和物体表面探测识别对于确保AR体验具有真实感，为用户提供沉浸式体验非常重要。
C.MR和AR一样，融合了物理世界和数字世界，但多了一层互动性
一些AR体验在融合物理世界和数字世界时，互动性越来越强，而不那么被动，正在向MR体验发展。MR是由AR的进步和VR的沉浸感共同推动的，MR承诺创造一个有形的数字环境，不仅覆盖物理世界，而且是持久的和互动的。未来学家和主要的技术公司都认为MR是今天无处不在的移动计算的下一个潜在平台。
虽然AR和VR也依赖于不同程度的空间认知和环境输入，但MR结合了一系列的感官输入，包括设 备追踪、空间映射和场景理解以及物体识别。舒适地控制这些体验需要在控制方面取得进展，包括手势、语音控制和眼球追踪，以与虚拟内容的互动。
一些组织正在使用VR和AR技术作为开发MR体验 的奠基石，Magic Leap和微软的HoloLens是这 一类中最突出的产品。这两个头戴式显示器的特点是半透明的显示屏，允许用户看到并与物理环境互动。只有通过HMD才能看到的数字全息图被叠加在物理世界上，并可以通过控制器或手势进行操作。用户可以亲自动手，实时操纵叠加物和虚拟内容。
为了使MR发挥作用，这些设备需要一个局部空间地图或在HMD使用的空间内创建锚点。这些锚点 代表了MR系统将在之后长期追踪的位于该环境内的重要的点。虽然这些地图可以在本地创建和存储，但可能需要一个共享的地图来释放MR 的全部潜力。Magic Leap和HoloLens头戴式显示器都允许通过云在设备和应用程序之间共享这些地图。Azure空间锚和 Magic Leap的共享世界促进了多用户的体验、基于位置的内容和路径发现，以及持久的虚拟内容。这些地图收集的数据非常广泛，可以包括水平和垂直平面、声音信息和其他类型的物体数据，以创建一个三维网格，可以表示物体的形状、位置、距离和体积。
D. XR的进步将与其他技术进步同时发生，并取决于其他技术的进步。
XR的进步不是孤立发生的。例如人工智能进步与开发更多沉浸式体验的能力交织在一起。人工智能有助于绘制物理世界的地图，创造更真实的虚拟模拟和独立行动的虚拟形象。
XR的发展和广泛采用也可能取决于一系列不同的 技术和通信系统。5G无线网络可能支持下一代的 AR和VR体验，但围绕一些技术的政策和技术问题 将影响XR。
相关技术
> 5G和边缘计算可能是XR体验的基建。 第五代移动网络 (5G)不仅会带来无处不在的高速连接，而且还会促进边缘计算。边缘计算是一种云计算形式，使数字内容和计算资源更接近用户，这对减少XR沉浸式体验的延时感非常重要，同时会促进低成本、更轻的可穿戴设备如眼镜的使用。
> AR云或点云是一个持久的数字内容层，它被映射到物理世界的物体和地点，提供了一个数字图例来注释物理世界的物体和地点。例如Niantic，Pokémon Go的开发者，开发了一个共享的 "真实世界平台"。
> 智能眼镜或数字眼镜是视觉AR的圣杯。36AR移动应用的缺点是迫使用户使用他们的设备作为取景器，静态智能屏幕或HUDs缺乏便携性，而轻巧、时尚、永远在线的可穿戴设备有望成为下 一个主流数字平台。
> 空间计算是了解物理世界并能在这些空间中进行交流和导航的技术的总称。最基本的，它可以包括像GPS这样的基本位置传感器和包括Wi-Fi和蓝牙在内的基于位置的服务，但XR需要 高度精确的位置识别来呈现实时的沉浸式数字内容。
> 计算机视觉是人工智能的一个领域，它训练计算机解释和理解视觉世界。除了绘制视觉环境图之外，XR体验将受益于面部识别和特征描述以及物体识别方面的进展。