Meta公司CEO马克·扎克伯格每个季度都在元宇宙（Metaverse）上投入数十亿美元，这个从小说里走出来的概念很快成为了扎克伯格这样的大型科技公司领导者眼中的现实。最近，扎克伯格透露了该公司在虚拟体验高端现实方面的一些进展，并公布了Reality Lab实验室的三个原型，以及该公司未来的VR头显系统。

 

外媒VB透露，在最近的线上发布会中，扎克伯格公布了一个高端创意原型《Half Dome 3》，并且展示了首次公布的头显设备Butterscotch、Starburst、Holocake 2以及Mirror Lake，以展示Meta在实现元宇宙方面的认真态度。

 

 

以下是GameLook编译的全部内容：

 

 

不可否认，有很多人在嘲笑扎克伯格试图做不可能的事情，比如在高质量VR、成本、电池寿命和重量等研究向量之间的权衡，但扎克伯格以提供下一代计算技术的名义，对于这些挑战不以为然。Meta如今也已经在展示其技术，或许是为了证明扎克伯格在元宇宙上投入如此多的资金并不是头脑发热，其中一部分将在今年晚些时候推出的高端专业和消费级头盔Project Cambria中，但其他部分可能要在未来推出的头显设备中实现。

 

扎克伯格说，诚然，这些方面的很多工作要实现还很遥远。对于所有这些酷炫的科技，他说，“所以我们正在研究，我们真的想把它放到即将推出的头显设备中。我相信我们会在某个时候这么做，但今天不会提前宣布任何事情。”

 

 

扎克伯格在一次新闻发布会中提到，如今的VR头盔已经可以带来不错的3D视觉体验，但这种体验依然与我们在真实世界里看到的有很多方面的差距。为了完成扎克伯格去年秋季许下的元宇宙承诺，Meta希望打造一个前所未有的VR显示系统，一个先进而轻量级的头显，能够带来像现实世界这样逼真和细节化的视觉体验。

 

“做出像真实世界那样清晰和真实的3D现实效果需要解决一些基础挑战，比如我们的身体是如何感知事物的、我们的大脑和眼睛是如何处理视觉信号的、我们的大脑是如何解释这些信号来构建世界模型的，有些东西很深奥。”

 

他表示这很重要，因为匹配人类实力完整能力的显示可以创造真实感，或者说，一个动画体验足够沉浸，能让你觉得自己身临其境。

 

扎克伯格说，“你们所有人都可以想象，这可能是离你家很远的一些人，或者在一个项目上合作的人，甚至是你喜欢的一个艺术家，就真实的站在你面前，这就是我们跟你们所说的存在感，我们正朝着现实主义迈出一大步，而且我不认为创造完美逼真的场景需要很长时间。”

 

 

“只有当你看到一个场景时，你才能感觉自己置身其中，体验那些你没有机会体验的事情，这种感觉、体验的丰富性、表达方式和周围的文化类型。这就是为什么现实主义也很重要的原因之一。当前的VR系统只能给你在另一个地方的感觉，很难用语言来形容，你知道这有多玄妙，你需要亲自体验，我想很多人都已经试过，但要达到这种视觉真实感水平，我们还有很长的路要走。”

 

他补充道，“你需要低延迟的真实动态追踪，这样当你转动头部时，会感觉一切位置都正确。要支撑所有这些像素，你需要能够构建一条新的图形管线，以发挥CPU和GPU的最佳性能，它们的性能受头显设备的限制。”

 

电池寿命也限制了头戴设备的大小，因为你不可能将特别重的电池挂在头上，而且电池产生的热量会导致大脑和脸部过热，引起不适感。

 

这个设备还必须足够舒适，能够让你戴在脸上很长时间，如果以上这些任何一个方面做不好，都会降低沉浸感，这也是目前市面上没有这种产品的原因，或许也是竞争对手苹果、索尼以及微软目前都没有推出类似高端产品的原因。在这些挑战之外，还需要有软件、硅、传感器以及美术等方面的技术才能让一切做到无缝化。

 

视觉图灵测试

 

扎克伯格与Meta公司Reality Lab部门首席科学家Mike Abrash希望头显设备通过“视觉图灵测试”，即动画VR体验能够被视为真实体验，Abrash表示，这是VR显示研究方面的最重要标准。

 

它是以数学家艾伦·图灵的名字命名，图灵当时领导了一个密码分析小组，破解了德国人臭名昭著的Enigma密码，帮助英国扭转了二战局势。

 

Abrash在新闻发布会上说，“这里真正重要的是人类体验而不是技术标准，这是一个如今没有任何VR技术可以通过的测试。VR已经用非常聪明且具有说服力的方式创造了在虚拟空间里的存在感，但还远远达不到让人们怀疑自己是在虚拟还是真实场景的地步。”

 

Meta还要走多远？

 

 

挑战之一是分辨率，但Abrash表示，其他问题也给3D显示带来了挑战，比如聚散度、冲突感调节、色差、视差等等。

 

“甚至在我们遇到这些挑战之前，AR/VR头盔还面临必须做到紧凑、轻便的挑战”，并且能够在有限的电池容量下运行很长时间，Abrash说，“所以一开始就是非常困难的，现在VR面临的一个独特挑战是，当前VR头显中使用的镜头常常会扭曲虚拟图像，除非在软件中完全纠正失真，否则就会降低真实感。”

 

解决这个问题是比较复杂的，因为因为随着眼睛向不同方向移动，扭曲情况也会发生变化。Abrash表示，虽然这不是现实主义的一部分，但这些都会导致头显设备很难被长时间使用。扭曲问题增加了难度，还有头盔重量，因为这些都会增加不适感和疲劳感。

 

另一个关键挑战在于，能够在任何距离正确聚焦。

 

让眼睛正确聚焦是很大的挑战，扎克伯格表示该公司专注于提升分辨率以帮助人眼聚焦，这只是重要的方面之一，但其他方面同样重要。

 

Abrash称，分辨率的问题是VR头显设备的视野甚至比最宽的显示器还要宽。因此，无论可用的像素是什么，都会分布在比2D显示器大得多的区域里，这会导致特定数量像素的分辨率降低。

 

扎克伯格说，“我们预计要在整个人类视野中获得20/20的视力，需要8K以上的分辨率，由于人类视觉的一些怪癖，你实际上并不总是需要所有这些像素，因为我们的眼睛实际上并不会在整个视野中都以高分辨率感知事物，但这仍然远远超出了目前任何显示面板的能力。”

 

此外，这些像素的品质也必须增加。扎克伯格说，今天的VR头盔的色彩范围、亮度和对比度远低于笔记本电脑、电视和手机，所以VR还不能达到我们已经习惯的2D显示器的精细细节和精确显示水平。

 

扎克伯格表示，要达到视网膜分辨率意味着每度60像素，这是我们今天技术能做到的3倍之高。

 

为了通过这个视觉图灵测试，Reality Lab内部的显示系统研究团队正在打造新的技术堆栈，希望能够提升元宇宙的科学进步。

 

这包括“变焦”技术，该技术可确保正确对焦，并可在手臂距离内长时间实现清晰舒适的视觉，其目标是打造接近或超过20/20人类视觉的分辨率。

 

它还将采用高动态范围（HDR）技术，扩展你在VR中可以体验的颜色、亮度和对比度范围，并进行畸变校正，以帮助解决视觉光学导致的光学系统像差，如扭曲变形和彩色条纹。

 

Butterscotch

 

扎克伯格还拿出了一个叫做Butterscotch的原型机。

 

 

这个原型是为了展示VR当中的视网膜分辨率体验，这是任何带屏幕产品的黄金标准，电视和手机等产品早已超过了每度60像素（ppd）的基准。扎克伯格说，“它具有足够高的分辨率，你可以在VR中达到视力表上的20/20标准。我们基本上修改了很多部分，这不是一个消费品，但这是行之有效的，这个结果太棒了。”

 

VR落后于其他产品，是因为可用像素需要在沉浸视野内拓展到很大的区域，因此就降低了分辨率，这限制了感知的真实感和呈现细节的能力，而这对于通过视觉图灵测试至关重要。

 

Abrash说，“Butterscotch是我们视网膜分辨率原型最新和最先进的版本，它在VR环境中创造了接近视网膜分辨率，达到55像素每度，是Meta Quest 2分辨率的2.5倍。Butterscotch团队将视野缩到了Quest 2的一半，然后研发了一个新的混合镜片，可以完全呈现那么高的分辨率。你们可以看到，就像马克说的那样，这个原型离发布还很远，我是说，它不仅庞大、而且笨重，但它展示了VR体验可以带来更高的分辨率。”

 

Butterscotch测试展示了真正的现实感需要这么高水平的分辨率。

 

聚焦深度的问题

 

 

扎克伯格说，“我们预计显示面板技术将不断改进，在接下来的几年里，我们认为很可能实现这一目标，但真相是，即便我们现在有一个视网膜显示面板，其他方面也不能够带来真正现实主义的视觉效果，这取决于其他几个同样重要的挑战，我们必须要解决的第二大挑战是聚焦深度。”

 

这在2015年的时候就很明显，彼时Oculus Rift刚刚发布，当时的Meta公司还发布了Touch手柄，让用户产生在VR环境中使用双手控制的感觉。

 

人类的眼睛可以适应无论手指在哪里都聚焦在手指上的问题，人眼的晶状体可以改变形状，但目前的VR光学系统使用了不会移动或改变形状的实心透镜，它们的焦点是固定的。如果焦点设置在一个人面前五六英尺的距离，我们可以看到很多东西，但当你不得不转向手指的时候，这就行不通了。

 

扎克伯格说，“我们的眼镜是非常不可思议的，在聚焦深度和定位方面，它们可以找到所有微妙的线索，当你和一个物体之间的距离与焦距不匹配的时候，它会让你感觉很奇怪，你的眼睛试图集中注意力，但无法做到正确聚焦，这会导致模糊和疲劳。”

 

这就意味着你需要一个在所有距离下都支持达到60像素每度聚焦深度的视网膜显示设备，不管距离是近还是远，所以，这也是打造3D头盔与现有2D显示器非常不同的另一个案例，而且更有挑战性。

 

扎克伯格说，为了解决这个问题，实验室想出了一种改变焦距的方法，通过动态移动镜头来匹配你所看的地方，就像在相机上自动对焦一样，这就是所谓的变焦技术。

 

因此在2017年，团队给Rift打造了一个带有机械变焦显示的创意原型版本，它可以提供适当的聚焦深度，用眼部追踪来告诉你正在看什么，用实时失真校正来补偿放大之后的分辨率降低，在模糊中移动镜头。这样一来，只有你所看到的东西才像现实世界一样处于焦点之内。

 

为了帮助用户研究，团队找到了视觉科学家Marina Zannoli。她在60多个不同的研究课题上为变焦原型测试带来了帮助。她说，“大多数的用户都喜欢变焦而不是固定焦距。”

 

Meta在一个原型上测试了变焦透镜，发现在所有视角下看起来都更舒适，让疲劳和视线模糊都有所降低。他们可以辨认出较小的物体并且在阅读文字的时候更容易，对视觉环境作出的反应也更快。

 

Half Dome系列

 

团队将反馈用到了变焦镜头偏好上，它的重点是通过一系列原型中降低尺寸和重量，首款被称为Half Dome。

 

有了Half Dome系列，DSR用越来越紧凑的外形尺寸继续向无缝变焦操作更近一步。Half Dome Zero（最左侧）被用于2017年的用户研究，团队将Half Dome 1（左侧第二个）的视野扩展到140度，对于Half Dome 2（右侧第二个），他们把头盔的光学元件变得更小，重量减轻了200克，更注重人体工程学和舒适性。

 

而Half Dome 3（最右侧）加入了电子变焦，它用液晶透镜取代了Half Dome 2当中的移动机械部件，进一步降低了头盔的大小和重量，新的Half Dome 3原型头盔比现存的任何产品都更轻、更薄。

 

这些头盔采用基于液晶透镜的全电子变焦，尽管Meta已经取得了这些进展，但要使变焦硬件的性能为量产做好准备，还需要做大量的工作，同时还要确保眼部追踪足够可靠才能完成。聚焦功能需要一直发挥作用，考虑到人类以及生理机能方面的天然障碍，这是一个很高的标准，要在产品中实现这一点并不容易。但扎克伯格表示，他对很快实现这一点保持乐观态度。

 

失真模拟器

 

为了让变焦无缝工作，VR当中一个常见的问题，光学失真，需要在今天头显设备的基础上进一步解决。

 

如今头盔的校正是静态的，但虚拟图像的失真会根据观察者所处的位置而变化，这会使VR看起来不太真实，因为一切都会随着眼睛的移动而移动。

 

研究失真的问题在于，它需要很长时间，制造研究这个问题所需的镜片可能就需要数周或数月的时间，而这还只是漫长过程的开始。

 

为解决这个问题，团队打造了一个快速原型解决方案，该方案重新调整了3D电视技术的用途，并将其与新的镜头仿真软件相结合，创建了一个VR失真模拟器。

 

模拟器使用虚拟光学技术精确复制头盔中的失真，并在类似VR的观看条件下进行显示。这使得团队能够以可重复、可靠的方式研究新颖的光学设计和失真校正算法，同时也避免了使用物理头显设备体验失真的需要。

 

受到VR镜头失真问题的影响，特别是变焦问题，该系统现在是DSR用于在构建镜头之前设计镜头的通用工具。

 

这里重要的是要有准确的眼部追踪，以便在移动时可以校正图像。扎克伯格说：“这是一个很难解决的问题，但我们看到了一些进展。”该团队使用3D电视研究各种原型的设计。

 

Abrash说，“研究失真的问题在于，它真的需要很长时间，制造研究这个问题所需的镜片可能就需要数周或数月的时间，而这还只是真正打造一个可行显示系统的漫长过程的开始。”

 

扎克伯格说，眼部追踪是VR和AR领域都被低估的技术。“这关乎系统如何知道要关注什么、如何纠正光学扭曲，以及图像的哪些部分应该投入更多资源来渲染完整的细节或更高的分辨率。”

 

Starburst与HDR

 

需要解决的最重要的挑战就是高动态范围，简称HDR，实验室为此做了一个“非常不切实际的原型”Starburst。

 

扎克伯格说，“这就是什么时候灯该亮、颜色出现，你会看到阴影更暗、感觉更真实。那才是场景真正栩栩如生的时候，但是，与眼睛能够看到的东西和现实世界中的东西相比，我们现在拥有的屏幕还差很多。”

 

HDR的关键指标是尼特，也就是显示亮度有多高。研究显示电视上的首选峰值是1万尼特。电视行业已经取得了进步，并朝着这个方向发展推出了HDR显示器，从几百尼特发展到今天的几千尼特的峰值。但在VR中，Quest 2大约可以做到100尼特。扎克伯格说，要想通过一种可穿戴的外形因素超越这一点，是个巨大的挑战。

 

为了解决VR环境中的HDR，Meta创造了Starburst，它是非常不切实际的，主要是因为尺寸和重量，但它主要用于测试和研究。

 

Starburst是DSR的HDR VR头盔原型，高动态范围（HDR）是一种最能增强真实感和深度感的一项技术。HDR是一种功能，可在同一图像中同时启用亮图像和暗图像。

 

Starburst原型是庞大、笨重且有线的，人们拿着它就像是双筒望远镜，但其结果产生了在室内或夜间环境中常见的全范围亮度。Starburst达到20000尼特，是迄今为止能够制造的最亮的HDR显示器之一，也是为数不多的3D显示器之一，这是建立用户在VR中描绘真实亮度偏好的重要一步。

 

Holocake 2

 

Holocake更薄、更轻，它是以原始全息光学原型为基础，后者看起来像一副太阳镜，但缺少关键的机械和电子组件，光学性能明显较低。Holocake 2是一款功能齐全的PC头盔，能够运行任何现有的PC VR游戏。

 

为了实现超紧凑的外形，Holocake 2团队需要明显缩小光学元件的尺寸，同时最大化利用空间。解决方案有两个方面：首先，使用基于偏振的光学折叠（或煎饼光学），以减少显示面板和镜头之间的空间；其次，用薄而平的全息透镜代替传统的曲面透镜，以减小透镜本身的厚度。

 

全息透镜的发明是一种降低形式因素的新方法，代表着VR显示系统向前迈出了明显的一步。这是我们首次尝试使用全息光学技术制作功能齐全的头显设备，我们相信VR头盔的进一步小型化是可能的。

 

扎克伯格说，“这是我们制造的最薄、最轻的VR头显。如果它可以正常运行任何现有的PC VR游戏或者应用，那它就是可行的。在大多数VR头显中，镜片都很厚。而且，它们必须距离显示器几英寸，这样显示器才能正确聚焦并将光线引导到眼睛中，这就是为什么很多厚重的头显都向公众介绍这两种技术来解决这个问题的原因。”

 

第一种解决方案是通过透镜发送光源，Meta通过透镜的全息图发送光源，全息图基本上只是记录光线照射物体时发生的情况。扎克伯格说：“它们就像全息图，比物体本身要平坦得多。”全息光学比它们所模拟的透镜轻得多，但它们以同样的方式影响入射光，所以是一种非常好的技术。

 

第二项新技术是偏振反射，以缩短显示器和眼睛之间的有效距离。因此，光线不是从桨叶穿过透镜然后进入眼睛，而是偏振的，因此它可以在反射表面之间来回多次反弹。扎克伯格说，这意味着它可以行走相同的总距离，但可以做到更薄、更紧凑。

 

他说，“结果就是这种更薄、更轻的设备，实际上今天可以使用，但是，正如所有这些技术一样，不同的事物之间存在着不同路径的权衡，或者说，目前可用的技术并不多。我们需要做大量研究的原因是，它们并不能解决所有的问题。”

 

Holocake需要专用激光器，而不是现有VR产品使用的LED。Abrash说，虽然激光如今已不再是非常罕见的新玩意儿，但在许多消费品中，它们的性能、尺寸和价格都达不到我们的要求。

 

Abrash说，“因此，我们需要进行大量的工程设计，以实现一种符合我们规格、安全、低成本、高效且可安装在纤薄VR头显中的消费级激光器。老实说，到今天为止还没有找到合适的激光源。但如果事实证明这是可行的，那么VR显示器这样的太阳镜将有一条清晰的发展道路，你持有的设备实际上是我们可以建造的。”

 

将所有融入到Mirror Lake显示系统中

 

Mirror Lake是一种概念设计，它具有类似滑雪镜的外形，将DSR在过去七年中发展的几乎所有先进视觉技术（包括变焦和眼部追踪）集成到一个紧凑、轻便、节能的外形中，它展示了一个完整的次世代VR显示系统的样子。

 

最终，Meta的目标是将所有这些技术结合在一起，通过视觉图灵测试所需的视觉元素集成到一个轻便、紧凑、节能的外壳当中，Mirror Lake是实现该目标的几种潜在途径之一。

 

如今的VR头显可以带来不可思议的3D视觉体验，但这些体验很多方式上与我们在真实世界中看到的不同，它们提供的分辨率低于笔记本电脑、电视和手机，镜头扭曲了穿戴者的视野，他们不能使用更长时间。为了解决这些问题，Meta表示我们需要打造一个前所未有的VR显示系统，一个更先进、更轻便的显示器，能够在VR环境中带来我们眼镜能够认知的真实体验，这就是“视觉图灵测试”。

 

扎克伯格说，“所有这些工作的目标是帮助我们确定哪些技术途径将允许我们做出有意义的改进，如果我们能够在分辨率方面取得足够的进展，就可以开始接近视觉真实感。如果能建立适当的焦深系统、减少光学失真，并在高动态范围内大幅提高逼真度，那么我们将有机会创造出能够体验真实环境级逼真效果的显示器。”

 

原型历史

 

研究团队的研发开始于2015年，Meta公司DSR总监Douglas Lanman在发布活动中提到，团队是以整体的方式进行研究，“我们探索光学、显示器、图形、眼部追踪和所有其他系统如何协同工作，以提供更好的视觉体验。最重要的是，我们关注每个系统是如何竞争的，比的是相同的尺寸、重量、功率和成本预算，同时还需要在外形上更紧凑。这不仅是把每件事都压缩到有限的预算内，系统的每一个要素都必须与其他要素兼容。”

 

需要了解的第二件事是，该团队深信原型设计，因此在华盛顿Redmond的一个实验室中有一系列实验研究原型。每个原型都处理视觉图灵测试的一个方面，每个笨重的头显都让团队看到了如何在未来减少体积。Lanman说，这是工程和科学相互碰撞的地方。并表示这将是一个持续多年的旅程，沿途潜伏着许多陷阱，仍有许多需要学习和解决的问题。

 

Lanman说，“我们的团队确信，通过视觉图灵测试是我们的目标，物理学中似乎没有任何东西阻止我们达到目标，在过去的七年里，我们已经窥见了这个未来，我们仍然致力于找到一条通往真正视觉真实的元宇宙的切实可行的道路。”

 

Meta的DSR团队通过一系列广泛的原型来应对这些挑战。每个原型的设计都是为了突破VR技术和设计的界限，并进行严格的用户研究，以评估通过视觉图灵测试的进展。

 

2017年，DSR在变焦技术上实现了第一次重大突破，其研究原型被称为Half Dome Zero。他们使用这个原型进行了第一次用户研究，验证了变焦对于未来VR中提供更多视觉舒适度至关重要。

 

自从这一关键成果问世以来，该团队继续在整个DSR产品组合中应用同样严格的原型制作过程，突破了视网膜分辨率、失真和高动态范围的限制。

 

更大的愿景

 

总体来说，扎克伯格说他是乐观的。

 

Abrash展示了另一个原型，该原型将通过视觉图灵测试所需的一切集成在一个轻量级、紧凑、节能的外形中。他说，“我们现在设计了Mirror Lake原型以在这个方向迈出一大步。”

 

这个概念已经做了7年，但依然没有全功能头显被制造出来。Abrash说，“这个概念很有前景，但目前，它还只是个没有全部功能的概念，但已经证明了这个架构的成功，如果最后可以制造出来，将会给VR体验带来巨大的改变。”

 

扎克伯格称，这个概念之所以令人兴奋，是因为它是个全新的技术。“我们正在探索物理系统如何工作以及我们如何感知世界的新领域，我认为AR和VR是重要的技术，我们正开始看到它们成为现实。如果我们能够在所讨论的各种进步上取得进展，那么这将带来新的未来，计算将以人和我们如何体验世界为中心，比我们现在拥有的任何计算平台都要好。”

 

Epic Games公司CEO曾经预测，如果VR和AR能够在人们面前呈现120寸的屏幕视野，我们在未来可能就不再需要电视或者其他显示器。对此扎克伯格表示，未来很多东西都没有存在的必要，屏幕就是很好的案例。

 

“如果有一个不错的VR头显，那么屏幕或者墙壁上的电视就会在未来成为全息影像，根本没有必要再购买昂贵的电视机。这只是一个有趣的思维实验，你们可以想象未来有多少东西是需要物理存在的。”