文章目录
这是facebook VR 实验室在探索VR视觉效果的心路历程：深度分享变焦、畸变、高分辨率、HDR等原型设计和研发。原文链接如下：Passing the visual Turing test: The inside story of our quest for visual realism in VR
2002年11月的时候，Meta的公司ceo 马克·扎克伯格给 CTO Andrew 和 虚拟现实实验室的首席科学家 Michael Abrash 发了一封邮件，开门见山的问了一个问题：“是什么让我们无法拥有与现实几乎无法区分的VR显示器，为了实现这一目标，我们必须解决什么问题?”
这是扎克伯格和阿布拉什多年来就构建高级虚拟现实（VR）显示系统进行的一系列详细对话中最近的一次。从2015年前往一家前景满满的增强现实公司，到频繁的电子邮件、一对一讨论和技术评论，再到多年来在雷德蒙德和门罗公园的多次演示，这是扎克伯格和亚伯拉什就构建先进虚拟现实显示系统进行的又一次详细对话。
我们可能认为两人对问题的回答可能只是纸上谈兵–但事实并非如此，因为显示实验室的显示系统研究（DSR）团队在道格拉斯-兰曼（Douglas Lanman）的领导下，在过去五年里一直在对回答扎克伯格的具体问题所需的所有技术进行深入研究。事实上，这正是在正确的时间提出了正确的问题，使DSR对未来十年的VR显示的愿景得以具体化和规划：通过视觉图灵测试。
显示系统研究的圣杯
图灵测试由艾伦·图灵于1950年设计，目标是评估计算机是否具有人类智能的测试。视觉图灵测试由DSR团队采用，并旨在与领先的学术团队一起帮助普及，而它的目标与前面陈述类似：评估VR头显显示的内容是否可以达到与真实世界别无二致的水平。这是一个主观测试，一个当今任何VR技术都无法通过的测试。尽管虚拟现实已经创造了一种强烈的临场感，能够以令人信服的方式将用户置身于虚拟场所，但它迄今远未达到令人不再怀疑面前一切是虚幻数字的程度。
扎克伯格的问题促使兰曼在2020年12月撰写了一份广为传阅的内部备忘录：“Passing the visual Turing test（通过视觉图灵测试）”。
其中，他为实现所述目标制定了详细的路线图，而如果成功实现，这将开创一个全新的虚拟现实赋能世界：从令远程工作与在真实办公空间中工作一样高效甚至更高效，到令你感觉真实地与他人共在，再到如同身临其境的虚拟旅游，未来的虚拟现实将能复刻我们今天在现实世界中所做的一切。
由VR驱动的远程工作将允许更多的人自由选择生活在任何地方，不必搬到公司的所在地。这将为个人和企业创造全新的机会，因为个人的就业机会将不再受地理位置的限制，而企业则可利用巨大的全球人才库。但改变游戏规则的影响将超越生产力。VR与AR一样都有望改变世界，它们甚至具有远超个人计算机的潜力，而难以区分的真实视觉体验将在其中发挥巨大作用。
在今天的博文中，我们将详细介绍DSR构建显示技术堆栈的探索。结合与Codec Avatars、逼真触觉反馈和空间音频等Reality Labs的项目，它们将有助于通过在所有视觉体验中迎接视觉图灵测试的挑战，并实现一个逼真的未来元宇宙。
我们将关注DSR正在开发的核心技术，讨论推动DSR进步的原型方法，并分享第一次感知研究的结果。最后，我们将介绍DSR的几个原型的详细信息，并已原型设计Mirror Lake收尾。提前剧透，Mirror Lake将DSR在多个研究领域的工作集成到了一个具有轻质、舒适外形的下一代头显装置之中。
这是一个科学探索的故事，一个研究概念的种子。它已经成长为一个全方位的项目，并在未来有望改变我们的工作、娱乐和交流方式。所述故事的开始将从它的挑战开始。
显示的挑战
在追求视觉真实性的过程中，DSR所面临的挑战很容易被总结出来。通过视觉图灵测试所需的技术，特别是在消费者耳机中，还不存在。虽然Quest和Quest 2创造了引人注目的3D视觉体验，但它们还不能与我们在现实世界中的体验相媲美。
目前明显的限制是分辨率，但真正的挑战要比这难的多。VR引入了一系列新的问题，这些问题在今天的2D显示器中根本不存在，包括视差-适应性冲突、色差、视差和瞳孔游动。因此，在我们接近完全真实的VR视觉体验之前，有许多障碍需要克服，有大量的研究需要完成，还有大量的用户研究需要进行。缩小差距所需的创新可分为几大类。
首先，分辨率是一个问题。问题是，VR头盔的视野甚至比最宽的显示器还要宽，所以不管有多少像素，都必须在比2D显示器大得多的区域内应用，导致一定数量的像素的分辨率降低。例如，人类视场的20/20视力需要大约13,000个水平像素–远远超过任何现有的消费者显示器。(现实并没有那么糟糕，因为眼睛没有能力感知全视野的高分辨率，但挑战的程度仍然适用）。不仅需要更多的像素，而且这些像素的质量也需要提高。今天的VR头盔的亮度和对比度大大低于笔记本电脑、电视和移动电话。因此，VR还不能达到我们已经习惯的2D显示器的精细细节和准确表现的水平。
此外，目前的VR显示器所使用的镜头往往会扭曲虚拟图像，降低真实感，除非在软件中完全纠正失真–这很有挑战性，因为失真会随着眼睛移动到不同方向而变化。此外，虽然这不属于真实感的范畴，但头盔可能很难长时间使用，因为这种失真以及头盔的重量会造成暂时的不适和疲劳。
还有一个关键因素，可以被认为是分辨率的一部分，但它是如此关键，以至于它属于自己的类别：在任何距离上正确聚焦的能力。我们将解释这最后一点，并在不久后深入探讨，因为它是我们今天故事的核心所在。
为了完全解决上述差距，扎克伯格和兰曼认为，通过视觉图灵测试需要构建一个全新的技术堆栈，包括：
- 提供正确焦点深度的 “变焦 “技术（相对于单一的固定焦点），从而在手臂长度范围长时间内实现更清晰、更舒适的视觉。
- 接近并最终超过20/20人类视场的分辨率
- 畸变校正，帮助解决光学畸变问题，如物体周围的色差和图像扭曲，这可能是由观察光学器件引入的。
- 还有高动态范围（HDR）技术，扩大了你在VR中可以体验到的色彩、亮度和对比度的范围。
开发所有这些能力是必要的（而且很难！），但还不够。所有这些最终都需要装入适合消费者使用的更舒适的头盔中，这意味着DSR不仅要在多个显示轴上推进技术水平，而且要建立远远超过今天的完整显示系统–这将挑战提升到另一个层次。但这是DSR正在接受的一项挑战–也是扎克伯格认为必须解决的一项挑战，以达到下一代的VR。
兰曼指出了这项任务的复杂性：”设计和建造包含这种技术集合的头盔是困难和耗时的工作，因为对于头盔显示器，所有技术系统都是相互关联的。所有东西都在争夺同样的尺寸、重量、功率和成本预算，同时还需要适合紧凑、可穿戴的外形因素”。而且，这不仅仅是将所有技术挤进紧张的预算中的问题–堆栈的每个元素还必须与所有其他元素兼容。例如，某些眼球追踪技术必须与特定类型的显示镜片配对，才能正常运作。
DSR已经通过一系列广泛的原型设计工作来解决这个问题，从单个技术到完整的系统，这些技术映射并推动了巨大的VR显示设计空间的边界，随后对这些原型进行了用户研究，以评估通过视觉图灵测试的进展。这方面的具体成果在雷德蒙的RL研究中心展出：一整面墙的原型，共同探索下一代VR显示的广泛技术–这是DSR追求视觉真实性的活历史。
在这篇文章的其余部分，我们将探索这段历史，从一开始直到今天。我们将依次审视四个主要技术轴，包括多年来我们多次谈到的长期运行的变焦项目的更新。我们还将讨论最近的两个DSR显示系统架构。Holocake 2–据我们所知，它是所有Quest 2级VR头盔中最紧凑的光学器件，也是第一个具有全息光学器件的此类头盔–以及Mirror Lake，一个为未来几代VR视觉体验提议的架构。
让我们回到2015年，故事的开始。
变焦和关于双手的意外作用
2015年，兰曼新组建的团队正处于研究有可能与通过视觉图灵测试有关的显示技术的第一年。与此同时，Meta公司（当时被称为Facebook）正在推出Oculus Rift，不久之后又推出了一种新的交互方式,touch控制器，为VR带来了双手的存在感。
兰曼相信，RL有一天会带来超越Touch的技术，将当时正在研究团队内开发的手部追踪技术进行了演示。(他是对的：在2020年，我们在Quest中加入了裸手交互。) 这种想法使兰曼得到了一个关键的见解。
这一见解是，为了最有效地使用你的手，你必须能够专注于它们。这可能看起来很明显，没有什么特别之处，因为这正是我们在现实世界中所做的，但这是在VR中规则改变的情况之一。在现实世界中，我们不断地改变眼睛中镜片的形状，以便在我们所看的东西的距离上聚焦，从而正确地对来自该距离的光线进行成像。相比之下，目前的VR头盔具有固定的焦点，通常在5至6.5英尺（1.5至2米）。这意味着，尽管我们没有意识到，但在VR中光线总是有效地来自相同的距离，无论我们在场景中的什么地方，这对我们的视觉系统来说是一个新现象。你在VR中收到的虚拟三维物体的模拟距离和聚焦距离之间的不匹配线索–同样，在今天的头盔中，聚焦距离被固定在大约5-6英尺–会导致视觉辐辏调节冲突（VAC）。VAC是VR领域的一个众所周知的现象，可能会导致暂时的疲劳和模糊的视力，并且可能是在VR中花费较长的时间时可能会出现的不适的来源之一。”你的眼睛试图聚焦，但你不能，”扎克伯格去年在解释变焦的好处时说，”因为显示器的投影距离只有这么一段距离”。
解决VAC的一个途径是动态调整VR中的焦距深度，以匹配感兴趣的物体的距离，使我们的眼睛能够在正确的距离上聚焦，而一个潜在的方法，即所谓的 “变焦”，是在观看者改变他们正在看的东西时相应地移动镜头。为了测试这一理论，DSR在2016年创造了一个笨重验证原型机，如下图所示。我们把这种原型称为时间机器–远非消费者可以使用的，它是为了探究可能性而创造的。时间机器构成了DSR探索未来VR视觉技术设计空间的方法一个重要组成部分。
首个同类用户研究和Half Dome的演变
当扎克伯格在2017年访问RL Research时，他去看了各种各样的原型，并对公司未来应该采取的技术方向做出了一些决定。那天他尝试的第一个VR演示是我们最早尝试的变焦技术之一–一个庞然大物，他很快就同意改善附近物体的清晰度。这款产品和其他早期原型显示，变焦的原理是可行的，而且主观上提供了更清晰的视觉体验。然而，新出现的证据，尽管很有希望，但都是传闻，团队缺乏确切的证据证明DSR版本的变焦可以克服VAC，提高视力和舒适度。
Marina Zannoli，当时是DSR团队的一名视觉科学家，通过领导变焦的用户研究，介入了寻找答案。她首先提出了一个艰巨的工程挑战：团队必须创建一个新的头盔，其重量和外形尺寸要更接近于Oculus Rift，以防止研究被佩戴笨重的原型所带来的普遍不适所影响。这需要将质量减少4倍，与团队现有的2450克（约5.5磅）的耳机相比，同时改进设备，使其没有变焦系统产生的噪音和振动。
9个月后，该团队交付了半穹零–一个重达680克的研究原型头盔，完全兼容当时为Rift发货的每一款VR游戏，但还能通过变焦系统在这些游戏中提供适当的焦点深度。虽然比470克的Rift要重一些，但Zannoli认为这个新的头盔足够轻，可以对用户的偏好和变焦的真正好处提供有意义的洞察力。
接下来，Zannoli必须决定如何测试变焦的预期好处，包括它是否提高了附近物体的清晰度，它是否帮助人们更快地感知3D场景，它是否增加了视觉舒适度，以及最重要的是，人们是否真的喜欢它。
在这里，Zannoli决定采用一种与标准视觉科学方法完全不同的方法来解决这个问题,如眼图。她选择在丰富的VR体验中进行研究，与一个技术艺术家团队合作，开发了一个基于视频游戏技术的定制演示应用程序，鼓励参与者将大部分时间用于观察附近的物体（由于定焦VR的已知的局限性，目前VR开发者被建议避免这样做。）
现在有了合适的头盔和精心设计的方案，Zannoli带来了63名参与者，他们完成了为期两天的试验，评估了团队的变焦系统与固定焦距VR的关系。有一天，变焦系统在half dome上被完全启用，而另一天，头盔在固定焦距模式下运行，这是目前VR头盔的标准模式。参与者被要求通过填写一套问卷来主观地评估各种偏好。
研究结果比该团队最初怀疑的更为积极。Zannoli总结说：”当我们观察结果时发现，当使用变焦时，人们在各方面都更加舒适。他们经历了较少的疲劳、恶心和视力模糊，他们能够更好地识别小物体，更容易阅读文字，并对他们的视觉环境作出更快反应。” 最有希望的是，大多数参与者喜欢变焦而不是固定焦距的VR（这是一个特别令人惊讶的结果，因为Half Dome是一个早期原型，眼球追踪和失真校正软件并没有真正的完善）。
当我们观察结果时，我们发现，当使用变焦时，人们在各方面都更加舒适。他们疲劳、恶心和视力模糊的情况较少，而且他们能够更好地识别小物体，更容易阅读文本。能够更好地识别小物体，更容易阅读文字。并对他们的视觉环境作出更迅速的反应。
因此，到2017年夏天，DSR终于有了确切的证据，证明变焦可以为VR带来一系列的性能和舒适度增益。而Inria和加州大学伯克利分校和斯坦福大学的同期研究也支持这一结论。该团队现在确信，解决剩余的众多工程挑战 (包括眼球追踪、计算机图形、光学设计、控制系统和重量)是首要任务，因此在接下来的五年里，DSR制造了一系列突破变焦技术的极限的原型。
变焦之外：视网膜分辨率、无畸变显示和HDR
“半穹顶系列是我们团队的一个转折点，”兰曼说。”它帮助我们推动了变焦技术的发展，也为我们的其他显示研究项目提供了一个模板。” 半圆顶之后，DSR开始沿着同样的路径指导他们所有的研究工作–这个过程首先是建立技术要求和假设，然后是建立庞大的经验验证时间机器，创建完善的概念验证原型，最后进行用户研究，产生关键数据，为下一个原型提供信息。
“我们已经严格地将这一蓝图应用于视觉图灵测试的其他维度，”兰曼补充说，”特别是分辨率、光学失真和动态范围。”
让我们深入了解一下这三个领域，看看在DSR的研究道路上各自处于什么阶段。
Butterscotch：理解“视网膜分辨率”
长期以来，”视网膜分辨率 “一直是有屏幕产品的黄金标准。虽然没有普遍接受的定义，但一般认为它是每度60像素（ppd）左右，这足以描绘出眼图上的20/20线。虽然大多数笔记本电脑、电视和手机早已超过了这一标准，但VR却落后了，因为它的沉浸式视野将可用的像素分散到更大的视觉范围内。例如，Quest 2的显示器提供约20 ppd的分辨率。
这显然限制了呈现精细文字和其他细节的能力，而且也限制了感知的真实性。例如，日本的研究人员表明，随着图像分辨率的提高，真实感会稳步上升，一直到120ppd左右，远远超过了人们认为的 “视网膜 “分辨率。由于视觉真实感是视觉图灵测试的核心，多年来，DSR建立了一系列高分辨率的VR原型，旨在探究VR背景下视网膜分辨率的意义，并为实用头盔找到达到这一水平的方法。
去年扎克伯格和博斯沃思访问RL Research时，这种原型设计的价值意外地得到了加强。在从机场开车过来的路上，扎克伯格问阿布拉什关于团队在视网膜分辨率方面的进展。阿布拉什回答说，你可以亲眼看到，因为在几个小时内你就会戴上DSR最新和最先进的视网膜分辨率原型的Butterscotch。
Butterscotch是原型设计的一个很好的例子，可以尽可能快地直接得到答案。目前没有任何面板支持接近视网膜分辨率的标准VR视场，因此该团队使用了3k LCD面板，并将视场限制在Quest 2的一半左右，以便将分辨率提高到55 ppd（Quest 2的2.5倍）。 然后他们不得不开发一种新型的混合镜头，以完全解决如此高的分辨率。
其结果离商业化太远（它太重太笨重了，视野也不够大），但它让扎克伯格体验到了接近视网膜的分辨率，并亲眼看到了它的差别有多大，这正是DSR的时间机器所要做的。事实上，在演示了Butterscotch并认识到其视网膜分辨率技术对VR的未来至关重要后，扎克伯格指示对我们的分辨率路线图进行公司级审查。
在实现接近现实的VR分辨率的道路上，还有很长的路要走，但Butterscotch是在这条路上迈出的重要一步。它也是将DSR其他技术整合到高分辨率显示系统的基础。例如，DSR正在建造一个变焦的Butterscotch变体，它的分辨率将是Half Dome Zero原型的三倍以上。在固定焦距的情况下，远离焦平面的地方会出现模糊（分辨率越高越重要），而变焦的Butterscotch将使我们有可能在人类视觉极限附近评估变焦的全部视力优势。
消除VR头显中的光学畸变
VR视觉体验的分辨率很重要，但它只是拼图的一部分。图像的质量同样重要，由于各种技术原因，没有一个VR镜头可以完全消除畸变。一些畸变可以通过在软件中扭曲图像来纠正，这几乎是今天每一个VR头盔的关键因素，而正确地使用它是实现好的的视觉体验的关键。然而，目前的VR头盔中的失真校正软件并不完美；校正是静态的，但虚拟图像的失真是动态的，根据人们看的地方而变化。如下图所示，这种现象被称为瞳孔游动，会使VR看起来不那么真实，因为当眼睛移动时，一切都会移动一下。这在变焦的情况下变得更加显著，因为随着显示器焦距的变化，图像会稍微放大和缩小。
得益于2017年Half Dome Zero用户研究中的一个错误：意外关闭了变焦技术的畸变校正，团队很早就意识到了准确变焦畸变校正的重要性。他们纠正了这个错误，并在这个过程中发现，只有在正确应用透镜畸变校正的情况下，变焦技术才能显示出显著的优势。这突出了正确校正畸变的重要性。但随着团队深入研究，他们又很快发现，缺乏进行校正所需的工具。
问题是畸变研究需要很长时间才能建立；仅在定制头显中制作透镜可能需要数周或数月的时间，而对于只是构建可用于测试的功能性头显显示器而言，这只是漫长过程的开始。DSR意识到他们需要设计光学设计软件进行畸变研究，而不是制造透镜进行畸变研究，这个速度太慢了。
而他们确实解决了这个问题。该团队重新利用3D电视技术创建了一个VR镜头失真模拟器，可以诱发精确控制的失真，使他们可以立即研究任何镜头设计的失真校正算法。DSR将在8月的SIGGRAPH年会上展示他们的快速原型解决方案。
有了这种独特的快速原型设计能力，该团队首次能够进行用户研究，以调查眼球追踪的失真校正。与当今头盔中的校正软件不同，动态失真校正使用眼球跟踪来更新渲染的校正，以考虑眼睛的运动，这有可能产生今天的静态校正所不能产生的始终稳定的图像。
快速原型有望大大加快对VR镜头失真和各种矫正的研究，为未来的VR头盔减少畸变铺平道路。
Starburst：预览高动态范围头显
分辨率、畸变校正和变焦都是高级视觉真实感的关键支柱，但高动态范围（HDR）是唯一一种与增强真实感和深度联系最紧密的技术。HDR是指对各种亮度、对比度和颜色的支持。
“尼特 “是描述一个物体发出多少光的单位，室内环境的典型值远远超过10,000尼特，如下所示。直到最近，一台典型的电视的亮度只有几百尼特。然而，在2013年，杜比实验室的研究人员用一个定制的显示器进行了一项用户研究，该显示器的峰值达到了20000尼特，并发现峰值亮度的最佳点大约是10000尼特。这项开创性的研究激发了电视行业在过去五年中开发和引进HDR显示器，并取得了巨大的成功。
VR还没有实现这一飞跃。Quest 2的峰值亮度约为100尼特，在VR头盔的功率、散热和外形限制下，要远远超过这个亮度并不容易。正如扎克伯格在去年的一次采访中解释的那样，”在显示器方面，最难的挑战是如何让它变得超级生动，[是][HDR]问题。电视机最近在HDR方面已经有了一些进步。但是，我们所拥有的屏幕的生动性……与你的眼睛在现实世界中看到的东西相比，[是]一个数量级或更多的差距。” 现代VR头盔中使用的液晶面板和镜头导致对比度低于电视屏幕，进一步降低了真实性，而增加亮度往往会放大这个问题，冲淡较深的颜色，特别是黑色。最后，今天的显示器只能显示人眼能够感知的全部色域的一个子集。
DSR的研究人员正在建造HDR原型的VR头盔。”我们最新的Starburst是笨重的，而且是拴着的，”DSR研究科学家Nathan Matsuda说，”人们必须像一副超大的望远镜一样把它举到他们的脸上。但当他们这样做时，他们会体验到前所未有的东西：一个能够再现室内或夜间环境中通常遇到的全部亮度范围的演示。”
用自己的眼睛直接体验HDR是无可替代的，所以DSR将在8月的SIGGRAPH上演示Starburst。同时，DSR正在遵循其一贯的模板，建造改进的HDR头盔，作为用户研究的载体。通往真正的HDR VR显示器的道路是漫长的，但DSR已经开始了这一旅程，并将沿途提供技术升级。
实现跨越式进化
经过多年的演示和用户研究，DSR确信，视网膜分辨率、变焦、精确的失真校正和HDR对于通过VR的视觉图灵测试至关重要，他们已经建立并验证了原型，分别推进了视觉真实性的每个方面。但最终的回报是在一个单一的、紧凑的头盔中实际地结合它们。
问题是，VR头盔需要紧凑、轻便和时尚，而实现DSR技术所需的额外硬件往往与此相悖。兰曼观察到。”在开发高性能变焦头盔近七年之后，我们的机械工程师一直发现，任何引人注目的变焦系统（至少是基于物理转换镜片或屏幕的变焦系统）都会增加约40至50克的重量。” 这可能看起来不是很多–大约是两节AA电池的重量–但增加它将要求人们接受一个比Quest 2至少重10%的耳机。
这就是DSR研究科学家安德鲁-迈莫（Andrew Maimone）发挥他才能的时候了。Maimone的研究重点是尽可能地减少现有VR的尺寸、重量和功率。”虽然我们从早期原型中学到了很多东西，但用大而笨重的体验式试验台通过视觉图灵测试，只是在最终以时尚、轻巧的形式提供这些技术的道路上迈出了第一步，你会想每天都使用，”迈莫（Andrew Maimone）说。”这就是为什么我们还建立了建筑原型，探索我们如何将所有这些元素浓缩成可交付的产品。”
Holocake：你能小型化到什么程度？
迈莫领导开发了扎克伯格和博斯沃思去年秋天在雷德蒙德体验过的一款原型：名为Holocake 2的超小型头显。
Holocake 2结合了全息和Pancake光学技术–这是我们在2020年关于Holocake头盔的文章中首次讨论的方法–Holocake 2是我们有史以来最薄、最轻的VR头盔。与最初的Holocake不同，Holocake看起来像一副太阳镜，但缺乏关键的机械和电气元件，而且光学性能明显低于今天的消费级VR头盔，Holocake 2是一个功能齐全的、与PC连接的头盔，能够运行任何现有的PC VR内容。
了解Holocake 2如何实现其超紧凑的外形，需要快速深入了解VR显示器的构造。今天的VR显示器依赖于一个光源，一个通过调暗或调亮光线形成图像的显示面板，以及一个将光线从显示器聚焦到眼睛的镜头。通常情况下，镜头需要距离显示器几英寸，以便有足够的聚焦能力将光线导入眼睛。
但是，如上图所示，是存在使镜头更接近显示器的方法，这能大大减少头显的尺寸。Holocake 2采用两种技术来实现这一目标。首先，它用一个全息光学器件取代了镜头，该器件像镜头一样弯曲光线，但形状却像一块薄而透明的玻璃板。其次，它实现了基于偏振的光学折叠（模仿薄饼透镜，但全息光学元件的外形尺寸要小得多），以大大缩短从显示器到眼睛的光线路径。
这听起来像是一种减少尺寸和重量的神奇方法，那么问题出在哪里呢？最大的问题与光源有关–Holocake头盔需要专门的激光器，而不是现有VR产品中使用的LED。”激光器在今天并不是非常奇特，”Maimone说，”但它们在很多消费产品中并没有达到我们需要的性能、尺寸和价格。因此，我们需要做大量的工程，以实现一个符合我们规格的、安全的、低成本的、高效的、可以装入超薄VR头盔的消费者可行的激光器。”
到今天为止，合适的激光源还没有定论，但如果这被证明是可行的，制造太阳镜式VR显示器的vr 头显成为可能。
Mirror Lake 显示系统：将一切整合在一起
DSR的多个研究方向都源于一个核心理念。正如兰曼所说。我们把自己称之为 “显示系统研究团队”，因为我们知道，如果我们不开发令人信服的实用架构，那么世界上所有的演示和用户研究都将毫无意义。这就是DSR的核心工作：不断寻找解决一切问题的方法，以创造下一代的视觉体验，使其通过视觉图灵测试的道路。不是以’除了厨房水槽之外的一切’的方式，而是以一种优雅的方式，带来真正的用户价值”。
Holocake 2是这一理念的产物，而且还有更多的东西要做。今天，我们公布了一个更进一步的显示系统–Mirror Lake。这是一个类似滑雪镜的概念的vr头显，从Holocake 2的基本架构开始，然后加入了团队在过去七年中孵化的几乎所有成果。
Mirror Lake 说明了Holocake结构–其平坦的外表面–所带来的可能性。例如，可以添加半圆3的超薄电子变焦模块来解决视力矫正的冲突，而不会大大增加耳机的厚度。而且，不再需要笨重的处方镜片附件，个性化的视力矫正只需在耳机前面安装另一个薄薄的镜片，甚至可以将佩戴者的处方直接烘烤到主Holocake镜片中使用的全息图。鬓角处还有一对前置摄像头，可以实现机器学习驱动的穿透–DSR将在SIGGRAPH上展示这项工作。
眼球跟踪已经成为通过视觉图灵测试的一个关键因素，因为变焦和动态失真校正都需要它。Mirror Lake架构开创了一种新的方法，利用全息薄膜将眼睛的光线重新导向安装在耳机带子上的一对摄像头，这种新颖的方法还能实现多视角眼球追踪，从而大大提升了准确性。
这里的关键是，由于采用了全息技术，一切都很薄很平。变焦模块是扁平的，用于Holocake、处方矫正和眼球追踪的所有全息薄膜也是如此。而且很容易继续增加薄而平的技术。这一点在最近发明的反向穿透显示器中得到了强调，该团队意识到，只需在光学堆栈中放置另一个扁平的3D显示器，就可以将其整合到Mirror Lake的设计中。
Mirror Lake的概念很有前途，但现在它只是一个概念，还没有制造出功能齐全的耳机来最终证明这个架构。不过，如果它真的成功了，它将会改变VR视觉体验的游戏规则。
通过视觉图灵测试长路漫漫
但以上只是通过视觉图灵测试漫长道路的又一步。开发通过这项测试所需的技术，并找出如何将其转变为满足数百万人需求的头显，这将是一个多年的旅程，而且其间潜伏着众多陷阱，并且存在大量需要学习和解决的问题。DSR深知这一挑战，并致力于实现真正的视觉真实感。他们迄今为止的努力使他们和扎克伯格相信，这一目标最终可以实现。
正如扎克伯格之前所说：“当你憧憬10年之后，显然你希望（头显）的形状参数变得更小。理想的情况是达到与视网膜显示器几乎相同的程度。”
视网膜分辨率、变焦和HDR重要性的框架来自于多年来DSR的努力，投资于所述技术，亲眼看到它们的优势，然后为每种技术创建一条切实可行的前进道路。
兰曼最后说到：“激光最终可能会证明对VR而言不切实际，至少对于Holocake的形态而言是这样。在这种情况下，Mirror Lake的整个纸牌屋都将倒塌。这就是发明依赖新兴技术的全新显示系统的挑战。但确保你到达理想目的地的最佳方法是挖掘多条通达路线，而Mirror Lake只是DSR的研究方向之一。无论如何，无论我们走哪条路，我们的团队都确信，通过视觉图灵测试是我们的目标，物理层面没有什么能够阻止我们达到目标。在过去的七年中，我们已经预见到了未来，我们依然全力致力于找到一条通往视觉真实感元宇宙的实用道路。”
发表评论