VR/AR想要实现接近人眼的视觉体验,模拟人眼对世界的感知是必要方向。人眼的视觉系统关键的一项要素是随人眼的移动,自动对焦。

为了实现自动对焦,出现了各种变焦方案,这些变焦方案多基于可变焦镜头或显示器的移动,再结合眼动追踪与算法实现。

这些方案实现了对VR/AR体验的提升,但离真正的人眼视觉系统还有一定距离。

光场依然是VR/AR头显显示最接近人眼的解决方案

2018年,Facebook在F8大会上提到的Oculus Half Dome头显原型所采用的变焦方案就是较为典型的代表。

该头显原型具备眼动追踪功能,主要用于与该原型设备的变焦显示器相配合。通过显示器的调节,让显示器与眼动追踪在眼睛对焦距离处相结合,实现对焦点的动态追踪。

打开网易新闻 查看更多图片

Oculus Half Dome(图源:网络)

但这类变焦方案无法实现人眼的连续对焦,而且从视觉呈现来讲,对人眼真实世界的模拟还有一段距离。

在变焦的实现手段上,还有一种方式,那就是光场技术。

“光场(Light Field)是空间中同时包含位置和方向信息的四维光辐射场。”简单点说就是光线在传播过程中的所有信息。

光场技术通过模拟光场,让光源追踪人眼,并结合模拟物体的实际光影效果将激光投射到人的视网膜,让人眼在VR中的使用接近真实世界。比如随人头部的移动,实现注视点的转移。

光场相关技术难度非常高,因此能够实施这项技术的公司并不多,瑞士的创企Creal是其中一个。

Creal位于瑞士,是一家VR/AR创企,专注于为VR/AR头显提供光场显示器。这家看似平平无奇的创企,团队背景似乎很不一般。

Creal 2017年底成立,由前欧洲核子研究中心(英文简称CERN)的工程师共同创立,这些工程师曾从事大型强子对撞机的ATLAS探测器项目。

截至去年末,该团队拥有18名员工,吸纳了英特尔Vaunt智能眼镜项目、Magic Leap、瑞士联邦理工以及多家初创公司的研究经验。

Creal合照(图源:Creal)

如此硬核的团队近日展示了最新光场显示技术成果,从展示的视频来看,Creal在不使用眼动追踪的前提下,实现了对任意深度场景下的对焦。而且在视觉呈现上模拟了人眼注视点高度清晰,周边环境模糊的效果。

将光场投影仪嵌入智能眼镜框,让合成光场模拟真实光场

Creal研究光场技术,是希望在VR/AR中展示真实世界的深度。Creal对光场的定义是:“光在真实世界中的真实代表。”

Creal光场显示器生成的图像与我们肉眼看到真实世界的光非常相符。具体点说,光场显示器支持人类视觉系统的两大聚焦机制:聚光与调节,可以像真实世界一样可以进行焦深的调节。

打开网易新闻 查看更多图片

图源:Creal

与前文所述变焦调节方式不同的是,Creal的焦点转移全部在摄像头捕捉场景的过程中完成。摄像头可以像人眼一样在不使用追踪技术的前提下对任意深度的场景进行对焦。

据Creal官网介绍,他们是通过在VR/AR头显或智能眼镜臂中嵌入光场投影仪,做到在每一个数字场景中以多种视角投射到人眼,并保持每秒6000张图像的发送频率,合成光场模拟真实世界的光呈现在人眼视野。从Creal官网的动图演示来看,似乎采用了孔阵列结构。

图源:Creal

再通过光场显示器与普通显示器的结合,模拟人眼注视点高清、周围视频模糊的视觉效果,可为用户带来几近真实的体验感。

2019年,Creal曾在CES上展示其采用了光场显示器的VR/AR头显原型。据介绍,AR头显原型 60° 视场角的分辨率为1000*1000,并且是“无限”分辨率。

图源:roadtovr

这里所说的无限是指连续聚焦,并非真实的无限,而是每个焦深之间的步长要远小于人眼分辨率,人眼几乎无法察觉。

当时所展示的AR头显原型需要线缆连接,采用了IntelRealSense传感器进行6DOF追踪,Ultraleap进行手动追踪。Creal表示会将眼镜的功耗从当前的2W降低至0.5W,并将眼动范围扩大到8mm。

当时,Creal创始人Sluka告诉外媒,他们通过投影仪以某种方式对光进行调制,图像并非全息图,也并未使用微透镜阵列。据称,这种方法非常新颖,所合成的光场比Creal所的任何其他光场都更接近模拟光场。

打开网易新闻 查看更多图片

(图源:Creal‍‍)

Sluka表示该系统支持“从0到无穷大的数百个深度平面”,并具有对数分布,也就是较高密度的平面更靠近眼睛,较低密度的平面距离眼睛更远。他还说可以在眼睛“后面”实现深度平面,这意味着该系统适用于近视眼镜。

与2019年前类似电脑主机形式的光场显示器相比,两年后的Creal已将光场显示器似乎缩小至接近普通VR/AR头显,这两款头显在2021年CES上以线上形式进行过展示。

(图源:Creal)

据介绍,该原型VR头显采用注视点架构(每只眼睛采用两个重叠的显示器),光场显示器的分辨率与视网膜接近,覆盖视野中心30°范围,周围视场则采用更低分辨率(1600*1400)非光场显示器填充至100°范围。

观察文章开篇部分的视频,可以看到显示器的中心部分(光场部分)与视野其他区域相比非常清晰。Creal表示这部分显示器的分辨率与视网膜接近,并且能以240Hz的刷新率运行。

Creal AR眼镜规格(图源:Creal)

Creal VR眼镜规格(图源:Creal)

Creal的VR/AR头显形态还在进一步缩小中,公司预计2022年底能够做到让光场显示器缩小至更为合理的大小。对适用于AR的技术也在进行调整,之后可能做到更加小型化以适应紧凑型AR眼镜。

Creal VR、AR眼镜未来迭代路线图:

打开网易新闻 查看更多图片

图源:Creal

Creal制作VR、AR头显原型仅用于展示光场显示技术,便于与其他公司合作,让其将光场技术整合到这些公司的头显当中,自身并不打算制造头显。

考虑到需要对光场进行合成,有猜测认为用于Creal头显光场显示器的视图渲染工作会非常昂贵,对此Creal并未正面回答此问题,只表示正在对沉浸技术进行进一步优化。

从Creal在今年CES上展示的VR与AR头显来看,与两年前类似计算机主机的形态相比,其光场显示器已能应用于VR/AR头显。但受疫情影响今年CES在线上举办,因此没有机会真实体验其产品。

根据Creal计划的迭代路线图,Creal目前已成功实现光场显示器的小型化,VR与AR头显尺寸已接近市面上的普通头显。

一年之后,头显原型将会进一步缩小,尤其是AR眼镜,几乎与普通眼镜没有差别。考虑到AR眼镜2021与2022两款原型的形式差别较大,实现上有一定难度,陀螺君保持期待态度。如果真的能够实现,对智能眼镜而言或许会是一项大的突破。

2022年Creal AR眼镜(图源:Creal)

Creal只提供光场显示器并不从事头显的制造,因此采取与VR/AR头显制造商合作的模式。Creal官网上已列出合作需求,这让陀螺君开始期待其光场显示器是否已具备量产的能力。

毕竟光场技术早在几年前便受众多大厂追捧,只是落地应用这一日何日到来还未可知。

大厂追逐的光场,落地成谜

像光场这样对VR/AR显示可能产生颠覆性效果的技术,对VR/AR大厂而言并不新鲜,早在几年前VR/AR热潮时便广受关注,包括谷歌、微软、Facebook在内的一些大厂都对此保持关注。

英伟达早在几年前便展示利用了光场显示技术的VR头显,据称,该头显不会让佩戴者产生晕动症。

英伟达的这款头显采用了近眼光场显示系统(Near-Eye Light Field Displays),该系统与斯坦福大学联合研发,从原理上看与光场相机类似,采用一系列人眼所能识别的最小焦距的微透镜阵列。

微透镜阵列会在给定的场景中捕获光照强度等信息,以及光线在空间内的传播方向,以让图像中捕获的景深距离显得更加立体,从而减少晕动症。

英伟达光场立体头显原理图(图源:网络)

与Creal类似,英伟达的显示方案同样采用两块显示器重叠的方式。从上图可以看到,两块间隔5毫米的LCD面板做成分层显示器,被靠近用户眼镜的圆形观看镜片与后端的背光板夹在中间。

2018年,曾有消息称谷歌或以4000万美元收购以光场相机出名的Lytro,虽然收购并未发生,但谷歌确实接纳了Lytro解散后的部分员工。同年还推出光场技术实验平台Welcome to Light Fields。

Welcome to Light Fields(图源:网络)

Welcome to Light Fields通过改装的GoPro Odyssey Jump相机平台,将其弯曲在16个镜头的垂直弧形并安装在旋转的平台上,对进入空间的不同光线进行捕捉。

2020年中旬,谷歌还发布了一项新的球形光场视频捕捉方案。

该光场捕捉方案与此前推出的光场技术平台类似,为球型结构,由46个摄像头组成,其原理类似于苍蝇的复眼,可通过环式分布的摄像头从不同角度对周围的场景进行捕捉。

谷歌球形光场视频捕捉方案(图源:网络)

苹果近年也有专利表明其正致力于全景光场捕获技术,但与前面介绍的实现方式有所不同。

在其专利设想下,普通消费者可通过手势移动设备来捕获特定场景的大光场全景。苹果系统可利用iPhone、iPad中的传感器进行位置、运动、图像等多种数据,再将其结合起来构成光场全景。

苹果光场捕获、处理、查看图像的过程(图源:网络)

这只是光场方案中的几则案例,很多厂商都有研究光场并提出各种不同的解决方案,但却并没有真实成功实现大规模落应用的,可见光场技术目前还未有标准出现,即使是不乏大厂的参与,受到多方追捧,离实际落地应用始终还有一段距离。

自动对焦功能是VR/AR头显的必然需求,因此最近几年涉足AR/VR厂商依然在进行积极探索,只是不比当时Magic Leap时代热闹。

此次Creal作为一家团队成员不及20人的创企敢于尝试光场显示技术,并在短短两年内实现小型化,让人眼前一亮。考虑到光场技术的落地难度,在其光场显示器真实落地量产前陀螺君依然保持关注态度。

结语

光场技术是VR/AR头显对更优质显示体验的必然需求,虽然目前尚未达到可大规模应用的阶段,但厂商们仍在从多个角度不断进行研发。

不仅仅是大厂商,如今像Creal这样仅拥有十几人团队的创企也开始加入研发阵营,这意味着光场显示技术已经吸引了更多关注,应用于VR/AR显示光场技术也将拥有更有解决方案。

或许我们离光场技术的应用比我们想象中要更近了一步。