科普:VR的位置跟踪系统是如何工作的?

除了具有广阔的视野外,虚拟现实头显与常规的3D显示器的区别在于它们能够被跟踪。PC VR,主机VR以及现在一些独立的头显甚至还具有位置跟踪功能,因此你可以倾斜身体,躲避甚至在VR中走动。

但是这种跟踪如何运作?在这里,我们将解释主要的位置跟踪系统及其运行方式。

背景

什么是位置跟踪(6自由度)?

Oculus Go、三星Gear VR和谷歌Daydream View等大多数移动VR头显只有旋转跟踪(3DoF)。你可以向上或向下看,向左或向右倾斜。但是如果你试图倾斜或移动你的头部的位置,则不会被跟踪。整个虚拟世界将与你同行。3DoF控制器与之类似,仅限旋转。它们基本上只能充当激光选择指针。

这对于就座体验的VR内容来说是可以接受的,但它不允许你在物理上移动虚拟世界,或者直接用手与之交互。

在PC VR和主机VR上,以及现在的高端独立VR中,头显具有位置跟踪功能(6DoF)。位置跟踪使用户可以在虚拟环境中实际移动。如果跟踪范围足够大,你甚至可以在VR中绕着整个房间走动。

当控制器也是6DoF时,你可以直接用手与虚拟对象进行交互,因为你可以通过在现实世界中的移动实现虚拟空间中的移动。

如何实现位置跟踪?

旋转跟踪(3DoF)总是使用微型机电陀螺仪实现的。但不同的公司使用不同的技术来实现位置跟踪(6DoF)。虽然某天可能存在共同的行业标准,但目前尚未形成。不同的公司对哪种技术是正确的有不同的看法。

不同的跟踪系统均可平衡成本、设置难易度、跟踪范围、控制器跟踪范围和模块化等问题。

位置跟踪的共同基础:航位推算

与普遍看法相反,下面描述的光学系统仅是真正意义上的“校正”系统。所有这些系统的主要共享跟踪方法是微型机电加速度计。这些加速度计通常以1000赫兹运行。

其工作原理是:加速度计不读取位置或速度,他们读取加速度。你可能还记得微积分,你可以随着时间的推移获得加速度的积分并获得速度。如果你随着时间的推移得到速度值的积分,你就会获得位置信息(或至少从原始位置产生的位移信息)。

使用它来确定位置的变化称为航位推算。这就是VR头显和控制器每时每刻都在跟踪自己的方法。

那为什么还需要其他跟踪手段呢?因为加速度计并不完美,会产生噪声数据。将这些数据进行两次积分意味着即使是最小的误差也会被放大,并且误差还会累积。实际上,这意味着基于加速度计的位置跟踪会在几秒钟内漂移到无限远。

VR跟踪系统的目的是通过提供参考来纠正这种漂移。每个跟踪系统都采用不同的方式,但目的是相同的。

常见的VR跟踪系统

“星座”(最初的Oculus Rift)

在设计Rift时,Oculus面临着提供与OptiTrack等数千美元的系统相同质量跟踪的挑战,但其成本却要低一个数量级。

每个被跟踪设备都有一个隐藏在外部塑料下的预定义红外LED“星座”。红外线对人眼是不可见的。

传感器基本上是带有过滤器的摄像头,只能看到红外光,通过USB线缆以60Hz的频率将帧发送到用户的PC。PC处理每个帧,识别每个红外LED的位置,从而识别每个对象的相对位置。

该软件可以轻松识别它所看到的LED,因为它知道“星座”的形状,它会记住物体在前一帧中的位置,并且知道它的加速方向(来自加速度计)及其旋转(来自陀螺仪)。每个红外LED也以特定频率闪烁以识别自身。这些创新使“星座”跟踪系统在基于标记的跟踪系统中占据了一席之地。

为了支持快速运动,Rift头显和触摸控制器每次即将发出LED脉冲时,都会与传感器中的无线芯片进行无线通信。这使得相机快门能够像LED那样准确曝光,并且曝光时间很短。

“星座”跟踪不再用于Rift S头显的跟踪,但它用于Rift S头显内置的摄像头,以跟踪控制器。

“星座”的优势:

整合成本低

高品质的跟踪

适用于大多数环境

“星座”的缺点:

每个传感器都与PC有线连接

大USB带宽会导致许多主板出现问题

传感器具有有限的垂直视野

PlayStation VR

PlayStation VR也使用相机,但与Rift不同,PSVR的跟踪功能在可见光光谱中运行。

PlayStation 4摄像头单元包含两个间隔开的相机。摄像头单元连接到PlayStation,后者使用图像数据跟踪头显上的蓝色光条和控制器上的光球。

这使得索尼可以利用2010年就已经发布的PlayStation Move控制器。

PSVR跟踪的优势:

整合成本低

利用现有的PS Move控制器

PSVR跟踪的缺点:

跟踪质量低

不支持房间规模跟踪

SteamVR“灯塔”(HTC Vive)

Valve的SteamVR“灯塔”系统是目前市场上最独特的系统。与所有其他系统不同,它根本不使用摄像头,而且PC不处理任何数据。“灯塔”从一开始就被设计为能够进行房间规模的位置跟踪,而无需将传感器连接回用户的PC。

基站(“灯塔”)位于房间的相对顶角。它们不与PC通信,也不是传感器。它们在整个房间内发射广角二维红外激光束。一次完成一个轴的发射,比如先左右方向,然后上下方向,然后再重复。在每次扫描之前,它们会发出强大的红外闪光。

每个被跟踪设备包含连接到芯片的红外光电二极管阵列。该芯片测量红外闪光和被每个轴的激光扫描到时,二者间隔的时间。由此可以确定它在房间中的位置。

“灯塔”的独特价值在于它在理论上是一个相对简单的设计。不涉及复杂的计算机视觉算法或相机读数,只涉及激光扫描之间的时间。

“灯塔”的优势:

无需将基站连接到PC(仅供电),

高品质跟踪,

跟踪范围大。

“灯塔”的缺点:

生产/整合相对昂贵,

通常需要在墙壁上安装基站(电机会抖动),

室内的反射表面会引发跟踪失灵。

SLAM / Inside-Out

在Oculus Rift和HTC Vive发布之后,许多VR公司开始意识到,在房间里安装传感器或基站的要求让很多潜在买家不想购买。

许多新的和即将推出的头显使用内置于头显中的摄像头,这些摄像头使用计算机视觉算法执行“由内向外”跟踪。使用的特定算法类型被称为即时定位与映射(Simultaneous Localization And Mapping,简称SLAM)。

SLAM算法通过注意房间中的独特静态特征来工作。通过比较来自加速度计和陀螺仪的旋转和加速度以及这些特征如何移动,可以确定头显的位置。

有几家公司已经发布或计划发布使用SLAM的头显:

微软:Windows MR头显

谷歌:联想Mirage Solo

HTC:Vive Focus

Facebook:Oculus Quest和Oculus Rift S

其中,谷歌称他们的跟踪算法为“WorldSense”,Facebook称他们的跟踪算法为“Oculus Insight”。

为了跟踪控制器,这些系统以与“星座”相似的方式运行,那就是使用可见光或红外光。头显上的摄像头跟踪控制器上塑料下的LED。

SLAM/Inside-out的优势:

无需外部硬件,

成本非常低,

简易的设置,

控制器的跟踪范围大,只要在你能在现实生活中看到你的手,头显就可以跟踪控制器。

SLAM/Inside-out的缺点:

无法在黑暗中工作,

当控制器在头后或背部时无法准确跟踪,

当手臂在头显和控制器之间时,无法跟踪控制器的运动。

最初发布于5月16日

原文链接:https://uploadvr.com/how-vr-tracking-works/

一家之言:目前的移动VR阻碍了虚拟现实行业的发展

当现在的VR设备首次出现时,我们希望移动VR能够以非常快的速度取得进步。然而现状却是,移动VR的改变非常小,在某种程度上,这种缓慢的进步会拖慢VR在整体上成为主流的步伐。

为了证明我们的观点,我们只需要看看三星Gear VR和它唯一的真正的竞争对手,谷歌Daydream View。这两款头显是目前移动VR领域的代表性产品,虽然我们在一开始的确有几个理由对其感到兴奋,但这些设备的缺陷和缓慢的步伐让我们的热情逐渐冷却。

我们先从Gear VR开始谈起。这是三星和Oculus合作打造的VR头显。Oculus(在2014年被Facebook收购)正是PC VR头显Rift的开发商,这或许是世界上最著名的VR头显了。在CES 2015期间,Oculus的产品副总裁Nate Mitchell告诉我们,可以期待一场Rift和Gear VR之间的游戏,Gear VR不久就会跟上Oculus Rift原型产品的步伐。

即使我们是按照字面意思来理解这句话,这一预言也言之过早了。直到现在我们才迎来第三个消费者版本的Gear VR,虽然增加了一个控制器(提示:毫无疑问地与Daydream的控制器基本一样),我们还是看到了和最初发售的版本几乎一致的Gear VR体验。除了在视场角、连接方式和颜色方面的小变化之外,基本上没有什么大变化。

同样的问题还存在于内容库的整体质量方面。虽然在过去的几年间一些好的作品已经添加到了内容库中,我们看到的Oculus Store中增加的大多数内容质量还是很低的,其中的移动版和街机类游戏也基本没有用到VR这个新媒介的能力和特性。许多我们非常喜爱的体验自从发售之初就已经存在,或者有些是设备发售之后很快就已经上线了。

当然了,开发者们为移动VR开发游戏时,必须要面对消费者们的期待:Oculus Rift的用户在面对价格为30-40美元的游戏时也不会退缩,但是大部分人不会为移动VR游戏花这么多钱。不过,我们认为这一障碍能够被真正惊艳的移动VR头显克服掉。

再来看谷歌Daydream平台的内容库,无论是数量还是质量都可以用“贫乏”来概括。这款头显完全不用考虑去兼容那么多的安卓手机,目前只有六款手机能够支持Daydream平台:Pixel、Pixel XL、Moto Z、华硕ZenFone AR、华为Mate 9和中兴Axon 7。并且很明显,移动VR对于大多数手机厂商来说也不是优先的方向。

我们的确很欣赏Daydream View的一些小细节,比如柔软的表面材质,和易于安装手机的特性。而然,它的控制器–以及三星Gear VR的控制器–突出了移动VR的不足之处,而不是尝试着去靠近PC VR头显的控制器。

例如,为什么只有一个运动控制器?想要真正在游戏中模拟双手,你需要两个控制器(比如Oculus Touch)。所以,现在的设备被限制只能提供Wii一样的游戏体验,也就是指向某处并点击。这对于最近推出的头显上设有的触摸板来说是一个进步,但距离类似Oculus Rift和HTC Vive这样的在游戏中“有一双手”的体验还有非常大的差距。

并且,我们会在最近的某个时间在移动VR设备上看到位置跟踪(头显能够跟踪你在空间中的动作,而非仅仅转动头部)吗?如果没有这种技术,当你移动时,虚拟世界也会跟着你移动,而非在虚拟世界中移动–这并不是向新用户介绍VR的最具沉浸感的方式。

除了不能留给人们深刻印象的硬件和软件开发之外,移动VR还有一个让人很烦恼的问题:即使你有一台移动VR头显,并且你找到了一款你喜欢的游戏,长时间佩戴引发的不适和固定视角的显示也会让你想要远离它。这可能是位置跟踪技术能够解决的最大的问题。

这种中等质量的体验的长期问题在于,他们无法让消费者们对高端VR体验产生兴趣。移动VR设备的定位是负担得起的入门级的产品,以探索VR的可能性。但是我们被逼迫着让移动VR体验足够吸引人,以鼓励人们花费上千美元去购买基于PC的VR设备。目前甚至连手机行业都缺乏这种激情,因为目前还极少有旗舰手机急于让自己的产品支持Daydream平台。

移动VR目前距离PC VR体验还很远,甚至这二者极少有关联。如果移动VR想要进入大众消费市场,它们需要取得长足的进步。否则,它们会吓退那些想要探索VR技术潜能的消费者。

最初发布于2017年4月1日

原文链接:http://newatlas.com/mobile-vr-not-good-enough/48703/

Meta 2 AR头显上手体验 视场角和分辨率哪个更重要?

上次我体验Meta的AR头显还是在一次非公开的活动中,并且不允许拍照。在SVVR期间,当我再次体验时才允许拍照。这是与上次体验的产品不同的新产品,Meta的技术在这段时间取得了大幅进步。

根据展位工作人员的介绍,这次我体验的产品是Meta 2的最终版,并且将会以945美元的价格对外销售。

这次展示的版本与原型机最大的区别在于其跟踪技术。这款头显使用了inside-out位置跟踪方案,而非依赖外置的第三方摄像头。跟踪方案曾是Meta 2最大的弱点,所以在本次体验中我也特别关心这一问题是否得到了解决,简而言之,Meta解决了这个问题。

不过,Meta 2并不能完美地进行跟踪。当你在移动面前渲染出的虚拟物体时,偶尔会有间断、抖动或者失灵的情况发生。而当你尝试进行手部的互动时,这些问题会更加明显。在我体验期间,我有机会用手与一系列的物体进行互动,包括具有可塑性的方块、汽车模型、地球和大脑。在上次体验这款设备时,我已经见到了这些内容,因而可以明显看到交互效果的改善。但这个经过改进的设备的位置跟踪和近感探测仍然不够完美。

AR应用领域虽然还很年轻,但微软HoloLens已经在其中占据一席之地。任何一款想要进入这一领域的头显都会面临这样的问题“它与微软HoloLens相比有哪些优势/劣势/不同之处”。Meta 2也不例外,我们来看一下。

Meta 2拥有比HoloLens更大的视场角。这在很大程度上归功于显示技术的不同。而更大视场角的代价,则是相比HoloLens要更低一些的图像分辨率。分辨率上的差异还是很明显的,但就目前的AR体验而言,我个人更倾向于选择更大的视场角,而非分辨率的提升。

HoloLens的inside-out跟踪技术被视为是行业的标准。Meta 2虽然也使用了这一技术,但与HoloLens相比却缺乏稳定性。

最后,或许最重要的是,Meta 2是一款仍然需要通过线缆连接的头显,与之相比,微软HoloLens是完全无线的。而Meta 2的用户则需要连接一台高端PC。这条线缆或许可以帮助Meta 2达成更大的视场角,但却为符合人们需求的AR应用场景增加了障碍。

虽然目前Meta 2已经面向消费者开放预订,但Meta仍然表示这款AR头显主要面向开发者,就像当年的Oculus DK1一样。目前Meta 2已经开始出货,Meta希望能在年底前能够满足所有的订单。

最初发布于2017年4月11日

原文链接:https://uploadvr.com/meta-2-hands-ar-svvr/