Oculus Quest上手体验:一个完全一体化的VR游戏系统

虚拟现实的未来终于离我们更近了,并且看起来相当不错。

在两年前的Oculus Connect大会上,Facebook首次公开了一个无线的VR头显,当时名为Santa Cruz。而在今年的Oculus Connect 5期间,Facebook的CEO扎克伯格正式发布了该项目的最终版:Oculus Quest。该头显将会在明年春季上市,能够提供如Rift头显般高品质的游戏体验,但无需线缆。我们亲自上手体验了这款头显,来看它是否名副其实。

从外观来看,Oculus Quest就像是一台大一点儿的Rift,其被设计来提供类似PC端VR头显的游戏体验,同时还具备高保真的音效和强大的图形表现力。然而,与今年春天上市的Oculus Go不同的是,Quest还能够进行空间跟踪,并且这一功能完全是为移动而设计的,这要归功于一项名为Oculus Insight的新技术。Oculus花费了两年的时间来开发这项技术,使Quest无需Rift的外置传感器,通过头显正面的四个前置摄像头就能跟踪你在虚拟世界中的动作。这些摄像头可以让你在一个较小的空间,比如在纽约的一间公寓,或者一个较大的空间,比如一个大房子中的客厅里玩游戏。

“没有外部的跟踪配件,”Oculus Quest的产品营销总监Allison Berliner在Oculus Connect大会期间的一场采访中解释了Oculus Insight技术。“你只需要戴上头显就可以了。并且由于Oculus Insight非常强大的,你几乎能在任何地方获得极为精准的VR体验。”

专为移动而设计并优化

与Rift依赖于强大的电脑处理器和显卡来提供一种沉浸式的VR体验所不同的是,Oculus表示它能够将同样高质量的体验带到Quest上,并且是运行于更加移动化的硬件上。Quest摆脱了线缆,以达成真正沉浸式的体验,这就意味着当你在虚拟世界中导航时,你不会被束缚到任何真实世界中的物体。这款头显搭载了一个经常出现在智能手机上的移动处理器。实际上,Quest使用的是高通骁龙835处理器,该处理器也应用于去年上市的三星Galaxy S8手机。

Berliner解释道,虽然Quest使用的是高通骁龙835,但其性能仍然是一流的,因为Oculus就是为了VR而打造的这款设备。“并且由于我们掌握了大量的技术,能够应用在Quest上,”她说道。“整个体验过程并不仅仅是需要进行计算,很多都是要为VR进行特别开发的,比如沉浸感、临场感、以及来自于Touch手柄的互动。我们正在把我们所掌握的知识和经验应用于Oculus Quest。”

在Oculus Connect大会期间,Facebook搭建了几个展示Quest的体验区,可以体验到由Oculus自己的工作室开发的游戏。这些游戏还处于早期开发阶段,现场的工作人员称其中大部分未来都将面向消费者开售,包含了第一人称射击游戏《Superhot VR》、运动类的《Project Tennis Scramble》、恐怖类的《Face Your Fear》,以及《Dead and Buried》,一款类似于真人CS的激光枪射击游戏。

Oculus对Quest的显示效果优化相当不错,体验结果让人印象深刻,我们在进入Facebook搭建的展示区时期待着能够看到延迟、屏幕的纱窗效应和低质量的体验,但通过Quest获得的体验完全震撼了我们。Quest的单眼分辨率为1600*1440,这相对于Oculus Rift的单眼1080*1200的分辨率而言是一个很大的提升,并且也超过了Oculus Go的分辨率。

要开始游戏体验是极为简单的。因为你不用先启动电脑,躲开线缆,或者安装传感器来进行定位,你只需要戴上头显就可以了。Quest的外观有些类似Rift,具备一个弹性头带,环绕着你的头部,另一根头带则固定在头顶,确保Quest佩戴到位。现场的工作人员建议在佩戴Quest时“像戴棒球帽一样”,先确保脑后佩戴稳定,然后把前半部分拉下来盖在脸上。你还可以通过使用侧面的尼龙搭扣进行一些调节,来拉紧或放松头带。

当你佩戴完毕时,Quest会让你感觉极为舒适,整个头显感觉比看起来要轻很多,并且我们在几场持续30分钟的游戏体验过程中也没有遇到过任何的疲劳。与头显配套的还有两个手部控制器。根据Oculus Labs的研究人员Yelena Rachitsky和Isabel Tewes的说法,手部控制器是重要的组件,可以帮助你将自己传送到虚拟世界中,让游戏感觉更具沉浸感,更真实。

控制器上有一个圆环,上面安置了一些传感器,但不像Rift那样,这些传感器集中在控制器圆环的顶部。控制器上有一个摇杆,控制按钮,以及抓取/扳机按钮。控制器是很轻的,并且在使用时感觉很符合人体工学。

Quest和Rift之间的另一个区别是,Quest具备一个开放的音频系统,无需使用耳机。Quest使用了空间音频技术,在用户的耳边提供声音,如果你有一个朋友看着你在沙发上玩游戏,Quest的开放式音频设计或许更好,它能够让你在听见游戏中的声音的同时,还能够继续与身边的朋友对话。我们发现,即使是在圣何塞会议中心这个吵闹的展示区中,其音量也相当大,我们很高兴还能够听到工作人员的话并且与之交流。

在游戏开始之前,Quest会先测量你的空间,这样,房间的边界和其中的障碍物就能够被规避,其目的在于保证你不会撞到墙上或客厅的沙发上。

多人游戏体验稳定流畅

作为一款独立的VR头显,Oculus Quest将会有自己的应用商店,就像是Rift那样,并且你可以直接在VR头显中购买和管理你的游戏。Oculus的工作人员告诉我,用户还可以通过一个配套的App来购买游戏,虽然他们并没有在现场展示这样的过程。工作人员提到,Quest将会具备Wi-Fi功能,这样你就可以直接将其与家庭网络相连接。然而,正如其他的可穿戴设备一样 ,初次连接你需要使用手机来设置Quest,之后,你就可以在头显内部操作了。

虽然Oculus想要让开发者们将Rift的游戏移植到Quest上,我们还不知道其游戏阵容将会有多强大。距离2019年春季的发售还有一些时间,Oculus还有机会扩大内容的规模,但考虑到轻度VR体验的市场现状,这还会是一个比较显著的问题。不过,Oculus在现场展示的这些游戏,还是很让人印象深刻的。

《Project Tennis Scramble》展示了Quest的六自由度跟踪技术,或称之为6DOF,可以让你在三维空间中自由移动。与之相比,Oculus Go只有三自由度,而Rift虽然也具备6DOF跟踪功能,但却依赖于外部的传感器来达成同样的跟踪能力。

空间映射功能还可以让你流畅地体验多人游戏,即使你的对手可能是在一个较小的空间中进行体验。当我们与我们的对手进行虚拟的网球比赛时,我们处在一个较小的“客厅”中,而他则处在一个较大的游戏空间中。除了能分辨真实世界空间的大小不同之外,Oculus Insight还可以测量我所在的空间,并且让我能够在其中移动,跟踪我的正手拍或反手拍击球的动作。

游戏中的图像并不栩栩如生,这种体验有些接近于在任天堂的Wii系统上的那些游戏。这并不是要说图像质量很差,或者感觉像是没有完成,只是感觉看起来其中的场景并不像由PC驱动的Rift那样有着丰富的细节。尽管如此,《Project Tennis Scramble》仍然很好玩,并且与Wii不同的是,我们感觉就像在球场上一样。解说正在为选手加油,并且空间音效让整个游戏体验更具沉浸感。

《Face Your Fear》是一款冒险游戏,它可以帮你克服恐惧症,或者相反。游戏的目标是要探索整个环境,使用左右手柄的摇杆来左右摆动和导航,同时还需要一些走动。由于Quest具备优秀的空间映射能力,当你在接近一面真实世界中的墙时,你会看到蓝色的网格,而这时你可以摇动摇杆来继续在虚拟空间中行动,有点像第一人称射击游戏。

当你在探索环境时,你会看到能诱发恐惧症的东西出现在你面前,比如蝙蝠或者蜘蛛,或者各种让人毛骨悚然的生物。这个游戏的图形效果很不错,并且即使你的大脑知道你并没有看到成群的蜘蛛向你涌来,你还是会起鸡皮疙瘩。Oculus Quest向我们证明,即使图形性能并不是顶级的,比如你并没有获得Nvidia Geforce RTX 2080的实时光线追踪性能,但仍然能获得颇具沉浸感的体验。

最后体验的演示内容是《Dead and Buried》,这是另一个展示Oculus Insight技术的例子,尤其是它还融合了增强现实和虚拟现实体验。就像激光枪战游戏那样,这款游戏需要多人组队在一个较大的空间中进行游戏。Insight技术会测量地形,并且你可以将箱子作为掩体。当按下按钮时,你会看到增强现实场景,基本上刻画出了地形的线条,以及你的队友和对手的轮廓。然而,当你松开按钮时,你就会被立刻传送到一个西部世界的场景中。那些真实世界中的箱子会变成板条木箱,并且你正处于一场激烈的枪战中。

探索无线化的未来

Oculus Quest或许并不是世界上最强大的VR头显,但是比目前的大多数头显都要强大。

“我们将分辨率当成是产品的基础之一,因为还有很多的组件会影响到视觉效果,”Berliner解释道。“让这款头显激动人心的地方在于,除了分辨率之外,我们还具备可调节的IPD,或者说是透镜间距,并且我们还把Oculus Go上最优秀的光学系统带到了Quest上,这些组合在一起,就是我们在Oculus Quest上所提供的优秀的视觉效果。”

其图形表现相比Rift或Vive Pro要好一点,虽然Quest是基于手机处理器,但在我体验Oculus Quest的过程中,我并没有遇到过没有沉浸在冒险过程中的感觉。屏幕和视觉效果非常清晰,并且与PlayStation VR相比,并没有出现过烦人的橘皮效应。

“对于我们来说,这是一个完整的产品,这就是我们塞进头显中的所有的东西,并且它还具备无线的优势,实际上,它是一个完全一体化的系统。”Berliner说道。

Oculus Quest头显预计将于明年春季开售,售价为399美元起。

最初发布于2018年9月28日

原文链接:https://www.digitaltrends.com/vr-headset-reviews/oculus-quest-review/

关于Oculus高端VR一体机Quest的几点看法

北京时间9月27日凌晨,Oculus Connect 5大会正式开始,VR圈的小伙伴们都在期待着Oculus的新产品与新技术亮相,而这个VR行业的领导者(笔者觉得这样说并不过分)也没有让大家失望。

扎克伯格首先登场,正式宣布其首款高端VR一体机Oculus Quest将于2019年春季上市,售价为399美元起。Oculus官网也已经上线了该头显的介绍页面,官方称其为“ 全球首款专为虚拟现实打造的一体化游戏系统”,从其措辞可以看出,这款产品的定位相当明确。

目前已知的Oculus Quest的硬件配置信息还很少,只知道其CPU为高通骁龙835,单眼分辨率为1600*1440。同时采用了与Oculus Go一样的光学系统,提供了充足的透镜调节空间,改善了内建的音频系统等等。

从硬件配置上看,貌似没有什么大提升,但真正使其与众不同的,是名为Oculus Insight的定位系统。Oculus Insight系统包含了inside-out定位跟踪、导护系统和Touch手柄定位跟踪功能。在Quest头显正面,可以看到四个超广角传感器,配合计算机视觉算法,可以实时追踪用户的准确位置,而无需任何外部传感器,而导护系统则能保证用户的安全。

根据Oculus的说法,Quest的追踪范围能够超出房间规模,让玩家能够在更大的空间中畅玩游戏,并且支持坐姿或站姿体验。在Connect 5大会期间,还有一个相当大面积的体验区供参会者体验其定位技术和VR游戏作品。

再来看看手柄,Oculus Quest配备了6DoF的Touch手柄。据Oculus官网介绍,配套的Touch手柄可精确地重现用户的双手、手势和互动,使得每个游戏都足够真实。从外观来看,与适配Rift头显的Touch手柄略有不同,不知开发者们在进行应用适配时,是否足够简单便捷。

在此之前,只有Pico Neo推出了搭配双6DOF手柄的商用版本,但其价格高达5299元。价格并不是重点,Oculus在内容上的积累,才是其优势所在。

据了解,即将登陆Oculus Quest的VR游戏内容约50多款,其中包括《Robo Recall》、《The Climb》、《Moss》、《Dead and Buried》等等,这些都是以往屡获好评的优秀作品。

看来,开发者们又要进行新一轮的适配了,考虑到硬件配置的不同,开发者们要面临的工作量会比在各个一体机之间进行适配要重一些,因为这次会是从Rift平台迁移到Quest,而二者是基于完全不同的硬件。同时,在游戏画面、交互等方面也会有一些妥协。原本基于UE4引擎开发的内容,在Quest平台上是否能够流畅运行,还是个未知数。但可以肯定的是,会比Oculus Go的内容质量和交互水平高出一大截。

而一旦这些内容顺利登陆Oculus Quest,将会给其他正在研发或寻求移动6DOF内容的厂商带来一个新的机遇,比如国内厂商Pico和NOLO,二者都在积极寻求可适配移动端的6DOF移动VR游戏内容。有了Oculus这个巨头的推动,这类游戏内容会快速涌现,移动端VR游戏体验的质量也会大幅提升。

很明显,与现有的Oculus Go和Oculus Rift相比,Quest是一款定位截然不同的头显。Oculus Go定位于简易实惠的入门级VR体验设备,侧重观影,游戏体验也较为轻度。而Oculus Rift则定位于高端的VR体验方式,借助高端PC,能够实现重度VR体验,内容类型也非常丰富,大型游戏和行业应用是其主要用途。Oculus Quest介于两者之间,提升游戏体验质量的同时,避免了被线缆和定位系统束缚,Oculus也直接将其定义为一款游戏设备。

如此一来,Vive Focus又掉队了。从最初的产品发布到后续的功能更新,一直没有见到Focus一体机配备6DOF手柄的迹象。同样是inside-out定位跟踪,同样是高通骁龙835和1600*1440的单眼分辨率,但仅有一个3DOF手柄,限制了其内容和交互的多样性,并且这3999元起的价格也比Quest要高不少。

现在,笔者最期待的就是小米能否将Oculus Quest引入国内了。在此之前,小米已经将Oculus Go成功引入国内市场,在平台和内容上进行了大量的本土化工作,优质的游戏内容也在不断上线,大幅推进了优质VR体验在国内市场的普及。如果能够继续这种合作,将Oculus Quest一体机引入国内市场,相信会带来又一波冲击。别的不敢说,笔者自己肯定会第一时间入手一台,并且安利给身边好友。

最后,再来谈谈Oculus Quest能否对目前国内的大空间定位厂商产生影响。在HTC Vive Pro上市时,或者更早,在Windows MR头显上市时,就有很多人认为,这会对大空间定位厂商产生冲击,因为成本会大幅下降,且搭建过程也简化了很多。在笔者看来,如果只是将“大空间”定义为游戏体验的话,Vive Pro和Windows MR头显的确是性价比比较高的选择,Oculus Quest也可以尝试一下,毕竟目前还不清楚其内容质量如何。如果要考虑进行其他形式的互动和内容的开发,使用光学定位摄像头的大空间定位系统,还是首选。毕竟可扩展性摆在那里,如果预算不是很紧张的话,相信大家都会选择能够带来更多可能性,用途更广的光学定位系统。

关于Oculus Quest的详细硬件配置和上手体验报告,再等等吧。

VR治疗恐惧症效果更好 但大规模采用还需解决这些问题

Dick Tracey不必去找一座高楼,来克服他的恐高症,他只需戴上一台VR头显。

通过VR,他乘坐电梯到达了高楼的中庭,看起来非常真实,甚至他被吓得跪倒在地。

“我需要用手来抓住周围的稳固的东西,”他说。

之后他告诉自己,“我看起来绝对很傻,站起来吧,不会发生什么事的。”

通过将患者逐渐暴露在他们最惧怕的事物面前,虚拟现实疗法能够帮助像Tracey这样的人们。这项技术在经过20年的研究之后,正在逐步成为主流。设备正在变得更轻,更廉价,游戏行业所带来的技术革新也在帮助人们对抗面对飞行、高处、蜘蛛或狗时的恐惧。

并且设备数量的增长正在将VR带进更多医师的办公室。专家预测,很快,患有轻度恐惧症的患者将可以在家中成功治愈自己。

传统的疗法会逐渐让患者面对引发焦虑的事物,而研究表明,VR疗法能够给患有恐惧症的人们带来真实世界中的变化,并且和传统的暴露疗法一样有用。

对于来自丹佛的图书管理员Nick Harrell来说,在经过传统的飞行恐惧症治疗之后,VR起到了强化作用。在两年前飞往巴黎之后,恐惧一直纠缠着他,导致他不得不放弃了与女友的休假之旅。

“我不喜欢被锁在金属的盒子里,”Harrell解释道。“我无法呼吸,我的胸就像遭到了重击。”

在一位医师的帮助下,Harrell通过暴露疗法首次面对他的恐惧。电梯、公交车和火车都是飞机的很好的替代品。

“在经过几个月的治疗后,我终于又能坐飞机了,”Harrell说。

在为他的治疗过程加入VR体验之后,Harrell能够不断检查自己是否还存在恐惧症。

但是只有很少的恐惧症患者会寻求治疗。由于感觉太尴尬,他们不会寻求帮助,很多患者都是在想办法在以后的生活中避免遇到引发恐惧的事物。

比如来自英国牛津郡的Tracey,就在想办法避免高的地方,无论是梯子还是惊人的美景,甚至连自动扶梯都会让这位62岁的已退休人员感到心悸。

Tracey所接受的VR治疗是一项研究的一部分。他是最初尝试包含动画的虚拟培训VR体验的患者之一。牛津大学心理学教授Daniel Freeman在英国国民健康服务的支持下开发了这个程序。

Freeman的团队正在开发一个VR体验,患有精神分裂症的患者可以模拟练习在咖啡店、电梯或商店中的情景。

“我们的许多患者都已经被治愈了,”Freeman说。治疗恐高症的VR程序证明,患者可以自行治疗。

那么它是怎样起作用的呢?

传统的暴露疗法,医师需要陪伴恐高症患者前往一座高楼。在VR中,患者能够在一个虚拟的高层阳台上进行治疗,而不用离开医师的办公室。

暴露疗法是通过逐渐让患者从恐慌中走出来而起效的。比如让出汗的手掌和狂跳的心脏平静下来,让恐惧感逐渐降低到一个易于控制的水平。通过克服这些问题,患者能够逐渐控制自己的恐惧感。

目前最大规模的VR暴露疗法研究仍然只是一个小型研究,有不到100名患者参与。以后,更多的VR疗法将会通过互联网传输到患者家庭中,而这仍然是一个很大规模的未经研究的领域,Katharina Meyerbroker说,他是荷兰乌德勒支大学的研究员,已经发表了一些在该领域的科研成果。

Harrell和其他患者正在帮助一家名为Limbix的公司进行VR内容的实际测试,这是这家公司与位于科罗拉多大学医学院的国家精神卫生创新中心进行的一项合作。

这样的合作对于VR公司来说是很重要的,VR公司需要具备科学上的可信度才能把产品卖给医师们,而研究人员也能从中获益。

“我们都在很努力地研究这项最初被用在游戏上的技术,”Hunter Hoffman说道,他是华盛顿大学的一位科学家,他在20年前开发了一个早期的VR疗法,名为Spider World。他并没有像其他早期的研究人员那样授权他的蜘蛛恐惧症项目,这些研究人员与一些公司合作来销售VR平台和内容。

孩子们或许会在某天使用VR来学习如何处理焦虑,Stephen Whiteside说,他是梅奥诊所儿童焦虑症诊所的总监,这里正在进行一项专门针对学业焦虑的孩子的研究。

在VR环境中,课堂上的老师背着手拿着一张成绩很差的试卷。

“你会听过其他孩子嘲笑你的成绩的声音,”Whiteside说。“当我第一次看时,我自己都产生了一种本能的反应,这会让你感到很紧张。”

梅奥诊所的研究人员说,相比传统的暴露疗法,孩子们更偏向于选择VR体验。接下来他们将会测试VR体验是否同样有效。

Whiteside所,各地的VR研究人员必须论证这种疗法的好处与治疗费用的比率,在一些专科诊所中,每次治疗的费用能到200美元。

“当这种疗法更便宜且更易于使用时,”Whiteside说,“治疗过程就会越来越简单。”

至少从目前来看,VR疗法让Tracey的生活变得更简单了,在接受了7次VR治疗之后,他现在能够很容易地把车停到高层车库里。他也能够站在自己家的屋顶,来清理他的车棚。

最初发布于2018年9月21日

原文链接:https://www.bendbulletin.com/home/6531990-151/common-phobias-combated-by-new-era-of-virtual

专访Jaunt:打造全新XR平台 重新定位为B2B公司

Jaunt因其是一家360°视频和影视级VR体验开发商而闻名。但是最近,这家公司将其关注的焦点转向了为其他公司提供混合现实技术支持。近日,Jaunt展示了它在容积视频拍摄方面做出的一些很酷的研究成果,比如为增强现实应用创建360°的数字化身。

外媒记者在Jaunt位于加利福尼亚州圣马特奥市的总部尝试了一下,其速度很快并且质量也很高。Jaunt还展示了它能够如何通过六台英特尔RealSense深度摄像头捕捉一个人的360°图像。

Jaunt将这些来自各个摄像头的图像缝合成一个单独的3D化身,并且将这些内容插入到增强现实流中,能够实时发送到移动设备。记者看到了他们能够如何捕捉化身,并且即时,或者说立刻将数据转换成一个可分享的图像。

新的AR容积捕捉拍摄作品将会逐渐成为一个正在增长的XR平台的一部分,这是一个由Jaunt向其合作伙伴授权使用的B2B软件解决方案,而这些合作伙伴将会通过自己的应用或频道来分发增强现实、虚拟现实和混合现实(统称为XR)内容。Jaunt将会在今年第四季度向客户正式发布容积捕捉拍摄技术。

“我们的目标是让这样的体验流变得非常简单并且便携,”Jaunt的CTO,同时也是其创始人Arthur van Hoff在接受外媒采访时说。“我们在VR领域的360°视频和沉浸式内容方面有很强的的实力,并且我们目前正在探索我们能够为AR体验做出的贡献。”

Jaunt在圣塔莫尼卡还有一个大型的VR电影工作室,他们在这里用自己的专业能力在XR中讲述故事。

在过去,Jaunt已经发布了超过350部作品,其中包括许多的虚拟现实影视作品。而现在,这家公司只有在合作伙伴付费时才会启动一个VR影视项目。

“我们想要成为制作和分发沉浸式内容的全球合作伙伴,”Jaunt的CEO George Kliavkoff在外媒的采访中说道。“在过去,我们专注于服务消费者。我们想要成为VR界的Netflix,并且让人们来访问Jaunt所拥有和运营的网站。而现在,我们已经重新定位为一个B2B公司。”

有了360°化身拍摄技术,Jaunt为其合作伙伴提供容积式内容,将其作为另一种讲述故事和创造IP的媒介。容积捕捉拍摄技术(通过六台相机阵列进行拍摄)让以360°视角来拍摄内容变成可能。拍摄之后会输出一个化身,这个化身符合被拍摄者的样貌和动作,并且是以一个可分享的、符合实际比例的增强现实资产。

Jaunt并没有使用昂贵的绿幕工作室,而是使用了一个简单的拍摄台,其中包含一套外观呈流线型的设备,以及他们为传输高质量VR和AR体验而开发的串流技术。这个简单易用且易于发布的分发工具,对于那些想要为其媒体策略寻找高效的方式,来增加沉浸式内容的公司来说是非常理想的。并且这个拍摄台也很便于携带,你可以想象一下它能做什么。

“我们希望能够实时处理内容,而不是花费数周的时间,并且使其便携且易于分享,”Van Hoff说道。“我的父母从荷兰来旅行时,我录制了他们的一个3D拍摄作品,这是非常特别的,并且是我们永远不会忘记的。”

Jaunt在研发上的投入意味着这家公司正在专注于为创建和分享下一代沉浸式内容而开发可商用的解决方案。其他的还包括由机器学习驱动的沉浸式内容,以及为高端XR体验打基础的技术。

从2013年开始,Jaunt就在处在沉浸式内容的前沿,很快就成为了面向消费者的影视级VR内容的前沿开发商和发行商,他们为创建和分发VR体验创造出了端对端的方案。但是,自从第一台主流的VR头显发布以来,面向消费者的VR市场并没有像大家所希望的那样迅速发展。

“一些分析师说,到2021年,XR将会是一个1200亿美元的市场,”Kliavkoff说。“我们认可这个市场的规模,但是我们并不确定分析师们所说的时间节点是否正确。从长期来看,我们认为AR是更大的机会。”

所以在2016年,Jaunt聘用了Kliavkoff,他是Hearst集团的前CEO。他引导这家公司走出消费级VR领域,将其转变成一个专注于B2B业务的公司,帮助合作伙伴开发新形式的XR内容,并且生成增强现实、虚拟现实和混合现实体验。

“作为虚拟现实和增强现实领域早期的、主要的公司之一,我们已经掌握了面向消费者的技术和故事讲述能力,并且使其能够服务于我们的客户,”Van Hoff说道。“我们对B2B业务的专注引发了一些公司使用AR和VR的需求,并且我们认为,我们的XR平台的实时容积捕捉拍摄技术,是他们通过他们自己的频道来分享引人入胜的故事的一个新方式。这仅仅是Jaunt一直在持续努力地推动XR内容进步的方式之一。”

Jaunt新的XR平台首次亮相于去年12月,并且能够以多种不同的方式来使用,英国的天空广播公司在去年年底就已经成为了Jaunt的XR平台的首位客户。现在他们的客户中还包括Diageo和NTT Data。Jaunt的XR平台支持增强现实资产,虚拟现实内容和2D资产,并且能够跨设备传输,且能够与现有的媒体库共存。

在过去,所有的VR、AR和混合现实格式有着不同的技术链。Jaunt将它们统一起来,这样,他们就能够通过一个播放器来查看。

“该技术平台能够管理所有不同媒体类型,并且在一个系统内进行回放,而不是单独进行创建和管理,”负责公司发展和经营的副总裁David Moretti说。

在2017年,Jaunt通过与SMG和华人文化产业基金的合作,在上海开设了办公室,这使其能够向中国分发内容。

Jaunt的投资者包括华特迪士尼公司、Evolution Media Partners、华人文化、高地资本、Redpoint Ventures、SMG、Axel Springer、ProSiebenSat.1 SE、The Madison Square Garden Company、谷歌风投、Peter Gotcher和英国天空广播公司,目前有100余名雇员。

最初发布于2018年9月20日

原文链接:https://venturebeat.com/2018/08/30/jaunt-shows-off-new-augmented-reality-360-degree-full-body-selfies/

Jaunt VR电影拍摄指南中文版 第二章 相机(下)

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章后半部分,主要讲述了拍摄时的物距、相机的运动问题、相机的安装和支架以及防水问题等等。

2.3、物距

对于任何类型的相机来说,无论是球状还是一组朝外的相机组合而成的,就像Jaunt ONE这样,有一个主要的限制因素就是相机与物体的距离。如果离得太近的话,拼接时就会很困难,甚至无法使用。你可以达到的最近的距离,取决于画面的重叠,也就是你的设备由多少台相机组成,以及它们之间的间距大小。

问题在于,你离相机越近,相机之间的间距也应该越近。否则,举个例子说,其中一个相机模块能够看到这个物体,而与之相邻的相机只能看到特写镜头的一部分。

当然,相机之间离得越近,想要覆盖完整的360°画面需要的相机数量也就更多,并且其尺寸也需要更小。相机模块越小,传感器尺寸也就越小,图像质量和暗光灵敏度也越低。这时,要设计一款合适的VR相机就变成了不断优化和权衡的过程。

Jaunt ONE相机一共有24个镜头–16个镜头围绕在周围,4个朝上4个朝下。考虑到这种结构,以及我们对光学的研究,我们所达成的最小物距是4英尺左右(约1.2米)。

如果你忽略这一距离限制的话,会遭遇大麻烦。你会花费成千上万美元在后期处理上,因为需要修正这些拍摄内容。毫不夸张的说,你需要重新创作出一台相机拍摄到但相邻相机没有拍摄到的内容。当然,很多拍摄内容是无法这样修复的。

也有很多场景会因为物距小于最小物距要求而获益。VR的特点之一就是观众可以获得震撼心灵的情感体验,只需要把演员或物体直接呈现在观众面前。但并不像2D拍摄那样,只需要给一个“大头”式的特写,而不是真正走近他们。在VR中,你可以带来真正的亲近感或焦虑情绪,比如让某人走近相机,这样在观众的视角来看,就会有真正走近的感觉。

想要避开这个最小物距限制的方法是,使用VR相机拍摄360° 3D的环境,然后使用一台传统的立体相机和绿幕,来拍摄同样环境和光照条件下的演员,之后在后期制作过程中将演员放在360°的背景中。很明显这需要额外的设备和更多的时间,但这些付出是值得的,尤其是你确实需要进行极近的拍摄时。

2.4、相机的运动

在所有与电影级VR内容拍摄相关的事情中,没有什么比移动相机更重要了,因为这种移动会让你观众感到不适。电影导演和制作人员们已经习惯了通过移动相机来创作充满动感的镜头,以及为场景增加额外的情感元素。在2D内容的拍摄中,这很少会产生问题,但是在VR中,相机的移动会引发晕眩、迷失方向、恶心甚至是呕吐。这当然不是你想要对观众做的事!电影拍摄者们必须特别用心来保证这些情况不会出现,同时还要保证拍摄的画面足够有趣。

2.4.1、VR中的不适感

VR中的晕动症通常被认为是由于视觉系统和耳道的分离造成的。通常情况下,在你移动的时候,你所看到的内容和传到耳道中的声音会有一个一致的响应。而在VR中,除非你真的随着所体验到的内容进行移动,否则就会产生分离现象。这种分离现象就像是中毒一样的生理反应,你的身体也会有同样的反应。

这种问题会发生在VR游戏或VR电影中,但是在VR电影中更为常见,这受限于当前的技术水平。如果你自己没有真正移动的话,那么只有在拍摄者移动相机时,你才会感受到其中的移动。在房间规模的VR游戏中,你会通过实际的运动来引导自己在虚拟世界中的移动,因为游戏游戏引擎能够实时生成周边事物,就不会产生真实世界和虚拟世界的分离。

但是如果把你放进一个由游戏引擎生成的太空飞船里时,产生晕动症的可能性又会出现,因为你会快速地穿行在太空中,却没有相应的物理移动。为了克服这一问题,一些新出现的VR体验会先制作出真正的基于运动的拍摄工具,并且能够模仿在虚拟空间中的运动。除此之外,提供一个更加惊险的VR体验,会让晕动症的感觉减少。

2.4.2、最小化VR中的不适感的指导原则

看完上面这些,你可以会有些惧怕移动相机。放心,相机是可以移动的。在经过大量的尝试和错误之后,我们总结了下如何在VR中正确地移动相机。

保持水平线的稳定

所有的尝试都要确保你的水平线足够稳定和平稳。如果你的水平线发生晃动的话,就像在不平稳的海面上的小船一样,很容易导致晕动症。

我们强烈推荐你在对相机进行移动时使用陀螺仪稳定系统,来避免相机的摆动。换句话说,我们不推荐在你的头上固定一台VR相机,因为你的身体运动会导致相机随着脚步而四处摆动。

如果你的相机上没有一台物理稳定装置的话,后期的稳定化可以移除部分的水平线摆动,但是存在一些限制,因为在头显中回放时,你必须要保持其立体3D效果。如果你的水平线摆动太严重,在纠正到原位之后,会对3D画面造成垂直方向的偏移,这对于观众来说会非常不适。唯一的解决办法就是在拼接之前做好稳定工作,这会让工作流变得更加复杂,因为你必须对拍摄设备中的每台相机做好稳定化处理。

目前有很多种不同的软件来进行后期稳定化处理,在下面的“后期处理”部分可以获得更多信息,同样可以在“安装&支架”部分了解更多在拍摄过程中的稳定化方法。

尽量减少颠簸现象

你还需要确保尽量减少在移动相机时的颠簸和碰撞现象。不然就会让人感觉你在一台山地车上,顺着崎岖不平的山路向下骑行。

这时,还是需要一台稳定化系统,来缓和这些拍摄过程中的颠簸现象,或者使用后期稳定化软件来尽量移除这些问题。但是,考虑到球形视频的特性,在后期进行处理的话会很受限,因为在球形空间中无法抵消任何的颠簸,你必须忍受在视频中出现的任何运动模糊现象。

不能转动

在拍摄过程中,不能在Z轴上转动相机。这会强迫观众转头,这在VR中是非常不好的体验。与此相反,你应该允许观众自然的转动头部,可以看到整个环境中他们选择去观看的内容。

如果你为了不让观众错过一个重要的动作画面,而需要观众观看某个特定的点,你应该使用光照、运动或者声音来引导观众的视线。根据你的回放手段和拍摄的内容,你也可以在其中加入一些互动元素,以使这些特定的片段只有在观众观看特定方向时才会被触发。

尽量减少加速

最后,你应该限制在相机运动过程中产生的加速现象。快速地加速和减速明显会引发晕动症。

在理想状况下,不应该存在任何加速现象,与之相反,你应该使用平缓、控制良好的相机运动来进行拍摄。如果做不到这一点,那么在加速或减速时应该非常缓慢才能勉强接受。你使用的任何拍摄设备都应该足够精密,避免任何不必要的橡皮筋类固定方法或者摆动。下文可以看到更多相关内容。

写在后面

当然了,规则就是要被打破的!在大多数情况下,上面所有这些内容都应当留心,但仍有一些拍摄情况中,你可能会想要一些晕动症效果–比如被从楼顶推下去,或者在坐过山车。在这些情况下,虚拟现实中的运动引发的副作用可能正符合你的口味。当然了,要分情况。

2.5、安装 & 支架

上面已经提到,用适当的支架可以帮助稳定相机。过多的运动会导致严重的晕动症,并且每种尝试都应该尽量消除或者至少要减少这些运动。并不是所有你不想要的运动都可以在后期处理中被去掉,所以我们强烈推荐在拍摄过程中寻找合适的解决方案。

关于这一点,主要的问题在于你所使用的任何支架最终都能被相机拍摄到。在2D视频的拍摄中,你可以避开这里,以使这些支架不被看到,但是在拍摄360°内容时就不一样了。场景中的每个角落都会被拍摄到。这就是为什么虽然有些支架比其他的支架效果好,但总有一些着地点被拍摄到,无论它们多么小。这些支架都需要用一个logo或图片来覆盖掉,或者在后期处理时移除。根据支架的不同,后期移除时的方法可能会非常困难,并且很费钱。

2.5.1、安装支架的类型

在许多项目中,我们测试了所有下面这些类型的支架,尝试着创作出流畅的、稳定的作品,并没有真正最好的解决方案,所有这些支架都需要在后期处理时移除。

三脚架

这是最简单且使用最广泛的VR拍摄支架解决方案。只需要把相机安装在支架上并且不去动它。这种情况下你不可能会遇到晕动症,并且这也是一个相对紧凑的方案。虽然三脚架仍然会被底部的相机拍摄到,但是通过调整支架,让支架的支撑范围尽量小,可以最小化留在地面上的支架部分。这时就需要Clean plates(补地)。可以用单反相机来帮助移除相机支架的影像。可以在下文的Clean Plates部分了解更多信息。

还可以在三脚架下面增加一个吊索,这是一个很好的安装附加设备的地方,比如声音采集设备或者电脑。我们的相机操作员为了防止在拍摄时被拍到,甚至把自己的身体扭曲并藏在三角架下面。

虽然这不是所有的解决方案中最有效的,但的确可以把观众中放在场景中,让观众可以在不被分散注意力的情况下进行探索,并且不会产生晕动症。你所拍摄的绝大多数内容都会是这种类型,因为移动的拍摄会引发额外的效应–并且在VR中,你会觉得这些场景能够带来一种重量感。

移动摄影车

在2D内容拍摄过程中,移动摄影车能够拍摄到非常流畅且出色的动作。要把任何一种VR相机安装在移动拍摄车上是非常简单的,但同样也是非常笨重的,拍摄车的大部分支架都会被拍到。而且由于其尺寸大,需要多名操作员来控制它,并且还有轨道,因而会有很大的一条画面被遮挡。想要不花费太多预算就把这些被遮挡的内容修复的话基本是不可能的,也就是说移动拍摄车不是一个很好的解决方案。

远程控制滑轨

滑轨是一段轨道,长度各不相同,使用的材质也各不相同,上面安装了支架,你可以以不同的速度让相机在滑轨上移动。通常可以使用电脑来创作出复杂的动作,使其自行重复。

不同的滑轨差异非常大,无论是在滑轨的尺寸上还是马达的速度上。你会需要一个强度足够的滑轨来支撑相机,并且选择合适的马达,能够以足够的速度来驱动相机完成运动,并且减少出错的几率。那些便宜的支架会在运动停止时和开始产生明显的反冲,这在VR拍摄中是非常不理想的运动问题。

滑轨比移动摄影车体积要小很多,但是通常都有一个相当长的轨道,也会很明显地呈现在拍摄的内容中。想要移除它没有简单的方法,除非用图像覆盖掉。可以在下面的Clean Plates部分了解更多。

运动控制平台(摇臂)

就如同上面的滑索一样,运动控制平台使用了一系列的轨道和马达驱动的结构来精确地重复动作。它们通常比滑索还要笨重,基本上就是一个滑索和移动拍摄车的结合体,但具有更高的自由度。此类设备有多种不同的类型,第一次大规模的运用是卢卡斯影业在拍摄星球大战时,为的是拍摄到最终合成所需要的大量场景。

这种设备可以配合大多数的相机,但是却非常笨重,并且360°场景中的很大一部分会被挡住,处理起来非常麻烦。不过,如果你需要合成许多不同层次的场景,比如在一个混合的CG/实景的VR场景中,可以把相机安装在运动控制平台上,对着绿幕拍摄不同层次的场景,这是一个很不错的选择,因为运动控制平台可以很容易地被移除。

相机索道

使用足够坚固的相机索道来支撑你的相机是一个很不错的拍摄360°内容的方法。相机被倒放安装在一个支架上,并且挂在一个固定在话说上的小的滑轮结构上。这种支架相当小巧,并且如果是在户外的话,你会很愿意用天空来替代这个支架,也就是说,要从画面中将其移除的话是很容易的。

如同上面所说的滑轨一样,你需要确保滑轮结构上的马达足够精确,防止在开始拍摄和结束拍摄时相机的摆动。否则,你会遇到非常可怕的视野晃动,导致晕动症。你可以使用相机来抵消这些摆动,同样还可以用陀螺仪稳定器来防止产生摆动。

在这种情况下,相机的重量是你要考虑的首要问题。所以,要确保你的索道能够支撑相机,或者使用一台较轻、较小的VR相机,比如GoPro组合的相机。

斯坦尼康相机稳定器

斯坦尼康相机稳定器是2D作品拍摄过程中用来承重的相机稳定方案。这是一种机械解决方案,将相机和操作员的运动分离。操作员身穿一件背心,在这件背心上固定着支架,通过多轴低摩擦平衡杆连接到斯坦尼康稳定器的电枢,在稳定器的一端固定着相机,另一端则是平衡装置。

这种设备可以允许操作员有不固定的动作,同时又不影响相机。而想对相机进行移动时,又会十分容易。这种设备可以拍摄出非常流畅且让人满意的VR内容。但不幸的是,这也意味着操作员会离相机极近,并且在所有的拍摄场景中都是如此。当观众在观看相机后面拍到的内容时,会离操作员的脸非常近。这会让观众感到非常惊恐!

在后期处理时想要把操作员从场景中移除,几乎是不可能的。我们做过这样的尝试,将一台GoPro相机安装在操作员的背部,尝试着在合成时把操作员背部的场景融合进去。但不幸的是,无论是取景、镜头还是不同的视角都无法做到匹配,并且在有些地方还出现了模糊现象。我们也曾尝试将操作员模糊处理,或者用黑色的晕影来替换他。所有这些尝试都无法做到理想的效果,并且操作员的影像会带着观众“出戏”。

如果你要使用一台斯坦尼康的话,最好的办法是用一张图来遮挡住操作员。举个栗子说,可以是一个静态的LOGO,或者是NFL比赛中的动态的积分牌。这时,如果观众转身,会看到图片,然后观众会决定以后是否还转身看。也就能保证观众还处在VR体验之中。

陀螺仪稳定器

随着对虚拟现实的需求日渐飞涨,以及对不会这当场景的稳定运动的需求上升,许多其他的方案也被应用于此领域。来自Motion Impossible的Mantis 360就是这些有趣的解决方案之一。它将一个带轮子制动结构的遥控移动摄影车和一个平衡稳定支架组合在一起,用于VR相机的使用场景。

这就允许用户来远程移动相机,同时可以做到流畅的、稳定的运动,在场景中不会出现操作员,并且遮挡的地面也比较小–甚至比一台三脚架的遮挡面积还要小–这样在替换地面的内容时会更简单,用LOGO替换的话,需要的面积也更小。你可以逐渐地在场景内策划出运动线路,并且重复这些运动轨迹,就像是使用运动控制摇臂一样。

2.5.2、无人机

无人机是一种非常特别的相机支架。由于无人机的运动会非常颠簸,不够稳定,最初人们认为把VR相机固定在无人机上是一个坏主意。但是后来被证明,如果能够适当的做好稳定化处理,并且按照预先划定的航线来飞行的话,无人机可以拍摄出非常惊人的效果–这会让你感觉你就在飞翔。

通常,相机都会通过某种稳定化系统被倒置着安装在无人机上,就像这张图片中这样。你会希望稳定化系统能够抵消场景中尽量小的运动。很明显,拍摄场景的顶部(就是相机的底部,如果相机倒置安装的话)会包含无人机,但是这在后期处理中会相当容易处理,因为顶部通常都是天空。

你可能需要重新配置无人机,以使其起落架不被拍到。如果你的无人机没有配备可伸缩的起落架,你可以把起落架拆掉,并且让无人机降落在像图片中这样的支架上。这会需要巧妙的降落方法,在风大的地方尤其要小心。

正如在上文介绍索道时那样,相机的重量是首要因素。相机越重,需要的无人机也就越大。更大的无人机还需要特殊的飞行员执照,以及来自FAA的额外的限制。这些会限制你的放飞地点和方式,并且提高拍摄的成本。像这样的拍摄场景,你可能需要使用一台较小的、较轻便的GoPro类相机。

最后,大多数无人机,尤其是那些较大的无人机,会把任何的声音都淹没。你可能需要用画外音或其他音轨来替换掉这些音频。

2.5.3、Clean Plates(简单的说就是补地)

上面所有的这些相机方案都会在某种程度上遮挡住VR相机的拍摄场景。通常地面的场景会被三脚架或滑轨或遥控摄影车遮挡,要抹除或者用logo对其进行覆盖将会是非常必要的。

距离来说,用logo来遮挡对于旅游VR内容或一些新的内容来说是可以使用的,但对于更加影视级或戏剧类的内容来说就不太理想了,在这种情况下,你需要把场景中出现的任何的相机支架都抹掉。根据支架的不同,处理起来可能非常简单,也可能会非常耗时且昂贵。

为了帮助移除任何一种相机支架,强烈推荐你在拍摄时补拍一张地面的照片,也就是被遮挡的部分。这样,你可以把这些照片补在场景中。这种情况下最常见的工具是固定的单反相机,加上广角镜头来拍摄由相机支架遮挡的区域,并且是从相机所在的高度来向下拍摄。

必要时,甚至可以使用iPhone。根据支架遮挡的面积,你需要用单反相机拍摄多张重叠的照片。并且你还需要保证你的脚和影子没有出现在照片中。一个简单的用来clean plates的相机固定支架包含用沙包辅助稳定的C形支架,这样可以避免拍摄到自己。

很明显,如果你需要进行移动拍摄,要进行clean plates工作就会变得更加复杂。根据移动的距离,你可能需要拍摄很多张重叠的照片,我们推荐你每次拍摄时的重叠部分控制在15%-20%,并且形成一个队列,这样在后期处理时拼接起来,就行形成一张移动轨迹图,可以用来抹掉拍摄过程中出现的所有的相机支架。

如果移动的距离实在太长,比如移动上面所提到的Mantis 360陀螺仪稳定器很长一段距离,不妨在支架背面固定一个GoPro或其他小型摄影设备,要么手动,要么按程序来拍摄地面上的内容,以用于后期的地面场景重建。

2.6、防水问题

在水中或水下进行拍摄的情况也经常出现。一些VR内容中最激动人心的场景便是在水下拍摄的–比如面对面观看大白鲨,或者探索大堡礁。不幸的是,许多VR相机设备的复杂性会让水下拍摄变得很难处理,甚至无法拍摄。

2.6.1、雨水

当在拍摄2D的固定画幅内容时,雨水基本不是问题,因为相机可以用防水的油布来遮挡,比如覆盖下镜头,或者使用其他此类方法。但是当拍摄360°内容时就不一样了–油布或其他覆盖物在拍摄到的场景中是可见的,会遮挡住很多的场景。

这会让雨中拍摄,甚至是小雨,变得非常困难。许多相机不仅没有内建的防水机制,甚至仅仅几滴落在镜头上的雨水都会让部分场景变模糊,并且会无法进行拼接。

许多的拍摄工作都因为过于潮湿的天气或者可能会下雨而被取消,即使不会对相机造成破坏。同样,根据你采用的相机支架,即使是雪天也会有很大的风险。以Jaunt One为例,小雪天可能还可以拍摄,但你同样要面临镜头沾水或损坏的风险。在几秒钟之内,雪就会损坏镜头,拍摄就会受到影响。

2.6.2、水下

很明显,对于任何的相机设备来说,在水下进行拍摄都是对相机的终极考验。对于常规的2D摄影设备(甚至是3D相机)来说,有很多的水下保护方案可以使用,并且允许完全浸入水中。但对于VR相机来说,要设计一种类似的保护壳并且不让场景变模糊,或者需要镜头做出妥协,则会更加复杂。通常此类保护壳都是用于GoPro类相机设备,此类设备的一个例子是Kolor Abyss。

不幸的是,大多数水下VR相机目前都只有单视场拍摄能力,不支持更大的360°立体3D设备,这会影响到拍摄内容的冲击力。与鲨鱼面对面就会不那么震撼,因为它不会离你越来越近。这一领域需要更多的选择,并且可用于更大范围的相机设备。

即使你有可以用于水下拍摄的相机,在水下进行拍摄本身也是一个挑战。海水是很难预测并且不可控的,并且海洋生物不会遵循你的相机所需要的拍摄物距要求,所以一些场景可能无法拼接。同时,要控制相机内所有的相机模块也是很困难的,并且你必须特别关注电池寿命和存储卡的空间,因为这些保护壳的拆卸通常都是很麻烦的,会占用你大量的拍摄时间。

Jaunt目前正在研究用于Jaunt ONE相机系统的水下保护方案,因为在水下进行全3D的360°拍摄包含着很大的机遇。水下相机保护领域的很多公司也在寻找用于VR的方案,并且正在为多种相机开发解决方案。

最初发布于2017年2月17日

美国空军中将的担忧:在人工智能上 美国已经落后于中国

近日美国空中一位中将表示,中国在人工智能技术领域的大量投入,将很快把美国甩在后面,使美国处于不利地位。

“在数字时代,速度是发展的根本,”VeraLinn “Dash” Jamieson中将说道。她是五角大楼空军参谋部负责智能、监控和侦查(ISR)的副参谋长。

她描绘了一幅可怕的画面:当俄罗斯有想要用AI作一些雄心勃勃的实验的想法时,中国已经有了这些手段。

比如,中国正在积极努力想要成为AI技术的全球领导者,比如以军民合作的形式创建数字化的人工智能城市,以了解AI技术能够如何被复制和应用。这些城市通过人工智能的面部识别软件跟踪人们的行动,监控着生活在其中的市民的每个举动。

“据我们估计,在2017年,中国在人工智能系统方面的投入总额达到了120亿美元。我们预计,到2020年,这一数字将会达到至少700亿美元,”Jamieson在空军协会的一次早餐上说道。

“你可以对比下我们的投入和中国的投入,”她补充道。

五角大楼中的每一个军事部门都在不同程度地推动着AI的发展,不过其投入规模仅有数十亿美元。

根据独立调研机构Govini的数据,五角大楼在2017财年在新兴技术研究上花费了大约740万美元,而AI在其中占比仅有大约33%,这些花费还包括量子计算和大数据分析,以及其他的信息技术研究。

因为美国空军在过去的二十年间一直都在大力投入反恐作战,“我们并没有纵观全局,来思考并且创建和开发一个高端的战略,我们只看到了我们今天正在面对的战争,”Jamieson说。“今天我们的[智能、监控和侦查]能力还不足以应对国防战略中提出的发展意图所带来的挑战。”

Jamieson正在推动着美国空军的智囊团以不同的方式来思考它该如何行使自治权。比如,他们正在从讨论一个单独的、先进的武器到更广泛地讨论要发展新兴技术,必须要网络先行。

她还重申了与去年相似的评论,Jamieson表示,她的目标在于使用AI从数百万的智能数据点和传感器整合数据点中筛选数据,比如可视或可听传感器的数据,给予空军需要实时做出的决策,这能在实际的战场或虚拟战场中帮助他们。

“我们的确需要我们的分析人员来协调这些数据,以获得更高质量且更快的决策,”她说道,并且还补充说“我们必须构建下一代的ISR(智能、监控和侦查)能力,使我们能够从冲突的全局高度占据决策上的优势。”

Jamieson还推动了一项文化的变革,在此之前美国空军一直在纠结于这一问题,即如何从人力密集型的处理方式调整到利用机器学习和人工智能的处理方式。处理过程将会由数据开始,到数据分析和机器智能,再到人机合作,她说。

“军工企业和空军将会被要求提升ISR的质量和数量,同时能够保持胜任各种军事行动。我们将会共同推进这些研究,”她说道。

Jamieson还说这项研究决不能仅仅将大数据收集作为一个信息来源。“数据就是武器,并且我们每个人都需要以这样的看法来对待数据。”

基于此,目前的空军和未来的空军都需要“被释放,”她补充道。

今天的美国空军要真正地理解真实世界和虚拟世界的融合,这对于应对下一场面对俄罗斯或中国的战争来说,是非常必要的,她说。

Jamieson说在最近几个月,她约见了一些能够通过编码技术整合来自各种不同平台的数据的空军官兵。

“来自第480 ISR联队的空军官兵们意识到,他们在最喜欢的游戏能够被用于培训,这款游戏可以支持大约55名用户之间的实时协作,以完成一项任务。”她说道。

这些空军官兵创建了一个低成本的军用版本,名为Sentinel Sim。Jamieson表示,如果是由空军来开发,或者外包开发的话,可能会花费数百万美元。

而在今天,这个游戏已经被用于实际任务训练场景。

美国空军、军工企业和五角大楼已经成为了一个整体,“现在这已经成为了一项团体运动,”Jamieson说。“并且我们必须这样看待它。”

最初发布于2018年9月3日

原文链接:https://www.military.com/defensetech/2018/07/30/china-leaving-us-behind-artificial-intelligence-air-force-general.html

Jaunt VR电影拍摄指南中文版 第二章 相机(上)

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章前半部分,主要讲述了VR相机的类型和几种常见的拼接方法等等。

2、相机

在这部分中,我们来讨论你将会遇到的各种各样的VR相机,在VR电影拍摄过程中的一些陷阱是你必须要知道的,并且要了解如何避免这些陷阱。比如说安装和组合方法、clean plates的重要性,水下拍摄的问题和VR航拍的问题等等。

2.1、VR相机的类型

目前我们有很多类型的相机系统可以用来拍摄VR内容,并且这一领域也在逐渐扩张。每一款相机都有自己的优势和不足,下文中我们将介绍其中主要的几个种类。除这些之外还有其他很多种全景相机设备,但我们并没有提到它们,因为此类设备无法用于视频拍摄,比如栅缝扫描摄像机。如果可能的话,能够根据自己的需求去尝试每一种相机将会是极好的。

2.1.1、全景相机

这类相机系统通常是受到飞行昆虫的启发,其中包含多个单独的摄像头模块,并且被组装成一个球形、屋顶形或者其他形状。“Panoptic”这个单词来源于希腊神话中的百眼巨人阿耳戈斯,即“Panoptes”。他是一个有着一百只眼睛的巨人。Jaunt的相机系统,包括Jaunt ONE,就属于这一类。

这是到目前为止最流行的VR相机类型,许多公司都涌进这一领域,设计出轻量级的相机支架,来支持多个现成可用的相机模块–通常是GoPro。由于GoPro足够轻便,并且相对来说不是那么贵,已经被证明是行之有效的组装VR相机设备的相机模块。实际上,Jaunt的首个相机产品,即GP16,就包含16台GoPro,组合安装在一个定制的3D外壳里。

然而,使用基于GoPro的相机系统会出现很多问题,包括图像质量问题、散热问题、最重要的是,缺乏同步机制。在拍摄VR内容时,保证你所有的相机模块能够同步是极为重要的。只有这样,重叠部分的图像才能够精确匹配,并且在后期制作中可以很容易地进行拼接。虽然使用简单,但是GoPro相机并没有内建的同步能力,即使在后期处理过程中根据声音和视觉的线索做好了同步,也会随着时间的推移而出现偏差。

当然这并不是说要摒弃GoPro相机。仅仅是它能够组成很多不同类型的VR拍摄设备这一事实,就足以称之为一个壮举。但是它最初并不是为了为了这一任务而设计的,而且其缺陷也逐渐暴露了出来。

Jaunt接下来继续努力开发了内建26个定制相机模块的Jaunt ONE,可以提供四倍大的传感器尺寸,在弱光环境下的表现也更好,可调十一个档位的更高的动态对比度,更好的色彩还原,可以防止快速移动物体导致的画面撕裂的全局快门,当然还有最重要的可同步的相机模块。

现有的任何相机系统的多相机模式就是为了提供图像的重叠。你需要足够多的相机来提供图像间有效的重叠,重叠部分大概要占到15-20%,这是为了把临近的帧适当地拼接起来–如果你想要提供立体拼接的话,你还需要更多的相机。你的系统中有更多的相机,图像之间就会有更紧密的联系,这样在拼接过程中就能提供更小的物距,可以让物体更加接近。在下文的“拼接步骤”和“物距”部分可以获得更多信息。

2.1.2、Mirror Rigs

另一个比较常见的全景360°相机是mirror rig。这种设备基本上是多台相机放置在一个原型框架里,镜头向上拍摄那些以一定角度安放的朝向外侧的镜子中的影像。此类产品有一个很好的例子,便是Fraunhofer OmniCam。

这些设备可能是单视场的,也可能是立体的,由于其中包含了镜子,通常比其他种类的全景拍摄设备要更大更重。但是此类设备还有一个很大的优点,就是这些镜子可以让相机拍摄到镜子中的虚拟节点,这会造成最小限度的视差,甚至还可能没有视差。这会让拼接变得非常简单,而且基本上不会产生伪影。

由于这个原因,许多此类相机设备支持实时拼接和实时的360°图像传输。使用两个相机拍摄每个镜子中的影像,你可以进行无缝的立体拼接。此类设备主要的缺陷还是尺寸和重量的问题,并且在进行实时拼接时,必须要连接到相当强大的电脑上。

2.1.3、鱼眼

许多消费级的全景相机都是此种产品。因为他们相对来说很便宜,小巧,轻便,并且通常在相机内部就可以很容易地拼接。有的产品使用了一个镜头,比如柯达的360度运动相机。还有每个镜头可以拍摄180度的双镜头方案,比如理光的Theta,通过将两个镜头拍摄的内容拼接在一起,可以捕获完整的360度场景。

虽然它们使用起来很方便,并且很容易进行拼接,但是此类相机的拍摄质量相对要低。许多此类产品还可以串流到iPhone或者安卓设备上,使其很适合用作远程监控用途,如果你的VR相机不提供此功能的话,可以考虑使用此类设备。在下文的“在线预览”部分可以获得更多信息。

当然,还有针对专业消费者的此类相机,它们通常具有更大的镜头和传感器。不幸的是,所有此类设备只能生产出单视场图像,并不是立体3D图像,降低了用于VR时的沉浸感。

2.1.4、光场相机

光场相机是最近才来到全景拍摄市场上的新技术。虽然它代表着虚拟现实电影拍摄的未来,但其实际使用还是有些遥不可及。这类设备并不是通过镜头收集光线,并且投射在传感器上。而是包含了数百个极小的微型镜头,可以捕捉到每个可能的方向传来的光线。

这种设备可以在后期制作时做出一些非常惊艳的事情,包括在佩戴头显的时候通过摆动头部来切换视差,重新聚焦图像,生成景深数据和立体3D数据,以及在不使用绿幕的情况下进行抠像。

光场相机首次被消费市场熟知是由于Lytro Illum静态相机。最近,Lytro进入了专业视频领域,推出了用于VR的Lytro Cinema和Lytro Immerge两款产品,你可以在Lytro官网上查看更多信息。

大部分用于拍摄视频的光场相机并没有像静态光场相机那样使用微型镜头阵列,而是使用了非常多的相机模块,并且安装在网格或球形结构中。通过一些奇特的处理方法,这些多重视频串流信号可以被打包成一个经过压缩的光场格式,你可以在视频播放的时候在其中走动–虽然会有些受限。

你的运动范围会限制在与圆形场地直径相当的范围内,或者是布置这些相机的网格的宽度范围内,也就是取决于其拍摄场地的大小。虽然你不能在屋里随意走动,但是你可以移动头部,并且看到不断变化的视差,这可以帮助你最小化VR中会遇到的晕动症。

不幸的是,这些相机在实际拍摄中的使用是受限的,因为它们需要一个很大的计算机阵列与相机系统链接,来进行数据的捕捉和处理。另外,光场电影串流虽然是被压缩过的,但对于处理、下载来说还是太大了。以今天的带宽水平,串流将会是极为困难的。

虽然目前拍摄光场影像是很困难的,但是可以使用oToy的技术来以CG的形式对其进行渲染。你可以在oToy的官方网站上找到描述全息或光场视频渲染的演示视频。

2.1.5、摄影测量法

为了能够全面了解VR内容的拍摄,你需要彻底改变你的想法,从目前的“由内而外”的方法论转变为“由外而内”的视角。也就是说,并不是用一个所有相机都向外拍摄场景的阵列来进行拍摄,而是用一个全部向内的相机阵列来环绕整个场景。

微软曾经为其增强现实头显HoloLens开发了一种基于视频的摄影测量法,主要是为了创作全息视频。该技术名为“自由视点视频”。一组相机阵列环绕在绿幕舞台周围,从不同的角度捕捉视频,接下来使用先进的摄影测量法来创作出全3D的网格,其中还包含场景中所有物体的投影映射纹理信息。微软的这项技术使用了先进的网格镶嵌、平滑的网格还原以及压缩技术,来创作出你真正可以在其中走动的VR或AR场景。

更多关于该技术的信息可以在微软官网查询。

另一家探索该领域的公司是8i。他们使用了类似的相机阵列,来捕捉他们所说的容积视频,并存储为一个拥有专利技术的光场格式。这项技术并不会创作出完整的CG网格(当然这也是一个选项),但同样允许你在场景中随意走动,或者从任何角度进行观察。更多关于该技术的信息可以在8i官网查询。

无论采用了何种技术或方法,先进的实时摄影测量技术将会在不远的将来成为一项重要的视频捕捉技术,使用该技术,可以让你完全沉浸在任何场景中。随着技术的进步和成本的降低,消费者们可以以前所未有的方式连接全息视频和真实环境。

2.2、拼接方法

当你使用360°相机拍摄完场景之后,你需要将所有这些相机拍摄的单独的画面进行拼接,以创作出一个单独的、无缝的360°球形图像。要想创作出没有视觉可见的缝隙或伪影的图像是VR内容拍摄过程中最难的工作之一,并且也是最浪费时间的工作之一,特别是在创作3D图像时更是如此。

Jaunt的云服务JCS已经将这一过程简化成了近乎自动的过程,目前已经支持Jaunt ONE和诺基亚OZO相机。下面我们列举了多种拼接方法,Jaunt在此之前已经尝试过其中一些方法,但就目前而言,光流是能够提供最佳的无缝3D拼接效果,并且人工干预最少的方法。

2.2.1、几何方式

几何方式的拼接是目前大多数现成的拼接工具所使用的方法,比如Kolor Autopano,并且是在Jaunt的GP16相机上首次使用的拼接方法。使用这种方法,在拍摄时由镜头产生的每张图像中的桶形失真都会被修正,图像会根据其中的相似点来排列,然后被平滑地融合在一起。这种方法可以创作出完整的360°*180°展开状圆柱投影球形图像。

在立体3D中进行拼接要更加困难,并且需要在环境中先创作一对虚拟的立体相机,以此来使用图像中的每一个切片提供左眼和右眼的观看效果,才能进行拼接。

正如上文所提到的那样,这种拼接方法并不总是完美的,并且可能会导致可见的缝隙或3D伪影,因为部分场景的景深数据并不正确。考虑到这一点,Jaunt才转向了接下来要说的光流拼接法。

2.2.2、光流

Jaunt目前就在使用并优化光流算法,作为Jaunt云服务的在线拼接平台的基础,支持Jaunt ONE和诺基亚OZO相机。

光流是一项已经应用于电脑图形领域有一段时间的技术。它有很多的应用领域,包括运动的估算、跟踪、相机的创建、蒙版的创建,以及立体视差的生成。作为核心,光流算法会计算场景中每个像素的移动,并且通常是一帧一帧地对拍摄的内容作出基于时间的分析。

比如,在拼接一个立体全景图像时,流图会被用来跟踪那些相邻的相机所拍摄到的独特的像素,比如场景中出现的视觉元素。通过将此技术与现有的相机所拍摄的几何结构和镜头特征相结合,就会让判断相邻相机所拍摄的每个像素的距离变为可能。同时也能生成一个整个场景的差异(景深)分布图。

这个差异分布图可以用来在拍摄360°的立体3D内容时,插入分别针对左眼和右眼的虚拟相机。这种技术能够提供更好的景深感知,同时产生更少的伪影,并且缝隙可以忽略不计。然而,这种方法并不是完美的,一些错误也会出现在流图的生成过程中,或者可能会在一个或多个相机被物体挡住时,产生盲点。在这种情况下,需要对被挡住的部分进行估计,并且这些物体周围会产生名为“光晕”的伪影。

通常,物体离相机越近,相邻的相机就越难以看到相似点,这就会导致更加繁杂的估算和更大的光晕伪影。想要了解更多信息可查看下方的“避免伪影”和“物距”部分。

不幸的是,目前的算法想要完全估算出所有的错误基本上是不可能的,所以就需要后期制作来修正这些问题。想要了解更多信息可查看下方的“后期制作”部分。

2.2.3、实时拼接

实时拼接使用了类似上面的方法,但很明显的是,这些处理过程必须实时进行,这样才能实时传输360°图像。目前仅有极少数产品能够做到实时拼接,或者说能够做好实时拼接。大部分此类设备要么不是真正的360°,而是180°,要么是单视场而非立体3D画面。

目前可用的一个方案是VideoStitch,可以让你通过该公司的Vahana VR产品做到单视场实时拼接,并且他们的立体3D实时拼接技术也即将到来。作为一款软件解决方案,它可以支持很多类型的相机设备。在VideoStitch官网可以获得更多信息。

许多的实时拼接解决方案都是对应上述的mirror rig类相机,因为此类相机的设备可以允许更加简单快速的拼接。Fraunhofer OmniCam就是这样一款产品,目前已经有两个型号,一个型号支持单视场拍摄,另一款可以支持3D 360°串流的实时传输。可以在上面的mirror rigs部分了解更多信息。

2.2.4、避免伪影

上面介绍的这些相机方案和算法都有各自的特性,但在拼接时都会或多或少地产生伪影。几乎所有的算法都会产生不同种类的让人生厌的伪影。如果场景拍摄正确的话,这个问题出现的概率是可以降低的。所以,你的确值得在调查和测试上花费一些时间,来检测相机和算法的关联是否合适。

这里我们以Jaunt ONE相机及其使用的基于光流的拼接算法为例,我们有时会在移动的物体或离相机太近的物体周围看到恼人的光晕。这种问题通常由于进行拼接时,光流算法在寻找相邻相机拍摄的相似像素时比较费力所造成的。如果一个人站在室外非常明亮的物体面前,算法就很难分辨不同的像素,因为所有这些像素的值都与物体的像素基本相似,而且在这个场景中没有细节信息。

同样的,如果有很多看起来完全一样的点,你也会遇到这样的问题。如果一个人站在有着规则的纵向直线的报纸面前,光流算法就很难分辨出很多看起来完全一样的点该如何匹配。

解决办法是,将你要拍摄的物体与背景区分开,以保证没有像上文所说的报纸那样,出现相似的重复细节。或者调低相机的曝光来降低亮度,以获取更多的图像信息,利于算法识别图像。

如果要拍摄的物体离相机太近的话,也会出现这样的问题。如果物体离得太近,一台相机可能会看到场景中的细节,但这些细节或许在相邻的相机所拍摄的场景中被这一物体被挡住。这样一来,算法是没有办法“绕着观看”这个物体,来完成像素的比对。围绕着这个物体的周边区域就会出现光晕,而且由于一帧一帧地进行拼接,这个让人头大的问题又会不断出现。

解决这个问题的办法很简单,把要拍摄的物体往后移动。对于Jaunt ONE相机来说,要拍摄物体的最近的安全距离在4-6英尺(约1.2-1.8米)。

算法正在变得越来越智能,如果没有被淘汰的话,我们期待着伪影在不久的将来能够越来越少。就目前而言,虽然你可能无法彻底消除伪影,但你可以通过花时间思考算法的拼接过程,同时适当控制拍摄的曝光来大幅减少伪影问题。

2.2.5、分辨率

我们来谈谈分辨率问题。VR相机中所使用的大多独立的相机模块都是GoPro、计算机视觉相机或者像Jaunt ONE所采用的定制模块。通常其分辨率都是HD(1920*1080)或2K(2048*1556)级别的。当这些图像被拼接在一起之后,很明显,会组成一个分辨率更高的全景图。

以Jaunt ONE相机为例,它可以创作出高达12K分辨率的图像。使用今天的技术来处理这样尺寸的图像完全是不切实际的。就在几年前,整个行业还在忙于应对HDTV或2K级的图像。很快,这个行业迎来了立体3D,超高清UHD和4K、高动态对比度HDR、广色域、高帧率HFR等等图像技术,每种技术都有成倍提升数据量的潜力。

在以前,这些技术都曾遇到过瓶颈,现在我们又迎来了VR,而VR需要把上面这些技术都结合起来,并且我们现在就需要使用这些技术。但是使用现有的技术,要在后期制作中处理如此大的文件几乎是不可能的。即使是最强悍的CPU和GPU也无法做到。考虑到这一点,Jaunt目前将输出的分辨率限制在3840*3840,并且提供左/右格式的立体3D画面,帧率为60fps。

即使是这种体量的文件,在后期处理时也很费力,并且需要足够强悍的设备来进行如此高分辨率和帧率的画面合成、编辑、色彩较准和CGI工作。并且,虽然我们可以压缩下最终文件以分发给消费者,世界各地的带宽又各有差异,也是一个问题。

最后,最大的瓶颈在于最终播放设备。虽然你一直想对于这种全新的媒体保持前瞻性,但你必须要知道,目前所有的主流头显,比如Oculus Rift、HTC Vive和PSVR目前的分辨率仅有单眼1K。这种情况当然会逐步改进,但是,你需要平衡下人们对更高分辨率的渴求和实际情况。技术会随着时间逐步提升,我们也将可以提升图像的分辨率和保真度。

最初发布于2017年2月10日

Jaunt VR电影拍摄指南中文版 第一章

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。首先为大家带来的是该指南的第一章,主要讲述了虚拟现实的两大类型、VR电影的基础知识等等。

1、虚拟现实基础知识

据维基百科,虚拟现实是一种计算机技术,可以复制真实的或想象中的环境,并且可以模拟用户的临场感,用户可以与其环境互动。在电脑或者手机上,这通常意味着屏幕上呈现的视觉内容和扬声器或耳机呈现的听觉内容。可供触摸或可提供反馈的设备也正在涌现,提供嗅觉和味觉的设备还需要一段时间。

对于任何形式的虚拟现实来说,其关键都是临场感和沉浸感。正是这些使其区别于以前的其他媒体,并且能够把素材创作出一种强烈的情感联系。Chris Milk是早期的VR电影导演之一,他经常引用一个观点,称虚拟现实为“共情机器”。

1.1虚拟现实的种类

虚拟现实有两个基本的阵营-电影级虚拟现实和基于游戏引擎的虚拟现实。区别在于生产手段、回放方法、真实度以及互动内容的多少。

1.1.1 什么是基于游戏引擎的虚拟现实

很长时间以来,当人们想到虚拟现实时就会想到这一种。这是由3D CG游戏引擎实时生成的电脑图形,比如Unity或Unreal。这些内容被生成之后,可以使用特制的头戴显示器(头显)比如Oculus Rift或HTC Vive,这些头显包含运动跟踪功能,用户可以在虚拟现实中走动,感觉就像是真的一样。

这种虚拟现实同样适用于高互动性的内容,可以使用提供手部跟踪控制的Rift和Vive,可以让你拿起并移动物体,比如挥舞一把剑,开枪射击,或者和整个环境进行互动。感觉很像是自己进入了一场游戏。

并不能说第一批VR头显主要针对重度游戏玩家,就意味着这种技术仅仅是为了游戏而开发。游戏引擎也可以用来创作互动电影或音乐视频,就像是创作游戏那样。因为它们尤其擅长创作出完全不像现实生活的世界。

1.1.2 什么是电影级虚拟现实?

Jaunt专注于电影级虚拟现实。下面就是一段360度电影,使用一台全景摄像机系统,可以作为一个圆柱投影那样进行回放,并且允许观众随着剧情的展开而四处观看。圆柱投影是一个非常好地展示场景的方法。根据摄像系统和拼接步骤的不同,其中的场景可以是单视场的(扁平)或者立体的(3D)。

现在你已经了解到,在电影级虚拟现实中你可以看到非常真实的场景,而在由游戏引擎在电脑上生成的虚拟现实中则不会这样。同时,这些场景在拍摄过程中还会使用空间音频麦克风,来让声音听起来就像真的一样。如果你听到你的右边有条狗在叫,并且转头看左边,你会看到有一条狗就在声音传来的地方。感觉就像是进入了电影场景中一样。

但并不像基于游戏引擎的虚拟现实,在电影级虚拟现实中你无法自由地在场景中移动,除非在你移动的同时,摄像机也随着移动并进行拍摄。随着新的摄像系统的采用和新技术的逐步开发,今后你也将可以在拍摄的场景中进行四处走动。在下文中的“VR摄像机的种类”章节中可以了解更多信息。

虽然电影级虚拟现实并不像完全基于游戏引擎的虚拟现实环境那样充满互动性,你仍然可以为其添加互动元素。以《Choose Your Own Adventure》为例,其中就包含凝视检测、可互动的叠加和界面、声音或图片的触发、手势、甚至加入完整的CG内容也是可以的。

所有这些将会构成一种全新的媒体,这是一个我们刚刚开始意识到其潜力的空白的画布。VR领域的杀手级应用将会融合了电影、游戏和互动影院。现在,我们还在带妆彩排阶段,一切皆有可能。即使是区区五年之后,VR内容也会与今天的截然不同。

1.2、立体vs单视场VR

VR影片素材既可以是单视场3D,也可以是立体3D。单视场的素材是扁平的,并没有景深数据,在360°的可视范围内都是以同样的景深被投射的。当然,你同样可以转动头部,四处观看这个场景,但没有任何的东西会变得离你近一些,只会变得大一些而已。这就像是普通的2D电影中的特写镜头,和3D电影中那些东西会逼真地离你越来越近,并且从屏幕中跳出来所形成的对比一样。

而在360°立体3D影片中,你将获得完整的每个方向的3D观看体验,其中的物体也会真正地离观众越来越近。这会产生更加逼真地、更具沉浸感的感觉,就像是我们在现实生活中所经历的一样。想象一下在VR中拍摄一只水下的鲨鱼的情景。为了达到最大的视觉冲击效果,你会希望观众感受到鲨鱼正在离自己越来越近,并且每个观众都能有此感受。使用立体3D技术,你可以达到此种效果,而是用单视场的话,虽然鲨鱼仍然来势汹汹,但它不会离你越来越近,你将会丢失临场感和沉浸感–当然还有恐惧感。

无论在哪儿,你都应该尽力去尝试拍摄完整的360° 3D内容。但是,为什么并不是所有人都在这样做呢?你可能会想到,这种拍摄需要的设备更加昂贵,而且拼接过程更加复杂,如果没有大量的后期工作和资金投入的话,也不会获得好的回报。Jaunt推出的Jaunt ONE摄像机和Jaunt云服务(JCS)就是为了简化这些程序,最大限度地自动化整个过程。

你可以在Jaunt云服务文档中获取更多信息。

还需要说明的是,并不是每个场景或镜头都缺失需要在3D中拍摄,当然了,也不一定都能做到在3D中拍摄。目前,只有极少数几款360°拍摄设备可以用于水下拍摄。而且由于防水设备的限制,更难以把3D拍摄设备装在其中,所以通常会使用较小的单视场设备。在下文的“水下拍摄”部分可以获得更多信息。

同样,在汽车内进行拍摄时,会受到车内空间的限制,其中的物体会距离很近,这时通常使用一个较小的GoPro式的拍摄设备,并且采用单视场来拼接素材,会获得比较好的拍摄效果。大部分的相机都有最小物距的要求,你必须遵守,这样才能拼接出质量较高的作品,而且在3D拼接时,这一物距的要求会更大。如果你想要离拍摄的物体很近的话,尽量选择单视场的拍摄方法。在下文的“物距”部分可以获得更多信息。

类似的,如果使用无人机的话,重量也是一个问题。所以,在很多情况下,我们还是要使用一个更小的,更轻便的GoPro类设备,并且拼接单视场的素材。在很多情况下,拍摄地会离地面非常远,你也无法获得足够的立体视察,而且观众们也几乎察觉不到。

无论是哪个已经推出的作品,其中的大部分内容都是完整的360° 3D手法拍摄的,其中也有些许画面,比如上面这些情景是使用更小的、更轻便的GoPro设备进行拍摄,并且在单视场中拼接的。如果处理正确并且使用的时机很得当,你的观众们或许不会察觉。

1.3、360°视频

当我们谈论360°视频时,我们必须要澄清一件事。那就是它和VR有什么区别?为了让人们了解VR,并且充分利用现有的重度使用的平台,许多公司,尤其是Facebook和谷歌旗下的YouTube都已经在推广360°视频。这是你可以用浏览器在网页中观看的视频,并且 可以使用鼠标拖动画面,或者在手机APP中,通过把手机移动或旋转来达到同样的效果。

同样,我们的Jaunt手机端和web端应用也可以做到这一点,对于那些暂时无法使用或手上没有VR设备的用户来说,也可以在3D中体验到这些内容。像是Facebook这样的品牌和公司之所以喜欢360°视频,是因为这可以帮助他们撬动所有人都在使用的平台上巨大的用户群体。

然而,要称其为虚拟现实,我们必须要谨慎。如果太多的用户都认为这就是虚拟现实的话,他们或许会认为,他们已经真正地体验过了虚拟现实–并且包含3D中的临场感和沉浸感,以及空间音效–但却并没有多深的印象。我们必须要明确区分360°视频和真正的VR,并且使用前者来激活观众们,让他们体验后者。或者像是3D电视那样,让VR也经历快速的死亡。

而这,也就让我们来继续思考真正地虚拟现实内容的需求到底是什么。

1.4、VR的最低需求

你可以和100个人去谈论虚拟现实的必要条件,但会获得非常多的答案。既然我们在寻找最大限度的沉浸感和临场感–也就是真正身临其境的感觉–Jaunt提出四点最低需求:

360°圆柱投影图像–这是一个你可以上下左右360°观看的场景。有些摄像设备则是采用了180°的特制的相机来进行在线直播,这样可以减少带宽需求,降低拼接的复杂程度。但是,当你看向身体后方时,你会直接离开这个场景。通常为了减少这种身后只有黑色背景的情况,会插入一张图片,比如节目的宣传海报,比赛的比分情况等等。

立体3D–这是比较有争议的需求之一,因为今天很多人都在拍摄单视场的内容,毕竟这种内容在捕捉和拼接时都会更便宜且更简单。然而,想要真正获得临场感–身临其境–也就是VR真正特别的地方,你真的需要尽量拍摄立体3D内容。立体3D就是我们在现实生活中所看到的那样,并且在VR中也同样重要。

空间3D音效–声音是任何电影类产品中极为重要的一部分。它不仅能够提升沉浸感,同时也是像运动和光线那样的仅有几个线索之一,可以用来获得观众对重要事件的注意力,因为观众们可能在看任何地方。捕捉空间音频可以增强你的临场感。

在头显中观看–最后,如果你没有真正的观看方式的话,上面这些都是没用的。虽然经常会有给没有设备的观众创作的360°视频,并且允许你拖动画面。但这种视频并不能看到3D效果,也不能提供空间音效回放。为了达成完整的体验,你真的必须要用合适的头显设备。好消息是,你不一定要购买Oculus Rift或HTC Vive这样的昂贵的设备。市场上还有很多非常便宜甚至是免费的产品可供选择,这些产品会让你目不暇接。

1.5、头显的种类

市面上有很多不同类型的头显设备,它们在价格和性能上的差异也非常大。从非常简单的谷歌Cardboard,到三星Gear VR,再到Oculus Rift和HTC Vive。就像手机和那一套集成电路组件那样–其中包含陀螺仪、加速度计、小型高清屏幕–正是这些复活了曾经的虚拟现实,让Palmer Luckey创作出了首个Oculus头显。手机是这些产品的基础,甚至是高端的Rift和Vive的基础。

较高端的头显可以提供全身的追踪,其中还有些包含了手部控制器,可以提供“房间规模”VR系统,让用户四处走动,并且和环境进行互动。但仅仅使用你的手机加上简单的透镜,也就是Cardboard或塑料外壳的产品也可以让你获得惊人的体验。随着手机生厂商在头显中集成更好的VR子系统,这种体验会变得越来越好。

头显设备的清单还在急速扩充,你可以在网上查询到此类设备的信息。

最初发布于2017年1月23日

虚拟现实:对抗病痛的数字化良药

Amanda Greene一直饱受病痛煎熬。

“如果我没有感到神经痛,我可能会感到关节痛。如果我没有感到关节痛,我可能会感到头痛,”Greene说道。

无尽的疼痛是狼疮的症状之一,这是一种自体免疫的疾病,患有这种疾病的患者,其免疫系统会攻击身体。Greene曾经尝试过针灸、按摩和阿片类药物,但她发现,她对可成瘾的止疼药过敏。

而最新的疗法则让她感到很兴奋,那就是虚拟现实。Greene通过aplliedVR这家公司参加了一个测试,来看看虚拟现实能否帮助患者,以及怎样帮助患者。Greene的虚拟体验可以帮助她休息,并且训练她以一种特殊的方式来呼吸。当她被引导进行吸气和呼气时,通过VR头显,她能看到一些自然景色,甚至能看到自己的呼吸。

“有效果了,这对我有效果了,”Greene激动地说。“感觉我的生活质量都提升了。”

医院和诊所中的VR

Brennan Spiegel是一位肠胃科医师,他已经在给自己的病人使用VR。他说,腹部的疼痛和肠胃的不适,在某些情况下,跟患者的精神状态是有关的。

“像是虚拟现实这样的东西的确能够调节患者的脑干,并且可以在某种程度上以一种可以帮助减少腹部痛觉的方式来重新连接神经系统,”Spiegel说。他同时还是西奈医院健康服务研究部门的总监,带领着他的虚拟现实项目。

在西奈医院,有超过2500名患者接受过虚拟现实治疗。根据Spiegel的介绍,这家医院有着全世界最多的登记在案的VR治疗程序。

“虚拟现实能够缓解疼痛,舒缓血压,提高生活质量,减少焦虑。并且现在,我们正在探索,它是否能够做出真正重要的事,比如减少患者对阿片类药物的需求。”

Spiegel说,在美国有超过100家医院正在将VR用作一种治疗患者的方法,来帮助他们应对疼痛和焦虑等症状。他说,世界各国对此种疗法的兴趣正在日益增长,并且医生们开始开发全球化的指导方案,来指导如何在医疗健康领域应用和验证这项技术。

Spiegel现在已经将虚拟现实带出了医院,并且与洛杉矶的Attune Health这样的机构合作,在这里,很多患者都饱受自体免疫性疾病或炎症性疾病的折磨,这些疾病会引发关节疼痛等症状。

Swamy Venuturupalli是一位风湿病学家,同时也是Attune Health诊所的创始人,他正在他的诊所中进行一项有关VR如何缓解患者疼痛等级的研究。所使用的VR体验包括和海豚一起游泳,以及在篝火前的冥想练习。 Venuturupalli说,VR对正在忍受病痛的患者来说,不仅是一个分散注意力的体验,同时还能训练他们进行深呼吸和生物反馈。

“它可以让你与你平时不会产生联系的那部分大脑相连接,这部分大脑控制着呼吸作用,控制着你的心率和情绪,”Venuturupalli说道。

医生们还在研究VR潜在的副作用,比如它是否会导致成瘾。

“可能不会有这种问题,实际上,我们还没有在我们的患者中见到滥用情况,他们将VR用作治疗目的,而不是用作游戏或娱乐,”Spiegel说。

一些患者遇到的最常见的副作用,根据Spiegel的说法,是晕动症,也就是在佩戴着VR头显时会有眩晕和恶心的感觉。他说,只有不到10%的患者遇到了这个问题,但当头显关闭之后,这一症状很快就消失了。

VR药房和诊所

appliedVR这家公司使用了沉浸式技术来帮助人们管理疼痛和焦虑。该公司还在开发内容,并且与娱乐公司和学术界的人们合作,来为患者们寻找合适的VR体验。他们的愿景是打造一家VR药房。

“你需要多种多样的内容,因为在医疗健康领域有多种多样的人。从婴儿到老年,并且有各种个性类型,”appliedVR的总经理和创始人Josh Sackman说道。

和海豚一起游泳可能给会让一个患者感到放松,但却可能会吓到别的患者。Greene说,在虚拟现实中观看一场时装秀可以帮助她缓解疼痛。

Sackman说,在过去的三年间,医疗行业对在医疗机构中使用VR的态度已经发生了转变。在2015年,他亲身经历了医生们对电视或平板电脑能否被用来分散患者注意力的怀疑论。Sackman表示,VR不像是电视屏幕,当患者戴上VR头显时,它会把患者的视野和听到的声音与外界完全隔离。

“在某个时刻,你会看到一个正在挣扎、饱受剧痛煎熬、极为紧张甚至惊慌的患者,在一瞬间,他们的身体放松了,脸上浮现出微笑,并且你可以看到身体上的变化,”Sackman说道。

Spiegel想要创造出一个类似门诊的VR诊所。他说,他的目标不是让患者永远停留在VR中。

“我们的想法是要研究当你处于虚拟现实中时,你可以支配自己的身体,你的意识决定这一切。并且你可以学习这些技能,当你在真实世界中需要它们时,你可以使其再生,并且把它们’召唤’出来,”Spiegel说。

最初发布于2018年8月31日

原文链接:https://www.voanews.com/a/virtual-reality-digital-medicine-to-combat-pain-/4549497.html