结合VR和AR的训练系统能够拯救士兵的生命吗

五角大楼的近战杀伤力特遣部队(Close Combat Lethality Task Force)正在寻求新一代的训练方式,比如结合VR和AR的训练系统。

外媒记者询问一位久经沙场的士官,在国防部的近战杀伤力特遣部队所关注的所有技术和策略中,在你个人看来,哪个最具有拯救生命的潜力?他的回答不是更强大的武器,也不是更先进的无人机,Jason Wilson毫不犹豫地说:“ 合成训练环境(Synthetic Training Environment)。”

这是一个全新的结合了虚拟现实和真实世界数据的系统,它能够革新陈旧的军队训练方式,Wilson将其称之为“敌人视线范围内的极端暴力”。

数十年来,美军为战斗机飞行员训练投入了大量的模拟器,以使他们在真正进行战斗之前能够一遍又一遍地进行虚拟对战,出现各种错误并且被“击落”,以保证他们不会在真实战斗中出现致命失误。在实际的战斗中,飞行员们需要通过复杂的抬头显示器(Heads-Up Display,简称HUD)来观看,抬头显示器会将数据直接投射到飞行员的视野,并且高亮显示威胁和目标。现在,计算机技术已经足够发达,曾经作为步兵的国防部长对将类似的技术应用到步兵部队相当有兴趣。正如国防部长Jim Mattis所说,这样步兵们也能够在真正上战场之前先“进行25场血腥的战斗”。

对于一位内阁大臣来说,要创建一支特遣部队并不难,而对于Wilson这样服役长达23年的老步兵来说,能够意识到新技术是真正有价值的,则是非常不一样的一件事。

“合成训练环境”意在开发一个用于步兵的抬头显示器,美国陆军希望能够在明年推出,该系统能够“革新士兵们观察、处理和理解战场空间的方式”,Wilson对记者表示,“并且能够给士兵们提供空前的战场感知优势。”但是最直接的回报是,在战争开始之前,“为我们的士兵提供逼真的训练。”

该系统有些类似军用版的Google Glass或Pokémon Go,通过将虚拟的数据叠加在真实世界的视图上,这种增强现实技术能够帮助军队进行跨区域甚至是跨国界的导航,并且提示友军或敌军的位置。在训练过程中,你可以将虚拟的敌人和障碍物叠加在真实世界里,让士兵们在基地里进行训练,就像步兵们经常做的那样,跳跃、跑动,进行战斗,同时能够模拟出士兵们在真实任务中将会遇到的各种情况。

但是,这会比将更多的军队送到美国陆军现有的战斗训练中心,或者海军陆战队的空地作战训练中心更有效吗?毕竟这些训练基地都因为其严格的训练、真实的设施和专业的假想敌部队(OPFOR)而闻名。“位于艾文堡的波尔克堡军事基地每年只能训练固定数量的士兵,”Wilson回答道,他本人曾经在波尔克堡军事基地的联合战备训练中心(Joint Readiness Training Center)服役。通过对训练任务的重复,你能更好地应对战斗任务。“但这些重复的过程不得不在各自的基地中进行,毕竟波尔克堡军事基地的容量有限。”他说道。而在这些训练的过程中,虚拟训练的价值是无法衡量的。

“虽然,无论你能够在合成训练环境中进行多少这样的训练,都无法替代士兵们真正拿着武器,在泥土中前行和战斗,”Wilson说。“但是,在他们离开这个训练环境,并且在真实场景中进行训练之前,他们确实能够在虚拟训练中进行逼真的预演。”

Wilson明确表示,让单个士兵进行训练,就像是第一人称射击游戏的体验,与和紧密团结的团队一起训练是不一样的。“一个士兵可以佩戴这些设备,并且使自己沉浸在这个环境中,一个小队也能够佩戴这些设备,并且能够共同进行训练,”他说道。“合成训练环境能够供一个排进行训练,能够供一个连队进行训练,甚至还能供旅级作战部队(Brigade Combat Team,简称BCT)进行训练。这是我们目前正在关注的,同时也是我们正在进行评估的训练方式。”

现在,一个旅会有几千名士兵,所以为他们全部配备增强现实眼镜,并且进行互动,或许已经超出的目前的技术水平(比如无线传输的带宽需求将会是超乎想象的)。但是像魔兽世界和其他的MMO游戏却能够在一个简单的、纯虚拟的环境中管理更多的成员。如何满足军队训练的多种需求,还需要进一步研究。Wilson还表示,“合成训练环境”还可以模仿旅级部队的某个要素,来单独进行增强现实训练,比如针对其中的火力支援部队进行训练。

根据美国陆军采办保障中心网站的介绍,“合成训练环境”被设计来为军队训练提供一种认知的、集体的、多层级的训练和任务预演能力。它将虚拟的、建设性的和游戏性的训练环境整合成一个单独的合成训练环境,它将会为现役军人、预备役部队甚至是平民,以及战地指挥所提供训练服务。

最初发布于2018年10月31日

原文链接:https://breakingdefense.com/2018/09/virtual-training-will-save-real-army-lives-close-combat-task-force/

美国海军陆战队测试HoloLens 用于装备维修保养培训

美国海军陆战队的作战实验室刚刚完成了对微软HoloLens的快速能力评估,这款增强现实头显可以让炮兵中的维修保养人员来操作M777型155mm榴弹炮的3D模型。

一等兵Nicholas Reedy是一位维修保养人员,他在今年的海军陆战队博览会期间展示了增强维护操作(Enhanced Maintenance Operations)技术。通过佩戴HoloLens增强现实头显,他能够完全专注于呈现在面前的一个M777榴弹炮的数字模型。

“我很喜欢这种体验,你可以分辨出缺少了什么部件,什么部件损坏了,什么部件开裂了,”他说道。“对于我来说它还不能做太多事,但如果是在我上军校的时候 ,这会在很大程度上帮助我来‘看到’榴弹炮的零部件。我是一个非常注重视觉感受的人,只是盯着图解对我来说没有什么用。”

根据Mark Gilday的说法,美国海军陆战队和军队武器装备研发工程中心(Army Armament Research, Development and Engineering Center,简称ARDEC)合作开发了这一项目。Mark Gilday是海军陆战队作战实验室旗下快速能力办公室( Rapid Capability Office,简称RCO)的项目经理。

该项目的评估工作从今年7月一直持续到了9月,并且在海军陆战队和军校中都进行了评估,Gliday说道。

“我们现在正在撰写报告的阶段,这份报告将会提交到将军级别官员,同时还会提交一份推荐信,我们会在其中写明如何以及为何要持续研究该项技术,我们认为这项技术能够适用于未来的应用场景,”Reedy说。

快速能力办公室购买了8台HoloLens头显,该头显运行Windows 10系统,每台的价格是3000美元。其高度一体化的外观、对周围环境的理解能力,以及手势操作的便利性 ,为其带来了各行各业的客户。

“在培训过程中,HoloLens会运行指定的培训程序,这个程序可以是维修保养培训内容,可以是步兵的培训内容,还可以是炮手的培训内容。我在早些时候和一些狙击手谈过,我们都认为,它还能被用于狙击手的培训。在培训过程中,狙击手需要在草地上匍匐,使目标进入射程之内,并且要保证在行动时不被发现,”Gliday说。

“现在,他们是怎样被发现的呢?是通过望远镜。你可以用激光测距技术来增强这些需要使用人眼的望远镜,来找出地面上的一些差异,以更好地发现这些狙击手。这会让他们成为更好的狙击手,因为现在他们必须去想办法击败技术手段。很明显,HoloLens就是可以用于训练的一个很好的选择。”他补充道。

Gliday表示他对该项目充满信心,因为美国海军陆战队和其他兵种都在寻找在培训中使用增强现实技术的方法。

“目前看起来,这个项目是不会被叫停的,”他说道。“海军陆战队系统司令部对增强现实很感兴趣,并且我们一直在谈论这个系统,以及能够应用这个系统的领域。”

最初发布于2018年10月26日

原文链接:https://www.military.com/defensetech/2018/09/27/marines-show-augmented-reality-goggles-modern-day-marine.html

AR技术如何改变未来军队训练的方式?

技术永远在向前发展。上一代的军队训练方式,在很多方面看来,对于新一代的军队来说都是陈旧的。虽然训练的细节可能每年都会有变化,但美国军队在持续创新和更新训练工具和训练方式,以达成同样的目标:给予军队尽可能接近真实的经验,同时平衡财务支出和安全因素。

如果你综合考虑所有这些因素,就会有一个很明显的、并且很合理的新一代训练技术可供使用,那就是增强现实。

这并不是要取代真实的,需要拿着步枪的训练。没有一种模拟训练能够给战士们同样的体验,比如他们在战斗中真正会使用的武器。打穿靶纸或击落射程内的目标是一种有价值的体验,并且是无法被取代的。

现在,军队在训练过程中使用游戏机来进行一些战略对战已经不是什么新鲜事了,通过这种训练,士兵们可以了解到要战胜对方所需要进行的步骤。这种类型的训练是非常安全的,并且很节约训练经费,但是,它并不足够接近真实场景。

达成足够真实的训练需求的下一步是虚拟现实训练中心,而这种训练方式已经开始在一些训练基地进行测试了。比如名为 Dismounted Soldier Training System,或者简称DSTS的训练设施,它会把士兵们放在一个有着仿真步枪并且被几块屏幕包围的房间中。士兵可以在其中“射击”并且以一种安全(但是昂贵)的模拟方式进行训练。这比用主机游戏来训练要更加高效,因为士兵必须使用他们的身体,亲自练习重要的行动技巧。在这里,他们将会训练看到敌人出现在屏幕上时的反应能力。

对于通过监视器查看士兵们的表现的上级来说,这是很不错的训练体验,不过这仍然很接近于让士兵体验主机游戏,上级在旁边观看他们的表现,基本上,就是一个价格昂贵的《火线危机3》。

接下来我们来谈谈增强现实。增强现实可以说是数字世界和真实世界的交叉,通过这项技术,可以将数字元素叠加到真实世界中。并且这不是未来科技,这种技术现在已经可以实现了。Magic Leap目前正在使用该技术开发一种先进的训练模拟器。与虚拟现实不同的是,它能够将模拟内容带到真实世界中,而不是把真实世界中的士兵放到模拟环境中。

在这种训练过程中,士兵们在走进一个特殊设计的环境中时,会佩戴着AR眼镜,这种环境类似在城市化地区的军事训练场地,并且会连接到一个中央枢纽。接下来AR眼镜会智能化地在真实世界中叠加数字图像,训练程序会替换士兵们视野中的模拟元素,比如在真实的窗户中出现的一个模拟的恐怖分子。然后士兵就可以举起训练用的步枪(这支步枪会与训练程序同步),扣下扳机,就能看到如同真实战斗那样的枪口火焰出现在眼前。

这种训练方式相比其他模拟训练的另一个优势在于,它不再局限于单独训练一个士兵。理论上说,一个排的士兵都可以同时佩戴AR眼镜并且一起进行训练,获得与真实战场很接近的训练体验,同时保证自身的安全。

最起码,相比连续几个钟头看着上级在白板上写的文字,这是一个更加具有参与感和沉浸感的学习战术的方式。

实际上,在今年的早些时候,美国陆军就曾公布消息,要在18个月之内,测试一款新型的头盔显示器,从而辅助士兵导航、瞄准。这套被称为HUD 3.0的设备,主要的功能是增强现实,也就是在士兵们肉眼观察真实世界的基础上,叠加各种字符、画面或数据。

在HUD 3.0的发展规划中,它将能显示包括地形信息、障碍物等等。同时,还可以生成虚拟的敌军位置,大大提高士兵们在复杂的、具备挑战性的训练场景中进行训练的效率。

根据外媒此前的报道,Magic Leap和微软HoloLens正在争夺为美国士兵提供AR头显的军方合同,而这一和合同,便是HUD 3.0项目的一部分。

最初发布于2018年10月24日

原文链接:https://www.wearethemighty.com/gear-tech/military-training-augmented-reality

为将AR体验带入主流 Adobe正在和这些人共同努力

Adobe想让大众接触到增强现实。

在近日于洛杉矶举行的Max年度大会上,这家公司预演了一个新的工具,该工具将能够让跨平台的AR体验的创作变得大众化,让艺术家和设计师们能够创作他们自己的AR体验。这个工具被称为Project Aero,最初是在今年6月的苹果WWDC开发者大会期间公布的。现在,该工具已经进入了封闭测试阶段,并且同时包含了AR体验创作和AR内容分发的特性。

虽然人们尝试开发AR体验已经有一段时间了,但这项技术仍然在很大程度上被限制在技术公司、品牌和机构中,由他们来创作用于手机、平板甚至是某些头显的AR体验。不过,有了Project Aero,Adobe正在尝试将他们在更被人熟知的设计工具,如PhotoShop和Illustrator上所取得的成功,应用到大规模地提供AR体验上。该公司推出的AI平台Sensei,也被集成在Project Aero中,用以标识和创作光照、情感和空间感知。

根据Adobe增强现实部门负责人Stefano Corazza的说法,创作AR体验要比在AR中创作出一只鞋或其他东西要复杂的多,这是要“重新发明零售体验。”他表示,Adobe正在从吸引大品牌入局开始努力,他们希望大品牌对AR的应用能够扩散到较小的企业甚至是个人。

“这就是某种民主化的潮流,”Corazza说。“有人先来破冰,然后就会扩散给每个人。所以,我们想要让这种新事物尽快地扩散开来。”

首先,Adobe正在和苹果和Pixar这样的公司合作,同时也在拉拢Adidas这样的品牌,帮助他们创作引人注目的范例,告诉人们AR能够如何被用在真实的场景中。

Adobe还展示了其平台能够如何为二维的艺术品创作AR体验。比如,Adobe对一张插画进行了处理,打乱了原有的图层,创作出了某种隧道,用户可以使用自己的手机在其中行走。还有其他的工具,比如临近触发器,当用户足够靠近时,可以让物体变成动画。

根据Adidas设计技术高级总监Simone Cesano的说法,Adidas正在寻求让设计师的创造力以不同的形式呈现的方法,同时让客户使用现有的技术与产品互动,甚至设计他们自己的互动体验。首先,Adidas正在测试为一些零售点增加AR体验,其中包括在AR中设计鞋子,同时还会解释鞋中包含的材料。

比如,Adidas正在使用这个工具将一只鞋子固定在空中,在AR体验中,可以将鞋子所使用的每种材料打散,并且附带标签。

“当你进入AR体验时,数字零售和实体零售会结合在一起,”他说道。

根据Adobe的首席产品官,同时也是几部关于创造性和创新性的著作的作者Scott Belsky的说法,互动性将成为驱动AR这个新的媒介向前发展的因素。

“在我看来,AR体验中任何没有动画的东西都会让人感觉无聊,”他说道。“我们不希望椅子在AR体验中晃动或者闪光,但我们的确希望所有的东西都具备互动性。”

虽然AR体验或许在个人和品牌方看来都是全新的,但该领域中的很多工作都在尝试让AR获得更广泛的采用。比如让AR体验能够在移动互联网中使用,而非仅仅在App中才能使用。这项技术被称为WebXR,是一项由谷歌和Mozilla共同开创的技术,意在在Chrome和Firefox浏览器中启用AR能力。

Adobe并不是唯一的正在尝试AR的大公司,在前段时间,因虚拟现实内容制作而闻名的Jaunt对外宣布他们计划解雇大量的员工,将整个公司的重心转向AR。

“我们相信这些改变将会让我们专注于驱动产品上的创新和价值,继续让我们保持在沉浸式媒体领域的前沿地位,并且驱动长期的公司价值,”Jaunt在关于这些变动的博文中写道。

对新媒介感兴趣的艺术家们也同样在测试AR,比如Estella Tse,她曾经因为她在Tilt Brush中的VR绘画作品而成名。她说,她也在思考如何使用能够让体验变得更具互动性的AR来创作故事讲述体验。作为一个中美混血人,Tse说,她一直在思考如何以两种现实(AR和真实生活)来表达她的双重身份,并且她决定创作一个真实存在的泥塑,同时关联一个AR体验。结果是,整个作品中包含她的半张脸的雕像,就像画廊作品那样,之后是一条龙的绘画作品,这个作品是她在虚拟现实中创作的,之后又转化成了AR体验。

在她的项目中,Tse还分割了AR和真实世界中的文字说明,强迫观众去观看两者,因为两个世界中各有一半的说明文字:“你已经花费了太多的时间来假装自己是另一个人,甚至已经完全忘记了做自己是什么样。”

“我想要做一些对比AR和现实世界中存在的东西的事情,”她说道。“并且我认为,这是一个融合这些‘现实’的非常好的应用场景。这种体验不能够仅仅存在于AR中,也不能够仅仅存在于真实空间中。”

由于在AR中创作需要使用软件,并且是传统的艺术家们并不熟悉的软件,比如Unity,Tse说她的很多艺术家同伴们都不愿尝试它。为了解决这个问题,她正在努力使这个创作过程对那些不会编程的艺术家们来说变得简单,让她们也能够在AR中进行创作。

根据Adobe的设计副总裁Jamie Myrold的说法,设计师们和技术人员们之间的合作会比以前更加具有决定性意义。她表示,设计师们现在需要更加空间化地思考。

“当我们在思考空间化设计时,我觉得我们所看到的一些事仍然在某种程度上有些新奇,”她说到。“并且我不认为我们已经对AR会带给我们的未来有了足够的了解。”

最初发布于2018年10月22日

原文链接:https://www.adweek.com/digital/how-adobe-is-trying-to-bring-augmented-reality-experiences-mainstream/

美国国防情报局将人工智能融入情报分析工作

五角大楼的顶级情报专家在近期表示,他希望人工智能领域的发展能够防止国防分析人士在全球冲突一夜之间爆发时被吓到。

“我的核心任务是确保国防部长永远不会被吓到,”美国陆军Robert Ashley Jr.中将,同时也是美国国防情报局的主管,在战略与国际研究中心对观众们表示。

Ashley担任这一职位已经有一年时间了,当俄罗斯军队在2014年与乌克兰爆发冲突时,他还没有上任,而这一地区的不稳定事件,美国情报机构因未作出预测而备受指责。

对于间谍情报技术和国防分析人士所使用的其他技能来说,“AI和机器学习将会是巨大的助力”,能够帮助避免“外界所有信息中的杂音”,他说。

使用算法来整理海量的信息能够减少国防分析人士的负担,但其中也不是没有挑战,Ashley说。

“当一个分析员坐在高层领导面前时,他一般会说‘根据报告,根据来源,根据我所看到的,我有一个中等程度的自信’或者如果你看到一个评估文件,其中说‘我十分确信’,这种都可以追溯到来源和对间谍情报的分析,”他说道。

“你绝不会想站在这样的位置,对你的高层领导说‘电脑这样告诉我的,’”他继续说道。“我们目前遇到的部分挑战,并且我认为同时也会机会的是,算法、机器学习和人工智能会带给我们一定的自信。”

国防情报局将不得不测试这些算法“是否能够在实际上提高分析人员所作的工作的可信度”。

他的目标之一是确保这个机器辅助分析快速知识库系统(Machine-assisted Analytic Rapid-repository System),或者简称MARS,在他两年后离开这个岗位时,具备初步的操作能力。

“设置完成数据环境将可能是我们能为国防部做的最大的事情之一,”他说道。“在我接下来的两年任期里,我们将会为国防部长、参谋长联席会议、政策制定者甚至是每个士兵达成初始作战能力。这个系统可以给他们带来决策上的优势,让他们更快行动,更快地在工作环境中理解正在发生的事。我们的目标一直都是确保在出现状况时不会被吓到。”

人工智能只是帮助分析人员来分辨俄军是在“快速行动演练”还是“即将跨国国界,进行侵略行动”的工具之一,Ashley说道。

“这可不是将人工智能放到某个工作中,而是让人工智能能够对更多的信息进行取样分析,并减轻分析人员的负担,”他说道。“但是最终,还是要有人参与,根据训练、对情报的理解、对问题的的理解,来做出决定,并且向上级汇报‘我注意到了以下的信息,这是几个可行的行动方案。’”

最初发布于2018年10月18日

原文链接:https://www.military.com/defensetech/2018/09/17/militarys-top-spy-ai-may-enhance-tradecraft-prevent-geopolitical-surprises.html

美国陆军战术训练系统加入预防自杀倾向的训练程序

美国陆军的Breyda Pereyra军士长和Jordan Smith上尉正在通过情报和电子战战术训练(简称IEWTPT)程序和一个虚拟的士兵化身交谈,当前这个场景是模拟与一个有自杀念头的士兵对话。

在位于科威特的美军比林营,来自美国陆军中央备战训练中心的士兵们可以使用IEWTPT程序自主学习避免自杀倾向的内容。

该训练基于一个虚拟现实方案,在其中参与者会与一个虚拟的士兵化身交谈,这个虚拟士兵已经出现了自杀的念头,并且想要对他的上级讲述。

“这个训练非常棒,”美国陆军的Jerry E. Thompson上尉说,他曾经是比林营的牧师。“这个士兵有着一个可能自杀的人所具备的所有条件,比如婚姻问题,从战场幸存下来但却失去战友的懊悔以及财务上的问题。我们作为第一线的军官,能够通过这个程序来了解他,询问各种问题,并且帮助他找到活下去的理由。”

IEWTPT系统包含一套程序,可以让士兵们在一系列的场景中与虚拟化身进行交谈,其中绝大部分场景都围绕着情报收集工作。这就为士兵们创造出了一个机会,使他们无需腾出大量时间与真正的演员进行角色扮演的场景模拟就能进行更多的训练。

刚刚过去的九月是自杀预防月,士兵们能够从IEWTPT中学到的内容正好能够提前印刻在这些服役人员的脑海里。

“这种模拟器以及虚拟现实体验,是对目前已有的培训手段的一个很好的补充,”美国陆军军士长Breyda Pereyra说,他目前管理着美国陆军中央备战训练中心。“能够使用该系统有着巨大的好处,因为它补充了目前美国陆军正在使用的培训手段所欠缺的所有内容。”

在年度的基准训练中,每个美国陆军士兵都会通过一个名为Ask, Care, Escort的防止自杀程序进行训练,来保证任何一个士兵都能在他们最困难的时候帮助他们的战友。而使用包含在IEWTPT系统内的自杀预防训练程序则给士兵们提供了另一个工具,来练习并为今后做准备,因为他们可能随时会被要求去帮助其他的士兵。

根据目前已公开的资料,IEWTPT,全称Intelligence Electronic Warfare Tactical Proficiency Trainer,该系统提供了军事情报相关的训练功能,能够用于支持关键的个人和集体的任务、技能和陆军兵力生成,IEWTPT填补了紧急情报培训的空白,为人际情报(HUMINT)、通信情报(SIGINT)、地理空间情报(GEOINT)和全源情报。它直接提供了个人的、小组的和团体的维护训练功能,能够支持任务指令和统一的地面行动。IEWTPT在为军事情报分析师和操作人员在一个实时的、虚拟的和建设性的模拟环境中进行训练扮演了关键角色。它支持美国陆军情报中心的整体培训策略,同时支持独立和联网的培训形式。

在IEWTPT系统中,战术控制单元(TCC)是基础培训设施,它驱动着SIGINT、NEOINT和全源情报能力,支持着个人和团体的培训,同时还有用于训练培训环境的网络界面。该单元包含一个服务器集群,包括训练场景开发工具,管理工具和训练后回顾能力。

而人际情报控制单元则可以在一个沉浸式的虚拟训练环境中,提供用于人际情报的维护培训和反间谍活动培训。该单元包含了一台40英寸的显示器,三台笔记本电脑,一台头显和两部扬声器。

情报是地面作战准备的一个关键因素。IEWTPT是美国陆军唯一能够提供完成任务所必须的基本内容和高度易损的情报收集人员和分析师培训能力的系统,IEWTPT能够在多种多样的情报科目中促进情报收集训练。

最初发布于2018年10月10日

原文链接:https://www.military.com/daily-news/2018/09/17/simulation-augments-army-suicide-prevention-training.html

Oculus Quest上手体验:一个完全一体化的VR游戏系统

虚拟现实的未来终于离我们更近了,并且看起来相当不错。

在两年前的Oculus Connect大会上,Facebook首次公开了一个无线的VR头显,当时名为Santa Cruz。而在今年的Oculus Connect 5期间,Facebook的CEO扎克伯格正式发布了该项目的最终版:Oculus Quest。该头显将会在明年春季上市,能够提供如Rift头显般高品质的游戏体验,但无需线缆。我们亲自上手体验了这款头显,来看它是否名副其实。

从外观来看,Oculus Quest就像是一台大一点儿的Rift,其被设计来提供类似PC端VR头显的游戏体验,同时还具备高保真的音效和强大的图形表现力。然而,与今年春天上市的Oculus Go不同的是,Quest还能够进行空间跟踪,并且这一功能完全是为移动而设计的,这要归功于一项名为Oculus Insight的新技术。Oculus花费了两年的时间来开发这项技术,使Quest无需Rift的外置传感器,通过头显正面的四个前置摄像头就能跟踪你在虚拟世界中的动作。这些摄像头可以让你在一个较小的空间,比如在纽约的一间公寓,或者一个较大的空间,比如一个大房子中的客厅里玩游戏。

“没有外部的跟踪配件,”Oculus Quest的产品营销总监Allison Berliner在Oculus Connect大会期间的一场采访中解释了Oculus Insight技术。“你只需要戴上头显就可以了。并且由于Oculus Insight非常强大的,你几乎能在任何地方获得极为精准的VR体验。”

专为移动而设计并优化

与Rift依赖于强大的电脑处理器和显卡来提供一种沉浸式的VR体验所不同的是,Oculus表示它能够将同样高质量的体验带到Quest上,并且是运行于更加移动化的硬件上。Quest摆脱了线缆,以达成真正沉浸式的体验,这就意味着当你在虚拟世界中导航时,你不会被束缚到任何真实世界中的物体。这款头显搭载了一个经常出现在智能手机上的移动处理器。实际上,Quest使用的是高通骁龙835处理器,该处理器也应用于去年上市的三星Galaxy S8手机。

Berliner解释道,虽然Quest使用的是高通骁龙835,但其性能仍然是一流的,因为Oculus就是为了VR而打造的这款设备。“并且由于我们掌握了大量的技术,能够应用在Quest上,”她说道。“整个体验过程并不仅仅是需要进行计算,很多都是要为VR进行特别开发的,比如沉浸感、临场感、以及来自于Touch手柄的互动。我们正在把我们所掌握的知识和经验应用于Oculus Quest。”

在Oculus Connect大会期间,Facebook搭建了几个展示Quest的体验区,可以体验到由Oculus自己的工作室开发的游戏。这些游戏还处于早期开发阶段,现场的工作人员称其中大部分未来都将面向消费者开售,包含了第一人称射击游戏《Superhot VR》、运动类的《Project Tennis Scramble》、恐怖类的《Face Your Fear》,以及《Dead and Buried》,一款类似于真人CS的激光枪射击游戏。

Oculus对Quest的显示效果优化相当不错,体验结果让人印象深刻,我们在进入Facebook搭建的展示区时期待着能够看到延迟、屏幕的纱窗效应和低质量的体验,但通过Quest获得的体验完全震撼了我们。Quest的单眼分辨率为1600*1440,这相对于Oculus Rift的单眼1080*1200的分辨率而言是一个很大的提升,并且也超过了Oculus Go的分辨率。

要开始游戏体验是极为简单的。因为你不用先启动电脑,躲开线缆,或者安装传感器来进行定位,你只需要戴上头显就可以了。Quest的外观有些类似Rift,具备一个弹性头带,环绕着你的头部,另一根头带则固定在头顶,确保Quest佩戴到位。现场的工作人员建议在佩戴Quest时“像戴棒球帽一样”,先确保脑后佩戴稳定,然后把前半部分拉下来盖在脸上。你还可以通过使用侧面的尼龙搭扣进行一些调节,来拉紧或放松头带。

当你佩戴完毕时,Quest会让你感觉极为舒适,整个头显感觉比看起来要轻很多,并且我们在几场持续30分钟的游戏体验过程中也没有遇到过任何的疲劳。与头显配套的还有两个手部控制器。根据Oculus Labs的研究人员Yelena Rachitsky和Isabel Tewes的说法,手部控制器是重要的组件,可以帮助你将自己传送到虚拟世界中,让游戏感觉更具沉浸感,更真实。

控制器上有一个圆环,上面安置了一些传感器,但不像Rift那样,这些传感器集中在控制器圆环的顶部。控制器上有一个摇杆,控制按钮,以及抓取/扳机按钮。控制器是很轻的,并且在使用时感觉很符合人体工学。

Quest和Rift之间的另一个区别是,Quest具备一个开放的音频系统,无需使用耳机。Quest使用了空间音频技术,在用户的耳边提供声音,如果你有一个朋友看着你在沙发上玩游戏,Quest的开放式音频设计或许更好,它能够让你在听见游戏中的声音的同时,还能够继续与身边的朋友对话。我们发现,即使是在圣何塞会议中心这个吵闹的展示区中,其音量也相当大,我们很高兴还能够听到工作人员的话并且与之交流。

在游戏开始之前,Quest会先测量你的空间,这样,房间的边界和其中的障碍物就能够被规避,其目的在于保证你不会撞到墙上或客厅的沙发上。

多人游戏体验稳定流畅

作为一款独立的VR头显,Oculus Quest将会有自己的应用商店,就像是Rift那样,并且你可以直接在VR头显中购买和管理你的游戏。Oculus的工作人员告诉我,用户还可以通过一个配套的App来购买游戏,虽然他们并没有在现场展示这样的过程。工作人员提到,Quest将会具备Wi-Fi功能,这样你就可以直接将其与家庭网络相连接。然而,正如其他的可穿戴设备一样 ,初次连接你需要使用手机来设置Quest,之后,你就可以在头显内部操作了。

虽然Oculus想要让开发者们将Rift的游戏移植到Quest上,我们还不知道其游戏阵容将会有多强大。距离2019年春季的发售还有一些时间,Oculus还有机会扩大内容的规模,但考虑到轻度VR体验的市场现状,这还会是一个比较显著的问题。不过,Oculus在现场展示的这些游戏,还是很让人印象深刻的。

《Project Tennis Scramble》展示了Quest的六自由度跟踪技术,或称之为6DOF,可以让你在三维空间中自由移动。与之相比,Oculus Go只有三自由度,而Rift虽然也具备6DOF跟踪功能,但却依赖于外部的传感器来达成同样的跟踪能力。

空间映射功能还可以让你流畅地体验多人游戏,即使你的对手可能是在一个较小的空间中进行体验。当我们与我们的对手进行虚拟的网球比赛时,我们处在一个较小的“客厅”中,而他则处在一个较大的游戏空间中。除了能分辨真实世界空间的大小不同之外,Oculus Insight还可以测量我所在的空间,并且让我能够在其中移动,跟踪我的正手拍或反手拍击球的动作。

游戏中的图像并不栩栩如生,这种体验有些接近于在任天堂的Wii系统上的那些游戏。这并不是要说图像质量很差,或者感觉像是没有完成,只是感觉看起来其中的场景并不像由PC驱动的Rift那样有着丰富的细节。尽管如此,《Project Tennis Scramble》仍然很好玩,并且与Wii不同的是,我们感觉就像在球场上一样。解说正在为选手加油,并且空间音效让整个游戏体验更具沉浸感。

《Face Your Fear》是一款冒险游戏,它可以帮你克服恐惧症,或者相反。游戏的目标是要探索整个环境,使用左右手柄的摇杆来左右摆动和导航,同时还需要一些走动。由于Quest具备优秀的空间映射能力,当你在接近一面真实世界中的墙时,你会看到蓝色的网格,而这时你可以摇动摇杆来继续在虚拟空间中行动,有点像第一人称射击游戏。

当你在探索环境时,你会看到能诱发恐惧症的东西出现在你面前,比如蝙蝠或者蜘蛛,或者各种让人毛骨悚然的生物。这个游戏的图形效果很不错,并且即使你的大脑知道你并没有看到成群的蜘蛛向你涌来,你还是会起鸡皮疙瘩。Oculus Quest向我们证明,即使图形性能并不是顶级的,比如你并没有获得Nvidia Geforce RTX 2080的实时光线追踪性能,但仍然能获得颇具沉浸感的体验。

最后体验的演示内容是《Dead and Buried》,这是另一个展示Oculus Insight技术的例子,尤其是它还融合了增强现实和虚拟现实体验。就像激光枪战游戏那样,这款游戏需要多人组队在一个较大的空间中进行游戏。Insight技术会测量地形,并且你可以将箱子作为掩体。当按下按钮时,你会看到增强现实场景,基本上刻画出了地形的线条,以及你的队友和对手的轮廓。然而,当你松开按钮时,你就会被立刻传送到一个西部世界的场景中。那些真实世界中的箱子会变成板条木箱,并且你正处于一场激烈的枪战中。

探索无线化的未来

Oculus Quest或许并不是世界上最强大的VR头显,但是比目前的大多数头显都要强大。

“我们将分辨率当成是产品的基础之一,因为还有很多的组件会影响到视觉效果,”Berliner解释道。“让这款头显激动人心的地方在于,除了分辨率之外,我们还具备可调节的IPD,或者说是透镜间距,并且我们还把Oculus Go上最优秀的光学系统带到了Quest上,这些组合在一起,就是我们在Oculus Quest上所提供的优秀的视觉效果。”

其图形表现相比Rift或Vive Pro要好一点,虽然Quest是基于手机处理器,但在我体验Oculus Quest的过程中,我并没有遇到过没有沉浸在冒险过程中的感觉。屏幕和视觉效果非常清晰,并且与PlayStation VR相比,并没有出现过烦人的橘皮效应。

“对于我们来说,这是一个完整的产品,这就是我们塞进头显中的所有的东西,并且它还具备无线的优势,实际上,它是一个完全一体化的系统。”Berliner说道。

Oculus Quest头显预计将于明年春季开售,售价为399美元起。

最初发布于2018年9月28日

原文链接:https://www.digitaltrends.com/vr-headset-reviews/oculus-quest-review/

VR治疗恐惧症效果更好 但大规模采用还需解决这些问题

Dick Tracey不必去找一座高楼,来克服他的恐高症,他只需戴上一台VR头显。

通过VR,他乘坐电梯到达了高楼的中庭,看起来非常真实,甚至他被吓得跪倒在地。

“我需要用手来抓住周围的稳固的东西,”他说。

之后他告诉自己,“我看起来绝对很傻,站起来吧,不会发生什么事的。”

通过将患者逐渐暴露在他们最惧怕的事物面前,虚拟现实疗法能够帮助像Tracey这样的人们。这项技术在经过20年的研究之后,正在逐步成为主流。设备正在变得更轻,更廉价,游戏行业所带来的技术革新也在帮助人们对抗面对飞行、高处、蜘蛛或狗时的恐惧。

并且设备数量的增长正在将VR带进更多医师的办公室。专家预测,很快,患有轻度恐惧症的患者将可以在家中成功治愈自己。

传统的疗法会逐渐让患者面对引发焦虑的事物,而研究表明,VR疗法能够给患有恐惧症的人们带来真实世界中的变化,并且和传统的暴露疗法一样有用。

对于来自丹佛的图书管理员Nick Harrell来说,在经过传统的飞行恐惧症治疗之后,VR起到了强化作用。在两年前飞往巴黎之后,恐惧一直纠缠着他,导致他不得不放弃了与女友的休假之旅。

“我不喜欢被锁在金属的盒子里,”Harrell解释道。“我无法呼吸,我的胸就像遭到了重击。”

在一位医师的帮助下,Harrell通过暴露疗法首次面对他的恐惧。电梯、公交车和火车都是飞机的很好的替代品。

“在经过几个月的治疗后,我终于又能坐飞机了,”Harrell说。

在为他的治疗过程加入VR体验之后,Harrell能够不断检查自己是否还存在恐惧症。

但是只有很少的恐惧症患者会寻求治疗。由于感觉太尴尬,他们不会寻求帮助,很多患者都是在想办法在以后的生活中避免遇到引发恐惧的事物。

比如来自英国牛津郡的Tracey,就在想办法避免高的地方,无论是梯子还是惊人的美景,甚至连自动扶梯都会让这位62岁的已退休人员感到心悸。

Tracey所接受的VR治疗是一项研究的一部分。他是最初尝试包含动画的虚拟培训VR体验的患者之一。牛津大学心理学教授Daniel Freeman在英国国民健康服务的支持下开发了这个程序。

Freeman的团队正在开发一个VR体验,患有精神分裂症的患者可以模拟练习在咖啡店、电梯或商店中的情景。

“我们的许多患者都已经被治愈了,”Freeman说。治疗恐高症的VR程序证明,患者可以自行治疗。

那么它是怎样起作用的呢?

传统的暴露疗法,医师需要陪伴恐高症患者前往一座高楼。在VR中,患者能够在一个虚拟的高层阳台上进行治疗,而不用离开医师的办公室。

暴露疗法是通过逐渐让患者从恐慌中走出来而起效的。比如让出汗的手掌和狂跳的心脏平静下来,让恐惧感逐渐降低到一个易于控制的水平。通过克服这些问题,患者能够逐渐控制自己的恐惧感。

目前最大规模的VR暴露疗法研究仍然只是一个小型研究,有不到100名患者参与。以后,更多的VR疗法将会通过互联网传输到患者家庭中,而这仍然是一个很大规模的未经研究的领域,Katharina Meyerbroker说,他是荷兰乌德勒支大学的研究员,已经发表了一些在该领域的科研成果。

Harrell和其他患者正在帮助一家名为Limbix的公司进行VR内容的实际测试,这是这家公司与位于科罗拉多大学医学院的国家精神卫生创新中心进行的一项合作。

这样的合作对于VR公司来说是很重要的,VR公司需要具备科学上的可信度才能把产品卖给医师们,而研究人员也能从中获益。

“我们都在很努力地研究这项最初被用在游戏上的技术,”Hunter Hoffman说道,他是华盛顿大学的一位科学家,他在20年前开发了一个早期的VR疗法,名为Spider World。他并没有像其他早期的研究人员那样授权他的蜘蛛恐惧症项目,这些研究人员与一些公司合作来销售VR平台和内容。

孩子们或许会在某天使用VR来学习如何处理焦虑,Stephen Whiteside说,他是梅奥诊所儿童焦虑症诊所的总监,这里正在进行一项专门针对学业焦虑的孩子的研究。

在VR环境中,课堂上的老师背着手拿着一张成绩很差的试卷。

“你会听过其他孩子嘲笑你的成绩的声音,”Whiteside说。“当我第一次看时,我自己都产生了一种本能的反应,这会让你感到很紧张。”

梅奥诊所的研究人员说,相比传统的暴露疗法,孩子们更偏向于选择VR体验。接下来他们将会测试VR体验是否同样有效。

Whiteside所,各地的VR研究人员必须论证这种疗法的好处与治疗费用的比率,在一些专科诊所中,每次治疗的费用能到200美元。

“当这种疗法更便宜且更易于使用时,”Whiteside说,“治疗过程就会越来越简单。”

至少从目前来看,VR疗法让Tracey的生活变得更简单了,在接受了7次VR治疗之后,他现在能够很容易地把车停到高层车库里。他也能够站在自己家的屋顶,来清理他的车棚。

最初发布于2018年9月21日

原文链接:https://www.bendbulletin.com/home/6531990-151/common-phobias-combated-by-new-era-of-virtual

专访Jaunt:打造全新XR平台 重新定位为B2B公司

Jaunt因其是一家360°视频和影视级VR体验开发商而闻名。但是最近,这家公司将其关注的焦点转向了为其他公司提供混合现实技术支持。近日,Jaunt展示了它在容积视频拍摄方面做出的一些很酷的研究成果,比如为增强现实应用创建360°的数字化身。

外媒记者在Jaunt位于加利福尼亚州圣马特奥市的总部尝试了一下,其速度很快并且质量也很高。Jaunt还展示了它能够如何通过六台英特尔RealSense深度摄像头捕捉一个人的360°图像。

Jaunt将这些来自各个摄像头的图像缝合成一个单独的3D化身,并且将这些内容插入到增强现实流中,能够实时发送到移动设备。记者看到了他们能够如何捕捉化身,并且即时,或者说立刻将数据转换成一个可分享的图像。

新的AR容积捕捉拍摄作品将会逐渐成为一个正在增长的XR平台的一部分,这是一个由Jaunt向其合作伙伴授权使用的B2B软件解决方案,而这些合作伙伴将会通过自己的应用或频道来分发增强现实、虚拟现实和混合现实(统称为XR)内容。Jaunt将会在今年第四季度向客户正式发布容积捕捉拍摄技术。

“我们的目标是让这样的体验流变得非常简单并且便携,”Jaunt的CTO,同时也是其创始人Arthur van Hoff在接受外媒采访时说。“我们在VR领域的360°视频和沉浸式内容方面有很强的的实力,并且我们目前正在探索我们能够为AR体验做出的贡献。”

Jaunt在圣塔莫尼卡还有一个大型的VR电影工作室,他们在这里用自己的专业能力在XR中讲述故事。

在过去,Jaunt已经发布了超过350部作品,其中包括许多的虚拟现实影视作品。而现在,这家公司只有在合作伙伴付费时才会启动一个VR影视项目。

“我们想要成为制作和分发沉浸式内容的全球合作伙伴,”Jaunt的CEO George Kliavkoff在外媒的采访中说道。“在过去,我们专注于服务消费者。我们想要成为VR界的Netflix,并且让人们来访问Jaunt所拥有和运营的网站。而现在,我们已经重新定位为一个B2B公司。”

有了360°化身拍摄技术,Jaunt为其合作伙伴提供容积式内容,将其作为另一种讲述故事和创造IP的媒介。容积捕捉拍摄技术(通过六台相机阵列进行拍摄)让以360°视角来拍摄内容变成可能。拍摄之后会输出一个化身,这个化身符合被拍摄者的样貌和动作,并且是以一个可分享的、符合实际比例的增强现实资产。

Jaunt并没有使用昂贵的绿幕工作室,而是使用了一个简单的拍摄台,其中包含一套外观呈流线型的设备,以及他们为传输高质量VR和AR体验而开发的串流技术。这个简单易用且易于发布的分发工具,对于那些想要为其媒体策略寻找高效的方式,来增加沉浸式内容的公司来说是非常理想的。并且这个拍摄台也很便于携带,你可以想象一下它能做什么。

“我们希望能够实时处理内容,而不是花费数周的时间,并且使其便携且易于分享,”Van Hoff说道。“我的父母从荷兰来旅行时,我录制了他们的一个3D拍摄作品,这是非常特别的,并且是我们永远不会忘记的。”

Jaunt在研发上的投入意味着这家公司正在专注于为创建和分享下一代沉浸式内容而开发可商用的解决方案。其他的还包括由机器学习驱动的沉浸式内容,以及为高端XR体验打基础的技术。

从2013年开始,Jaunt就在处在沉浸式内容的前沿,很快就成为了面向消费者的影视级VR内容的前沿开发商和发行商,他们为创建和分发VR体验创造出了端对端的方案。但是,自从第一台主流的VR头显发布以来,面向消费者的VR市场并没有像大家所希望的那样迅速发展。

“一些分析师说,到2021年,XR将会是一个1200亿美元的市场,”Kliavkoff说。“我们认可这个市场的规模,但是我们并不确定分析师们所说的时间节点是否正确。从长期来看,我们认为AR是更大的机会。”

所以在2016年,Jaunt聘用了Kliavkoff,他是Hearst集团的前CEO。他引导这家公司走出消费级VR领域,将其转变成一个专注于B2B业务的公司,帮助合作伙伴开发新形式的XR内容,并且生成增强现实、虚拟现实和混合现实体验。

“作为虚拟现实和增强现实领域早期的、主要的公司之一,我们已经掌握了面向消费者的技术和故事讲述能力,并且使其能够服务于我们的客户,”Van Hoff说道。“我们对B2B业务的专注引发了一些公司使用AR和VR的需求,并且我们认为,我们的XR平台的实时容积捕捉拍摄技术,是他们通过他们自己的频道来分享引人入胜的故事的一个新方式。这仅仅是Jaunt一直在持续努力地推动XR内容进步的方式之一。”

Jaunt新的XR平台首次亮相于去年12月,并且能够以多种不同的方式来使用,英国的天空广播公司在去年年底就已经成为了Jaunt的XR平台的首位客户。现在他们的客户中还包括Diageo和NTT Data。Jaunt的XR平台支持增强现实资产,虚拟现实内容和2D资产,并且能够跨设备传输,且能够与现有的媒体库共存。

在过去,所有的VR、AR和混合现实格式有着不同的技术链。Jaunt将它们统一起来,这样,他们就能够通过一个播放器来查看。

“该技术平台能够管理所有不同媒体类型,并且在一个系统内进行回放,而不是单独进行创建和管理,”负责公司发展和经营的副总裁David Moretti说。

在2017年,Jaunt通过与SMG和华人文化产业基金的合作,在上海开设了办公室,这使其能够向中国分发内容。

Jaunt的投资者包括华特迪士尼公司、Evolution Media Partners、华人文化、高地资本、Redpoint Ventures、SMG、Axel Springer、ProSiebenSat.1 SE、The Madison Square Garden Company、谷歌风投、Peter Gotcher和英国天空广播公司,目前有100余名雇员。

最初发布于2018年9月20日

原文链接:https://venturebeat.com/2018/08/30/jaunt-shows-off-new-augmented-reality-360-degree-full-body-selfies/

Jaunt VR电影拍摄指南中文版 第二章 相机(下)

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章后半部分,主要讲述了拍摄时的物距、相机的运动问题、相机的安装和支架以及防水问题等等。

2.3、物距

对于任何类型的相机来说,无论是球状还是一组朝外的相机组合而成的,就像Jaunt ONE这样,有一个主要的限制因素就是相机与物体的距离。如果离得太近的话,拼接时就会很困难,甚至无法使用。你可以达到的最近的距离,取决于画面的重叠,也就是你的设备由多少台相机组成,以及它们之间的间距大小。

问题在于,你离相机越近,相机之间的间距也应该越近。否则,举个例子说,其中一个相机模块能够看到这个物体,而与之相邻的相机只能看到特写镜头的一部分。

当然,相机之间离得越近,想要覆盖完整的360°画面需要的相机数量也就更多,并且其尺寸也需要更小。相机模块越小,传感器尺寸也就越小,图像质量和暗光灵敏度也越低。这时,要设计一款合适的VR相机就变成了不断优化和权衡的过程。

Jaunt ONE相机一共有24个镜头–16个镜头围绕在周围,4个朝上4个朝下。考虑到这种结构,以及我们对光学的研究,我们所达成的最小物距是4英尺左右(约1.2米)。

如果你忽略这一距离限制的话,会遭遇大麻烦。你会花费成千上万美元在后期处理上,因为需要修正这些拍摄内容。毫不夸张的说,你需要重新创作出一台相机拍摄到但相邻相机没有拍摄到的内容。当然,很多拍摄内容是无法这样修复的。

也有很多场景会因为物距小于最小物距要求而获益。VR的特点之一就是观众可以获得震撼心灵的情感体验,只需要把演员或物体直接呈现在观众面前。但并不像2D拍摄那样,只需要给一个“大头”式的特写,而不是真正走近他们。在VR中,你可以带来真正的亲近感或焦虑情绪,比如让某人走近相机,这样在观众的视角来看,就会有真正走近的感觉。

想要避开这个最小物距限制的方法是,使用VR相机拍摄360° 3D的环境,然后使用一台传统的立体相机和绿幕,来拍摄同样环境和光照条件下的演员,之后在后期制作过程中将演员放在360°的背景中。很明显这需要额外的设备和更多的时间,但这些付出是值得的,尤其是你确实需要进行极近的拍摄时。

2.4、相机的运动

在所有与电影级VR内容拍摄相关的事情中,没有什么比移动相机更重要了,因为这种移动会让你观众感到不适。电影导演和制作人员们已经习惯了通过移动相机来创作充满动感的镜头,以及为场景增加额外的情感元素。在2D内容的拍摄中,这很少会产生问题,但是在VR中,相机的移动会引发晕眩、迷失方向、恶心甚至是呕吐。这当然不是你想要对观众做的事!电影拍摄者们必须特别用心来保证这些情况不会出现,同时还要保证拍摄的画面足够有趣。

2.4.1、VR中的不适感

VR中的晕动症通常被认为是由于视觉系统和耳道的分离造成的。通常情况下,在你移动的时候,你所看到的内容和传到耳道中的声音会有一个一致的响应。而在VR中,除非你真的随着所体验到的内容进行移动,否则就会产生分离现象。这种分离现象就像是中毒一样的生理反应,你的身体也会有同样的反应。

这种问题会发生在VR游戏或VR电影中,但是在VR电影中更为常见,这受限于当前的技术水平。如果你自己没有真正移动的话,那么只有在拍摄者移动相机时,你才会感受到其中的移动。在房间规模的VR游戏中,你会通过实际的运动来引导自己在虚拟世界中的移动,因为游戏游戏引擎能够实时生成周边事物,就不会产生真实世界和虚拟世界的分离。

但是如果把你放进一个由游戏引擎生成的太空飞船里时,产生晕动症的可能性又会出现,因为你会快速地穿行在太空中,却没有相应的物理移动。为了克服这一问题,一些新出现的VR体验会先制作出真正的基于运动的拍摄工具,并且能够模仿在虚拟空间中的运动。除此之外,提供一个更加惊险的VR体验,会让晕动症的感觉减少。

2.4.2、最小化VR中的不适感的指导原则

看完上面这些,你可以会有些惧怕移动相机。放心,相机是可以移动的。在经过大量的尝试和错误之后,我们总结了下如何在VR中正确地移动相机。

保持水平线的稳定

所有的尝试都要确保你的水平线足够稳定和平稳。如果你的水平线发生晃动的话,就像在不平稳的海面上的小船一样,很容易导致晕动症。

我们强烈推荐你在对相机进行移动时使用陀螺仪稳定系统,来避免相机的摆动。换句话说,我们不推荐在你的头上固定一台VR相机,因为你的身体运动会导致相机随着脚步而四处摆动。

如果你的相机上没有一台物理稳定装置的话,后期的稳定化可以移除部分的水平线摆动,但是存在一些限制,因为在头显中回放时,你必须要保持其立体3D效果。如果你的水平线摆动太严重,在纠正到原位之后,会对3D画面造成垂直方向的偏移,这对于观众来说会非常不适。唯一的解决办法就是在拼接之前做好稳定工作,这会让工作流变得更加复杂,因为你必须对拍摄设备中的每台相机做好稳定化处理。

目前有很多种不同的软件来进行后期稳定化处理,在下面的“后期处理”部分可以获得更多信息,同样可以在“安装&支架”部分了解更多在拍摄过程中的稳定化方法。

尽量减少颠簸现象

你还需要确保尽量减少在移动相机时的颠簸和碰撞现象。不然就会让人感觉你在一台山地车上,顺着崎岖不平的山路向下骑行。

这时,还是需要一台稳定化系统,来缓和这些拍摄过程中的颠簸现象,或者使用后期稳定化软件来尽量移除这些问题。但是,考虑到球形视频的特性,在后期进行处理的话会很受限,因为在球形空间中无法抵消任何的颠簸,你必须忍受在视频中出现的任何运动模糊现象。

不能转动

在拍摄过程中,不能在Z轴上转动相机。这会强迫观众转头,这在VR中是非常不好的体验。与此相反,你应该允许观众自然的转动头部,可以看到整个环境中他们选择去观看的内容。

如果你为了不让观众错过一个重要的动作画面,而需要观众观看某个特定的点,你应该使用光照、运动或者声音来引导观众的视线。根据你的回放手段和拍摄的内容,你也可以在其中加入一些互动元素,以使这些特定的片段只有在观众观看特定方向时才会被触发。

尽量减少加速

最后,你应该限制在相机运动过程中产生的加速现象。快速地加速和减速明显会引发晕动症。

在理想状况下,不应该存在任何加速现象,与之相反,你应该使用平缓、控制良好的相机运动来进行拍摄。如果做不到这一点,那么在加速或减速时应该非常缓慢才能勉强接受。你使用的任何拍摄设备都应该足够精密,避免任何不必要的橡皮筋类固定方法或者摆动。下文可以看到更多相关内容。

写在后面

当然了,规则就是要被打破的!在大多数情况下,上面所有这些内容都应当留心,但仍有一些拍摄情况中,你可能会想要一些晕动症效果–比如被从楼顶推下去,或者在坐过山车。在这些情况下,虚拟现实中的运动引发的副作用可能正符合你的口味。当然了,要分情况。

2.5、安装 & 支架

上面已经提到,用适当的支架可以帮助稳定相机。过多的运动会导致严重的晕动症,并且每种尝试都应该尽量消除或者至少要减少这些运动。并不是所有你不想要的运动都可以在后期处理中被去掉,所以我们强烈推荐在拍摄过程中寻找合适的解决方案。

关于这一点,主要的问题在于你所使用的任何支架最终都能被相机拍摄到。在2D视频的拍摄中,你可以避开这里,以使这些支架不被看到,但是在拍摄360°内容时就不一样了。场景中的每个角落都会被拍摄到。这就是为什么虽然有些支架比其他的支架效果好,但总有一些着地点被拍摄到,无论它们多么小。这些支架都需要用一个logo或图片来覆盖掉,或者在后期处理时移除。根据支架的不同,后期移除时的方法可能会非常困难,并且很费钱。

2.5.1、安装支架的类型

在许多项目中,我们测试了所有下面这些类型的支架,尝试着创作出流畅的、稳定的作品,并没有真正最好的解决方案,所有这些支架都需要在后期处理时移除。

三脚架

这是最简单且使用最广泛的VR拍摄支架解决方案。只需要把相机安装在支架上并且不去动它。这种情况下你不可能会遇到晕动症,并且这也是一个相对紧凑的方案。虽然三脚架仍然会被底部的相机拍摄到,但是通过调整支架,让支架的支撑范围尽量小,可以最小化留在地面上的支架部分。这时就需要Clean plates(补地)。可以用单反相机来帮助移除相机支架的影像。可以在下文的Clean Plates部分了解更多信息。

还可以在三脚架下面增加一个吊索,这是一个很好的安装附加设备的地方,比如声音采集设备或者电脑。我们的相机操作员为了防止在拍摄时被拍到,甚至把自己的身体扭曲并藏在三角架下面。

虽然这不是所有的解决方案中最有效的,但的确可以把观众中放在场景中,让观众可以在不被分散注意力的情况下进行探索,并且不会产生晕动症。你所拍摄的绝大多数内容都会是这种类型,因为移动的拍摄会引发额外的效应–并且在VR中,你会觉得这些场景能够带来一种重量感。

移动摄影车

在2D内容拍摄过程中,移动摄影车能够拍摄到非常流畅且出色的动作。要把任何一种VR相机安装在移动拍摄车上是非常简单的,但同样也是非常笨重的,拍摄车的大部分支架都会被拍到。而且由于其尺寸大,需要多名操作员来控制它,并且还有轨道,因而会有很大的一条画面被遮挡。想要不花费太多预算就把这些被遮挡的内容修复的话基本是不可能的,也就是说移动拍摄车不是一个很好的解决方案。

远程控制滑轨

滑轨是一段轨道,长度各不相同,使用的材质也各不相同,上面安装了支架,你可以以不同的速度让相机在滑轨上移动。通常可以使用电脑来创作出复杂的动作,使其自行重复。

不同的滑轨差异非常大,无论是在滑轨的尺寸上还是马达的速度上。你会需要一个强度足够的滑轨来支撑相机,并且选择合适的马达,能够以足够的速度来驱动相机完成运动,并且减少出错的几率。那些便宜的支架会在运动停止时和开始产生明显的反冲,这在VR拍摄中是非常不理想的运动问题。

滑轨比移动摄影车体积要小很多,但是通常都有一个相当长的轨道,也会很明显地呈现在拍摄的内容中。想要移除它没有简单的方法,除非用图像覆盖掉。可以在下面的Clean Plates部分了解更多。

运动控制平台(摇臂)

就如同上面的滑索一样,运动控制平台使用了一系列的轨道和马达驱动的结构来精确地重复动作。它们通常比滑索还要笨重,基本上就是一个滑索和移动拍摄车的结合体,但具有更高的自由度。此类设备有多种不同的类型,第一次大规模的运用是卢卡斯影业在拍摄星球大战时,为的是拍摄到最终合成所需要的大量场景。

这种设备可以配合大多数的相机,但是却非常笨重,并且360°场景中的很大一部分会被挡住,处理起来非常麻烦。不过,如果你需要合成许多不同层次的场景,比如在一个混合的CG/实景的VR场景中,可以把相机安装在运动控制平台上,对着绿幕拍摄不同层次的场景,这是一个很不错的选择,因为运动控制平台可以很容易地被移除。

相机索道

使用足够坚固的相机索道来支撑你的相机是一个很不错的拍摄360°内容的方法。相机被倒放安装在一个支架上,并且挂在一个固定在话说上的小的滑轮结构上。这种支架相当小巧,并且如果是在户外的话,你会很愿意用天空来替代这个支架,也就是说,要从画面中将其移除的话是很容易的。

如同上面所说的滑轨一样,你需要确保滑轮结构上的马达足够精确,防止在开始拍摄和结束拍摄时相机的摆动。否则,你会遇到非常可怕的视野晃动,导致晕动症。你可以使用相机来抵消这些摆动,同样还可以用陀螺仪稳定器来防止产生摆动。

在这种情况下,相机的重量是你要考虑的首要问题。所以,要确保你的索道能够支撑相机,或者使用一台较轻、较小的VR相机,比如GoPro组合的相机。

斯坦尼康相机稳定器

斯坦尼康相机稳定器是2D作品拍摄过程中用来承重的相机稳定方案。这是一种机械解决方案,将相机和操作员的运动分离。操作员身穿一件背心,在这件背心上固定着支架,通过多轴低摩擦平衡杆连接到斯坦尼康稳定器的电枢,在稳定器的一端固定着相机,另一端则是平衡装置。

这种设备可以允许操作员有不固定的动作,同时又不影响相机。而想对相机进行移动时,又会十分容易。这种设备可以拍摄出非常流畅且让人满意的VR内容。但不幸的是,这也意味着操作员会离相机极近,并且在所有的拍摄场景中都是如此。当观众在观看相机后面拍到的内容时,会离操作员的脸非常近。这会让观众感到非常惊恐!

在后期处理时想要把操作员从场景中移除,几乎是不可能的。我们做过这样的尝试,将一台GoPro相机安装在操作员的背部,尝试着在合成时把操作员背部的场景融合进去。但不幸的是,无论是取景、镜头还是不同的视角都无法做到匹配,并且在有些地方还出现了模糊现象。我们也曾尝试将操作员模糊处理,或者用黑色的晕影来替换他。所有这些尝试都无法做到理想的效果,并且操作员的影像会带着观众“出戏”。

如果你要使用一台斯坦尼康的话,最好的办法是用一张图来遮挡住操作员。举个栗子说,可以是一个静态的LOGO,或者是NFL比赛中的动态的积分牌。这时,如果观众转身,会看到图片,然后观众会决定以后是否还转身看。也就能保证观众还处在VR体验之中。

陀螺仪稳定器

随着对虚拟现实的需求日渐飞涨,以及对不会这当场景的稳定运动的需求上升,许多其他的方案也被应用于此领域。来自Motion Impossible的Mantis 360就是这些有趣的解决方案之一。它将一个带轮子制动结构的遥控移动摄影车和一个平衡稳定支架组合在一起,用于VR相机的使用场景。

这就允许用户来远程移动相机,同时可以做到流畅的、稳定的运动,在场景中不会出现操作员,并且遮挡的地面也比较小–甚至比一台三脚架的遮挡面积还要小–这样在替换地面的内容时会更简单,用LOGO替换的话,需要的面积也更小。你可以逐渐地在场景内策划出运动线路,并且重复这些运动轨迹,就像是使用运动控制摇臂一样。

2.5.2、无人机

无人机是一种非常特别的相机支架。由于无人机的运动会非常颠簸,不够稳定,最初人们认为把VR相机固定在无人机上是一个坏主意。但是后来被证明,如果能够适当的做好稳定化处理,并且按照预先划定的航线来飞行的话,无人机可以拍摄出非常惊人的效果–这会让你感觉你就在飞翔。

通常,相机都会通过某种稳定化系统被倒置着安装在无人机上,就像这张图片中这样。你会希望稳定化系统能够抵消场景中尽量小的运动。很明显,拍摄场景的顶部(就是相机的底部,如果相机倒置安装的话)会包含无人机,但是这在后期处理中会相当容易处理,因为顶部通常都是天空。

你可能需要重新配置无人机,以使其起落架不被拍到。如果你的无人机没有配备可伸缩的起落架,你可以把起落架拆掉,并且让无人机降落在像图片中这样的支架上。这会需要巧妙的降落方法,在风大的地方尤其要小心。

正如在上文介绍索道时那样,相机的重量是首要因素。相机越重,需要的无人机也就越大。更大的无人机还需要特殊的飞行员执照,以及来自FAA的额外的限制。这些会限制你的放飞地点和方式,并且提高拍摄的成本。像这样的拍摄场景,你可能需要使用一台较小的、较轻便的GoPro类相机。

最后,大多数无人机,尤其是那些较大的无人机,会把任何的声音都淹没。你可能需要用画外音或其他音轨来替换掉这些音频。

2.5.3、Clean Plates(简单的说就是补地)

上面所有的这些相机方案都会在某种程度上遮挡住VR相机的拍摄场景。通常地面的场景会被三脚架或滑轨或遥控摄影车遮挡,要抹除或者用logo对其进行覆盖将会是非常必要的。

距离来说,用logo来遮挡对于旅游VR内容或一些新的内容来说是可以使用的,但对于更加影视级或戏剧类的内容来说就不太理想了,在这种情况下,你需要把场景中出现的任何的相机支架都抹掉。根据支架的不同,处理起来可能非常简单,也可能会非常耗时且昂贵。

为了帮助移除任何一种相机支架,强烈推荐你在拍摄时补拍一张地面的照片,也就是被遮挡的部分。这样,你可以把这些照片补在场景中。这种情况下最常见的工具是固定的单反相机,加上广角镜头来拍摄由相机支架遮挡的区域,并且是从相机所在的高度来向下拍摄。

必要时,甚至可以使用iPhone。根据支架遮挡的面积,你需要用单反相机拍摄多张重叠的照片。并且你还需要保证你的脚和影子没有出现在照片中。一个简单的用来clean plates的相机固定支架包含用沙包辅助稳定的C形支架,这样可以避免拍摄到自己。

很明显,如果你需要进行移动拍摄,要进行clean plates工作就会变得更加复杂。根据移动的距离,你可能需要拍摄很多张重叠的照片,我们推荐你每次拍摄时的重叠部分控制在15%-20%,并且形成一个队列,这样在后期处理时拼接起来,就行形成一张移动轨迹图,可以用来抹掉拍摄过程中出现的所有的相机支架。

如果移动的距离实在太长,比如移动上面所提到的Mantis 360陀螺仪稳定器很长一段距离,不妨在支架背面固定一个GoPro或其他小型摄影设备,要么手动,要么按程序来拍摄地面上的内容,以用于后期的地面场景重建。

2.6、防水问题

在水中或水下进行拍摄的情况也经常出现。一些VR内容中最激动人心的场景便是在水下拍摄的–比如面对面观看大白鲨,或者探索大堡礁。不幸的是,许多VR相机设备的复杂性会让水下拍摄变得很难处理,甚至无法拍摄。

2.6.1、雨水

当在拍摄2D的固定画幅内容时,雨水基本不是问题,因为相机可以用防水的油布来遮挡,比如覆盖下镜头,或者使用其他此类方法。但是当拍摄360°内容时就不一样了–油布或其他覆盖物在拍摄到的场景中是可见的,会遮挡住很多的场景。

这会让雨中拍摄,甚至是小雨,变得非常困难。许多相机不仅没有内建的防水机制,甚至仅仅几滴落在镜头上的雨水都会让部分场景变模糊,并且会无法进行拼接。

许多的拍摄工作都因为过于潮湿的天气或者可能会下雨而被取消,即使不会对相机造成破坏。同样,根据你采用的相机支架,即使是雪天也会有很大的风险。以Jaunt One为例,小雪天可能还可以拍摄,但你同样要面临镜头沾水或损坏的风险。在几秒钟之内,雪就会损坏镜头,拍摄就会受到影响。

2.6.2、水下

很明显,对于任何的相机设备来说,在水下进行拍摄都是对相机的终极考验。对于常规的2D摄影设备(甚至是3D相机)来说,有很多的水下保护方案可以使用,并且允许完全浸入水中。但对于VR相机来说,要设计一种类似的保护壳并且不让场景变模糊,或者需要镜头做出妥协,则会更加复杂。通常此类保护壳都是用于GoPro类相机设备,此类设备的一个例子是Kolor Abyss。

不幸的是,大多数水下VR相机目前都只有单视场拍摄能力,不支持更大的360°立体3D设备,这会影响到拍摄内容的冲击力。与鲨鱼面对面就会不那么震撼,因为它不会离你越来越近。这一领域需要更多的选择,并且可用于更大范围的相机设备。

即使你有可以用于水下拍摄的相机,在水下进行拍摄本身也是一个挑战。海水是很难预测并且不可控的,并且海洋生物不会遵循你的相机所需要的拍摄物距要求,所以一些场景可能无法拼接。同时,要控制相机内所有的相机模块也是很困难的,并且你必须特别关注电池寿命和存储卡的空间,因为这些保护壳的拆卸通常都是很麻烦的,会占用你大量的拍摄时间。

Jaunt目前正在研究用于Jaunt ONE相机系统的水下保护方案,因为在水下进行全3D的360°拍摄包含着很大的机遇。水下相机保护领域的很多公司也在寻找用于VR的方案,并且正在为多种相机开发解决方案。

最初发布于2017年2月17日