美国海军陆战队测试HoloLens 用于装备维修保养培训

美国海军陆战队的作战实验室刚刚完成了对微软HoloLens的快速能力评估,这款增强现实头显可以让炮兵中的维修保养人员来操作M777型155mm榴弹炮的3D模型。

一等兵Nicholas Reedy是一位维修保养人员,他在今年的海军陆战队博览会期间展示了增强维护操作(Enhanced Maintenance Operations)技术。通过佩戴HoloLens增强现实头显,他能够完全专注于呈现在面前的一个M777榴弹炮的数字模型。

“我很喜欢这种体验,你可以分辨出缺少了什么部件,什么部件损坏了,什么部件开裂了,”他说道。“对于我来说它还不能做太多事,但如果是在我上军校的时候 ,这会在很大程度上帮助我来‘看到’榴弹炮的零部件。我是一个非常注重视觉感受的人,只是盯着图解对我来说没有什么用。”

根据Mark Gilday的说法,美国海军陆战队和军队武器装备研发工程中心(Army Armament Research, Development and Engineering Center,简称ARDEC)合作开发了这一项目。Mark Gilday是海军陆战队作战实验室旗下快速能力办公室( Rapid Capability Office,简称RCO)的项目经理。

该项目的评估工作从今年7月一直持续到了9月,并且在海军陆战队和军校中都进行了评估,Gliday说道。

“我们现在正在撰写报告的阶段,这份报告将会提交到将军级别官员,同时还会提交一份推荐信,我们会在其中写明如何以及为何要持续研究该项技术,我们认为这项技术能够适用于未来的应用场景,”Reedy说。

快速能力办公室购买了8台HoloLens头显,该头显运行Windows 10系统,每台的价格是3000美元。其高度一体化的外观、对周围环境的理解能力,以及手势操作的便利性 ,为其带来了各行各业的客户。

“在培训过程中,HoloLens会运行指定的培训程序,这个程序可以是维修保养培训内容,可以是步兵的培训内容,还可以是炮手的培训内容。我在早些时候和一些狙击手谈过,我们都认为,它还能被用于狙击手的培训。在培训过程中,狙击手需要在草地上匍匐,使目标进入射程之内,并且要保证在行动时不被发现,”Gliday说。

“现在,他们是怎样被发现的呢?是通过望远镜。你可以用激光测距技术来增强这些需要使用人眼的望远镜,来找出地面上的一些差异,以更好地发现这些狙击手。这会让他们成为更好的狙击手,因为现在他们必须去想办法击败技术手段。很明显,HoloLens就是可以用于训练的一个很好的选择。”他补充道。

Gliday表示他对该项目充满信心,因为美国海军陆战队和其他兵种都在寻找在培训中使用增强现实技术的方法。

“目前看起来,这个项目是不会被叫停的,”他说道。“海军陆战队系统司令部对增强现实很感兴趣,并且我们一直在谈论这个系统,以及能够应用这个系统的领域。”

最初发布于2018年10月26日

原文链接:https://www.military.com/defensetech/2018/09/27/marines-show-augmented-reality-goggles-modern-day-marine.html

AR技术如何改变未来军队训练的方式?

技术永远在向前发展。上一代的军队训练方式,在很多方面看来,对于新一代的军队来说都是陈旧的。虽然训练的细节可能每年都会有变化,但美国军队在持续创新和更新训练工具和训练方式,以达成同样的目标:给予军队尽可能接近真实的经验,同时平衡财务支出和安全因素。

如果你综合考虑所有这些因素,就会有一个很明显的、并且很合理的新一代训练技术可供使用,那就是增强现实。

这并不是要取代真实的,需要拿着步枪的训练。没有一种模拟训练能够给战士们同样的体验,比如他们在战斗中真正会使用的武器。打穿靶纸或击落射程内的目标是一种有价值的体验,并且是无法被取代的。

现在,军队在训练过程中使用游戏机来进行一些战略对战已经不是什么新鲜事了,通过这种训练,士兵们可以了解到要战胜对方所需要进行的步骤。这种类型的训练是非常安全的,并且很节约训练经费,但是,它并不足够接近真实场景。

达成足够真实的训练需求的下一步是虚拟现实训练中心,而这种训练方式已经开始在一些训练基地进行测试了。比如名为 Dismounted Soldier Training System,或者简称DSTS的训练设施,它会把士兵们放在一个有着仿真步枪并且被几块屏幕包围的房间中。士兵可以在其中“射击”并且以一种安全(但是昂贵)的模拟方式进行训练。这比用主机游戏来训练要更加高效,因为士兵必须使用他们的身体,亲自练习重要的行动技巧。在这里,他们将会训练看到敌人出现在屏幕上时的反应能力。

对于通过监视器查看士兵们的表现的上级来说,这是很不错的训练体验,不过这仍然很接近于让士兵体验主机游戏,上级在旁边观看他们的表现,基本上,就是一个价格昂贵的《火线危机3》。

接下来我们来谈谈增强现实。增强现实可以说是数字世界和真实世界的交叉,通过这项技术,可以将数字元素叠加到真实世界中。并且这不是未来科技,这种技术现在已经可以实现了。Magic Leap目前正在使用该技术开发一种先进的训练模拟器。与虚拟现实不同的是,它能够将模拟内容带到真实世界中,而不是把真实世界中的士兵放到模拟环境中。

在这种训练过程中,士兵们在走进一个特殊设计的环境中时,会佩戴着AR眼镜,这种环境类似在城市化地区的军事训练场地,并且会连接到一个中央枢纽。接下来AR眼镜会智能化地在真实世界中叠加数字图像,训练程序会替换士兵们视野中的模拟元素,比如在真实的窗户中出现的一个模拟的恐怖分子。然后士兵就可以举起训练用的步枪(这支步枪会与训练程序同步),扣下扳机,就能看到如同真实战斗那样的枪口火焰出现在眼前。

这种训练方式相比其他模拟训练的另一个优势在于,它不再局限于单独训练一个士兵。理论上说,一个排的士兵都可以同时佩戴AR眼镜并且一起进行训练,获得与真实战场很接近的训练体验,同时保证自身的安全。

最起码,相比连续几个钟头看着上级在白板上写的文字,这是一个更加具有参与感和沉浸感的学习战术的方式。

实际上,在今年的早些时候,美国陆军就曾公布消息,要在18个月之内,测试一款新型的头盔显示器,从而辅助士兵导航、瞄准。这套被称为HUD 3.0的设备,主要的功能是增强现实,也就是在士兵们肉眼观察真实世界的基础上,叠加各种字符、画面或数据。

在HUD 3.0的发展规划中,它将能显示包括地形信息、障碍物等等。同时,还可以生成虚拟的敌军位置,大大提高士兵们在复杂的、具备挑战性的训练场景中进行训练的效率。

根据外媒此前的报道,Magic Leap和微软HoloLens正在争夺为美国士兵提供AR头显的军方合同,而这一和合同,便是HUD 3.0项目的一部分。

最初发布于2018年10月24日

原文链接:https://www.wearethemighty.com/gear-tech/military-training-augmented-reality

美国国防情报局将人工智能融入情报分析工作

五角大楼的顶级情报专家在近期表示,他希望人工智能领域的发展能够防止国防分析人士在全球冲突一夜之间爆发时被吓到。

“我的核心任务是确保国防部长永远不会被吓到,”美国陆军Robert Ashley Jr.中将,同时也是美国国防情报局的主管,在战略与国际研究中心对观众们表示。

Ashley担任这一职位已经有一年时间了,当俄罗斯军队在2014年与乌克兰爆发冲突时,他还没有上任,而这一地区的不稳定事件,美国情报机构因未作出预测而备受指责。

对于间谍情报技术和国防分析人士所使用的其他技能来说,“AI和机器学习将会是巨大的助力”,能够帮助避免“外界所有信息中的杂音”,他说。

使用算法来整理海量的信息能够减少国防分析人士的负担,但其中也不是没有挑战,Ashley说。

“当一个分析员坐在高层领导面前时,他一般会说‘根据报告,根据来源,根据我所看到的,我有一个中等程度的自信’或者如果你看到一个评估文件,其中说‘我十分确信’,这种都可以追溯到来源和对间谍情报的分析,”他说道。

“你绝不会想站在这样的位置,对你的高层领导说‘电脑这样告诉我的,’”他继续说道。“我们目前遇到的部分挑战,并且我认为同时也会机会的是,算法、机器学习和人工智能会带给我们一定的自信。”

国防情报局将不得不测试这些算法“是否能够在实际上提高分析人员所作的工作的可信度”。

他的目标之一是确保这个机器辅助分析快速知识库系统(Machine-assisted Analytic Rapid-repository System),或者简称MARS,在他两年后离开这个岗位时,具备初步的操作能力。

“设置完成数据环境将可能是我们能为国防部做的最大的事情之一,”他说道。“在我接下来的两年任期里,我们将会为国防部长、参谋长联席会议、政策制定者甚至是每个士兵达成初始作战能力。这个系统可以给他们带来决策上的优势,让他们更快行动,更快地在工作环境中理解正在发生的事。我们的目标一直都是确保在出现状况时不会被吓到。”

人工智能只是帮助分析人员来分辨俄军是在“快速行动演练”还是“即将跨国国界,进行侵略行动”的工具之一,Ashley说道。

“这可不是将人工智能放到某个工作中,而是让人工智能能够对更多的信息进行取样分析,并减轻分析人员的负担,”他说道。“但是最终,还是要有人参与,根据训练、对情报的理解、对问题的的理解,来做出决定,并且向上级汇报‘我注意到了以下的信息,这是几个可行的行动方案。’”

最初发布于2018年10月18日

原文链接:https://www.military.com/defensetech/2018/09/17/militarys-top-spy-ai-may-enhance-tradecraft-prevent-geopolitical-surprises.html

美国陆军战术训练系统加入预防自杀倾向的训练程序

美国陆军的Breyda Pereyra军士长和Jordan Smith上尉正在通过情报和电子战战术训练(简称IEWTPT)程序和一个虚拟的士兵化身交谈,当前这个场景是模拟与一个有自杀念头的士兵对话。

在位于科威特的美军比林营,来自美国陆军中央备战训练中心的士兵们可以使用IEWTPT程序自主学习避免自杀倾向的内容。

该训练基于一个虚拟现实方案,在其中参与者会与一个虚拟的士兵化身交谈,这个虚拟士兵已经出现了自杀的念头,并且想要对他的上级讲述。

“这个训练非常棒,”美国陆军的Jerry E. Thompson上尉说,他曾经是比林营的牧师。“这个士兵有着一个可能自杀的人所具备的所有条件,比如婚姻问题,从战场幸存下来但却失去战友的懊悔以及财务上的问题。我们作为第一线的军官,能够通过这个程序来了解他,询问各种问题,并且帮助他找到活下去的理由。”

IEWTPT系统包含一套程序,可以让士兵们在一系列的场景中与虚拟化身进行交谈,其中绝大部分场景都围绕着情报收集工作。这就为士兵们创造出了一个机会,使他们无需腾出大量时间与真正的演员进行角色扮演的场景模拟就能进行更多的训练。

刚刚过去的九月是自杀预防月,士兵们能够从IEWTPT中学到的内容正好能够提前印刻在这些服役人员的脑海里。

“这种模拟器以及虚拟现实体验,是对目前已有的培训手段的一个很好的补充,”美国陆军军士长Breyda Pereyra说,他目前管理着美国陆军中央备战训练中心。“能够使用该系统有着巨大的好处,因为它补充了目前美国陆军正在使用的培训手段所欠缺的所有内容。”

在年度的基准训练中,每个美国陆军士兵都会通过一个名为Ask, Care, Escort的防止自杀程序进行训练,来保证任何一个士兵都能在他们最困难的时候帮助他们的战友。而使用包含在IEWTPT系统内的自杀预防训练程序则给士兵们提供了另一个工具,来练习并为今后做准备,因为他们可能随时会被要求去帮助其他的士兵。

根据目前已公开的资料,IEWTPT,全称Intelligence Electronic Warfare Tactical Proficiency Trainer,该系统提供了军事情报相关的训练功能,能够用于支持关键的个人和集体的任务、技能和陆军兵力生成,IEWTPT填补了紧急情报培训的空白,为人际情报(HUMINT)、通信情报(SIGINT)、地理空间情报(GEOINT)和全源情报。它直接提供了个人的、小组的和团体的维护训练功能,能够支持任务指令和统一的地面行动。IEWTPT在为军事情报分析师和操作人员在一个实时的、虚拟的和建设性的模拟环境中进行训练扮演了关键角色。它支持美国陆军情报中心的整体培训策略,同时支持独立和联网的培训形式。

在IEWTPT系统中,战术控制单元(TCC)是基础培训设施,它驱动着SIGINT、NEOINT和全源情报能力,支持着个人和团体的培训,同时还有用于训练培训环境的网络界面。该单元包含一个服务器集群,包括训练场景开发工具,管理工具和训练后回顾能力。

而人际情报控制单元则可以在一个沉浸式的虚拟训练环境中,提供用于人际情报的维护培训和反间谍活动培训。该单元包含了一台40英寸的显示器,三台笔记本电脑,一台头显和两部扬声器。

情报是地面作战准备的一个关键因素。IEWTPT是美国陆军唯一能够提供完成任务所必须的基本内容和高度易损的情报收集人员和分析师培训能力的系统,IEWTPT能够在多种多样的情报科目中促进情报收集训练。

最初发布于2018年10月10日

原文链接:https://www.military.com/daily-news/2018/09/17/simulation-augments-army-suicide-prevention-training.html

Jaunt VR电影拍摄指南中文版 第二章 相机(下)

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章后半部分,主要讲述了拍摄时的物距、相机的运动问题、相机的安装和支架以及防水问题等等。

2.3、物距

对于任何类型的相机来说,无论是球状还是一组朝外的相机组合而成的,就像Jaunt ONE这样,有一个主要的限制因素就是相机与物体的距离。如果离得太近的话,拼接时就会很困难,甚至无法使用。你可以达到的最近的距离,取决于画面的重叠,也就是你的设备由多少台相机组成,以及它们之间的间距大小。

问题在于,你离相机越近,相机之间的间距也应该越近。否则,举个例子说,其中一个相机模块能够看到这个物体,而与之相邻的相机只能看到特写镜头的一部分。

当然,相机之间离得越近,想要覆盖完整的360°画面需要的相机数量也就更多,并且其尺寸也需要更小。相机模块越小,传感器尺寸也就越小,图像质量和暗光灵敏度也越低。这时,要设计一款合适的VR相机就变成了不断优化和权衡的过程。

Jaunt ONE相机一共有24个镜头–16个镜头围绕在周围,4个朝上4个朝下。考虑到这种结构,以及我们对光学的研究,我们所达成的最小物距是4英尺左右(约1.2米)。

如果你忽略这一距离限制的话,会遭遇大麻烦。你会花费成千上万美元在后期处理上,因为需要修正这些拍摄内容。毫不夸张的说,你需要重新创作出一台相机拍摄到但相邻相机没有拍摄到的内容。当然,很多拍摄内容是无法这样修复的。

也有很多场景会因为物距小于最小物距要求而获益。VR的特点之一就是观众可以获得震撼心灵的情感体验,只需要把演员或物体直接呈现在观众面前。但并不像2D拍摄那样,只需要给一个“大头”式的特写,而不是真正走近他们。在VR中,你可以带来真正的亲近感或焦虑情绪,比如让某人走近相机,这样在观众的视角来看,就会有真正走近的感觉。

想要避开这个最小物距限制的方法是,使用VR相机拍摄360° 3D的环境,然后使用一台传统的立体相机和绿幕,来拍摄同样环境和光照条件下的演员,之后在后期制作过程中将演员放在360°的背景中。很明显这需要额外的设备和更多的时间,但这些付出是值得的,尤其是你确实需要进行极近的拍摄时。

2.4、相机的运动

在所有与电影级VR内容拍摄相关的事情中,没有什么比移动相机更重要了,因为这种移动会让你观众感到不适。电影导演和制作人员们已经习惯了通过移动相机来创作充满动感的镜头,以及为场景增加额外的情感元素。在2D内容的拍摄中,这很少会产生问题,但是在VR中,相机的移动会引发晕眩、迷失方向、恶心甚至是呕吐。这当然不是你想要对观众做的事!电影拍摄者们必须特别用心来保证这些情况不会出现,同时还要保证拍摄的画面足够有趣。

2.4.1、VR中的不适感

VR中的晕动症通常被认为是由于视觉系统和耳道的分离造成的。通常情况下,在你移动的时候,你所看到的内容和传到耳道中的声音会有一个一致的响应。而在VR中,除非你真的随着所体验到的内容进行移动,否则就会产生分离现象。这种分离现象就像是中毒一样的生理反应,你的身体也会有同样的反应。

这种问题会发生在VR游戏或VR电影中,但是在VR电影中更为常见,这受限于当前的技术水平。如果你自己没有真正移动的话,那么只有在拍摄者移动相机时,你才会感受到其中的移动。在房间规模的VR游戏中,你会通过实际的运动来引导自己在虚拟世界中的移动,因为游戏游戏引擎能够实时生成周边事物,就不会产生真实世界和虚拟世界的分离。

但是如果把你放进一个由游戏引擎生成的太空飞船里时,产生晕动症的可能性又会出现,因为你会快速地穿行在太空中,却没有相应的物理移动。为了克服这一问题,一些新出现的VR体验会先制作出真正的基于运动的拍摄工具,并且能够模仿在虚拟空间中的运动。除此之外,提供一个更加惊险的VR体验,会让晕动症的感觉减少。

2.4.2、最小化VR中的不适感的指导原则

看完上面这些,你可以会有些惧怕移动相机。放心,相机是可以移动的。在经过大量的尝试和错误之后,我们总结了下如何在VR中正确地移动相机。

保持水平线的稳定

所有的尝试都要确保你的水平线足够稳定和平稳。如果你的水平线发生晃动的话,就像在不平稳的海面上的小船一样,很容易导致晕动症。

我们强烈推荐你在对相机进行移动时使用陀螺仪稳定系统,来避免相机的摆动。换句话说,我们不推荐在你的头上固定一台VR相机,因为你的身体运动会导致相机随着脚步而四处摆动。

如果你的相机上没有一台物理稳定装置的话,后期的稳定化可以移除部分的水平线摆动,但是存在一些限制,因为在头显中回放时,你必须要保持其立体3D效果。如果你的水平线摆动太严重,在纠正到原位之后,会对3D画面造成垂直方向的偏移,这对于观众来说会非常不适。唯一的解决办法就是在拼接之前做好稳定工作,这会让工作流变得更加复杂,因为你必须对拍摄设备中的每台相机做好稳定化处理。

目前有很多种不同的软件来进行后期稳定化处理,在下面的“后期处理”部分可以获得更多信息,同样可以在“安装&支架”部分了解更多在拍摄过程中的稳定化方法。

尽量减少颠簸现象

你还需要确保尽量减少在移动相机时的颠簸和碰撞现象。不然就会让人感觉你在一台山地车上,顺着崎岖不平的山路向下骑行。

这时,还是需要一台稳定化系统,来缓和这些拍摄过程中的颠簸现象,或者使用后期稳定化软件来尽量移除这些问题。但是,考虑到球形视频的特性,在后期进行处理的话会很受限,因为在球形空间中无法抵消任何的颠簸,你必须忍受在视频中出现的任何运动模糊现象。

不能转动

在拍摄过程中,不能在Z轴上转动相机。这会强迫观众转头,这在VR中是非常不好的体验。与此相反,你应该允许观众自然的转动头部,可以看到整个环境中他们选择去观看的内容。

如果你为了不让观众错过一个重要的动作画面,而需要观众观看某个特定的点,你应该使用光照、运动或者声音来引导观众的视线。根据你的回放手段和拍摄的内容,你也可以在其中加入一些互动元素,以使这些特定的片段只有在观众观看特定方向时才会被触发。

尽量减少加速

最后,你应该限制在相机运动过程中产生的加速现象。快速地加速和减速明显会引发晕动症。

在理想状况下,不应该存在任何加速现象,与之相反,你应该使用平缓、控制良好的相机运动来进行拍摄。如果做不到这一点,那么在加速或减速时应该非常缓慢才能勉强接受。你使用的任何拍摄设备都应该足够精密,避免任何不必要的橡皮筋类固定方法或者摆动。下文可以看到更多相关内容。

写在后面

当然了,规则就是要被打破的!在大多数情况下,上面所有这些内容都应当留心,但仍有一些拍摄情况中,你可能会想要一些晕动症效果–比如被从楼顶推下去,或者在坐过山车。在这些情况下,虚拟现实中的运动引发的副作用可能正符合你的口味。当然了,要分情况。

2.5、安装 & 支架

上面已经提到,用适当的支架可以帮助稳定相机。过多的运动会导致严重的晕动症,并且每种尝试都应该尽量消除或者至少要减少这些运动。并不是所有你不想要的运动都可以在后期处理中被去掉,所以我们强烈推荐在拍摄过程中寻找合适的解决方案。

关于这一点,主要的问题在于你所使用的任何支架最终都能被相机拍摄到。在2D视频的拍摄中,你可以避开这里,以使这些支架不被看到,但是在拍摄360°内容时就不一样了。场景中的每个角落都会被拍摄到。这就是为什么虽然有些支架比其他的支架效果好,但总有一些着地点被拍摄到,无论它们多么小。这些支架都需要用一个logo或图片来覆盖掉,或者在后期处理时移除。根据支架的不同,后期移除时的方法可能会非常困难,并且很费钱。

2.5.1、安装支架的类型

在许多项目中,我们测试了所有下面这些类型的支架,尝试着创作出流畅的、稳定的作品,并没有真正最好的解决方案,所有这些支架都需要在后期处理时移除。

三脚架

这是最简单且使用最广泛的VR拍摄支架解决方案。只需要把相机安装在支架上并且不去动它。这种情况下你不可能会遇到晕动症,并且这也是一个相对紧凑的方案。虽然三脚架仍然会被底部的相机拍摄到,但是通过调整支架,让支架的支撑范围尽量小,可以最小化留在地面上的支架部分。这时就需要Clean plates(补地)。可以用单反相机来帮助移除相机支架的影像。可以在下文的Clean Plates部分了解更多信息。

还可以在三脚架下面增加一个吊索,这是一个很好的安装附加设备的地方,比如声音采集设备或者电脑。我们的相机操作员为了防止在拍摄时被拍到,甚至把自己的身体扭曲并藏在三角架下面。

虽然这不是所有的解决方案中最有效的,但的确可以把观众中放在场景中,让观众可以在不被分散注意力的情况下进行探索,并且不会产生晕动症。你所拍摄的绝大多数内容都会是这种类型,因为移动的拍摄会引发额外的效应–并且在VR中,你会觉得这些场景能够带来一种重量感。

移动摄影车

在2D内容拍摄过程中,移动摄影车能够拍摄到非常流畅且出色的动作。要把任何一种VR相机安装在移动拍摄车上是非常简单的,但同样也是非常笨重的,拍摄车的大部分支架都会被拍到。而且由于其尺寸大,需要多名操作员来控制它,并且还有轨道,因而会有很大的一条画面被遮挡。想要不花费太多预算就把这些被遮挡的内容修复的话基本是不可能的,也就是说移动拍摄车不是一个很好的解决方案。

远程控制滑轨

滑轨是一段轨道,长度各不相同,使用的材质也各不相同,上面安装了支架,你可以以不同的速度让相机在滑轨上移动。通常可以使用电脑来创作出复杂的动作,使其自行重复。

不同的滑轨差异非常大,无论是在滑轨的尺寸上还是马达的速度上。你会需要一个强度足够的滑轨来支撑相机,并且选择合适的马达,能够以足够的速度来驱动相机完成运动,并且减少出错的几率。那些便宜的支架会在运动停止时和开始产生明显的反冲,这在VR拍摄中是非常不理想的运动问题。

滑轨比移动摄影车体积要小很多,但是通常都有一个相当长的轨道,也会很明显地呈现在拍摄的内容中。想要移除它没有简单的方法,除非用图像覆盖掉。可以在下面的Clean Plates部分了解更多。

运动控制平台(摇臂)

就如同上面的滑索一样,运动控制平台使用了一系列的轨道和马达驱动的结构来精确地重复动作。它们通常比滑索还要笨重,基本上就是一个滑索和移动拍摄车的结合体,但具有更高的自由度。此类设备有多种不同的类型,第一次大规模的运用是卢卡斯影业在拍摄星球大战时,为的是拍摄到最终合成所需要的大量场景。

这种设备可以配合大多数的相机,但是却非常笨重,并且360°场景中的很大一部分会被挡住,处理起来非常麻烦。不过,如果你需要合成许多不同层次的场景,比如在一个混合的CG/实景的VR场景中,可以把相机安装在运动控制平台上,对着绿幕拍摄不同层次的场景,这是一个很不错的选择,因为运动控制平台可以很容易地被移除。

相机索道

使用足够坚固的相机索道来支撑你的相机是一个很不错的拍摄360°内容的方法。相机被倒放安装在一个支架上,并且挂在一个固定在话说上的小的滑轮结构上。这种支架相当小巧,并且如果是在户外的话,你会很愿意用天空来替代这个支架,也就是说,要从画面中将其移除的话是很容易的。

如同上面所说的滑轨一样,你需要确保滑轮结构上的马达足够精确,防止在开始拍摄和结束拍摄时相机的摆动。否则,你会遇到非常可怕的视野晃动,导致晕动症。你可以使用相机来抵消这些摆动,同样还可以用陀螺仪稳定器来防止产生摆动。

在这种情况下,相机的重量是你要考虑的首要问题。所以,要确保你的索道能够支撑相机,或者使用一台较轻、较小的VR相机,比如GoPro组合的相机。

斯坦尼康相机稳定器

斯坦尼康相机稳定器是2D作品拍摄过程中用来承重的相机稳定方案。这是一种机械解决方案,将相机和操作员的运动分离。操作员身穿一件背心,在这件背心上固定着支架,通过多轴低摩擦平衡杆连接到斯坦尼康稳定器的电枢,在稳定器的一端固定着相机,另一端则是平衡装置。

这种设备可以允许操作员有不固定的动作,同时又不影响相机。而想对相机进行移动时,又会十分容易。这种设备可以拍摄出非常流畅且让人满意的VR内容。但不幸的是,这也意味着操作员会离相机极近,并且在所有的拍摄场景中都是如此。当观众在观看相机后面拍到的内容时,会离操作员的脸非常近。这会让观众感到非常惊恐!

在后期处理时想要把操作员从场景中移除,几乎是不可能的。我们做过这样的尝试,将一台GoPro相机安装在操作员的背部,尝试着在合成时把操作员背部的场景融合进去。但不幸的是,无论是取景、镜头还是不同的视角都无法做到匹配,并且在有些地方还出现了模糊现象。我们也曾尝试将操作员模糊处理,或者用黑色的晕影来替换他。所有这些尝试都无法做到理想的效果,并且操作员的影像会带着观众“出戏”。

如果你要使用一台斯坦尼康的话,最好的办法是用一张图来遮挡住操作员。举个栗子说,可以是一个静态的LOGO,或者是NFL比赛中的动态的积分牌。这时,如果观众转身,会看到图片,然后观众会决定以后是否还转身看。也就能保证观众还处在VR体验之中。

陀螺仪稳定器

随着对虚拟现实的需求日渐飞涨,以及对不会这当场景的稳定运动的需求上升,许多其他的方案也被应用于此领域。来自Motion Impossible的Mantis 360就是这些有趣的解决方案之一。它将一个带轮子制动结构的遥控移动摄影车和一个平衡稳定支架组合在一起,用于VR相机的使用场景。

这就允许用户来远程移动相机,同时可以做到流畅的、稳定的运动,在场景中不会出现操作员,并且遮挡的地面也比较小–甚至比一台三脚架的遮挡面积还要小–这样在替换地面的内容时会更简单,用LOGO替换的话,需要的面积也更小。你可以逐渐地在场景内策划出运动线路,并且重复这些运动轨迹,就像是使用运动控制摇臂一样。

2.5.2、无人机

无人机是一种非常特别的相机支架。由于无人机的运动会非常颠簸,不够稳定,最初人们认为把VR相机固定在无人机上是一个坏主意。但是后来被证明,如果能够适当的做好稳定化处理,并且按照预先划定的航线来飞行的话,无人机可以拍摄出非常惊人的效果–这会让你感觉你就在飞翔。

通常,相机都会通过某种稳定化系统被倒置着安装在无人机上,就像这张图片中这样。你会希望稳定化系统能够抵消场景中尽量小的运动。很明显,拍摄场景的顶部(就是相机的底部,如果相机倒置安装的话)会包含无人机,但是这在后期处理中会相当容易处理,因为顶部通常都是天空。

你可能需要重新配置无人机,以使其起落架不被拍到。如果你的无人机没有配备可伸缩的起落架,你可以把起落架拆掉,并且让无人机降落在像图片中这样的支架上。这会需要巧妙的降落方法,在风大的地方尤其要小心。

正如在上文介绍索道时那样,相机的重量是首要因素。相机越重,需要的无人机也就越大。更大的无人机还需要特殊的飞行员执照,以及来自FAA的额外的限制。这些会限制你的放飞地点和方式,并且提高拍摄的成本。像这样的拍摄场景,你可能需要使用一台较小的、较轻便的GoPro类相机。

最后,大多数无人机,尤其是那些较大的无人机,会把任何的声音都淹没。你可能需要用画外音或其他音轨来替换掉这些音频。

2.5.3、Clean Plates(简单的说就是补地)

上面所有的这些相机方案都会在某种程度上遮挡住VR相机的拍摄场景。通常地面的场景会被三脚架或滑轨或遥控摄影车遮挡,要抹除或者用logo对其进行覆盖将会是非常必要的。

距离来说,用logo来遮挡对于旅游VR内容或一些新的内容来说是可以使用的,但对于更加影视级或戏剧类的内容来说就不太理想了,在这种情况下,你需要把场景中出现的任何的相机支架都抹掉。根据支架的不同,处理起来可能非常简单,也可能会非常耗时且昂贵。

为了帮助移除任何一种相机支架,强烈推荐你在拍摄时补拍一张地面的照片,也就是被遮挡的部分。这样,你可以把这些照片补在场景中。这种情况下最常见的工具是固定的单反相机,加上广角镜头来拍摄由相机支架遮挡的区域,并且是从相机所在的高度来向下拍摄。

必要时,甚至可以使用iPhone。根据支架遮挡的面积,你需要用单反相机拍摄多张重叠的照片。并且你还需要保证你的脚和影子没有出现在照片中。一个简单的用来clean plates的相机固定支架包含用沙包辅助稳定的C形支架,这样可以避免拍摄到自己。

很明显,如果你需要进行移动拍摄,要进行clean plates工作就会变得更加复杂。根据移动的距离,你可能需要拍摄很多张重叠的照片,我们推荐你每次拍摄时的重叠部分控制在15%-20%,并且形成一个队列,这样在后期处理时拼接起来,就行形成一张移动轨迹图,可以用来抹掉拍摄过程中出现的所有的相机支架。

如果移动的距离实在太长,比如移动上面所提到的Mantis 360陀螺仪稳定器很长一段距离,不妨在支架背面固定一个GoPro或其他小型摄影设备,要么手动,要么按程序来拍摄地面上的内容,以用于后期的地面场景重建。

2.6、防水问题

在水中或水下进行拍摄的情况也经常出现。一些VR内容中最激动人心的场景便是在水下拍摄的–比如面对面观看大白鲨,或者探索大堡礁。不幸的是,许多VR相机设备的复杂性会让水下拍摄变得很难处理,甚至无法拍摄。

2.6.1、雨水

当在拍摄2D的固定画幅内容时,雨水基本不是问题,因为相机可以用防水的油布来遮挡,比如覆盖下镜头,或者使用其他此类方法。但是当拍摄360°内容时就不一样了–油布或其他覆盖物在拍摄到的场景中是可见的,会遮挡住很多的场景。

这会让雨中拍摄,甚至是小雨,变得非常困难。许多相机不仅没有内建的防水机制,甚至仅仅几滴落在镜头上的雨水都会让部分场景变模糊,并且会无法进行拼接。

许多的拍摄工作都因为过于潮湿的天气或者可能会下雨而被取消,即使不会对相机造成破坏。同样,根据你采用的相机支架,即使是雪天也会有很大的风险。以Jaunt One为例,小雪天可能还可以拍摄,但你同样要面临镜头沾水或损坏的风险。在几秒钟之内,雪就会损坏镜头,拍摄就会受到影响。

2.6.2、水下

很明显,对于任何的相机设备来说,在水下进行拍摄都是对相机的终极考验。对于常规的2D摄影设备(甚至是3D相机)来说,有很多的水下保护方案可以使用,并且允许完全浸入水中。但对于VR相机来说,要设计一种类似的保护壳并且不让场景变模糊,或者需要镜头做出妥协,则会更加复杂。通常此类保护壳都是用于GoPro类相机设备,此类设备的一个例子是Kolor Abyss。

不幸的是,大多数水下VR相机目前都只有单视场拍摄能力,不支持更大的360°立体3D设备,这会影响到拍摄内容的冲击力。与鲨鱼面对面就会不那么震撼,因为它不会离你越来越近。这一领域需要更多的选择,并且可用于更大范围的相机设备。

即使你有可以用于水下拍摄的相机,在水下进行拍摄本身也是一个挑战。海水是很难预测并且不可控的,并且海洋生物不会遵循你的相机所需要的拍摄物距要求,所以一些场景可能无法拼接。同时,要控制相机内所有的相机模块也是很困难的,并且你必须特别关注电池寿命和存储卡的空间,因为这些保护壳的拆卸通常都是很麻烦的,会占用你大量的拍摄时间。

Jaunt目前正在研究用于Jaunt ONE相机系统的水下保护方案,因为在水下进行全3D的360°拍摄包含着很大的机遇。水下相机保护领域的很多公司也在寻找用于VR的方案,并且正在为多种相机开发解决方案。

最初发布于2017年2月17日

美国空军中将的担忧:在人工智能上 美国已经落后于中国

近日美国空中一位中将表示,中国在人工智能技术领域的大量投入,将很快把美国甩在后面,使美国处于不利地位。

“在数字时代,速度是发展的根本,”VeraLinn “Dash” Jamieson中将说道。她是五角大楼空军参谋部负责智能、监控和侦查(ISR)的副参谋长。

她描绘了一幅可怕的画面:当俄罗斯有想要用AI作一些雄心勃勃的实验的想法时,中国已经有了这些手段。

比如,中国正在积极努力想要成为AI技术的全球领导者,比如以军民合作的形式创建数字化的人工智能城市,以了解AI技术能够如何被复制和应用。这些城市通过人工智能的面部识别软件跟踪人们的行动,监控着生活在其中的市民的每个举动。

“据我们估计,在2017年,中国在人工智能系统方面的投入总额达到了120亿美元。我们预计,到2020年,这一数字将会达到至少700亿美元,”Jamieson在空军协会的一次早餐上说道。

“你可以对比下我们的投入和中国的投入,”她补充道。

五角大楼中的每一个军事部门都在不同程度地推动着AI的发展,不过其投入规模仅有数十亿美元。

根据独立调研机构Govini的数据,五角大楼在2017财年在新兴技术研究上花费了大约740万美元,而AI在其中占比仅有大约33%,这些花费还包括量子计算和大数据分析,以及其他的信息技术研究。

因为美国空军在过去的二十年间一直都在大力投入反恐作战,“我们并没有纵观全局,来思考并且创建和开发一个高端的战略,我们只看到了我们今天正在面对的战争,”Jamieson说。“今天我们的[智能、监控和侦查]能力还不足以应对国防战略中提出的发展意图所带来的挑战。”

Jamieson正在推动着美国空军的智囊团以不同的方式来思考它该如何行使自治权。比如,他们正在从讨论一个单独的、先进的武器到更广泛地讨论要发展新兴技术,必须要网络先行。

她还重申了与去年相似的评论,Jamieson表示,她的目标在于使用AI从数百万的智能数据点和传感器整合数据点中筛选数据,比如可视或可听传感器的数据,给予空军需要实时做出的决策,这能在实际的战场或虚拟战场中帮助他们。

“我们的确需要我们的分析人员来协调这些数据,以获得更高质量且更快的决策,”她说道,并且还补充说“我们必须构建下一代的ISR(智能、监控和侦查)能力,使我们能够从冲突的全局高度占据决策上的优势。”

Jamieson还推动了一项文化的变革,在此之前美国空军一直在纠结于这一问题,即如何从人力密集型的处理方式调整到利用机器学习和人工智能的处理方式。处理过程将会由数据开始,到数据分析和机器智能,再到人机合作,她说。

“军工企业和空军将会被要求提升ISR的质量和数量,同时能够保持胜任各种军事行动。我们将会共同推进这些研究,”她说道。

Jamieson还说这项研究决不能仅仅将大数据收集作为一个信息来源。“数据就是武器,并且我们每个人都需要以这样的看法来对待数据。”

基于此,目前的空军和未来的空军都需要“被释放,”她补充道。

今天的美国空军要真正地理解真实世界和虚拟世界的融合,这对于应对下一场面对俄罗斯或中国的战争来说,是非常必要的,她说。

Jamieson说在最近几个月,她约见了一些能够通过编码技术整合来自各种不同平台的数据的空军官兵。

“来自第480 ISR联队的空军官兵们意识到,他们在最喜欢的游戏能够被用于培训,这款游戏可以支持大约55名用户之间的实时协作,以完成一项任务。”她说道。

这些空军官兵创建了一个低成本的军用版本,名为Sentinel Sim。Jamieson表示,如果是由空军来开发,或者外包开发的话,可能会花费数百万美元。

而在今天,这个游戏已经被用于实际任务训练场景。

美国空军、军工企业和五角大楼已经成为了一个整体,“现在这已经成为了一项团体运动,”Jamieson说。“并且我们必须这样看待它。”

最初发布于2018年9月3日

原文链接:https://www.military.com/defensetech/2018/07/30/china-leaving-us-behind-artificial-intelligence-air-force-general.html

Jaunt VR电影拍摄指南中文版 第二章 相机(上)

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章前半部分,主要讲述了VR相机的类型和几种常见的拼接方法等等。

2、相机

在这部分中,我们来讨论你将会遇到的各种各样的VR相机,在VR电影拍摄过程中的一些陷阱是你必须要知道的,并且要了解如何避免这些陷阱。比如说安装和组合方法、clean plates的重要性,水下拍摄的问题和VR航拍的问题等等。

2.1、VR相机的类型

目前我们有很多类型的相机系统可以用来拍摄VR内容,并且这一领域也在逐渐扩张。每一款相机都有自己的优势和不足,下文中我们将介绍其中主要的几个种类。除这些之外还有其他很多种全景相机设备,但我们并没有提到它们,因为此类设备无法用于视频拍摄,比如栅缝扫描摄像机。如果可能的话,能够根据自己的需求去尝试每一种相机将会是极好的。

2.1.1、全景相机

这类相机系统通常是受到飞行昆虫的启发,其中包含多个单独的摄像头模块,并且被组装成一个球形、屋顶形或者其他形状。“Panoptic”这个单词来源于希腊神话中的百眼巨人阿耳戈斯,即“Panoptes”。他是一个有着一百只眼睛的巨人。Jaunt的相机系统,包括Jaunt ONE,就属于这一类。

这是到目前为止最流行的VR相机类型,许多公司都涌进这一领域,设计出轻量级的相机支架,来支持多个现成可用的相机模块–通常是GoPro。由于GoPro足够轻便,并且相对来说不是那么贵,已经被证明是行之有效的组装VR相机设备的相机模块。实际上,Jaunt的首个相机产品,即GP16,就包含16台GoPro,组合安装在一个定制的3D外壳里。

然而,使用基于GoPro的相机系统会出现很多问题,包括图像质量问题、散热问题、最重要的是,缺乏同步机制。在拍摄VR内容时,保证你所有的相机模块能够同步是极为重要的。只有这样,重叠部分的图像才能够精确匹配,并且在后期制作中可以很容易地进行拼接。虽然使用简单,但是GoPro相机并没有内建的同步能力,即使在后期处理过程中根据声音和视觉的线索做好了同步,也会随着时间的推移而出现偏差。

当然这并不是说要摒弃GoPro相机。仅仅是它能够组成很多不同类型的VR拍摄设备这一事实,就足以称之为一个壮举。但是它最初并不是为了为了这一任务而设计的,而且其缺陷也逐渐暴露了出来。

Jaunt接下来继续努力开发了内建26个定制相机模块的Jaunt ONE,可以提供四倍大的传感器尺寸,在弱光环境下的表现也更好,可调十一个档位的更高的动态对比度,更好的色彩还原,可以防止快速移动物体导致的画面撕裂的全局快门,当然还有最重要的可同步的相机模块。

现有的任何相机系统的多相机模式就是为了提供图像的重叠。你需要足够多的相机来提供图像间有效的重叠,重叠部分大概要占到15-20%,这是为了把临近的帧适当地拼接起来–如果你想要提供立体拼接的话,你还需要更多的相机。你的系统中有更多的相机,图像之间就会有更紧密的联系,这样在拼接过程中就能提供更小的物距,可以让物体更加接近。在下文的“拼接步骤”和“物距”部分可以获得更多信息。

2.1.2、Mirror Rigs

另一个比较常见的全景360°相机是mirror rig。这种设备基本上是多台相机放置在一个原型框架里,镜头向上拍摄那些以一定角度安放的朝向外侧的镜子中的影像。此类产品有一个很好的例子,便是Fraunhofer OmniCam。

这些设备可能是单视场的,也可能是立体的,由于其中包含了镜子,通常比其他种类的全景拍摄设备要更大更重。但是此类设备还有一个很大的优点,就是这些镜子可以让相机拍摄到镜子中的虚拟节点,这会造成最小限度的视差,甚至还可能没有视差。这会让拼接变得非常简单,而且基本上不会产生伪影。

由于这个原因,许多此类相机设备支持实时拼接和实时的360°图像传输。使用两个相机拍摄每个镜子中的影像,你可以进行无缝的立体拼接。此类设备主要的缺陷还是尺寸和重量的问题,并且在进行实时拼接时,必须要连接到相当强大的电脑上。

2.1.3、鱼眼

许多消费级的全景相机都是此种产品。因为他们相对来说很便宜,小巧,轻便,并且通常在相机内部就可以很容易地拼接。有的产品使用了一个镜头,比如柯达的360度运动相机。还有每个镜头可以拍摄180度的双镜头方案,比如理光的Theta,通过将两个镜头拍摄的内容拼接在一起,可以捕获完整的360度场景。

虽然它们使用起来很方便,并且很容易进行拼接,但是此类相机的拍摄质量相对要低。许多此类产品还可以串流到iPhone或者安卓设备上,使其很适合用作远程监控用途,如果你的VR相机不提供此功能的话,可以考虑使用此类设备。在下文的“在线预览”部分可以获得更多信息。

当然,还有针对专业消费者的此类相机,它们通常具有更大的镜头和传感器。不幸的是,所有此类设备只能生产出单视场图像,并不是立体3D图像,降低了用于VR时的沉浸感。

2.1.4、光场相机

光场相机是最近才来到全景拍摄市场上的新技术。虽然它代表着虚拟现实电影拍摄的未来,但其实际使用还是有些遥不可及。这类设备并不是通过镜头收集光线,并且投射在传感器上。而是包含了数百个极小的微型镜头,可以捕捉到每个可能的方向传来的光线。

这种设备可以在后期制作时做出一些非常惊艳的事情,包括在佩戴头显的时候通过摆动头部来切换视差,重新聚焦图像,生成景深数据和立体3D数据,以及在不使用绿幕的情况下进行抠像。

光场相机首次被消费市场熟知是由于Lytro Illum静态相机。最近,Lytro进入了专业视频领域,推出了用于VR的Lytro Cinema和Lytro Immerge两款产品,你可以在Lytro官网上查看更多信息。

大部分用于拍摄视频的光场相机并没有像静态光场相机那样使用微型镜头阵列,而是使用了非常多的相机模块,并且安装在网格或球形结构中。通过一些奇特的处理方法,这些多重视频串流信号可以被打包成一个经过压缩的光场格式,你可以在视频播放的时候在其中走动–虽然会有些受限。

你的运动范围会限制在与圆形场地直径相当的范围内,或者是布置这些相机的网格的宽度范围内,也就是取决于其拍摄场地的大小。虽然你不能在屋里随意走动,但是你可以移动头部,并且看到不断变化的视差,这可以帮助你最小化VR中会遇到的晕动症。

不幸的是,这些相机在实际拍摄中的使用是受限的,因为它们需要一个很大的计算机阵列与相机系统链接,来进行数据的捕捉和处理。另外,光场电影串流虽然是被压缩过的,但对于处理、下载来说还是太大了。以今天的带宽水平,串流将会是极为困难的。

虽然目前拍摄光场影像是很困难的,但是可以使用oToy的技术来以CG的形式对其进行渲染。你可以在oToy的官方网站上找到描述全息或光场视频渲染的演示视频。

2.1.5、摄影测量法

为了能够全面了解VR内容的拍摄,你需要彻底改变你的想法,从目前的“由内而外”的方法论转变为“由外而内”的视角。也就是说,并不是用一个所有相机都向外拍摄场景的阵列来进行拍摄,而是用一个全部向内的相机阵列来环绕整个场景。

微软曾经为其增强现实头显HoloLens开发了一种基于视频的摄影测量法,主要是为了创作全息视频。该技术名为“自由视点视频”。一组相机阵列环绕在绿幕舞台周围,从不同的角度捕捉视频,接下来使用先进的摄影测量法来创作出全3D的网格,其中还包含场景中所有物体的投影映射纹理信息。微软的这项技术使用了先进的网格镶嵌、平滑的网格还原以及压缩技术,来创作出你真正可以在其中走动的VR或AR场景。

更多关于该技术的信息可以在微软官网查询。

另一家探索该领域的公司是8i。他们使用了类似的相机阵列,来捕捉他们所说的容积视频,并存储为一个拥有专利技术的光场格式。这项技术并不会创作出完整的CG网格(当然这也是一个选项),但同样允许你在场景中随意走动,或者从任何角度进行观察。更多关于该技术的信息可以在8i官网查询。

无论采用了何种技术或方法,先进的实时摄影测量技术将会在不远的将来成为一项重要的视频捕捉技术,使用该技术,可以让你完全沉浸在任何场景中。随着技术的进步和成本的降低,消费者们可以以前所未有的方式连接全息视频和真实环境。

2.2、拼接方法

当你使用360°相机拍摄完场景之后,你需要将所有这些相机拍摄的单独的画面进行拼接,以创作出一个单独的、无缝的360°球形图像。要想创作出没有视觉可见的缝隙或伪影的图像是VR内容拍摄过程中最难的工作之一,并且也是最浪费时间的工作之一,特别是在创作3D图像时更是如此。

Jaunt的云服务JCS已经将这一过程简化成了近乎自动的过程,目前已经支持Jaunt ONE和诺基亚OZO相机。下面我们列举了多种拼接方法,Jaunt在此之前已经尝试过其中一些方法,但就目前而言,光流是能够提供最佳的无缝3D拼接效果,并且人工干预最少的方法。

2.2.1、几何方式

几何方式的拼接是目前大多数现成的拼接工具所使用的方法,比如Kolor Autopano,并且是在Jaunt的GP16相机上首次使用的拼接方法。使用这种方法,在拍摄时由镜头产生的每张图像中的桶形失真都会被修正,图像会根据其中的相似点来排列,然后被平滑地融合在一起。这种方法可以创作出完整的360°*180°展开状圆柱投影球形图像。

在立体3D中进行拼接要更加困难,并且需要在环境中先创作一对虚拟的立体相机,以此来使用图像中的每一个切片提供左眼和右眼的观看效果,才能进行拼接。

正如上文所提到的那样,这种拼接方法并不总是完美的,并且可能会导致可见的缝隙或3D伪影,因为部分场景的景深数据并不正确。考虑到这一点,Jaunt才转向了接下来要说的光流拼接法。

2.2.2、光流

Jaunt目前就在使用并优化光流算法,作为Jaunt云服务的在线拼接平台的基础,支持Jaunt ONE和诺基亚OZO相机。

光流是一项已经应用于电脑图形领域有一段时间的技术。它有很多的应用领域,包括运动的估算、跟踪、相机的创建、蒙版的创建,以及立体视差的生成。作为核心,光流算法会计算场景中每个像素的移动,并且通常是一帧一帧地对拍摄的内容作出基于时间的分析。

比如,在拼接一个立体全景图像时,流图会被用来跟踪那些相邻的相机所拍摄到的独特的像素,比如场景中出现的视觉元素。通过将此技术与现有的相机所拍摄的几何结构和镜头特征相结合,就会让判断相邻相机所拍摄的每个像素的距离变为可能。同时也能生成一个整个场景的差异(景深)分布图。

这个差异分布图可以用来在拍摄360°的立体3D内容时,插入分别针对左眼和右眼的虚拟相机。这种技术能够提供更好的景深感知,同时产生更少的伪影,并且缝隙可以忽略不计。然而,这种方法并不是完美的,一些错误也会出现在流图的生成过程中,或者可能会在一个或多个相机被物体挡住时,产生盲点。在这种情况下,需要对被挡住的部分进行估计,并且这些物体周围会产生名为“光晕”的伪影。

通常,物体离相机越近,相邻的相机就越难以看到相似点,这就会导致更加繁杂的估算和更大的光晕伪影。想要了解更多信息可查看下方的“避免伪影”和“物距”部分。

不幸的是,目前的算法想要完全估算出所有的错误基本上是不可能的,所以就需要后期制作来修正这些问题。想要了解更多信息可查看下方的“后期制作”部分。

2.2.3、实时拼接

实时拼接使用了类似上面的方法,但很明显的是,这些处理过程必须实时进行,这样才能实时传输360°图像。目前仅有极少数产品能够做到实时拼接,或者说能够做好实时拼接。大部分此类设备要么不是真正的360°,而是180°,要么是单视场而非立体3D画面。

目前可用的一个方案是VideoStitch,可以让你通过该公司的Vahana VR产品做到单视场实时拼接,并且他们的立体3D实时拼接技术也即将到来。作为一款软件解决方案,它可以支持很多类型的相机设备。在VideoStitch官网可以获得更多信息。

许多的实时拼接解决方案都是对应上述的mirror rig类相机,因为此类相机的设备可以允许更加简单快速的拼接。Fraunhofer OmniCam就是这样一款产品,目前已经有两个型号,一个型号支持单视场拍摄,另一款可以支持3D 360°串流的实时传输。可以在上面的mirror rigs部分了解更多信息。

2.2.4、避免伪影

上面介绍的这些相机方案和算法都有各自的特性,但在拼接时都会或多或少地产生伪影。几乎所有的算法都会产生不同种类的让人生厌的伪影。如果场景拍摄正确的话,这个问题出现的概率是可以降低的。所以,你的确值得在调查和测试上花费一些时间,来检测相机和算法的关联是否合适。

这里我们以Jaunt ONE相机及其使用的基于光流的拼接算法为例,我们有时会在移动的物体或离相机太近的物体周围看到恼人的光晕。这种问题通常由于进行拼接时,光流算法在寻找相邻相机拍摄的相似像素时比较费力所造成的。如果一个人站在室外非常明亮的物体面前,算法就很难分辨不同的像素,因为所有这些像素的值都与物体的像素基本相似,而且在这个场景中没有细节信息。

同样的,如果有很多看起来完全一样的点,你也会遇到这样的问题。如果一个人站在有着规则的纵向直线的报纸面前,光流算法就很难分辨出很多看起来完全一样的点该如何匹配。

解决办法是,将你要拍摄的物体与背景区分开,以保证没有像上文所说的报纸那样,出现相似的重复细节。或者调低相机的曝光来降低亮度,以获取更多的图像信息,利于算法识别图像。

如果要拍摄的物体离相机太近的话,也会出现这样的问题。如果物体离得太近,一台相机可能会看到场景中的细节,但这些细节或许在相邻的相机所拍摄的场景中被这一物体被挡住。这样一来,算法是没有办法“绕着观看”这个物体,来完成像素的比对。围绕着这个物体的周边区域就会出现光晕,而且由于一帧一帧地进行拼接,这个让人头大的问题又会不断出现。

解决这个问题的办法很简单,把要拍摄的物体往后移动。对于Jaunt ONE相机来说,要拍摄物体的最近的安全距离在4-6英尺(约1.2-1.8米)。

算法正在变得越来越智能,如果没有被淘汰的话,我们期待着伪影在不久的将来能够越来越少。就目前而言,虽然你可能无法彻底消除伪影,但你可以通过花时间思考算法的拼接过程,同时适当控制拍摄的曝光来大幅减少伪影问题。

2.2.5、分辨率

我们来谈谈分辨率问题。VR相机中所使用的大多独立的相机模块都是GoPro、计算机视觉相机或者像Jaunt ONE所采用的定制模块。通常其分辨率都是HD(1920*1080)或2K(2048*1556)级别的。当这些图像被拼接在一起之后,很明显,会组成一个分辨率更高的全景图。

以Jaunt ONE相机为例,它可以创作出高达12K分辨率的图像。使用今天的技术来处理这样尺寸的图像完全是不切实际的。就在几年前,整个行业还在忙于应对HDTV或2K级的图像。很快,这个行业迎来了立体3D,超高清UHD和4K、高动态对比度HDR、广色域、高帧率HFR等等图像技术,每种技术都有成倍提升数据量的潜力。

在以前,这些技术都曾遇到过瓶颈,现在我们又迎来了VR,而VR需要把上面这些技术都结合起来,并且我们现在就需要使用这些技术。但是使用现有的技术,要在后期制作中处理如此大的文件几乎是不可能的。即使是最强悍的CPU和GPU也无法做到。考虑到这一点,Jaunt目前将输出的分辨率限制在3840*3840,并且提供左/右格式的立体3D画面,帧率为60fps。

即使是这种体量的文件,在后期处理时也很费力,并且需要足够强悍的设备来进行如此高分辨率和帧率的画面合成、编辑、色彩较准和CGI工作。并且,虽然我们可以压缩下最终文件以分发给消费者,世界各地的带宽又各有差异,也是一个问题。

最后,最大的瓶颈在于最终播放设备。虽然你一直想对于这种全新的媒体保持前瞻性,但你必须要知道,目前所有的主流头显,比如Oculus Rift、HTC Vive和PSVR目前的分辨率仅有单眼1K。这种情况当然会逐步改进,但是,你需要平衡下人们对更高分辨率的渴求和实际情况。技术会随着时间逐步提升,我们也将可以提升图像的分辨率和保真度。

最初发布于2017年2月10日

Jaunt VR电影拍摄指南中文版 第一章

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。首先为大家带来的是该指南的第一章,主要讲述了虚拟现实的两大类型、VR电影的基础知识等等。

1、虚拟现实基础知识

据维基百科,虚拟现实是一种计算机技术,可以复制真实的或想象中的环境,并且可以模拟用户的临场感,用户可以与其环境互动。在电脑或者手机上,这通常意味着屏幕上呈现的视觉内容和扬声器或耳机呈现的听觉内容。可供触摸或可提供反馈的设备也正在涌现,提供嗅觉和味觉的设备还需要一段时间。

对于任何形式的虚拟现实来说,其关键都是临场感和沉浸感。正是这些使其区别于以前的其他媒体,并且能够把素材创作出一种强烈的情感联系。Chris Milk是早期的VR电影导演之一,他经常引用一个观点,称虚拟现实为“共情机器”。

1.1虚拟现实的种类

虚拟现实有两个基本的阵营-电影级虚拟现实和基于游戏引擎的虚拟现实。区别在于生产手段、回放方法、真实度以及互动内容的多少。

1.1.1 什么是基于游戏引擎的虚拟现实

很长时间以来,当人们想到虚拟现实时就会想到这一种。这是由3D CG游戏引擎实时生成的电脑图形,比如Unity或Unreal。这些内容被生成之后,可以使用特制的头戴显示器(头显)比如Oculus Rift或HTC Vive,这些头显包含运动跟踪功能,用户可以在虚拟现实中走动,感觉就像是真的一样。

这种虚拟现实同样适用于高互动性的内容,可以使用提供手部跟踪控制的Rift和Vive,可以让你拿起并移动物体,比如挥舞一把剑,开枪射击,或者和整个环境进行互动。感觉很像是自己进入了一场游戏。

并不能说第一批VR头显主要针对重度游戏玩家,就意味着这种技术仅仅是为了游戏而开发。游戏引擎也可以用来创作互动电影或音乐视频,就像是创作游戏那样。因为它们尤其擅长创作出完全不像现实生活的世界。

1.1.2 什么是电影级虚拟现实?

Jaunt专注于电影级虚拟现实。下面就是一段360度电影,使用一台全景摄像机系统,可以作为一个圆柱投影那样进行回放,并且允许观众随着剧情的展开而四处观看。圆柱投影是一个非常好地展示场景的方法。根据摄像系统和拼接步骤的不同,其中的场景可以是单视场的(扁平)或者立体的(3D)。

现在你已经了解到,在电影级虚拟现实中你可以看到非常真实的场景,而在由游戏引擎在电脑上生成的虚拟现实中则不会这样。同时,这些场景在拍摄过程中还会使用空间音频麦克风,来让声音听起来就像真的一样。如果你听到你的右边有条狗在叫,并且转头看左边,你会看到有一条狗就在声音传来的地方。感觉就像是进入了电影场景中一样。

但并不像基于游戏引擎的虚拟现实,在电影级虚拟现实中你无法自由地在场景中移动,除非在你移动的同时,摄像机也随着移动并进行拍摄。随着新的摄像系统的采用和新技术的逐步开发,今后你也将可以在拍摄的场景中进行四处走动。在下文中的“VR摄像机的种类”章节中可以了解更多信息。

虽然电影级虚拟现实并不像完全基于游戏引擎的虚拟现实环境那样充满互动性,你仍然可以为其添加互动元素。以《Choose Your Own Adventure》为例,其中就包含凝视检测、可互动的叠加和界面、声音或图片的触发、手势、甚至加入完整的CG内容也是可以的。

所有这些将会构成一种全新的媒体,这是一个我们刚刚开始意识到其潜力的空白的画布。VR领域的杀手级应用将会融合了电影、游戏和互动影院。现在,我们还在带妆彩排阶段,一切皆有可能。即使是区区五年之后,VR内容也会与今天的截然不同。

1.2、立体vs单视场VR

VR影片素材既可以是单视场3D,也可以是立体3D。单视场的素材是扁平的,并没有景深数据,在360°的可视范围内都是以同样的景深被投射的。当然,你同样可以转动头部,四处观看这个场景,但没有任何的东西会变得离你近一些,只会变得大一些而已。这就像是普通的2D电影中的特写镜头,和3D电影中那些东西会逼真地离你越来越近,并且从屏幕中跳出来所形成的对比一样。

而在360°立体3D影片中,你将获得完整的每个方向的3D观看体验,其中的物体也会真正地离观众越来越近。这会产生更加逼真地、更具沉浸感的感觉,就像是我们在现实生活中所经历的一样。想象一下在VR中拍摄一只水下的鲨鱼的情景。为了达到最大的视觉冲击效果,你会希望观众感受到鲨鱼正在离自己越来越近,并且每个观众都能有此感受。使用立体3D技术,你可以达到此种效果,而是用单视场的话,虽然鲨鱼仍然来势汹汹,但它不会离你越来越近,你将会丢失临场感和沉浸感–当然还有恐惧感。

无论在哪儿,你都应该尽力去尝试拍摄完整的360° 3D内容。但是,为什么并不是所有人都在这样做呢?你可能会想到,这种拍摄需要的设备更加昂贵,而且拼接过程更加复杂,如果没有大量的后期工作和资金投入的话,也不会获得好的回报。Jaunt推出的Jaunt ONE摄像机和Jaunt云服务(JCS)就是为了简化这些程序,最大限度地自动化整个过程。

你可以在Jaunt云服务文档中获取更多信息。

还需要说明的是,并不是每个场景或镜头都缺失需要在3D中拍摄,当然了,也不一定都能做到在3D中拍摄。目前,只有极少数几款360°拍摄设备可以用于水下拍摄。而且由于防水设备的限制,更难以把3D拍摄设备装在其中,所以通常会使用较小的单视场设备。在下文的“水下拍摄”部分可以获得更多信息。

同样,在汽车内进行拍摄时,会受到车内空间的限制,其中的物体会距离很近,这时通常使用一个较小的GoPro式的拍摄设备,并且采用单视场来拼接素材,会获得比较好的拍摄效果。大部分的相机都有最小物距的要求,你必须遵守,这样才能拼接出质量较高的作品,而且在3D拼接时,这一物距的要求会更大。如果你想要离拍摄的物体很近的话,尽量选择单视场的拍摄方法。在下文的“物距”部分可以获得更多信息。

类似的,如果使用无人机的话,重量也是一个问题。所以,在很多情况下,我们还是要使用一个更小的,更轻便的GoPro类设备,并且拼接单视场的素材。在很多情况下,拍摄地会离地面非常远,你也无法获得足够的立体视察,而且观众们也几乎察觉不到。

无论是哪个已经推出的作品,其中的大部分内容都是完整的360° 3D手法拍摄的,其中也有些许画面,比如上面这些情景是使用更小的、更轻便的GoPro设备进行拍摄,并且在单视场中拼接的。如果处理正确并且使用的时机很得当,你的观众们或许不会察觉。

1.3、360°视频

当我们谈论360°视频时,我们必须要澄清一件事。那就是它和VR有什么区别?为了让人们了解VR,并且充分利用现有的重度使用的平台,许多公司,尤其是Facebook和谷歌旗下的YouTube都已经在推广360°视频。这是你可以用浏览器在网页中观看的视频,并且 可以使用鼠标拖动画面,或者在手机APP中,通过把手机移动或旋转来达到同样的效果。

同样,我们的Jaunt手机端和web端应用也可以做到这一点,对于那些暂时无法使用或手上没有VR设备的用户来说,也可以在3D中体验到这些内容。像是Facebook这样的品牌和公司之所以喜欢360°视频,是因为这可以帮助他们撬动所有人都在使用的平台上巨大的用户群体。

然而,要称其为虚拟现实,我们必须要谨慎。如果太多的用户都认为这就是虚拟现实的话,他们或许会认为,他们已经真正地体验过了虚拟现实–并且包含3D中的临场感和沉浸感,以及空间音效–但却并没有多深的印象。我们必须要明确区分360°视频和真正的VR,并且使用前者来激活观众们,让他们体验后者。或者像是3D电视那样,让VR也经历快速的死亡。

而这,也就让我们来继续思考真正地虚拟现实内容的需求到底是什么。

1.4、VR的最低需求

你可以和100个人去谈论虚拟现实的必要条件,但会获得非常多的答案。既然我们在寻找最大限度的沉浸感和临场感–也就是真正身临其境的感觉–Jaunt提出四点最低需求:

360°圆柱投影图像–这是一个你可以上下左右360°观看的场景。有些摄像设备则是采用了180°的特制的相机来进行在线直播,这样可以减少带宽需求,降低拼接的复杂程度。但是,当你看向身体后方时,你会直接离开这个场景。通常为了减少这种身后只有黑色背景的情况,会插入一张图片,比如节目的宣传海报,比赛的比分情况等等。

立体3D–这是比较有争议的需求之一,因为今天很多人都在拍摄单视场的内容,毕竟这种内容在捕捉和拼接时都会更便宜且更简单。然而,想要真正获得临场感–身临其境–也就是VR真正特别的地方,你真的需要尽量拍摄立体3D内容。立体3D就是我们在现实生活中所看到的那样,并且在VR中也同样重要。

空间3D音效–声音是任何电影类产品中极为重要的一部分。它不仅能够提升沉浸感,同时也是像运动和光线那样的仅有几个线索之一,可以用来获得观众对重要事件的注意力,因为观众们可能在看任何地方。捕捉空间音频可以增强你的临场感。

在头显中观看–最后,如果你没有真正的观看方式的话,上面这些都是没用的。虽然经常会有给没有设备的观众创作的360°视频,并且允许你拖动画面。但这种视频并不能看到3D效果,也不能提供空间音效回放。为了达成完整的体验,你真的必须要用合适的头显设备。好消息是,你不一定要购买Oculus Rift或HTC Vive这样的昂贵的设备。市场上还有很多非常便宜甚至是免费的产品可供选择,这些产品会让你目不暇接。

1.5、头显的种类

市面上有很多不同类型的头显设备,它们在价格和性能上的差异也非常大。从非常简单的谷歌Cardboard,到三星Gear VR,再到Oculus Rift和HTC Vive。就像手机和那一套集成电路组件那样–其中包含陀螺仪、加速度计、小型高清屏幕–正是这些复活了曾经的虚拟现实,让Palmer Luckey创作出了首个Oculus头显。手机是这些产品的基础,甚至是高端的Rift和Vive的基础。

较高端的头显可以提供全身的追踪,其中还有些包含了手部控制器,可以提供“房间规模”VR系统,让用户四处走动,并且和环境进行互动。但仅仅使用你的手机加上简单的透镜,也就是Cardboard或塑料外壳的产品也可以让你获得惊人的体验。随着手机生厂商在头显中集成更好的VR子系统,这种体验会变得越来越好。

头显设备的清单还在急速扩充,你可以在网上查询到此类设备的信息。

最初发布于2017年1月23日

[解读]全球首家专业VR影院研究报告

6月12日,国美电器旗下首家VR影院正式开启。作为“全球首家专业VR影院”,国美VR影院历经一年的时间,由来自十二个国家的团队成员共同参与设计施工建设,占地面积近300平方米,是全世界专业化程度最高的交互式VR影院。

该影院采用了3D建筑打印技术,激光区隔观影区域,现代化、科技化效果与传统印象中观影大厅截然不同。另外,还采用了由悦诚科技自主研发的VR影院远程控播系统和云计算平台,也为这座VR影院注入了更多科技感。

在试营业期间,悦诚科技联合HTC Vive一起开展了一次关于VR影院的问卷调查,获得了163份有效问卷,并发布了《全球首家专业VR影院研究报告》。虽然调查样本较少,但作为一次尝试,其中的有些数据还是值得我们参考的。

悦诚科技表示,在该VR影院开业初期,特意设置了一个月的时间免费对外开放,目的就是获得一些媒体和消费者的反馈,从而不断改进工作。在此期间,总计有近2000位体验者走进了这家VR影院。以下为该报告的主要数据及解读。

报告首先公布了VR影院对消费者开放两周的客流变化图,可以看到在工作日期间,客流量很低。悦诚科技认为,随着VR影院正式运营,预计周末客流量将会有明显提升。

在收集到的163份有效问卷中,男性体验者占据绝大多数,为79%,女性仅占21%。貌似与VR行业从业者目前的性别比率基本一致,与之相比,传统影院的消费群体在性别方面的差异并不会如此悬殊。年龄层分布上,全部处于25至40岁之间,也与VR行业从业者的年龄分布基本一致。

结论:参与者普遍年轻,男性居多,这是新型科技尝鲜阶段的普遍现象。

通过何种渠道了解到这家VR影院?有效数据中的大多数体验者表示是通过微信、微博等社交媒体了解到VR影院,因此,互联网宣传是最重要的途径,另外口碑效应也是一个不容忽视的因素。

至于体验VR影院的理由,超过半数的有效数据表明,对新事物的好奇心是吸引大家的主要原因,此外体验者中还不乏VR资深发烧友,毕竟目前在国内“VR影院”还是一个新概念,不少VR行业从业者也在这段时间内前往国美VR影院一探究竟。

影院中的主要设备是6台HTC Vive和25台三星Gear VR。二者都是目前主流的VR头显设备,但在笔者看来,真正适合VR观影的设备,应该是VR一体机,无论是成本,还是使用的便利程度,都更加适合VR影院这种场景。

接下来是一组用户对这两款VR设备满意程度的调查数据,分别从重量、舒适度、内容质量、音效质量、操作难易五个维度进行调查。

总体满意度上, Vive更胜一筹。Vive的优势在于其内容,悦诚科技认为,高端VR虽然昂贵,却能提供最好的体验,然而对于经营者来说,空间成本和运营成本也是不得不去考虑的重要因素,因此VR一体机和PC VR相结合将成为未来线下体验的完美组合。

在VR设备购买意愿调查方面,数据反映了人们对PC专业设备在线下实体场景体验感受的青睐和对一体VR设备的期待。超过90%的体验者有意愿将来购买VR设备,大多数人对HTC Vive的满意度更高,但数据表明超过60%的消费者未来更倾向于购买价格较低且所需空间更小的一体VR设备和智能手机VR设备。

92%的参与者为首次体验,当被问及“你愿意再次体验吗”这个问题时,竟然有高达99%的体验者表示愿意再次到访。看来这种新奇的体验形式还是很受玩家欢迎的,至于其正式开放营业之后是否还能保持如此热度,还有待观察。

值得注意的是,国美VR影院中并不仅仅提供VR体验,还陈列了一些机器人、3D打印机等高科技产品,这些新奇陈设也有利于吸引更多的体验者。有将近三分之一的观众表示,VR影院的设计超出他们的想象。

在调查报告的最后,悦诚科技提供了如下几点参考意见,对于VR影院行业有一定的参考价值:

内容的有趣程度和丰富性是VR影院长期吸引顾客的关键,未来可增加部分VR游戏场景的设置,如大空间对战游戏等。

观众对价格非常敏感,初期定价门槛要低。普通经营者面临极大的经营压力,单纯依靠销售门票很难维持生计。

消费者普遍在体验结束后询问他们是否可以购买VR设备,并表示他们倾向于先体验后购买。因此VR影院是顾客了解感受VR设备的重要场所,可成为线下VR设备销售的重要场景。

专业服务是提升观众满意度的重要因素,VR影院的员工招募及培训极其重要。在这个阶段对观众的引导教育显得尤为关键,我们发觉消费者在尝试前和尝试结束后都会花相当的时间来了解VR设备和VR内容。

最初发布于2017年7月18日

CES大放异彩的HypeVR拍摄技术解析:这就是VR视频的未来

在去年年底对外透露了这项技术之后,我们终于能够亲自体验HypeVR的Volumetric Video Capture(译为:容积视频拍摄)技术,借助该技术,体验者可以在VR视频四处走动。

360°视频的固有限制因素

今天,大多数的VR视频作品都是以360°和3D的形式来拍摄的。拍摄质量良好的360° 3D视频在VR中观看的效果很不错(比如你可以去看看Felix & Paul的作品)。但是,假设有天我们能够实现视网膜级别的分辨率以及完美的几何学立体效果,就会出现一个360° 3D视频无法逾越的障碍,那就是在视频内部的移动。

今天所有的360°视频(无论是不是3D)中,观众的视角都会锁定在一个固定的有利的角度。不像那些实时渲染的VR游戏,观众不能在视频中走动–甚至是你想靠在椅子上,想让视角随之变动也是不可能实现的。这样一来不仅会沉浸感不足,而且也很不舒适。我们即使是静坐的时候也会经常有头部的轻微的移动,在这时如果虚拟的画面跟不上我们的运动,观看的感觉就会不那么真实,并且也影响舒适度。

VR容积视频拍摄技术

这就是HypeVR开发容积视频拍摄技术的原因之一。他们要做的,不仅仅是拍摄一些360度的照片然后将其缝合(就像传统的360°相机那样),同时还要拍摄每一帧画面中的容积数据,这样一来,一旦作品被回放时,这些信息可以让体验者在视频内走动。

在CES 2017展会期间,我看到了HypeVR使用其怪兽级的拍摄设备录制的原始视频,以及一个全新的,更加生动的体验,是HypeVR和英特尔联手打造的。

在戴上Oculus Rift头显之后,我走进了一个新的场景:一个时长为30秒的越南山谷的美丽风景片段。我就站在一个湖面中央小岛的石头上。除了这些石头之外,整个小岛被郁郁葱葱的野草覆盖,在离我几码远的地方还有农民和正在吃草的水牛。

在我的远处是一片雨林,以及一处风景秀丽的瀑布。水流潺潺,水面荡漾着波纹,冲刷着我所在的小岛,以及长在水边的野草。

其中的画面非常逼真且细腻–感觉比任何我曾用头显看过的360° 3D视频的沉浸感都要强。大部分是由于我能够在视频内部移动。而且是以正常的平行视差,在一个房间规模的区域内移动。这让我感觉好像真的就站在画面中,站在越南的这个地方一样,而不仅仅是目光处在这个环境中。这是我们在观看VR视频时都想要达到的效果,而且VR这种媒介如果想要变得真正有吸引力,就要朝着这个方向努力。

我曾经看过让人印象深刻的使用摄影测量法拍摄的VR体验内容,但是摄影测量法需要拍摄者花费数小时来构建场景,从每一个能想象到的角度取景,并且把所有的照片组合成一个模型。结果可能会很惊艳,但是使用这种方法是无法拍摄会动的物体的,因为你无法足够快速地拍摄包含可移动物体的整个场景。

HypeVR采用了不同的办法,他们的拍摄设备固定在一个场景中,以每秒60次的速度进行拍摄,同时使用了高质量的视频捕捉设备以及深度映射激光雷达。之后,拍摄到视频中的纹理数据会与景深数据进行融合,来创作出每秒60帧的包含场景容积数据的视频。这也就是说,你能够看到水波的运动或者汽车开过,但仍然保持了容积数据,可以让用户在视频的某些部分进行移动。

采用这种容积视频拍摄技术所拍摄的视频中的每一帧实际上都是实时渲染的场景3D模型,在播放时会一帧挨一帧地出现。这不仅允许体验者在其中走动,就像VR游戏环境中那样,同样还是HypeVR的作品如此清晰和沉浸感强的原因–渲染到VR头显屏幕的每一帧画面都是对可用数据的最佳取样,并且都从每个角度对3D数据进行几何学修正(不只是针对那些3D效果最佳点,而是针对整个360° 3D视频)。这种方法也意味着超出视野的内容不会出现问题(这个问题我们在360°相机拍摄的视频中经常会遇到)。

克服局限

HypeVR目前所拥有的技术正是我们想要看到的VR视频应有的效果,但是在制作和分发的过程中还有很多局限需要解决,只有解决了这些问题,这种技术才可以被用来拍摄观众们想要看到的影视级VR内容。

容积数据中的阴影和平移

你可以像一般的阴影那样想象一下:当某件物品从你身边移动的同时,有来自前方的照明源,在这个物体的后面就会有影子,因为光线无法穿过这个物体。阴影的位置取决于光线和物体的相对位置。

虽然HypeVR可以使用激光雷达(激光遇到物体会发生反射,以确定距离)捕捉到场景中的深度数据,这个物体会挡住激光,并且呈现出“容积阴影”。但不像普通的阴影,这些容积阴影会在几何结构的后方留下一个洞,因为相机无法看到物体后面(恰如光线无法穿透这些物体)。

如果你完全静止地站在拍摄点,这一问题不会有任何影响,因为你不会看到被拍摄的物体后面的容积阴影。但是由于观看者可以在空间中走动,他们很有可能看到这些物体后面的情况,也就是会看到那些容积阴影。

我所看到的HypeVR展示内容中并没有容积阴影,这也就意味着这家公司已经发现了解决这一问题(这段内容中存在的问题)的有效办法。

最简单的办法或许是在后期制作时手动修正几何结构,来填补这些洞。这会是相当简单的(比如一个人离开相机几步远的距离),但也可能会极为困难(比如把相机放在浓密的森林中,周围的树和植物都在投射各种各样的容积阴影)。

另一种办法是在拍摄之后插入一个3D模型(这个模型会在真实世界中以摄影测量法进行拍摄)到场景中,这样一来,一开始就不会出现阴影了。这是个简单的方法,因为整个场景都已经被渲染成了3D几何结构,就像是一个游戏环境那样,所以插入更多的3D物体相对来说更加直接。

最后一种办法可能是容积视频拍摄技术最终的发展方向–一个在繁杂的后期制作过程中进行的实时进行的场景拍摄与CGI模型的融合(类似我们今天看的电影大片的制作方法)。

移动拍摄设备或许会让事情更为复杂,因为这将会引起容积阴影出现在场景中的各个位置。HypeVR告诉我们,他们还没有进行过移动摄像机的尝试,以确定其技术是否可以处理平移问题。如果被证明拍摄设备在录制时不能移动,这也不一定会引发问题。这需要根据移动设备对VR电影拍摄语言的重要性来决定。目前,许多的360° VR视频制作都是使用固定位置的相机来完成的。

下载量大小和数据压缩

HypeVR所使用的拍摄设备是14台RED相机,每台相机都能拍摄60FPS的6K分辨率画面。同时还有激光雷达数据记录在每一帧中。处理和重新整合这些数据以达成最终状态需要花费大量的时间(通常每帧需要花费6分钟,在本地处理的话)。在所有的画面都被成功渲染之后,用户还需要从网上获取这些视频,虽然在拍摄时每30秒占用2GB,这还可以忍受。每30秒2GB的视频其实是一个巨大的进步。在不久之前,HypeVR拍摄的视频每30秒能达到惊人的5.4TB。

像是HypeVR这种容积视频拍摄技术仍然需要更好的压缩技术,来压缩成更加实用的文件体积。而在消费者这边,更快的网络连接也扮演了重要的角色,可以让这种VR视频能够更快地进行传输,观众无需等待过大的下载量就可以观看。

总之

目前的容积视频拍摄技术还有很多挑战需要面对,但这对于任何新的电影拍摄技术来说都是一样。HypeVR已经证明,拍摄这种人人都想体验的引人注目的实景VR视频是可以做到的,同时还可以避免和减少局限性。在不断变得更加复杂的影视制作过程中使用这项技术需要明智的导向以及新技术的开发,以获得更加实际的制作时间和更加完美的最终产品。如果HypeVR公司的作品就是这样的一个迹象,那么最终的结果会值得这样努力。

最初发布于2017年1月11日

原文链接:https://www.roadtovr.com/believe-hype-hypevrs-volumentric-video-capture-glimpse-future-vr-video/