为将AR体验带入主流 Adobe正在和这些人共同努力

Adobe想让大众接触到增强现实。

在近日于洛杉矶举行的Max年度大会上,这家公司预演了一个新的工具,该工具将能够让跨平台的AR体验的创作变得大众化,让艺术家和设计师们能够创作他们自己的AR体验。这个工具被称为Project Aero,最初是在今年6月的苹果WWDC开发者大会期间公布的。现在,该工具已经进入了封闭测试阶段,并且同时包含了AR体验创作和AR内容分发的特性。

虽然人们尝试开发AR体验已经有一段时间了,但这项技术仍然在很大程度上被限制在技术公司、品牌和机构中,由他们来创作用于手机、平板甚至是某些头显的AR体验。不过,有了Project Aero,Adobe正在尝试将他们在更被人熟知的设计工具,如PhotoShop和Illustrator上所取得的成功,应用到大规模地提供AR体验上。该公司推出的AI平台Sensei,也被集成在Project Aero中,用以标识和创作光照、情感和空间感知。

根据Adobe增强现实部门负责人Stefano Corazza的说法,创作AR体验要比在AR中创作出一只鞋或其他东西要复杂的多,这是要“重新发明零售体验。”他表示,Adobe正在从吸引大品牌入局开始努力,他们希望大品牌对AR的应用能够扩散到较小的企业甚至是个人。

“这就是某种民主化的潮流,”Corazza说。“有人先来破冰,然后就会扩散给每个人。所以,我们想要让这种新事物尽快地扩散开来。”

首先,Adobe正在和苹果和Pixar这样的公司合作,同时也在拉拢Adidas这样的品牌,帮助他们创作引人注目的范例,告诉人们AR能够如何被用在真实的场景中。

Adobe还展示了其平台能够如何为二维的艺术品创作AR体验。比如,Adobe对一张插画进行了处理,打乱了原有的图层,创作出了某种隧道,用户可以使用自己的手机在其中行走。还有其他的工具,比如临近触发器,当用户足够靠近时,可以让物体变成动画。

根据Adidas设计技术高级总监Simone Cesano的说法,Adidas正在寻求让设计师的创造力以不同的形式呈现的方法,同时让客户使用现有的技术与产品互动,甚至设计他们自己的互动体验。首先,Adidas正在测试为一些零售点增加AR体验,其中包括在AR中设计鞋子,同时还会解释鞋中包含的材料。

比如,Adidas正在使用这个工具将一只鞋子固定在空中,在AR体验中,可以将鞋子所使用的每种材料打散,并且附带标签。

“当你进入AR体验时,数字零售和实体零售会结合在一起,”他说道。

根据Adobe的首席产品官,同时也是几部关于创造性和创新性的著作的作者Scott Belsky的说法,互动性将成为驱动AR这个新的媒介向前发展的因素。

“在我看来,AR体验中任何没有动画的东西都会让人感觉无聊,”他说道。“我们不希望椅子在AR体验中晃动或者闪光,但我们的确希望所有的东西都具备互动性。”

虽然AR体验或许在个人和品牌方看来都是全新的,但该领域中的很多工作都在尝试让AR获得更广泛的采用。比如让AR体验能够在移动互联网中使用,而非仅仅在App中才能使用。这项技术被称为WebXR,是一项由谷歌和Mozilla共同开创的技术,意在在Chrome和Firefox浏览器中启用AR能力。

Adobe并不是唯一的正在尝试AR的大公司,在前段时间,因虚拟现实内容制作而闻名的Jaunt对外宣布他们计划解雇大量的员工,将整个公司的重心转向AR。

“我们相信这些改变将会让我们专注于驱动产品上的创新和价值,继续让我们保持在沉浸式媒体领域的前沿地位,并且驱动长期的公司价值,”Jaunt在关于这些变动的博文中写道。

对新媒介感兴趣的艺术家们也同样在测试AR,比如Estella Tse,她曾经因为她在Tilt Brush中的VR绘画作品而成名。她说,她也在思考如何使用能够让体验变得更具互动性的AR来创作故事讲述体验。作为一个中美混血人,Tse说,她一直在思考如何以两种现实(AR和真实生活)来表达她的双重身份,并且她决定创作一个真实存在的泥塑,同时关联一个AR体验。结果是,整个作品中包含她的半张脸的雕像,就像画廊作品那样,之后是一条龙的绘画作品,这个作品是她在虚拟现实中创作的,之后又转化成了AR体验。

在她的项目中,Tse还分割了AR和真实世界中的文字说明,强迫观众去观看两者,因为两个世界中各有一半的说明文字:“你已经花费了太多的时间来假装自己是另一个人,甚至已经完全忘记了做自己是什么样。”

“我想要做一些对比AR和现实世界中存在的东西的事情,”她说道。“并且我认为,这是一个融合这些‘现实’的非常好的应用场景。这种体验不能够仅仅存在于AR中,也不能够仅仅存在于真实空间中。”

由于在AR中创作需要使用软件,并且是传统的艺术家们并不熟悉的软件,比如Unity,Tse说她的很多艺术家同伴们都不愿尝试它。为了解决这个问题,她正在努力使这个创作过程对那些不会编程的艺术家们来说变得简单,让她们也能够在AR中进行创作。

根据Adobe的设计副总裁Jamie Myrold的说法,设计师们和技术人员们之间的合作会比以前更加具有决定性意义。她表示,设计师们现在需要更加空间化地思考。

“当我们在思考空间化设计时,我觉得我们所看到的一些事仍然在某种程度上有些新奇,”她说到。“并且我不认为我们已经对AR会带给我们的未来有了足够的了解。”

最初发布于2018年10月22日

原文链接:https://www.adweek.com/digital/how-adobe-is-trying-to-bring-augmented-reality-experiences-mainstream/

专访Jaunt:打造全新XR平台 重新定位为B2B公司

Jaunt因其是一家360°视频和影视级VR体验开发商而闻名。但是最近,这家公司将其关注的焦点转向了为其他公司提供混合现实技术支持。近日,Jaunt展示了它在容积视频拍摄方面做出的一些很酷的研究成果,比如为增强现实应用创建360°的数字化身。

外媒记者在Jaunt位于加利福尼亚州圣马特奥市的总部尝试了一下,其速度很快并且质量也很高。Jaunt还展示了它能够如何通过六台英特尔RealSense深度摄像头捕捉一个人的360°图像。

Jaunt将这些来自各个摄像头的图像缝合成一个单独的3D化身,并且将这些内容插入到增强现实流中,能够实时发送到移动设备。记者看到了他们能够如何捕捉化身,并且即时,或者说立刻将数据转换成一个可分享的图像。

新的AR容积捕捉拍摄作品将会逐渐成为一个正在增长的XR平台的一部分,这是一个由Jaunt向其合作伙伴授权使用的B2B软件解决方案,而这些合作伙伴将会通过自己的应用或频道来分发增强现实、虚拟现实和混合现实(统称为XR)内容。Jaunt将会在今年第四季度向客户正式发布容积捕捉拍摄技术。

“我们的目标是让这样的体验流变得非常简单并且便携,”Jaunt的CTO,同时也是其创始人Arthur van Hoff在接受外媒采访时说。“我们在VR领域的360°视频和沉浸式内容方面有很强的的实力,并且我们目前正在探索我们能够为AR体验做出的贡献。”

Jaunt在圣塔莫尼卡还有一个大型的VR电影工作室,他们在这里用自己的专业能力在XR中讲述故事。

在过去,Jaunt已经发布了超过350部作品,其中包括许多的虚拟现实影视作品。而现在,这家公司只有在合作伙伴付费时才会启动一个VR影视项目。

“我们想要成为制作和分发沉浸式内容的全球合作伙伴,”Jaunt的CEO George Kliavkoff在外媒的采访中说道。“在过去,我们专注于服务消费者。我们想要成为VR界的Netflix,并且让人们来访问Jaunt所拥有和运营的网站。而现在,我们已经重新定位为一个B2B公司。”

有了360°化身拍摄技术,Jaunt为其合作伙伴提供容积式内容,将其作为另一种讲述故事和创造IP的媒介。容积捕捉拍摄技术(通过六台相机阵列进行拍摄)让以360°视角来拍摄内容变成可能。拍摄之后会输出一个化身,这个化身符合被拍摄者的样貌和动作,并且是以一个可分享的、符合实际比例的增强现实资产。

Jaunt并没有使用昂贵的绿幕工作室,而是使用了一个简单的拍摄台,其中包含一套外观呈流线型的设备,以及他们为传输高质量VR和AR体验而开发的串流技术。这个简单易用且易于发布的分发工具,对于那些想要为其媒体策略寻找高效的方式,来增加沉浸式内容的公司来说是非常理想的。并且这个拍摄台也很便于携带,你可以想象一下它能做什么。

“我们希望能够实时处理内容,而不是花费数周的时间,并且使其便携且易于分享,”Van Hoff说道。“我的父母从荷兰来旅行时,我录制了他们的一个3D拍摄作品,这是非常特别的,并且是我们永远不会忘记的。”

Jaunt在研发上的投入意味着这家公司正在专注于为创建和分享下一代沉浸式内容而开发可商用的解决方案。其他的还包括由机器学习驱动的沉浸式内容,以及为高端XR体验打基础的技术。

从2013年开始,Jaunt就在处在沉浸式内容的前沿,很快就成为了面向消费者的影视级VR内容的前沿开发商和发行商,他们为创建和分发VR体验创造出了端对端的方案。但是,自从第一台主流的VR头显发布以来,面向消费者的VR市场并没有像大家所希望的那样迅速发展。

“一些分析师说,到2021年,XR将会是一个1200亿美元的市场,”Kliavkoff说。“我们认可这个市场的规模,但是我们并不确定分析师们所说的时间节点是否正确。从长期来看,我们认为AR是更大的机会。”

所以在2016年,Jaunt聘用了Kliavkoff,他是Hearst集团的前CEO。他引导这家公司走出消费级VR领域,将其转变成一个专注于B2B业务的公司,帮助合作伙伴开发新形式的XR内容,并且生成增强现实、虚拟现实和混合现实体验。

“作为虚拟现实和增强现实领域早期的、主要的公司之一,我们已经掌握了面向消费者的技术和故事讲述能力,并且使其能够服务于我们的客户,”Van Hoff说道。“我们对B2B业务的专注引发了一些公司使用AR和VR的需求,并且我们认为,我们的XR平台的实时容积捕捉拍摄技术,是他们通过他们自己的频道来分享引人入胜的故事的一个新方式。这仅仅是Jaunt一直在持续努力地推动XR内容进步的方式之一。”

Jaunt新的XR平台首次亮相于去年12月,并且能够以多种不同的方式来使用,英国的天空广播公司在去年年底就已经成为了Jaunt的XR平台的首位客户。现在他们的客户中还包括Diageo和NTT Data。Jaunt的XR平台支持增强现实资产,虚拟现实内容和2D资产,并且能够跨设备传输,且能够与现有的媒体库共存。

在过去,所有的VR、AR和混合现实格式有着不同的技术链。Jaunt将它们统一起来,这样,他们就能够通过一个播放器来查看。

“该技术平台能够管理所有不同媒体类型,并且在一个系统内进行回放,而不是单独进行创建和管理,”负责公司发展和经营的副总裁David Moretti说。

在2017年,Jaunt通过与SMG和华人文化产业基金的合作,在上海开设了办公室,这使其能够向中国分发内容。

Jaunt的投资者包括华特迪士尼公司、Evolution Media Partners、华人文化、高地资本、Redpoint Ventures、SMG、Axel Springer、ProSiebenSat.1 SE、The Madison Square Garden Company、谷歌风投、Peter Gotcher和英国天空广播公司,目前有100余名雇员。

最初发布于2018年9月20日

原文链接:https://venturebeat.com/2018/08/30/jaunt-shows-off-new-augmented-reality-360-degree-full-body-selfies/

Jaunt VR电影拍摄指南中文版 第二章 相机(下)

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章后半部分,主要讲述了拍摄时的物距、相机的运动问题、相机的安装和支架以及防水问题等等。

2.3、物距

对于任何类型的相机来说,无论是球状还是一组朝外的相机组合而成的,就像Jaunt ONE这样,有一个主要的限制因素就是相机与物体的距离。如果离得太近的话,拼接时就会很困难,甚至无法使用。你可以达到的最近的距离,取决于画面的重叠,也就是你的设备由多少台相机组成,以及它们之间的间距大小。

问题在于,你离相机越近,相机之间的间距也应该越近。否则,举个例子说,其中一个相机模块能够看到这个物体,而与之相邻的相机只能看到特写镜头的一部分。

当然,相机之间离得越近,想要覆盖完整的360°画面需要的相机数量也就更多,并且其尺寸也需要更小。相机模块越小,传感器尺寸也就越小,图像质量和暗光灵敏度也越低。这时,要设计一款合适的VR相机就变成了不断优化和权衡的过程。

Jaunt ONE相机一共有24个镜头–16个镜头围绕在周围,4个朝上4个朝下。考虑到这种结构,以及我们对光学的研究,我们所达成的最小物距是4英尺左右(约1.2米)。

如果你忽略这一距离限制的话,会遭遇大麻烦。你会花费成千上万美元在后期处理上,因为需要修正这些拍摄内容。毫不夸张的说,你需要重新创作出一台相机拍摄到但相邻相机没有拍摄到的内容。当然,很多拍摄内容是无法这样修复的。

也有很多场景会因为物距小于最小物距要求而获益。VR的特点之一就是观众可以获得震撼心灵的情感体验,只需要把演员或物体直接呈现在观众面前。但并不像2D拍摄那样,只需要给一个“大头”式的特写,而不是真正走近他们。在VR中,你可以带来真正的亲近感或焦虑情绪,比如让某人走近相机,这样在观众的视角来看,就会有真正走近的感觉。

想要避开这个最小物距限制的方法是,使用VR相机拍摄360° 3D的环境,然后使用一台传统的立体相机和绿幕,来拍摄同样环境和光照条件下的演员,之后在后期制作过程中将演员放在360°的背景中。很明显这需要额外的设备和更多的时间,但这些付出是值得的,尤其是你确实需要进行极近的拍摄时。

2.4、相机的运动

在所有与电影级VR内容拍摄相关的事情中,没有什么比移动相机更重要了,因为这种移动会让你观众感到不适。电影导演和制作人员们已经习惯了通过移动相机来创作充满动感的镜头,以及为场景增加额外的情感元素。在2D内容的拍摄中,这很少会产生问题,但是在VR中,相机的移动会引发晕眩、迷失方向、恶心甚至是呕吐。这当然不是你想要对观众做的事!电影拍摄者们必须特别用心来保证这些情况不会出现,同时还要保证拍摄的画面足够有趣。

2.4.1、VR中的不适感

VR中的晕动症通常被认为是由于视觉系统和耳道的分离造成的。通常情况下,在你移动的时候,你所看到的内容和传到耳道中的声音会有一个一致的响应。而在VR中,除非你真的随着所体验到的内容进行移动,否则就会产生分离现象。这种分离现象就像是中毒一样的生理反应,你的身体也会有同样的反应。

这种问题会发生在VR游戏或VR电影中,但是在VR电影中更为常见,这受限于当前的技术水平。如果你自己没有真正移动的话,那么只有在拍摄者移动相机时,你才会感受到其中的移动。在房间规模的VR游戏中,你会通过实际的运动来引导自己在虚拟世界中的移动,因为游戏游戏引擎能够实时生成周边事物,就不会产生真实世界和虚拟世界的分离。

但是如果把你放进一个由游戏引擎生成的太空飞船里时,产生晕动症的可能性又会出现,因为你会快速地穿行在太空中,却没有相应的物理移动。为了克服这一问题,一些新出现的VR体验会先制作出真正的基于运动的拍摄工具,并且能够模仿在虚拟空间中的运动。除此之外,提供一个更加惊险的VR体验,会让晕动症的感觉减少。

2.4.2、最小化VR中的不适感的指导原则

看完上面这些,你可以会有些惧怕移动相机。放心,相机是可以移动的。在经过大量的尝试和错误之后,我们总结了下如何在VR中正确地移动相机。

保持水平线的稳定

所有的尝试都要确保你的水平线足够稳定和平稳。如果你的水平线发生晃动的话,就像在不平稳的海面上的小船一样,很容易导致晕动症。

我们强烈推荐你在对相机进行移动时使用陀螺仪稳定系统,来避免相机的摆动。换句话说,我们不推荐在你的头上固定一台VR相机,因为你的身体运动会导致相机随着脚步而四处摆动。

如果你的相机上没有一台物理稳定装置的话,后期的稳定化可以移除部分的水平线摆动,但是存在一些限制,因为在头显中回放时,你必须要保持其立体3D效果。如果你的水平线摆动太严重,在纠正到原位之后,会对3D画面造成垂直方向的偏移,这对于观众来说会非常不适。唯一的解决办法就是在拼接之前做好稳定工作,这会让工作流变得更加复杂,因为你必须对拍摄设备中的每台相机做好稳定化处理。

目前有很多种不同的软件来进行后期稳定化处理,在下面的“后期处理”部分可以获得更多信息,同样可以在“安装&支架”部分了解更多在拍摄过程中的稳定化方法。

尽量减少颠簸现象

你还需要确保尽量减少在移动相机时的颠簸和碰撞现象。不然就会让人感觉你在一台山地车上,顺着崎岖不平的山路向下骑行。

这时,还是需要一台稳定化系统,来缓和这些拍摄过程中的颠簸现象,或者使用后期稳定化软件来尽量移除这些问题。但是,考虑到球形视频的特性,在后期进行处理的话会很受限,因为在球形空间中无法抵消任何的颠簸,你必须忍受在视频中出现的任何运动模糊现象。

不能转动

在拍摄过程中,不能在Z轴上转动相机。这会强迫观众转头,这在VR中是非常不好的体验。与此相反,你应该允许观众自然的转动头部,可以看到整个环境中他们选择去观看的内容。

如果你为了不让观众错过一个重要的动作画面,而需要观众观看某个特定的点,你应该使用光照、运动或者声音来引导观众的视线。根据你的回放手段和拍摄的内容,你也可以在其中加入一些互动元素,以使这些特定的片段只有在观众观看特定方向时才会被触发。

尽量减少加速

最后,你应该限制在相机运动过程中产生的加速现象。快速地加速和减速明显会引发晕动症。

在理想状况下,不应该存在任何加速现象,与之相反,你应该使用平缓、控制良好的相机运动来进行拍摄。如果做不到这一点,那么在加速或减速时应该非常缓慢才能勉强接受。你使用的任何拍摄设备都应该足够精密,避免任何不必要的橡皮筋类固定方法或者摆动。下文可以看到更多相关内容。

写在后面

当然了,规则就是要被打破的!在大多数情况下,上面所有这些内容都应当留心,但仍有一些拍摄情况中,你可能会想要一些晕动症效果–比如被从楼顶推下去,或者在坐过山车。在这些情况下,虚拟现实中的运动引发的副作用可能正符合你的口味。当然了,要分情况。

2.5、安装 & 支架

上面已经提到,用适当的支架可以帮助稳定相机。过多的运动会导致严重的晕动症,并且每种尝试都应该尽量消除或者至少要减少这些运动。并不是所有你不想要的运动都可以在后期处理中被去掉,所以我们强烈推荐在拍摄过程中寻找合适的解决方案。

关于这一点,主要的问题在于你所使用的任何支架最终都能被相机拍摄到。在2D视频的拍摄中,你可以避开这里,以使这些支架不被看到,但是在拍摄360°内容时就不一样了。场景中的每个角落都会被拍摄到。这就是为什么虽然有些支架比其他的支架效果好,但总有一些着地点被拍摄到,无论它们多么小。这些支架都需要用一个logo或图片来覆盖掉,或者在后期处理时移除。根据支架的不同,后期移除时的方法可能会非常困难,并且很费钱。

2.5.1、安装支架的类型

在许多项目中,我们测试了所有下面这些类型的支架,尝试着创作出流畅的、稳定的作品,并没有真正最好的解决方案,所有这些支架都需要在后期处理时移除。

三脚架

这是最简单且使用最广泛的VR拍摄支架解决方案。只需要把相机安装在支架上并且不去动它。这种情况下你不可能会遇到晕动症,并且这也是一个相对紧凑的方案。虽然三脚架仍然会被底部的相机拍摄到,但是通过调整支架,让支架的支撑范围尽量小,可以最小化留在地面上的支架部分。这时就需要Clean plates(补地)。可以用单反相机来帮助移除相机支架的影像。可以在下文的Clean Plates部分了解更多信息。

还可以在三脚架下面增加一个吊索,这是一个很好的安装附加设备的地方,比如声音采集设备或者电脑。我们的相机操作员为了防止在拍摄时被拍到,甚至把自己的身体扭曲并藏在三角架下面。

虽然这不是所有的解决方案中最有效的,但的确可以把观众中放在场景中,让观众可以在不被分散注意力的情况下进行探索,并且不会产生晕动症。你所拍摄的绝大多数内容都会是这种类型,因为移动的拍摄会引发额外的效应–并且在VR中,你会觉得这些场景能够带来一种重量感。

移动摄影车

在2D内容拍摄过程中,移动摄影车能够拍摄到非常流畅且出色的动作。要把任何一种VR相机安装在移动拍摄车上是非常简单的,但同样也是非常笨重的,拍摄车的大部分支架都会被拍到。而且由于其尺寸大,需要多名操作员来控制它,并且还有轨道,因而会有很大的一条画面被遮挡。想要不花费太多预算就把这些被遮挡的内容修复的话基本是不可能的,也就是说移动拍摄车不是一个很好的解决方案。

远程控制滑轨

滑轨是一段轨道,长度各不相同,使用的材质也各不相同,上面安装了支架,你可以以不同的速度让相机在滑轨上移动。通常可以使用电脑来创作出复杂的动作,使其自行重复。

不同的滑轨差异非常大,无论是在滑轨的尺寸上还是马达的速度上。你会需要一个强度足够的滑轨来支撑相机,并且选择合适的马达,能够以足够的速度来驱动相机完成运动,并且减少出错的几率。那些便宜的支架会在运动停止时和开始产生明显的反冲,这在VR拍摄中是非常不理想的运动问题。

滑轨比移动摄影车体积要小很多,但是通常都有一个相当长的轨道,也会很明显地呈现在拍摄的内容中。想要移除它没有简单的方法,除非用图像覆盖掉。可以在下面的Clean Plates部分了解更多。

运动控制平台(摇臂)

就如同上面的滑索一样,运动控制平台使用了一系列的轨道和马达驱动的结构来精确地重复动作。它们通常比滑索还要笨重,基本上就是一个滑索和移动拍摄车的结合体,但具有更高的自由度。此类设备有多种不同的类型,第一次大规模的运用是卢卡斯影业在拍摄星球大战时,为的是拍摄到最终合成所需要的大量场景。

这种设备可以配合大多数的相机,但是却非常笨重,并且360°场景中的很大一部分会被挡住,处理起来非常麻烦。不过,如果你需要合成许多不同层次的场景,比如在一个混合的CG/实景的VR场景中,可以把相机安装在运动控制平台上,对着绿幕拍摄不同层次的场景,这是一个很不错的选择,因为运动控制平台可以很容易地被移除。

相机索道

使用足够坚固的相机索道来支撑你的相机是一个很不错的拍摄360°内容的方法。相机被倒放安装在一个支架上,并且挂在一个固定在话说上的小的滑轮结构上。这种支架相当小巧,并且如果是在户外的话,你会很愿意用天空来替代这个支架,也就是说,要从画面中将其移除的话是很容易的。

如同上面所说的滑轨一样,你需要确保滑轮结构上的马达足够精确,防止在开始拍摄和结束拍摄时相机的摆动。否则,你会遇到非常可怕的视野晃动,导致晕动症。你可以使用相机来抵消这些摆动,同样还可以用陀螺仪稳定器来防止产生摆动。

在这种情况下,相机的重量是你要考虑的首要问题。所以,要确保你的索道能够支撑相机,或者使用一台较轻、较小的VR相机,比如GoPro组合的相机。

斯坦尼康相机稳定器

斯坦尼康相机稳定器是2D作品拍摄过程中用来承重的相机稳定方案。这是一种机械解决方案,将相机和操作员的运动分离。操作员身穿一件背心,在这件背心上固定着支架,通过多轴低摩擦平衡杆连接到斯坦尼康稳定器的电枢,在稳定器的一端固定着相机,另一端则是平衡装置。

这种设备可以允许操作员有不固定的动作,同时又不影响相机。而想对相机进行移动时,又会十分容易。这种设备可以拍摄出非常流畅且让人满意的VR内容。但不幸的是,这也意味着操作员会离相机极近,并且在所有的拍摄场景中都是如此。当观众在观看相机后面拍到的内容时,会离操作员的脸非常近。这会让观众感到非常惊恐!

在后期处理时想要把操作员从场景中移除,几乎是不可能的。我们做过这样的尝试,将一台GoPro相机安装在操作员的背部,尝试着在合成时把操作员背部的场景融合进去。但不幸的是,无论是取景、镜头还是不同的视角都无法做到匹配,并且在有些地方还出现了模糊现象。我们也曾尝试将操作员模糊处理,或者用黑色的晕影来替换他。所有这些尝试都无法做到理想的效果,并且操作员的影像会带着观众“出戏”。

如果你要使用一台斯坦尼康的话,最好的办法是用一张图来遮挡住操作员。举个栗子说,可以是一个静态的LOGO,或者是NFL比赛中的动态的积分牌。这时,如果观众转身,会看到图片,然后观众会决定以后是否还转身看。也就能保证观众还处在VR体验之中。

陀螺仪稳定器

随着对虚拟现实的需求日渐飞涨,以及对不会这当场景的稳定运动的需求上升,许多其他的方案也被应用于此领域。来自Motion Impossible的Mantis 360就是这些有趣的解决方案之一。它将一个带轮子制动结构的遥控移动摄影车和一个平衡稳定支架组合在一起,用于VR相机的使用场景。

这就允许用户来远程移动相机,同时可以做到流畅的、稳定的运动,在场景中不会出现操作员,并且遮挡的地面也比较小–甚至比一台三脚架的遮挡面积还要小–这样在替换地面的内容时会更简单,用LOGO替换的话,需要的面积也更小。你可以逐渐地在场景内策划出运动线路,并且重复这些运动轨迹,就像是使用运动控制摇臂一样。

2.5.2、无人机

无人机是一种非常特别的相机支架。由于无人机的运动会非常颠簸,不够稳定,最初人们认为把VR相机固定在无人机上是一个坏主意。但是后来被证明,如果能够适当的做好稳定化处理,并且按照预先划定的航线来飞行的话,无人机可以拍摄出非常惊人的效果–这会让你感觉你就在飞翔。

通常,相机都会通过某种稳定化系统被倒置着安装在无人机上,就像这张图片中这样。你会希望稳定化系统能够抵消场景中尽量小的运动。很明显,拍摄场景的顶部(就是相机的底部,如果相机倒置安装的话)会包含无人机,但是这在后期处理中会相当容易处理,因为顶部通常都是天空。

你可能需要重新配置无人机,以使其起落架不被拍到。如果你的无人机没有配备可伸缩的起落架,你可以把起落架拆掉,并且让无人机降落在像图片中这样的支架上。这会需要巧妙的降落方法,在风大的地方尤其要小心。

正如在上文介绍索道时那样,相机的重量是首要因素。相机越重,需要的无人机也就越大。更大的无人机还需要特殊的飞行员执照,以及来自FAA的额外的限制。这些会限制你的放飞地点和方式,并且提高拍摄的成本。像这样的拍摄场景,你可能需要使用一台较小的、较轻便的GoPro类相机。

最后,大多数无人机,尤其是那些较大的无人机,会把任何的声音都淹没。你可能需要用画外音或其他音轨来替换掉这些音频。

2.5.3、Clean Plates(简单的说就是补地)

上面所有的这些相机方案都会在某种程度上遮挡住VR相机的拍摄场景。通常地面的场景会被三脚架或滑轨或遥控摄影车遮挡,要抹除或者用logo对其进行覆盖将会是非常必要的。

距离来说,用logo来遮挡对于旅游VR内容或一些新的内容来说是可以使用的,但对于更加影视级或戏剧类的内容来说就不太理想了,在这种情况下,你需要把场景中出现的任何的相机支架都抹掉。根据支架的不同,处理起来可能非常简单,也可能会非常耗时且昂贵。

为了帮助移除任何一种相机支架,强烈推荐你在拍摄时补拍一张地面的照片,也就是被遮挡的部分。这样,你可以把这些照片补在场景中。这种情况下最常见的工具是固定的单反相机,加上广角镜头来拍摄由相机支架遮挡的区域,并且是从相机所在的高度来向下拍摄。

必要时,甚至可以使用iPhone。根据支架遮挡的面积,你需要用单反相机拍摄多张重叠的照片。并且你还需要保证你的脚和影子没有出现在照片中。一个简单的用来clean plates的相机固定支架包含用沙包辅助稳定的C形支架,这样可以避免拍摄到自己。

很明显,如果你需要进行移动拍摄,要进行clean plates工作就会变得更加复杂。根据移动的距离,你可能需要拍摄很多张重叠的照片,我们推荐你每次拍摄时的重叠部分控制在15%-20%,并且形成一个队列,这样在后期处理时拼接起来,就行形成一张移动轨迹图,可以用来抹掉拍摄过程中出现的所有的相机支架。

如果移动的距离实在太长,比如移动上面所提到的Mantis 360陀螺仪稳定器很长一段距离,不妨在支架背面固定一个GoPro或其他小型摄影设备,要么手动,要么按程序来拍摄地面上的内容,以用于后期的地面场景重建。

2.6、防水问题

在水中或水下进行拍摄的情况也经常出现。一些VR内容中最激动人心的场景便是在水下拍摄的–比如面对面观看大白鲨,或者探索大堡礁。不幸的是,许多VR相机设备的复杂性会让水下拍摄变得很难处理,甚至无法拍摄。

2.6.1、雨水

当在拍摄2D的固定画幅内容时,雨水基本不是问题,因为相机可以用防水的油布来遮挡,比如覆盖下镜头,或者使用其他此类方法。但是当拍摄360°内容时就不一样了–油布或其他覆盖物在拍摄到的场景中是可见的,会遮挡住很多的场景。

这会让雨中拍摄,甚至是小雨,变得非常困难。许多相机不仅没有内建的防水机制,甚至仅仅几滴落在镜头上的雨水都会让部分场景变模糊,并且会无法进行拼接。

许多的拍摄工作都因为过于潮湿的天气或者可能会下雨而被取消,即使不会对相机造成破坏。同样,根据你采用的相机支架,即使是雪天也会有很大的风险。以Jaunt One为例,小雪天可能还可以拍摄,但你同样要面临镜头沾水或损坏的风险。在几秒钟之内,雪就会损坏镜头,拍摄就会受到影响。

2.6.2、水下

很明显,对于任何的相机设备来说,在水下进行拍摄都是对相机的终极考验。对于常规的2D摄影设备(甚至是3D相机)来说,有很多的水下保护方案可以使用,并且允许完全浸入水中。但对于VR相机来说,要设计一种类似的保护壳并且不让场景变模糊,或者需要镜头做出妥协,则会更加复杂。通常此类保护壳都是用于GoPro类相机设备,此类设备的一个例子是Kolor Abyss。

不幸的是,大多数水下VR相机目前都只有单视场拍摄能力,不支持更大的360°立体3D设备,这会影响到拍摄内容的冲击力。与鲨鱼面对面就会不那么震撼,因为它不会离你越来越近。这一领域需要更多的选择,并且可用于更大范围的相机设备。

即使你有可以用于水下拍摄的相机,在水下进行拍摄本身也是一个挑战。海水是很难预测并且不可控的,并且海洋生物不会遵循你的相机所需要的拍摄物距要求,所以一些场景可能无法拼接。同时,要控制相机内所有的相机模块也是很困难的,并且你必须特别关注电池寿命和存储卡的空间,因为这些保护壳的拆卸通常都是很麻烦的,会占用你大量的拍摄时间。

Jaunt目前正在研究用于Jaunt ONE相机系统的水下保护方案,因为在水下进行全3D的360°拍摄包含着很大的机遇。水下相机保护领域的很多公司也在寻找用于VR的方案,并且正在为多种相机开发解决方案。

最初发布于2017年2月17日

Jaunt VR电影拍摄指南中文版 第二章 相机(上)

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章前半部分,主要讲述了VR相机的类型和几种常见的拼接方法等等。

2、相机

在这部分中,我们来讨论你将会遇到的各种各样的VR相机,在VR电影拍摄过程中的一些陷阱是你必须要知道的,并且要了解如何避免这些陷阱。比如说安装和组合方法、clean plates的重要性,水下拍摄的问题和VR航拍的问题等等。

2.1、VR相机的类型

目前我们有很多类型的相机系统可以用来拍摄VR内容,并且这一领域也在逐渐扩张。每一款相机都有自己的优势和不足,下文中我们将介绍其中主要的几个种类。除这些之外还有其他很多种全景相机设备,但我们并没有提到它们,因为此类设备无法用于视频拍摄,比如栅缝扫描摄像机。如果可能的话,能够根据自己的需求去尝试每一种相机将会是极好的。

2.1.1、全景相机

这类相机系统通常是受到飞行昆虫的启发,其中包含多个单独的摄像头模块,并且被组装成一个球形、屋顶形或者其他形状。“Panoptic”这个单词来源于希腊神话中的百眼巨人阿耳戈斯,即“Panoptes”。他是一个有着一百只眼睛的巨人。Jaunt的相机系统,包括Jaunt ONE,就属于这一类。

这是到目前为止最流行的VR相机类型,许多公司都涌进这一领域,设计出轻量级的相机支架,来支持多个现成可用的相机模块–通常是GoPro。由于GoPro足够轻便,并且相对来说不是那么贵,已经被证明是行之有效的组装VR相机设备的相机模块。实际上,Jaunt的首个相机产品,即GP16,就包含16台GoPro,组合安装在一个定制的3D外壳里。

然而,使用基于GoPro的相机系统会出现很多问题,包括图像质量问题、散热问题、最重要的是,缺乏同步机制。在拍摄VR内容时,保证你所有的相机模块能够同步是极为重要的。只有这样,重叠部分的图像才能够精确匹配,并且在后期制作中可以很容易地进行拼接。虽然使用简单,但是GoPro相机并没有内建的同步能力,即使在后期处理过程中根据声音和视觉的线索做好了同步,也会随着时间的推移而出现偏差。

当然这并不是说要摒弃GoPro相机。仅仅是它能够组成很多不同类型的VR拍摄设备这一事实,就足以称之为一个壮举。但是它最初并不是为了为了这一任务而设计的,而且其缺陷也逐渐暴露了出来。

Jaunt接下来继续努力开发了内建26个定制相机模块的Jaunt ONE,可以提供四倍大的传感器尺寸,在弱光环境下的表现也更好,可调十一个档位的更高的动态对比度,更好的色彩还原,可以防止快速移动物体导致的画面撕裂的全局快门,当然还有最重要的可同步的相机模块。

现有的任何相机系统的多相机模式就是为了提供图像的重叠。你需要足够多的相机来提供图像间有效的重叠,重叠部分大概要占到15-20%,这是为了把临近的帧适当地拼接起来–如果你想要提供立体拼接的话,你还需要更多的相机。你的系统中有更多的相机,图像之间就会有更紧密的联系,这样在拼接过程中就能提供更小的物距,可以让物体更加接近。在下文的“拼接步骤”和“物距”部分可以获得更多信息。

2.1.2、Mirror Rigs

另一个比较常见的全景360°相机是mirror rig。这种设备基本上是多台相机放置在一个原型框架里,镜头向上拍摄那些以一定角度安放的朝向外侧的镜子中的影像。此类产品有一个很好的例子,便是Fraunhofer OmniCam。

这些设备可能是单视场的,也可能是立体的,由于其中包含了镜子,通常比其他种类的全景拍摄设备要更大更重。但是此类设备还有一个很大的优点,就是这些镜子可以让相机拍摄到镜子中的虚拟节点,这会造成最小限度的视差,甚至还可能没有视差。这会让拼接变得非常简单,而且基本上不会产生伪影。

由于这个原因,许多此类相机设备支持实时拼接和实时的360°图像传输。使用两个相机拍摄每个镜子中的影像,你可以进行无缝的立体拼接。此类设备主要的缺陷还是尺寸和重量的问题,并且在进行实时拼接时,必须要连接到相当强大的电脑上。

2.1.3、鱼眼

许多消费级的全景相机都是此种产品。因为他们相对来说很便宜,小巧,轻便,并且通常在相机内部就可以很容易地拼接。有的产品使用了一个镜头,比如柯达的360度运动相机。还有每个镜头可以拍摄180度的双镜头方案,比如理光的Theta,通过将两个镜头拍摄的内容拼接在一起,可以捕获完整的360度场景。

虽然它们使用起来很方便,并且很容易进行拼接,但是此类相机的拍摄质量相对要低。许多此类产品还可以串流到iPhone或者安卓设备上,使其很适合用作远程监控用途,如果你的VR相机不提供此功能的话,可以考虑使用此类设备。在下文的“在线预览”部分可以获得更多信息。

当然,还有针对专业消费者的此类相机,它们通常具有更大的镜头和传感器。不幸的是,所有此类设备只能生产出单视场图像,并不是立体3D图像,降低了用于VR时的沉浸感。

2.1.4、光场相机

光场相机是最近才来到全景拍摄市场上的新技术。虽然它代表着虚拟现实电影拍摄的未来,但其实际使用还是有些遥不可及。这类设备并不是通过镜头收集光线,并且投射在传感器上。而是包含了数百个极小的微型镜头,可以捕捉到每个可能的方向传来的光线。

这种设备可以在后期制作时做出一些非常惊艳的事情,包括在佩戴头显的时候通过摆动头部来切换视差,重新聚焦图像,生成景深数据和立体3D数据,以及在不使用绿幕的情况下进行抠像。

光场相机首次被消费市场熟知是由于Lytro Illum静态相机。最近,Lytro进入了专业视频领域,推出了用于VR的Lytro Cinema和Lytro Immerge两款产品,你可以在Lytro官网上查看更多信息。

大部分用于拍摄视频的光场相机并没有像静态光场相机那样使用微型镜头阵列,而是使用了非常多的相机模块,并且安装在网格或球形结构中。通过一些奇特的处理方法,这些多重视频串流信号可以被打包成一个经过压缩的光场格式,你可以在视频播放的时候在其中走动–虽然会有些受限。

你的运动范围会限制在与圆形场地直径相当的范围内,或者是布置这些相机的网格的宽度范围内,也就是取决于其拍摄场地的大小。虽然你不能在屋里随意走动,但是你可以移动头部,并且看到不断变化的视差,这可以帮助你最小化VR中会遇到的晕动症。

不幸的是,这些相机在实际拍摄中的使用是受限的,因为它们需要一个很大的计算机阵列与相机系统链接,来进行数据的捕捉和处理。另外,光场电影串流虽然是被压缩过的,但对于处理、下载来说还是太大了。以今天的带宽水平,串流将会是极为困难的。

虽然目前拍摄光场影像是很困难的,但是可以使用oToy的技术来以CG的形式对其进行渲染。你可以在oToy的官方网站上找到描述全息或光场视频渲染的演示视频。

2.1.5、摄影测量法

为了能够全面了解VR内容的拍摄,你需要彻底改变你的想法,从目前的“由内而外”的方法论转变为“由外而内”的视角。也就是说,并不是用一个所有相机都向外拍摄场景的阵列来进行拍摄,而是用一个全部向内的相机阵列来环绕整个场景。

微软曾经为其增强现实头显HoloLens开发了一种基于视频的摄影测量法,主要是为了创作全息视频。该技术名为“自由视点视频”。一组相机阵列环绕在绿幕舞台周围,从不同的角度捕捉视频,接下来使用先进的摄影测量法来创作出全3D的网格,其中还包含场景中所有物体的投影映射纹理信息。微软的这项技术使用了先进的网格镶嵌、平滑的网格还原以及压缩技术,来创作出你真正可以在其中走动的VR或AR场景。

更多关于该技术的信息可以在微软官网查询。

另一家探索该领域的公司是8i。他们使用了类似的相机阵列,来捕捉他们所说的容积视频,并存储为一个拥有专利技术的光场格式。这项技术并不会创作出完整的CG网格(当然这也是一个选项),但同样允许你在场景中随意走动,或者从任何角度进行观察。更多关于该技术的信息可以在8i官网查询。

无论采用了何种技术或方法,先进的实时摄影测量技术将会在不远的将来成为一项重要的视频捕捉技术,使用该技术,可以让你完全沉浸在任何场景中。随着技术的进步和成本的降低,消费者们可以以前所未有的方式连接全息视频和真实环境。

2.2、拼接方法

当你使用360°相机拍摄完场景之后,你需要将所有这些相机拍摄的单独的画面进行拼接,以创作出一个单独的、无缝的360°球形图像。要想创作出没有视觉可见的缝隙或伪影的图像是VR内容拍摄过程中最难的工作之一,并且也是最浪费时间的工作之一,特别是在创作3D图像时更是如此。

Jaunt的云服务JCS已经将这一过程简化成了近乎自动的过程,目前已经支持Jaunt ONE和诺基亚OZO相机。下面我们列举了多种拼接方法,Jaunt在此之前已经尝试过其中一些方法,但就目前而言,光流是能够提供最佳的无缝3D拼接效果,并且人工干预最少的方法。

2.2.1、几何方式

几何方式的拼接是目前大多数现成的拼接工具所使用的方法,比如Kolor Autopano,并且是在Jaunt的GP16相机上首次使用的拼接方法。使用这种方法,在拍摄时由镜头产生的每张图像中的桶形失真都会被修正,图像会根据其中的相似点来排列,然后被平滑地融合在一起。这种方法可以创作出完整的360°*180°展开状圆柱投影球形图像。

在立体3D中进行拼接要更加困难,并且需要在环境中先创作一对虚拟的立体相机,以此来使用图像中的每一个切片提供左眼和右眼的观看效果,才能进行拼接。

正如上文所提到的那样,这种拼接方法并不总是完美的,并且可能会导致可见的缝隙或3D伪影,因为部分场景的景深数据并不正确。考虑到这一点,Jaunt才转向了接下来要说的光流拼接法。

2.2.2、光流

Jaunt目前就在使用并优化光流算法,作为Jaunt云服务的在线拼接平台的基础,支持Jaunt ONE和诺基亚OZO相机。

光流是一项已经应用于电脑图形领域有一段时间的技术。它有很多的应用领域,包括运动的估算、跟踪、相机的创建、蒙版的创建,以及立体视差的生成。作为核心,光流算法会计算场景中每个像素的移动,并且通常是一帧一帧地对拍摄的内容作出基于时间的分析。

比如,在拼接一个立体全景图像时,流图会被用来跟踪那些相邻的相机所拍摄到的独特的像素,比如场景中出现的视觉元素。通过将此技术与现有的相机所拍摄的几何结构和镜头特征相结合,就会让判断相邻相机所拍摄的每个像素的距离变为可能。同时也能生成一个整个场景的差异(景深)分布图。

这个差异分布图可以用来在拍摄360°的立体3D内容时,插入分别针对左眼和右眼的虚拟相机。这种技术能够提供更好的景深感知,同时产生更少的伪影,并且缝隙可以忽略不计。然而,这种方法并不是完美的,一些错误也会出现在流图的生成过程中,或者可能会在一个或多个相机被物体挡住时,产生盲点。在这种情况下,需要对被挡住的部分进行估计,并且这些物体周围会产生名为“光晕”的伪影。

通常,物体离相机越近,相邻的相机就越难以看到相似点,这就会导致更加繁杂的估算和更大的光晕伪影。想要了解更多信息可查看下方的“避免伪影”和“物距”部分。

不幸的是,目前的算法想要完全估算出所有的错误基本上是不可能的,所以就需要后期制作来修正这些问题。想要了解更多信息可查看下方的“后期制作”部分。

2.2.3、实时拼接

实时拼接使用了类似上面的方法,但很明显的是,这些处理过程必须实时进行,这样才能实时传输360°图像。目前仅有极少数产品能够做到实时拼接,或者说能够做好实时拼接。大部分此类设备要么不是真正的360°,而是180°,要么是单视场而非立体3D画面。

目前可用的一个方案是VideoStitch,可以让你通过该公司的Vahana VR产品做到单视场实时拼接,并且他们的立体3D实时拼接技术也即将到来。作为一款软件解决方案,它可以支持很多类型的相机设备。在VideoStitch官网可以获得更多信息。

许多的实时拼接解决方案都是对应上述的mirror rig类相机,因为此类相机的设备可以允许更加简单快速的拼接。Fraunhofer OmniCam就是这样一款产品,目前已经有两个型号,一个型号支持单视场拍摄,另一款可以支持3D 360°串流的实时传输。可以在上面的mirror rigs部分了解更多信息。

2.2.4、避免伪影

上面介绍的这些相机方案和算法都有各自的特性,但在拼接时都会或多或少地产生伪影。几乎所有的算法都会产生不同种类的让人生厌的伪影。如果场景拍摄正确的话,这个问题出现的概率是可以降低的。所以,你的确值得在调查和测试上花费一些时间,来检测相机和算法的关联是否合适。

这里我们以Jaunt ONE相机及其使用的基于光流的拼接算法为例,我们有时会在移动的物体或离相机太近的物体周围看到恼人的光晕。这种问题通常由于进行拼接时,光流算法在寻找相邻相机拍摄的相似像素时比较费力所造成的。如果一个人站在室外非常明亮的物体面前,算法就很难分辨不同的像素,因为所有这些像素的值都与物体的像素基本相似,而且在这个场景中没有细节信息。

同样的,如果有很多看起来完全一样的点,你也会遇到这样的问题。如果一个人站在有着规则的纵向直线的报纸面前,光流算法就很难分辨出很多看起来完全一样的点该如何匹配。

解决办法是,将你要拍摄的物体与背景区分开,以保证没有像上文所说的报纸那样,出现相似的重复细节。或者调低相机的曝光来降低亮度,以获取更多的图像信息,利于算法识别图像。

如果要拍摄的物体离相机太近的话,也会出现这样的问题。如果物体离得太近,一台相机可能会看到场景中的细节,但这些细节或许在相邻的相机所拍摄的场景中被这一物体被挡住。这样一来,算法是没有办法“绕着观看”这个物体,来完成像素的比对。围绕着这个物体的周边区域就会出现光晕,而且由于一帧一帧地进行拼接,这个让人头大的问题又会不断出现。

解决这个问题的办法很简单,把要拍摄的物体往后移动。对于Jaunt ONE相机来说,要拍摄物体的最近的安全距离在4-6英尺(约1.2-1.8米)。

算法正在变得越来越智能,如果没有被淘汰的话,我们期待着伪影在不久的将来能够越来越少。就目前而言,虽然你可能无法彻底消除伪影,但你可以通过花时间思考算法的拼接过程,同时适当控制拍摄的曝光来大幅减少伪影问题。

2.2.5、分辨率

我们来谈谈分辨率问题。VR相机中所使用的大多独立的相机模块都是GoPro、计算机视觉相机或者像Jaunt ONE所采用的定制模块。通常其分辨率都是HD(1920*1080)或2K(2048*1556)级别的。当这些图像被拼接在一起之后,很明显,会组成一个分辨率更高的全景图。

以Jaunt ONE相机为例,它可以创作出高达12K分辨率的图像。使用今天的技术来处理这样尺寸的图像完全是不切实际的。就在几年前,整个行业还在忙于应对HDTV或2K级的图像。很快,这个行业迎来了立体3D,超高清UHD和4K、高动态对比度HDR、广色域、高帧率HFR等等图像技术,每种技术都有成倍提升数据量的潜力。

在以前,这些技术都曾遇到过瓶颈,现在我们又迎来了VR,而VR需要把上面这些技术都结合起来,并且我们现在就需要使用这些技术。但是使用现有的技术,要在后期制作中处理如此大的文件几乎是不可能的。即使是最强悍的CPU和GPU也无法做到。考虑到这一点,Jaunt目前将输出的分辨率限制在3840*3840,并且提供左/右格式的立体3D画面,帧率为60fps。

即使是这种体量的文件,在后期处理时也很费力,并且需要足够强悍的设备来进行如此高分辨率和帧率的画面合成、编辑、色彩较准和CGI工作。并且,虽然我们可以压缩下最终文件以分发给消费者,世界各地的带宽又各有差异,也是一个问题。

最后,最大的瓶颈在于最终播放设备。虽然你一直想对于这种全新的媒体保持前瞻性,但你必须要知道,目前所有的主流头显,比如Oculus Rift、HTC Vive和PSVR目前的分辨率仅有单眼1K。这种情况当然会逐步改进,但是,你需要平衡下人们对更高分辨率的渴求和实际情况。技术会随着时间逐步提升,我们也将可以提升图像的分辨率和保真度。

最初发布于2017年2月10日

Jaunt VR电影拍摄指南中文版 第一章

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。首先为大家带来的是该指南的第一章,主要讲述了虚拟现实的两大类型、VR电影的基础知识等等。

1、虚拟现实基础知识

据维基百科,虚拟现实是一种计算机技术,可以复制真实的或想象中的环境,并且可以模拟用户的临场感,用户可以与其环境互动。在电脑或者手机上,这通常意味着屏幕上呈现的视觉内容和扬声器或耳机呈现的听觉内容。可供触摸或可提供反馈的设备也正在涌现,提供嗅觉和味觉的设备还需要一段时间。

对于任何形式的虚拟现实来说,其关键都是临场感和沉浸感。正是这些使其区别于以前的其他媒体,并且能够把素材创作出一种强烈的情感联系。Chris Milk是早期的VR电影导演之一,他经常引用一个观点,称虚拟现实为“共情机器”。

1.1虚拟现实的种类

虚拟现实有两个基本的阵营-电影级虚拟现实和基于游戏引擎的虚拟现实。区别在于生产手段、回放方法、真实度以及互动内容的多少。

1.1.1 什么是基于游戏引擎的虚拟现实

很长时间以来,当人们想到虚拟现实时就会想到这一种。这是由3D CG游戏引擎实时生成的电脑图形,比如Unity或Unreal。这些内容被生成之后,可以使用特制的头戴显示器(头显)比如Oculus Rift或HTC Vive,这些头显包含运动跟踪功能,用户可以在虚拟现实中走动,感觉就像是真的一样。

这种虚拟现实同样适用于高互动性的内容,可以使用提供手部跟踪控制的Rift和Vive,可以让你拿起并移动物体,比如挥舞一把剑,开枪射击,或者和整个环境进行互动。感觉很像是自己进入了一场游戏。

并不能说第一批VR头显主要针对重度游戏玩家,就意味着这种技术仅仅是为了游戏而开发。游戏引擎也可以用来创作互动电影或音乐视频,就像是创作游戏那样。因为它们尤其擅长创作出完全不像现实生活的世界。

1.1.2 什么是电影级虚拟现实?

Jaunt专注于电影级虚拟现实。下面就是一段360度电影,使用一台全景摄像机系统,可以作为一个圆柱投影那样进行回放,并且允许观众随着剧情的展开而四处观看。圆柱投影是一个非常好地展示场景的方法。根据摄像系统和拼接步骤的不同,其中的场景可以是单视场的(扁平)或者立体的(3D)。

现在你已经了解到,在电影级虚拟现实中你可以看到非常真实的场景,而在由游戏引擎在电脑上生成的虚拟现实中则不会这样。同时,这些场景在拍摄过程中还会使用空间音频麦克风,来让声音听起来就像真的一样。如果你听到你的右边有条狗在叫,并且转头看左边,你会看到有一条狗就在声音传来的地方。感觉就像是进入了电影场景中一样。

但并不像基于游戏引擎的虚拟现实,在电影级虚拟现实中你无法自由地在场景中移动,除非在你移动的同时,摄像机也随着移动并进行拍摄。随着新的摄像系统的采用和新技术的逐步开发,今后你也将可以在拍摄的场景中进行四处走动。在下文中的“VR摄像机的种类”章节中可以了解更多信息。

虽然电影级虚拟现实并不像完全基于游戏引擎的虚拟现实环境那样充满互动性,你仍然可以为其添加互动元素。以《Choose Your Own Adventure》为例,其中就包含凝视检测、可互动的叠加和界面、声音或图片的触发、手势、甚至加入完整的CG内容也是可以的。

所有这些将会构成一种全新的媒体,这是一个我们刚刚开始意识到其潜力的空白的画布。VR领域的杀手级应用将会融合了电影、游戏和互动影院。现在,我们还在带妆彩排阶段,一切皆有可能。即使是区区五年之后,VR内容也会与今天的截然不同。

1.2、立体vs单视场VR

VR影片素材既可以是单视场3D,也可以是立体3D。单视场的素材是扁平的,并没有景深数据,在360°的可视范围内都是以同样的景深被投射的。当然,你同样可以转动头部,四处观看这个场景,但没有任何的东西会变得离你近一些,只会变得大一些而已。这就像是普通的2D电影中的特写镜头,和3D电影中那些东西会逼真地离你越来越近,并且从屏幕中跳出来所形成的对比一样。

而在360°立体3D影片中,你将获得完整的每个方向的3D观看体验,其中的物体也会真正地离观众越来越近。这会产生更加逼真地、更具沉浸感的感觉,就像是我们在现实生活中所经历的一样。想象一下在VR中拍摄一只水下的鲨鱼的情景。为了达到最大的视觉冲击效果,你会希望观众感受到鲨鱼正在离自己越来越近,并且每个观众都能有此感受。使用立体3D技术,你可以达到此种效果,而是用单视场的话,虽然鲨鱼仍然来势汹汹,但它不会离你越来越近,你将会丢失临场感和沉浸感–当然还有恐惧感。

无论在哪儿,你都应该尽力去尝试拍摄完整的360° 3D内容。但是,为什么并不是所有人都在这样做呢?你可能会想到,这种拍摄需要的设备更加昂贵,而且拼接过程更加复杂,如果没有大量的后期工作和资金投入的话,也不会获得好的回报。Jaunt推出的Jaunt ONE摄像机和Jaunt云服务(JCS)就是为了简化这些程序,最大限度地自动化整个过程。

你可以在Jaunt云服务文档中获取更多信息。

还需要说明的是,并不是每个场景或镜头都缺失需要在3D中拍摄,当然了,也不一定都能做到在3D中拍摄。目前,只有极少数几款360°拍摄设备可以用于水下拍摄。而且由于防水设备的限制,更难以把3D拍摄设备装在其中,所以通常会使用较小的单视场设备。在下文的“水下拍摄”部分可以获得更多信息。

同样,在汽车内进行拍摄时,会受到车内空间的限制,其中的物体会距离很近,这时通常使用一个较小的GoPro式的拍摄设备,并且采用单视场来拼接素材,会获得比较好的拍摄效果。大部分的相机都有最小物距的要求,你必须遵守,这样才能拼接出质量较高的作品,而且在3D拼接时,这一物距的要求会更大。如果你想要离拍摄的物体很近的话,尽量选择单视场的拍摄方法。在下文的“物距”部分可以获得更多信息。

类似的,如果使用无人机的话,重量也是一个问题。所以,在很多情况下,我们还是要使用一个更小的,更轻便的GoPro类设备,并且拼接单视场的素材。在很多情况下,拍摄地会离地面非常远,你也无法获得足够的立体视察,而且观众们也几乎察觉不到。

无论是哪个已经推出的作品,其中的大部分内容都是完整的360° 3D手法拍摄的,其中也有些许画面,比如上面这些情景是使用更小的、更轻便的GoPro设备进行拍摄,并且在单视场中拼接的。如果处理正确并且使用的时机很得当,你的观众们或许不会察觉。

1.3、360°视频

当我们谈论360°视频时,我们必须要澄清一件事。那就是它和VR有什么区别?为了让人们了解VR,并且充分利用现有的重度使用的平台,许多公司,尤其是Facebook和谷歌旗下的YouTube都已经在推广360°视频。这是你可以用浏览器在网页中观看的视频,并且 可以使用鼠标拖动画面,或者在手机APP中,通过把手机移动或旋转来达到同样的效果。

同样,我们的Jaunt手机端和web端应用也可以做到这一点,对于那些暂时无法使用或手上没有VR设备的用户来说,也可以在3D中体验到这些内容。像是Facebook这样的品牌和公司之所以喜欢360°视频,是因为这可以帮助他们撬动所有人都在使用的平台上巨大的用户群体。

然而,要称其为虚拟现实,我们必须要谨慎。如果太多的用户都认为这就是虚拟现实的话,他们或许会认为,他们已经真正地体验过了虚拟现实–并且包含3D中的临场感和沉浸感,以及空间音效–但却并没有多深的印象。我们必须要明确区分360°视频和真正的VR,并且使用前者来激活观众们,让他们体验后者。或者像是3D电视那样,让VR也经历快速的死亡。

而这,也就让我们来继续思考真正地虚拟现实内容的需求到底是什么。

1.4、VR的最低需求

你可以和100个人去谈论虚拟现实的必要条件,但会获得非常多的答案。既然我们在寻找最大限度的沉浸感和临场感–也就是真正身临其境的感觉–Jaunt提出四点最低需求:

360°圆柱投影图像–这是一个你可以上下左右360°观看的场景。有些摄像设备则是采用了180°的特制的相机来进行在线直播,这样可以减少带宽需求,降低拼接的复杂程度。但是,当你看向身体后方时,你会直接离开这个场景。通常为了减少这种身后只有黑色背景的情况,会插入一张图片,比如节目的宣传海报,比赛的比分情况等等。

立体3D–这是比较有争议的需求之一,因为今天很多人都在拍摄单视场的内容,毕竟这种内容在捕捉和拼接时都会更便宜且更简单。然而,想要真正获得临场感–身临其境–也就是VR真正特别的地方,你真的需要尽量拍摄立体3D内容。立体3D就是我们在现实生活中所看到的那样,并且在VR中也同样重要。

空间3D音效–声音是任何电影类产品中极为重要的一部分。它不仅能够提升沉浸感,同时也是像运动和光线那样的仅有几个线索之一,可以用来获得观众对重要事件的注意力,因为观众们可能在看任何地方。捕捉空间音频可以增强你的临场感。

在头显中观看–最后,如果你没有真正的观看方式的话,上面这些都是没用的。虽然经常会有给没有设备的观众创作的360°视频,并且允许你拖动画面。但这种视频并不能看到3D效果,也不能提供空间音效回放。为了达成完整的体验,你真的必须要用合适的头显设备。好消息是,你不一定要购买Oculus Rift或HTC Vive这样的昂贵的设备。市场上还有很多非常便宜甚至是免费的产品可供选择,这些产品会让你目不暇接。

1.5、头显的种类

市面上有很多不同类型的头显设备,它们在价格和性能上的差异也非常大。从非常简单的谷歌Cardboard,到三星Gear VR,再到Oculus Rift和HTC Vive。就像手机和那一套集成电路组件那样–其中包含陀螺仪、加速度计、小型高清屏幕–正是这些复活了曾经的虚拟现实,让Palmer Luckey创作出了首个Oculus头显。手机是这些产品的基础,甚至是高端的Rift和Vive的基础。

较高端的头显可以提供全身的追踪,其中还有些包含了手部控制器,可以提供“房间规模”VR系统,让用户四处走动,并且和环境进行互动。但仅仅使用你的手机加上简单的透镜,也就是Cardboard或塑料外壳的产品也可以让你获得惊人的体验。随着手机生厂商在头显中集成更好的VR子系统,这种体验会变得越来越好。

头显设备的清单还在急速扩充,你可以在网上查询到此类设备的信息。

最初发布于2017年1月23日