Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》，为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章前半部分，主要讲述了VR相机的类型和几种常见的拼接方法等等。
2、相机
在这部分中，我们来讨论你将会遇到的各种各样的VR相机，在VR电影拍摄过程中的一些陷阱是你必须要知道的，并且要了解如何避免这些陷阱。比如说安装和组合方法、clean plates的重要性，水下拍摄的问题和VR航拍的问题等等。
2.1、VR相机的类型
目前我们有很多类型的相机系统可以用来拍摄VR内容，并且这一领域也在逐渐扩张。每一款相机都有自己的优势和不足，下文中我们将介绍其中主要的几个种类。除这些之外还有其他很多种全景相机设备，但我们并没有提到它们，因为此类设备无法用于视频拍摄，比如栅缝扫描摄像机。如果可能的话，能够根据自己的需求去尝试每一种相机将会是极好的。
2.1.1、全景相机
这类相机系统通常是受到飞行昆虫的启发，其中包含多个单独的摄像头模块，并且被组装成一个球形、屋顶形或者其他形状。“Panoptic”这个单词来源于希腊神话中的百眼巨人阿耳戈斯，即“Panoptes”。他是一个有着一百只眼睛的巨人。Jaunt的相机系统，包括Jaunt ONE，就属于这一类。
这是到目前为止最流行的VR相机类型，许多公司都涌进这一领域，设计出轻量级的相机支架，来支持多个现成可用的相机模块–通常是GoPro。由于GoPro足够轻便，并且相对来说不是那么贵，已经被证明是行之有效的组装VR相机设备的相机模块。实际上，Jaunt的首个相机产品，即GP16，就包含16台GoPro，组合安装在一个定制的3D外壳里。
然而，使用基于GoPro的相机系统会出现很多问题，包括图像质量问题、散热问题、最重要的是，缺乏同步机制。在拍摄VR内容时，保证你所有的相机模块能够同步是极为重要的。只有这样，重叠部分的图像才能够精确匹配，并且在后期制作中可以很容易地进行拼接。虽然使用简单，但是GoPro相机并没有内建的同步能力，即使在后期处理过程中根据声音和视觉的线索做好了同步，也会随着时间的推移而出现偏差。
当然这并不是说要摒弃GoPro相机。仅仅是它能够组成很多不同类型的VR拍摄设备这一事实，就足以称之为一个壮举。但是它最初并不是为了为了这一任务而设计的，而且其缺陷也逐渐暴露了出来。
Jaunt接下来继续努力开发了内建26个定制相机模块的Jaunt ONE，可以提供四倍大的传感器尺寸，在弱光环境下的表现也更好，可调十一个档位的更高的动态对比度，更好的色彩还原，可以防止快速移动物体导致的画面撕裂的全局快门，当然还有最重要的可同步的相机模块。
现有的任何相机系统的多相机模式就是为了提供图像的重叠。你需要足够多的相机来提供图像间有效的重叠，重叠部分大概要占到15-20%，这是为了把临近的帧适当地拼接起来–如果你想要提供立体拼接的话，你还需要更多的相机。你的系统中有更多的相机，图像之间就会有更紧密的联系，这样在拼接过程中就能提供更小的物距，可以让物体更加接近。在下文的“拼接步骤”和“物距”部分可以获得更多信息。
2.1.2、Mirror Rigs
另一个比较常见的全景360°相机是mirror rig。这种设备基本上是多台相机放置在一个原型框架里，镜头向上拍摄那些以一定角度安放的朝向外侧的镜子中的影像。此类产品有一个很好的例子，便是Fraunhofer OmniCam。
这些设备可能是单视场的，也可能是立体的，由于其中包含了镜子，通常比其他种类的全景拍摄设备要更大更重。但是此类设备还有一个很大的优点，就是这些镜子可以让相机拍摄到镜子中的虚拟节点，这会造成最小限度的视差，甚至还可能没有视差。这会让拼接变得非常简单，而且基本上不会产生伪影。
由于这个原因，许多此类相机设备支持实时拼接和实时的360°图像传输。使用两个相机拍摄每个镜子中的影像，你可以进行无缝的立体拼接。此类设备主要的缺陷还是尺寸和重量的问题，并且在进行实时拼接时，必须要连接到相当强大的电脑上。
2.1.3、鱼眼
许多消费级的全景相机都是此种产品。因为他们相对来说很便宜，小巧，轻便，并且通常在相机内部就可以很容易地拼接。有的产品使用了一个镜头，比如柯达的360度运动相机。还有每个镜头可以拍摄180度的双镜头方案，比如理光的Theta，通过将两个镜头拍摄的内容拼接在一起，可以捕获完整的360度场景。
虽然它们使用起来很方便，并且很容易进行拼接，但是此类相机的拍摄质量相对要低。许多此类产品还可以串流到iPhone或者安卓设备上，使其很适合用作远程监控用途，如果你的VR相机不提供此功能的话，可以考虑使用此类设备。在下文的“在线预览”部分可以获得更多信息。
当然，还有针对专业消费者的此类相机，它们通常具有更大的镜头和传感器。不幸的是，所有此类设备只能生产出单视场图像，并不是立体3D图像，降低了用于VR时的沉浸感。
2.1.4、光场相机
光场相机是最近才来到全景拍摄市场上的新技术。虽然它代表着虚拟现实电影拍摄的未来，但其实际使用还是有些遥不可及。这类设备并不是通过镜头收集光线，并且投射在传感器上。而是包含了数百个极小的微型镜头，可以捕捉到每个可能的方向传来的光线。
这种设备可以在后期制作时做出一些非常惊艳的事情，包括在佩戴头显的时候通过摆动头部来切换视差，重新聚焦图像，生成景深数据和立体3D数据，以及在不使用绿幕的情况下进行抠像。
光场相机首次被消费市场熟知是由于Lytro Illum静态相机。最近，Lytro进入了专业视频领域，推出了用于VR的Lytro Cinema和Lytro Immerge两款产品，你可以在Lytro官网上查看更多信息。
大部分用于拍摄视频的光场相机并没有像静态光场相机那样使用微型镜头阵列，而是使用了非常多的相机模块，并且安装在网格或球形结构中。通过一些奇特的处理方法，这些多重视频串流信号可以被打包成一个经过压缩的光场格式，你可以在视频播放的时候在其中走动–虽然会有些受限。
你的运动范围会限制在与圆形场地直径相当的范围内，或者是布置这些相机的网格的宽度范围内，也就是取决于其拍摄场地的大小。虽然你不能在屋里随意走动，但是你可以移动头部，并且看到不断变化的视差，这可以帮助你最小化VR中会遇到的晕动症。
不幸的是，这些相机在实际拍摄中的使用是受限的，因为它们需要一个很大的计算机阵列与相机系统链接，来进行数据的捕捉和处理。另外，光场电影串流虽然是被压缩过的，但对于处理、下载来说还是太大了。以今天的带宽水平，串流将会是极为困难的。
虽然目前拍摄光场影像是很困难的，但是可以使用oToy的技术来以CG的形式对其进行渲染。你可以在oToy的官方网站上找到描述全息或光场视频渲染的演示视频。
2.1.5、摄影测量法
为了能够全面了解VR内容的拍摄，你需要彻底改变你的想法，从目前的“由内而外”的方法论转变为“由外而内”的视角。也就是说，并不是用一个所有相机都向外拍摄场景的阵列来进行拍摄，而是用一个全部向内的相机阵列来环绕整个场景。
微软曾经为其增强现实头显HoloLens开发了一种基于视频的摄影测量法，主要是为了创作全息视频。该技术名为“自由视点视频”。一组相机阵列环绕在绿幕舞台周围，从不同的角度捕捉视频，接下来使用先进的摄影测量法来创作出全3D的网格，其中还包含场景中所有物体的投影映射纹理信息。微软的这项技术使用了先进的网格镶嵌、平滑的网格还原以及压缩技术，来创作出你真正可以在其中走动的VR或AR场景。
更多关于该技术的信息可以在微软官网查询。
另一家探索该领域的公司是8i。他们使用了类似的相机阵列，来捕捉他们所说的容积视频，并存储为一个拥有专利技术的光场格式。这项技术并不会创作出完整的CG网格(当然这也是一个选项)，但同样允许你在场景中随意走动，或者从任何角度进行观察。更多关于该技术的信息可以在8i官网查询。
无论采用了何种技术或方法，先进的实时摄影测量技术将会在不远的将来成为一项重要的视频捕捉技术，使用该技术，可以让你完全沉浸在任何场景中。随着技术的进步和成本的降低，消费者们可以以前所未有的方式连接全息视频和真实环境。
2.2、拼接方法
当你使用360°相机拍摄完场景之后，你需要将所有这些相机拍摄的单独的画面进行拼接，以创作出一个单独的、无缝的360°球形图像。要想创作出没有视觉可见的缝隙或伪影的图像是VR内容拍摄过程中最难的工作之一，并且也是最浪费时间的工作之一，特别是在创作3D图像时更是如此。
Jaunt的云服务JCS已经将这一过程简化成了近乎自动的过程，目前已经支持Jaunt ONE和诺基亚OZO相机。下面我们列举了多种拼接方法，Jaunt在此之前已经尝试过其中一些方法，但就目前而言，光流是能够提供最佳的无缝3D拼接效果，并且人工干预最少的方法。
2.2.1、几何方式
几何方式的拼接是目前大多数现成的拼接工具所使用的方法，比如Kolor Autopano，并且是在Jaunt的GP16相机上首次使用的拼接方法。使用这种方法，在拍摄时由镜头产生的每张图像中的桶形失真都会被修正，图像会根据其中的相似点来排列，然后被平滑地融合在一起。这种方法可以创作出完整的360°*180°展开状圆柱投影球形图像。
在立体3D中进行拼接要更加困难，并且需要在环境中先创作一对虚拟的立体相机，以此来使用图像中的每一个切片提供左眼和右眼的观看效果，才能进行拼接。
正如上文所提到的那样，这种拼接方法并不总是完美的，并且可能会导致可见的缝隙或3D伪影，因为部分场景的景深数据并不正确。考虑到这一点，Jaunt才转向了接下来要说的光流拼接法。
2.2.2、光流
Jaunt目前就在使用并优化光流算法，作为Jaunt云服务的在线拼接平台的基础，支持Jaunt ONE和诺基亚OZO相机。
光流是一项已经应用于电脑图形领域有一段时间的技术。它有很多的应用领域，包括运动的估算、跟踪、相机的创建、蒙版的创建，以及立体视差的生成。作为核心，光流算法会计算场景中每个像素的移动，并且通常是一帧一帧地对拍摄的内容作出基于时间的分析。
比如，在拼接一个立体全景图像时，流图会被用来跟踪那些相邻的相机所拍摄到的独特的像素，比如场景中出现的视觉元素。通过将此技术与现有的相机所拍摄的几何结构和镜头特征相结合，就会让判断相邻相机所拍摄的每个像素的距离变为可能。同时也能生成一个整个场景的差异(景深)分布图。
这个差异分布图可以用来在拍摄360°的立体3D内容时，插入分别针对左眼和右眼的虚拟相机。这种技术能够提供更好的景深感知，同时产生更少的伪影，并且缝隙可以忽略不计。然而，这种方法并不是完美的，一些错误也会出现在流图的生成过程中，或者可能会在一个或多个相机被物体挡住时，产生盲点。在这种情况下，需要对被挡住的部分进行估计，并且这些物体周围会产生名为“光晕”的伪影。
通常，物体离相机越近，相邻的相机就越难以看到相似点，这就会导致更加繁杂的估算和更大的光晕伪影。想要了解更多信息可查看下方的“避免伪影”和“物距”部分。
不幸的是，目前的算法想要完全估算出所有的错误基本上是不可能的，所以就需要后期制作来修正这些问题。想要了解更多信息可查看下方的“后期制作”部分。
2.2.3、实时拼接
实时拼接使用了类似上面的方法，但很明显的是，这些处理过程必须实时进行，这样才能实时传输360°图像。目前仅有极少数产品能够做到实时拼接，或者说能够做好实时拼接。大部分此类设备要么不是真正的360°，而是180°，要么是单视场而非立体3D画面。
目前可用的一个方案是VideoStitch，可以让你通过该公司的Vahana VR产品做到单视场实时拼接，并且他们的立体3D实时拼接技术也即将到来。作为一款软件解决方案，它可以支持很多类型的相机设备。在VideoStitch官网可以获得更多信息。
许多的实时拼接解决方案都是对应上述的mirror rig类相机，因为此类相机的设备可以允许更加简单快速的拼接。Fraunhofer OmniCam就是这样一款产品，目前已经有两个型号，一个型号支持单视场拍摄，另一款可以支持3D 360°串流的实时传输。可以在上面的mirror rigs部分了解更多信息。
2.2.4、避免伪影
上面介绍的这些相机方案和算法都有各自的特性，但在拼接时都会或多或少地产生伪影。几乎所有的算法都会产生不同种类的让人生厌的伪影。如果场景拍摄正确的话，这个问题出现的概率是可以降低的。所以，你的确值得在调查和测试上花费一些时间，来检测相机和算法的关联是否合适。
这里我们以Jaunt ONE相机及其使用的基于光流的拼接算法为例，我们有时会在移动的物体或离相机太近的物体周围看到恼人的光晕。这种问题通常由于进行拼接时，光流算法在寻找相邻相机拍摄的相似像素时比较费力所造成的。如果一个人站在室外非常明亮的物体面前，算法就很难分辨不同的像素，因为所有这些像素的值都与物体的像素基本相似，而且在这个场景中没有细节信息。
同样的，如果有很多看起来完全一样的点，你也会遇到这样的问题。如果一个人站在有着规则的纵向直线的报纸面前，光流算法就很难分辨出很多看起来完全一样的点该如何匹配。
解决办法是，将你要拍摄的物体与背景区分开，以保证没有像上文所说的报纸那样，出现相似的重复细节。或者调低相机的曝光来降低亮度，以获取更多的图像信息，利于算法识别图像。
如果要拍摄的物体离相机太近的话，也会出现这样的问题。如果物体离得太近，一台相机可能会看到场景中的细节，但这些细节或许在相邻的相机所拍摄的场景中被这一物体被挡住。这样一来，算法是没有办法“绕着观看”这个物体，来完成像素的比对。围绕着这个物体的周边区域就会出现光晕，而且由于一帧一帧地进行拼接，这个让人头大的问题又会不断出现。
解决这个问题的办法很简单，把要拍摄的物体往后移动。对于Jaunt ONE相机来说，要拍摄物体的最近的安全距离在4-6英尺(约1.2-1.8米)。
算法正在变得越来越智能，如果没有被淘汰的话，我们期待着伪影在不久的将来能够越来越少。就目前而言，虽然你可能无法彻底消除伪影，但你可以通过花时间思考算法的拼接过程，同时适当控制拍摄的曝光来大幅减少伪影问题。
2.2.5、分辨率
我们来谈谈分辨率问题。VR相机中所使用的大多独立的相机模块都是GoPro、计算机视觉相机或者像Jaunt ONE所采用的定制模块。通常其分辨率都是HD(1920*1080)或2K(2048*1556)级别的。当这些图像被拼接在一起之后，很明显，会组成一个分辨率更高的全景图。
以Jaunt ONE相机为例，它可以创作出高达12K分辨率的图像。使用今天的技术来处理这样尺寸的图像完全是不切实际的。就在几年前，整个行业还在忙于应对HDTV或2K级的图像。很快，这个行业迎来了立体3D，超高清UHD和4K、高动态对比度HDR、广色域、高帧率HFR等等图像技术，每种技术都有成倍提升数据量的潜力。
在以前，这些技术都曾遇到过瓶颈，现在我们又迎来了VR，而VR需要把上面这些技术都结合起来，并且我们现在就需要使用这些技术。但是使用现有的技术，要在后期制作中处理如此大的文件几乎是不可能的。即使是最强悍的CPU和GPU也无法做到。考虑到这一点，Jaunt目前将输出的分辨率限制在3840*3840，并且提供左/右格式的立体3D画面，帧率为60fps。
即使是这种体量的文件，在后期处理时也很费力，并且需要足够强悍的设备来进行如此高分辨率和帧率的画面合成、编辑、色彩较准和CGI工作。并且，虽然我们可以压缩下最终文件以分发给消费者，世界各地的带宽又各有差异，也是一个问题。
最后，最大的瓶颈在于最终播放设备。虽然你一直想对于这种全新的媒体保持前瞻性，但你必须要知道，目前所有的主流头显，比如Oculus Rift、HTC Vive和PSVR目前的分辨率仅有单眼1K。这种情况当然会逐步改进，但是，你需要平衡下人们对更高分辨率的渴求和实际情况。技术会随着时间逐步提升，我们也将可以提升图像的分辨率和保真度。
最初发布于2017年2月10日