美国空军中将的担忧:在人工智能上 美国已经落后于中国

近日美国空中一位中将表示,中国在人工智能技术领域的大量投入,将很快把美国甩在后面,使美国处于不利地位。

“在数字时代,速度是发展的根本,”VeraLinn “Dash” Jamieson中将说道。她是五角大楼空军参谋部负责智能、监控和侦查(ISR)的副参谋长。

她描绘了一幅可怕的画面:当俄罗斯有想要用AI作一些雄心勃勃的实验的想法时,中国已经有了这些手段。

比如,中国正在积极努力想要成为AI技术的全球领导者,比如以军民合作的形式创建数字化的人工智能城市,以了解AI技术能够如何被复制和应用。这些城市通过人工智能的面部识别软件跟踪人们的行动,监控着生活在其中的市民的每个举动。

“据我们估计,在2017年,中国在人工智能系统方面的投入总额达到了120亿美元。我们预计,到2020年,这一数字将会达到至少700亿美元,”Jamieson在空军协会的一次早餐上说道。

“你可以对比下我们的投入和中国的投入,”她补充道。

五角大楼中的每一个军事部门都在不同程度地推动着AI的发展,不过其投入规模仅有数十亿美元。

根据独立调研机构Govini的数据,五角大楼在2017财年在新兴技术研究上花费了大约740万美元,而AI在其中占比仅有大约33%,这些花费还包括量子计算和大数据分析,以及其他的信息技术研究。

因为美国空军在过去的二十年间一直都在大力投入反恐作战,“我们并没有纵观全局,来思考并且创建和开发一个高端的战略,我们只看到了我们今天正在面对的战争,”Jamieson说。“今天我们的[智能、监控和侦查]能力还不足以应对国防战略中提出的发展意图所带来的挑战。”

Jamieson正在推动着美国空军的智囊团以不同的方式来思考它该如何行使自治权。比如,他们正在从讨论一个单独的、先进的武器到更广泛地讨论要发展新兴技术,必须要网络先行。

她还重申了与去年相似的评论,Jamieson表示,她的目标在于使用AI从数百万的智能数据点和传感器整合数据点中筛选数据,比如可视或可听传感器的数据,给予空军需要实时做出的决策,这能在实际的战场或虚拟战场中帮助他们。

“我们的确需要我们的分析人员来协调这些数据,以获得更高质量且更快的决策,”她说道,并且还补充说“我们必须构建下一代的ISR(智能、监控和侦查)能力,使我们能够从冲突的全局高度占据决策上的优势。”

Jamieson还推动了一项文化的变革,在此之前美国空军一直在纠结于这一问题,即如何从人力密集型的处理方式调整到利用机器学习和人工智能的处理方式。处理过程将会由数据开始,到数据分析和机器智能,再到人机合作,她说。

“军工企业和空军将会被要求提升ISR的质量和数量,同时能够保持胜任各种军事行动。我们将会共同推进这些研究,”她说道。

Jamieson还说这项研究决不能仅仅将大数据收集作为一个信息来源。“数据就是武器,并且我们每个人都需要以这样的看法来对待数据。”

基于此,目前的空军和未来的空军都需要“被释放,”她补充道。

今天的美国空军要真正地理解真实世界和虚拟世界的融合,这对于应对下一场面对俄罗斯或中国的战争来说,是非常必要的,她说。

Jamieson说在最近几个月,她约见了一些能够通过编码技术整合来自各种不同平台的数据的空军官兵。

“来自第480 ISR联队的空军官兵们意识到,他们在最喜欢的游戏能够被用于培训,这款游戏可以支持大约55名用户之间的实时协作,以完成一项任务。”她说道。

这些空军官兵创建了一个低成本的军用版本,名为Sentinel Sim。Jamieson表示,如果是由空军来开发,或者外包开发的话,可能会花费数百万美元。

而在今天,这个游戏已经被用于实际任务训练场景。

美国空军、军工企业和五角大楼已经成为了一个整体,“现在这已经成为了一项团体运动,”Jamieson说。“并且我们必须这样看待它。”

最初发布于2018年9月3日

原文链接:https://www.military.com/defensetech/2018/07/30/china-leaving-us-behind-artificial-intelligence-air-force-general.html

Jaunt VR电影拍摄指南中文版 第二章 相机(上)

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。这次为大家带来的是该指南的第二章前半部分,主要讲述了VR相机的类型和几种常见的拼接方法等等。

2、相机

在这部分中,我们来讨论你将会遇到的各种各样的VR相机,在VR电影拍摄过程中的一些陷阱是你必须要知道的,并且要了解如何避免这些陷阱。比如说安装和组合方法、clean plates的重要性,水下拍摄的问题和VR航拍的问题等等。

2.1、VR相机的类型

目前我们有很多类型的相机系统可以用来拍摄VR内容,并且这一领域也在逐渐扩张。每一款相机都有自己的优势和不足,下文中我们将介绍其中主要的几个种类。除这些之外还有其他很多种全景相机设备,但我们并没有提到它们,因为此类设备无法用于视频拍摄,比如栅缝扫描摄像机。如果可能的话,能够根据自己的需求去尝试每一种相机将会是极好的。

2.1.1、全景相机

这类相机系统通常是受到飞行昆虫的启发,其中包含多个单独的摄像头模块,并且被组装成一个球形、屋顶形或者其他形状。“Panoptic”这个单词来源于希腊神话中的百眼巨人阿耳戈斯,即“Panoptes”。他是一个有着一百只眼睛的巨人。Jaunt的相机系统,包括Jaunt ONE,就属于这一类。

这是到目前为止最流行的VR相机类型,许多公司都涌进这一领域,设计出轻量级的相机支架,来支持多个现成可用的相机模块–通常是GoPro。由于GoPro足够轻便,并且相对来说不是那么贵,已经被证明是行之有效的组装VR相机设备的相机模块。实际上,Jaunt的首个相机产品,即GP16,就包含16台GoPro,组合安装在一个定制的3D外壳里。

然而,使用基于GoPro的相机系统会出现很多问题,包括图像质量问题、散热问题、最重要的是,缺乏同步机制。在拍摄VR内容时,保证你所有的相机模块能够同步是极为重要的。只有这样,重叠部分的图像才能够精确匹配,并且在后期制作中可以很容易地进行拼接。虽然使用简单,但是GoPro相机并没有内建的同步能力,即使在后期处理过程中根据声音和视觉的线索做好了同步,也会随着时间的推移而出现偏差。

当然这并不是说要摒弃GoPro相机。仅仅是它能够组成很多不同类型的VR拍摄设备这一事实,就足以称之为一个壮举。但是它最初并不是为了为了这一任务而设计的,而且其缺陷也逐渐暴露了出来。

Jaunt接下来继续努力开发了内建26个定制相机模块的Jaunt ONE,可以提供四倍大的传感器尺寸,在弱光环境下的表现也更好,可调十一个档位的更高的动态对比度,更好的色彩还原,可以防止快速移动物体导致的画面撕裂的全局快门,当然还有最重要的可同步的相机模块。

现有的任何相机系统的多相机模式就是为了提供图像的重叠。你需要足够多的相机来提供图像间有效的重叠,重叠部分大概要占到15-20%,这是为了把临近的帧适当地拼接起来–如果你想要提供立体拼接的话,你还需要更多的相机。你的系统中有更多的相机,图像之间就会有更紧密的联系,这样在拼接过程中就能提供更小的物距,可以让物体更加接近。在下文的“拼接步骤”和“物距”部分可以获得更多信息。

2.1.2、Mirror Rigs

另一个比较常见的全景360°相机是mirror rig。这种设备基本上是多台相机放置在一个原型框架里,镜头向上拍摄那些以一定角度安放的朝向外侧的镜子中的影像。此类产品有一个很好的例子,便是Fraunhofer OmniCam。

这些设备可能是单视场的,也可能是立体的,由于其中包含了镜子,通常比其他种类的全景拍摄设备要更大更重。但是此类设备还有一个很大的优点,就是这些镜子可以让相机拍摄到镜子中的虚拟节点,这会造成最小限度的视差,甚至还可能没有视差。这会让拼接变得非常简单,而且基本上不会产生伪影。

由于这个原因,许多此类相机设备支持实时拼接和实时的360°图像传输。使用两个相机拍摄每个镜子中的影像,你可以进行无缝的立体拼接。此类设备主要的缺陷还是尺寸和重量的问题,并且在进行实时拼接时,必须要连接到相当强大的电脑上。

2.1.3、鱼眼

许多消费级的全景相机都是此种产品。因为他们相对来说很便宜,小巧,轻便,并且通常在相机内部就可以很容易地拼接。有的产品使用了一个镜头,比如柯达的360度运动相机。还有每个镜头可以拍摄180度的双镜头方案,比如理光的Theta,通过将两个镜头拍摄的内容拼接在一起,可以捕获完整的360度场景。

虽然它们使用起来很方便,并且很容易进行拼接,但是此类相机的拍摄质量相对要低。许多此类产品还可以串流到iPhone或者安卓设备上,使其很适合用作远程监控用途,如果你的VR相机不提供此功能的话,可以考虑使用此类设备。在下文的“在线预览”部分可以获得更多信息。

当然,还有针对专业消费者的此类相机,它们通常具有更大的镜头和传感器。不幸的是,所有此类设备只能生产出单视场图像,并不是立体3D图像,降低了用于VR时的沉浸感。

2.1.4、光场相机

光场相机是最近才来到全景拍摄市场上的新技术。虽然它代表着虚拟现实电影拍摄的未来,但其实际使用还是有些遥不可及。这类设备并不是通过镜头收集光线,并且投射在传感器上。而是包含了数百个极小的微型镜头,可以捕捉到每个可能的方向传来的光线。

这种设备可以在后期制作时做出一些非常惊艳的事情,包括在佩戴头显的时候通过摆动头部来切换视差,重新聚焦图像,生成景深数据和立体3D数据,以及在不使用绿幕的情况下进行抠像。

光场相机首次被消费市场熟知是由于Lytro Illum静态相机。最近,Lytro进入了专业视频领域,推出了用于VR的Lytro Cinema和Lytro Immerge两款产品,你可以在Lytro官网上查看更多信息。

大部分用于拍摄视频的光场相机并没有像静态光场相机那样使用微型镜头阵列,而是使用了非常多的相机模块,并且安装在网格或球形结构中。通过一些奇特的处理方法,这些多重视频串流信号可以被打包成一个经过压缩的光场格式,你可以在视频播放的时候在其中走动–虽然会有些受限。

你的运动范围会限制在与圆形场地直径相当的范围内,或者是布置这些相机的网格的宽度范围内,也就是取决于其拍摄场地的大小。虽然你不能在屋里随意走动,但是你可以移动头部,并且看到不断变化的视差,这可以帮助你最小化VR中会遇到的晕动症。

不幸的是,这些相机在实际拍摄中的使用是受限的,因为它们需要一个很大的计算机阵列与相机系统链接,来进行数据的捕捉和处理。另外,光场电影串流虽然是被压缩过的,但对于处理、下载来说还是太大了。以今天的带宽水平,串流将会是极为困难的。

虽然目前拍摄光场影像是很困难的,但是可以使用oToy的技术来以CG的形式对其进行渲染。你可以在oToy的官方网站上找到描述全息或光场视频渲染的演示视频。

2.1.5、摄影测量法

为了能够全面了解VR内容的拍摄,你需要彻底改变你的想法,从目前的“由内而外”的方法论转变为“由外而内”的视角。也就是说,并不是用一个所有相机都向外拍摄场景的阵列来进行拍摄,而是用一个全部向内的相机阵列来环绕整个场景。

微软曾经为其增强现实头显HoloLens开发了一种基于视频的摄影测量法,主要是为了创作全息视频。该技术名为“自由视点视频”。一组相机阵列环绕在绿幕舞台周围,从不同的角度捕捉视频,接下来使用先进的摄影测量法来创作出全3D的网格,其中还包含场景中所有物体的投影映射纹理信息。微软的这项技术使用了先进的网格镶嵌、平滑的网格还原以及压缩技术,来创作出你真正可以在其中走动的VR或AR场景。

更多关于该技术的信息可以在微软官网查询。

另一家探索该领域的公司是8i。他们使用了类似的相机阵列,来捕捉他们所说的容积视频,并存储为一个拥有专利技术的光场格式。这项技术并不会创作出完整的CG网格(当然这也是一个选项),但同样允许你在场景中随意走动,或者从任何角度进行观察。更多关于该技术的信息可以在8i官网查询。

无论采用了何种技术或方法,先进的实时摄影测量技术将会在不远的将来成为一项重要的视频捕捉技术,使用该技术,可以让你完全沉浸在任何场景中。随着技术的进步和成本的降低,消费者们可以以前所未有的方式连接全息视频和真实环境。

2.2、拼接方法

当你使用360°相机拍摄完场景之后,你需要将所有这些相机拍摄的单独的画面进行拼接,以创作出一个单独的、无缝的360°球形图像。要想创作出没有视觉可见的缝隙或伪影的图像是VR内容拍摄过程中最难的工作之一,并且也是最浪费时间的工作之一,特别是在创作3D图像时更是如此。

Jaunt的云服务JCS已经将这一过程简化成了近乎自动的过程,目前已经支持Jaunt ONE和诺基亚OZO相机。下面我们列举了多种拼接方法,Jaunt在此之前已经尝试过其中一些方法,但就目前而言,光流是能够提供最佳的无缝3D拼接效果,并且人工干预最少的方法。

2.2.1、几何方式

几何方式的拼接是目前大多数现成的拼接工具所使用的方法,比如Kolor Autopano,并且是在Jaunt的GP16相机上首次使用的拼接方法。使用这种方法,在拍摄时由镜头产生的每张图像中的桶形失真都会被修正,图像会根据其中的相似点来排列,然后被平滑地融合在一起。这种方法可以创作出完整的360°*180°展开状圆柱投影球形图像。

在立体3D中进行拼接要更加困难,并且需要在环境中先创作一对虚拟的立体相机,以此来使用图像中的每一个切片提供左眼和右眼的观看效果,才能进行拼接。

正如上文所提到的那样,这种拼接方法并不总是完美的,并且可能会导致可见的缝隙或3D伪影,因为部分场景的景深数据并不正确。考虑到这一点,Jaunt才转向了接下来要说的光流拼接法。

2.2.2、光流

Jaunt目前就在使用并优化光流算法,作为Jaunt云服务的在线拼接平台的基础,支持Jaunt ONE和诺基亚OZO相机。

光流是一项已经应用于电脑图形领域有一段时间的技术。它有很多的应用领域,包括运动的估算、跟踪、相机的创建、蒙版的创建,以及立体视差的生成。作为核心,光流算法会计算场景中每个像素的移动,并且通常是一帧一帧地对拍摄的内容作出基于时间的分析。

比如,在拼接一个立体全景图像时,流图会被用来跟踪那些相邻的相机所拍摄到的独特的像素,比如场景中出现的视觉元素。通过将此技术与现有的相机所拍摄的几何结构和镜头特征相结合,就会让判断相邻相机所拍摄的每个像素的距离变为可能。同时也能生成一个整个场景的差异(景深)分布图。

这个差异分布图可以用来在拍摄360°的立体3D内容时,插入分别针对左眼和右眼的虚拟相机。这种技术能够提供更好的景深感知,同时产生更少的伪影,并且缝隙可以忽略不计。然而,这种方法并不是完美的,一些错误也会出现在流图的生成过程中,或者可能会在一个或多个相机被物体挡住时,产生盲点。在这种情况下,需要对被挡住的部分进行估计,并且这些物体周围会产生名为“光晕”的伪影。

通常,物体离相机越近,相邻的相机就越难以看到相似点,这就会导致更加繁杂的估算和更大的光晕伪影。想要了解更多信息可查看下方的“避免伪影”和“物距”部分。

不幸的是,目前的算法想要完全估算出所有的错误基本上是不可能的,所以就需要后期制作来修正这些问题。想要了解更多信息可查看下方的“后期制作”部分。

2.2.3、实时拼接

实时拼接使用了类似上面的方法,但很明显的是,这些处理过程必须实时进行,这样才能实时传输360°图像。目前仅有极少数产品能够做到实时拼接,或者说能够做好实时拼接。大部分此类设备要么不是真正的360°,而是180°,要么是单视场而非立体3D画面。

目前可用的一个方案是VideoStitch,可以让你通过该公司的Vahana VR产品做到单视场实时拼接,并且他们的立体3D实时拼接技术也即将到来。作为一款软件解决方案,它可以支持很多类型的相机设备。在VideoStitch官网可以获得更多信息。

许多的实时拼接解决方案都是对应上述的mirror rig类相机,因为此类相机的设备可以允许更加简单快速的拼接。Fraunhofer OmniCam就是这样一款产品,目前已经有两个型号,一个型号支持单视场拍摄,另一款可以支持3D 360°串流的实时传输。可以在上面的mirror rigs部分了解更多信息。

2.2.4、避免伪影

上面介绍的这些相机方案和算法都有各自的特性,但在拼接时都会或多或少地产生伪影。几乎所有的算法都会产生不同种类的让人生厌的伪影。如果场景拍摄正确的话,这个问题出现的概率是可以降低的。所以,你的确值得在调查和测试上花费一些时间,来检测相机和算法的关联是否合适。

这里我们以Jaunt ONE相机及其使用的基于光流的拼接算法为例,我们有时会在移动的物体或离相机太近的物体周围看到恼人的光晕。这种问题通常由于进行拼接时,光流算法在寻找相邻相机拍摄的相似像素时比较费力所造成的。如果一个人站在室外非常明亮的物体面前,算法就很难分辨不同的像素,因为所有这些像素的值都与物体的像素基本相似,而且在这个场景中没有细节信息。

同样的,如果有很多看起来完全一样的点,你也会遇到这样的问题。如果一个人站在有着规则的纵向直线的报纸面前,光流算法就很难分辨出很多看起来完全一样的点该如何匹配。

解决办法是,将你要拍摄的物体与背景区分开,以保证没有像上文所说的报纸那样,出现相似的重复细节。或者调低相机的曝光来降低亮度,以获取更多的图像信息,利于算法识别图像。

如果要拍摄的物体离相机太近的话,也会出现这样的问题。如果物体离得太近,一台相机可能会看到场景中的细节,但这些细节或许在相邻的相机所拍摄的场景中被这一物体被挡住。这样一来,算法是没有办法“绕着观看”这个物体,来完成像素的比对。围绕着这个物体的周边区域就会出现光晕,而且由于一帧一帧地进行拼接,这个让人头大的问题又会不断出现。

解决这个问题的办法很简单,把要拍摄的物体往后移动。对于Jaunt ONE相机来说,要拍摄物体的最近的安全距离在4-6英尺(约1.2-1.8米)。

算法正在变得越来越智能,如果没有被淘汰的话,我们期待着伪影在不久的将来能够越来越少。就目前而言,虽然你可能无法彻底消除伪影,但你可以通过花时间思考算法的拼接过程,同时适当控制拍摄的曝光来大幅减少伪影问题。

2.2.5、分辨率

我们来谈谈分辨率问题。VR相机中所使用的大多独立的相机模块都是GoPro、计算机视觉相机或者像Jaunt ONE所采用的定制模块。通常其分辨率都是HD(1920*1080)或2K(2048*1556)级别的。当这些图像被拼接在一起之后,很明显,会组成一个分辨率更高的全景图。

以Jaunt ONE相机为例,它可以创作出高达12K分辨率的图像。使用今天的技术来处理这样尺寸的图像完全是不切实际的。就在几年前,整个行业还在忙于应对HDTV或2K级的图像。很快,这个行业迎来了立体3D,超高清UHD和4K、高动态对比度HDR、广色域、高帧率HFR等等图像技术,每种技术都有成倍提升数据量的潜力。

在以前,这些技术都曾遇到过瓶颈,现在我们又迎来了VR,而VR需要把上面这些技术都结合起来,并且我们现在就需要使用这些技术。但是使用现有的技术,要在后期制作中处理如此大的文件几乎是不可能的。即使是最强悍的CPU和GPU也无法做到。考虑到这一点,Jaunt目前将输出的分辨率限制在3840*3840,并且提供左/右格式的立体3D画面,帧率为60fps。

即使是这种体量的文件,在后期处理时也很费力,并且需要足够强悍的设备来进行如此高分辨率和帧率的画面合成、编辑、色彩较准和CGI工作。并且,虽然我们可以压缩下最终文件以分发给消费者,世界各地的带宽又各有差异,也是一个问题。

最后,最大的瓶颈在于最终播放设备。虽然你一直想对于这种全新的媒体保持前瞻性,但你必须要知道,目前所有的主流头显,比如Oculus Rift、HTC Vive和PSVR目前的分辨率仅有单眼1K。这种情况当然会逐步改进,但是,你需要平衡下人们对更高分辨率的渴求和实际情况。技术会随着时间逐步提升,我们也将可以提升图像的分辨率和保真度。

最初发布于2017年2月10日

Jaunt VR电影拍摄指南中文版 第一章

Jaunt在2016年9月发布了《The Cinematic VR Field Guide: A Guide to Best Practices for Shooting in 360°》,为VR电影制作人们提供了VR电影拍摄的指导说明。笔者为大家提供翻译稿。首先为大家带来的是该指南的第一章,主要讲述了虚拟现实的两大类型、VR电影的基础知识等等。

1、虚拟现实基础知识

据维基百科,虚拟现实是一种计算机技术,可以复制真实的或想象中的环境,并且可以模拟用户的临场感,用户可以与其环境互动。在电脑或者手机上,这通常意味着屏幕上呈现的视觉内容和扬声器或耳机呈现的听觉内容。可供触摸或可提供反馈的设备也正在涌现,提供嗅觉和味觉的设备还需要一段时间。

对于任何形式的虚拟现实来说,其关键都是临场感和沉浸感。正是这些使其区别于以前的其他媒体,并且能够把素材创作出一种强烈的情感联系。Chris Milk是早期的VR电影导演之一,他经常引用一个观点,称虚拟现实为“共情机器”。

1.1虚拟现实的种类

虚拟现实有两个基本的阵营-电影级虚拟现实和基于游戏引擎的虚拟现实。区别在于生产手段、回放方法、真实度以及互动内容的多少。

1.1.1 什么是基于游戏引擎的虚拟现实

很长时间以来,当人们想到虚拟现实时就会想到这一种。这是由3D CG游戏引擎实时生成的电脑图形,比如Unity或Unreal。这些内容被生成之后,可以使用特制的头戴显示器(头显)比如Oculus Rift或HTC Vive,这些头显包含运动跟踪功能,用户可以在虚拟现实中走动,感觉就像是真的一样。

这种虚拟现实同样适用于高互动性的内容,可以使用提供手部跟踪控制的Rift和Vive,可以让你拿起并移动物体,比如挥舞一把剑,开枪射击,或者和整个环境进行互动。感觉很像是自己进入了一场游戏。

并不能说第一批VR头显主要针对重度游戏玩家,就意味着这种技术仅仅是为了游戏而开发。游戏引擎也可以用来创作互动电影或音乐视频,就像是创作游戏那样。因为它们尤其擅长创作出完全不像现实生活的世界。

1.1.2 什么是电影级虚拟现实?

Jaunt专注于电影级虚拟现实。下面就是一段360度电影,使用一台全景摄像机系统,可以作为一个圆柱投影那样进行回放,并且允许观众随着剧情的展开而四处观看。圆柱投影是一个非常好地展示场景的方法。根据摄像系统和拼接步骤的不同,其中的场景可以是单视场的(扁平)或者立体的(3D)。

现在你已经了解到,在电影级虚拟现实中你可以看到非常真实的场景,而在由游戏引擎在电脑上生成的虚拟现实中则不会这样。同时,这些场景在拍摄过程中还会使用空间音频麦克风,来让声音听起来就像真的一样。如果你听到你的右边有条狗在叫,并且转头看左边,你会看到有一条狗就在声音传来的地方。感觉就像是进入了电影场景中一样。

但并不像基于游戏引擎的虚拟现实,在电影级虚拟现实中你无法自由地在场景中移动,除非在你移动的同时,摄像机也随着移动并进行拍摄。随着新的摄像系统的采用和新技术的逐步开发,今后你也将可以在拍摄的场景中进行四处走动。在下文中的“VR摄像机的种类”章节中可以了解更多信息。

虽然电影级虚拟现实并不像完全基于游戏引擎的虚拟现实环境那样充满互动性,你仍然可以为其添加互动元素。以《Choose Your Own Adventure》为例,其中就包含凝视检测、可互动的叠加和界面、声音或图片的触发、手势、甚至加入完整的CG内容也是可以的。

所有这些将会构成一种全新的媒体,这是一个我们刚刚开始意识到其潜力的空白的画布。VR领域的杀手级应用将会融合了电影、游戏和互动影院。现在,我们还在带妆彩排阶段,一切皆有可能。即使是区区五年之后,VR内容也会与今天的截然不同。

1.2、立体vs单视场VR

VR影片素材既可以是单视场3D,也可以是立体3D。单视场的素材是扁平的,并没有景深数据,在360°的可视范围内都是以同样的景深被投射的。当然,你同样可以转动头部,四处观看这个场景,但没有任何的东西会变得离你近一些,只会变得大一些而已。这就像是普通的2D电影中的特写镜头,和3D电影中那些东西会逼真地离你越来越近,并且从屏幕中跳出来所形成的对比一样。

而在360°立体3D影片中,你将获得完整的每个方向的3D观看体验,其中的物体也会真正地离观众越来越近。这会产生更加逼真地、更具沉浸感的感觉,就像是我们在现实生活中所经历的一样。想象一下在VR中拍摄一只水下的鲨鱼的情景。为了达到最大的视觉冲击效果,你会希望观众感受到鲨鱼正在离自己越来越近,并且每个观众都能有此感受。使用立体3D技术,你可以达到此种效果,而是用单视场的话,虽然鲨鱼仍然来势汹汹,但它不会离你越来越近,你将会丢失临场感和沉浸感–当然还有恐惧感。

无论在哪儿,你都应该尽力去尝试拍摄完整的360° 3D内容。但是,为什么并不是所有人都在这样做呢?你可能会想到,这种拍摄需要的设备更加昂贵,而且拼接过程更加复杂,如果没有大量的后期工作和资金投入的话,也不会获得好的回报。Jaunt推出的Jaunt ONE摄像机和Jaunt云服务(JCS)就是为了简化这些程序,最大限度地自动化整个过程。

你可以在Jaunt云服务文档中获取更多信息。

还需要说明的是,并不是每个场景或镜头都缺失需要在3D中拍摄,当然了,也不一定都能做到在3D中拍摄。目前,只有极少数几款360°拍摄设备可以用于水下拍摄。而且由于防水设备的限制,更难以把3D拍摄设备装在其中,所以通常会使用较小的单视场设备。在下文的“水下拍摄”部分可以获得更多信息。

同样,在汽车内进行拍摄时,会受到车内空间的限制,其中的物体会距离很近,这时通常使用一个较小的GoPro式的拍摄设备,并且采用单视场来拼接素材,会获得比较好的拍摄效果。大部分的相机都有最小物距的要求,你必须遵守,这样才能拼接出质量较高的作品,而且在3D拼接时,这一物距的要求会更大。如果你想要离拍摄的物体很近的话,尽量选择单视场的拍摄方法。在下文的“物距”部分可以获得更多信息。

类似的,如果使用无人机的话,重量也是一个问题。所以,在很多情况下,我们还是要使用一个更小的,更轻便的GoPro类设备,并且拼接单视场的素材。在很多情况下,拍摄地会离地面非常远,你也无法获得足够的立体视察,而且观众们也几乎察觉不到。

无论是哪个已经推出的作品,其中的大部分内容都是完整的360° 3D手法拍摄的,其中也有些许画面,比如上面这些情景是使用更小的、更轻便的GoPro设备进行拍摄,并且在单视场中拼接的。如果处理正确并且使用的时机很得当,你的观众们或许不会察觉。

1.3、360°视频

当我们谈论360°视频时,我们必须要澄清一件事。那就是它和VR有什么区别?为了让人们了解VR,并且充分利用现有的重度使用的平台,许多公司,尤其是Facebook和谷歌旗下的YouTube都已经在推广360°视频。这是你可以用浏览器在网页中观看的视频,并且 可以使用鼠标拖动画面,或者在手机APP中,通过把手机移动或旋转来达到同样的效果。

同样,我们的Jaunt手机端和web端应用也可以做到这一点,对于那些暂时无法使用或手上没有VR设备的用户来说,也可以在3D中体验到这些内容。像是Facebook这样的品牌和公司之所以喜欢360°视频,是因为这可以帮助他们撬动所有人都在使用的平台上巨大的用户群体。

然而,要称其为虚拟现实,我们必须要谨慎。如果太多的用户都认为这就是虚拟现实的话,他们或许会认为,他们已经真正地体验过了虚拟现实–并且包含3D中的临场感和沉浸感,以及空间音效–但却并没有多深的印象。我们必须要明确区分360°视频和真正的VR,并且使用前者来激活观众们,让他们体验后者。或者像是3D电视那样,让VR也经历快速的死亡。

而这,也就让我们来继续思考真正地虚拟现实内容的需求到底是什么。

1.4、VR的最低需求

你可以和100个人去谈论虚拟现实的必要条件,但会获得非常多的答案。既然我们在寻找最大限度的沉浸感和临场感–也就是真正身临其境的感觉–Jaunt提出四点最低需求:

360°圆柱投影图像–这是一个你可以上下左右360°观看的场景。有些摄像设备则是采用了180°的特制的相机来进行在线直播,这样可以减少带宽需求,降低拼接的复杂程度。但是,当你看向身体后方时,你会直接离开这个场景。通常为了减少这种身后只有黑色背景的情况,会插入一张图片,比如节目的宣传海报,比赛的比分情况等等。

立体3D–这是比较有争议的需求之一,因为今天很多人都在拍摄单视场的内容,毕竟这种内容在捕捉和拼接时都会更便宜且更简单。然而,想要真正获得临场感–身临其境–也就是VR真正特别的地方,你真的需要尽量拍摄立体3D内容。立体3D就是我们在现实生活中所看到的那样,并且在VR中也同样重要。

空间3D音效–声音是任何电影类产品中极为重要的一部分。它不仅能够提升沉浸感,同时也是像运动和光线那样的仅有几个线索之一,可以用来获得观众对重要事件的注意力,因为观众们可能在看任何地方。捕捉空间音频可以增强你的临场感。

在头显中观看–最后,如果你没有真正的观看方式的话,上面这些都是没用的。虽然经常会有给没有设备的观众创作的360°视频,并且允许你拖动画面。但这种视频并不能看到3D效果,也不能提供空间音效回放。为了达成完整的体验,你真的必须要用合适的头显设备。好消息是,你不一定要购买Oculus Rift或HTC Vive这样的昂贵的设备。市场上还有很多非常便宜甚至是免费的产品可供选择,这些产品会让你目不暇接。

1.5、头显的种类

市面上有很多不同类型的头显设备,它们在价格和性能上的差异也非常大。从非常简单的谷歌Cardboard,到三星Gear VR,再到Oculus Rift和HTC Vive。就像手机和那一套集成电路组件那样–其中包含陀螺仪、加速度计、小型高清屏幕–正是这些复活了曾经的虚拟现实,让Palmer Luckey创作出了首个Oculus头显。手机是这些产品的基础,甚至是高端的Rift和Vive的基础。

较高端的头显可以提供全身的追踪,其中还有些包含了手部控制器,可以提供“房间规模”VR系统,让用户四处走动,并且和环境进行互动。但仅仅使用你的手机加上简单的透镜,也就是Cardboard或塑料外壳的产品也可以让你获得惊人的体验。随着手机生厂商在头显中集成更好的VR子系统,这种体验会变得越来越好。

头显设备的清单还在急速扩充,你可以在网上查询到此类设备的信息。

最初发布于2017年1月23日

虚拟现实:对抗病痛的数字化良药

Amanda Greene一直饱受病痛煎熬。

“如果我没有感到神经痛,我可能会感到关节痛。如果我没有感到关节痛,我可能会感到头痛,”Greene说道。

无尽的疼痛是狼疮的症状之一,这是一种自体免疫的疾病,患有这种疾病的患者,其免疫系统会攻击身体。Greene曾经尝试过针灸、按摩和阿片类药物,但她发现,她对可成瘾的止疼药过敏。

而最新的疗法则让她感到很兴奋,那就是虚拟现实。Greene通过aplliedVR这家公司参加了一个测试,来看看虚拟现实能否帮助患者,以及怎样帮助患者。Greene的虚拟体验可以帮助她休息,并且训练她以一种特殊的方式来呼吸。当她被引导进行吸气和呼气时,通过VR头显,她能看到一些自然景色,甚至能看到自己的呼吸。

“有效果了,这对我有效果了,”Greene激动地说。“感觉我的生活质量都提升了。”

医院和诊所中的VR

Brennan Spiegel是一位肠胃科医师,他已经在给自己的病人使用VR。他说,腹部的疼痛和肠胃的不适,在某些情况下,跟患者的精神状态是有关的。

“像是虚拟现实这样的东西的确能够调节患者的脑干,并且可以在某种程度上以一种可以帮助减少腹部痛觉的方式来重新连接神经系统,”Spiegel说。他同时还是西奈医院健康服务研究部门的总监,带领着他的虚拟现实项目。

在西奈医院,有超过2500名患者接受过虚拟现实治疗。根据Spiegel的介绍,这家医院有着全世界最多的登记在案的VR治疗程序。

“虚拟现实能够缓解疼痛,舒缓血压,提高生活质量,减少焦虑。并且现在,我们正在探索,它是否能够做出真正重要的事,比如减少患者对阿片类药物的需求。”

Spiegel说,在美国有超过100家医院正在将VR用作一种治疗患者的方法,来帮助他们应对疼痛和焦虑等症状。他说,世界各国对此种疗法的兴趣正在日益增长,并且医生们开始开发全球化的指导方案,来指导如何在医疗健康领域应用和验证这项技术。

Spiegel现在已经将虚拟现实带出了医院,并且与洛杉矶的Attune Health这样的机构合作,在这里,很多患者都饱受自体免疫性疾病或炎症性疾病的折磨,这些疾病会引发关节疼痛等症状。

Swamy Venuturupalli是一位风湿病学家,同时也是Attune Health诊所的创始人,他正在他的诊所中进行一项有关VR如何缓解患者疼痛等级的研究。所使用的VR体验包括和海豚一起游泳,以及在篝火前的冥想练习。 Venuturupalli说,VR对正在忍受病痛的患者来说,不仅是一个分散注意力的体验,同时还能训练他们进行深呼吸和生物反馈。

“它可以让你与你平时不会产生联系的那部分大脑相连接,这部分大脑控制着呼吸作用,控制着你的心率和情绪,”Venuturupalli说道。

医生们还在研究VR潜在的副作用,比如它是否会导致成瘾。

“可能不会有这种问题,实际上,我们还没有在我们的患者中见到滥用情况,他们将VR用作治疗目的,而不是用作游戏或娱乐,”Spiegel说。

一些患者遇到的最常见的副作用,根据Spiegel的说法,是晕动症,也就是在佩戴着VR头显时会有眩晕和恶心的感觉。他说,只有不到10%的患者遇到了这个问题,但当头显关闭之后,这一症状很快就消失了。

VR药房和诊所

appliedVR这家公司使用了沉浸式技术来帮助人们管理疼痛和焦虑。该公司还在开发内容,并且与娱乐公司和学术界的人们合作,来为患者们寻找合适的VR体验。他们的愿景是打造一家VR药房。

“你需要多种多样的内容,因为在医疗健康领域有多种多样的人。从婴儿到老年,并且有各种个性类型,”appliedVR的总经理和创始人Josh Sackman说道。

和海豚一起游泳可能给会让一个患者感到放松,但却可能会吓到别的患者。Greene说,在虚拟现实中观看一场时装秀可以帮助她缓解疼痛。

Sackman说,在过去的三年间,医疗行业对在医疗机构中使用VR的态度已经发生了转变。在2015年,他亲身经历了医生们对电视或平板电脑能否被用来分散患者注意力的怀疑论。Sackman表示,VR不像是电视屏幕,当患者戴上VR头显时,它会把患者的视野和听到的声音与外界完全隔离。

“在某个时刻,你会看到一个正在挣扎、饱受剧痛煎熬、极为紧张甚至惊慌的患者,在一瞬间,他们的身体放松了,脸上浮现出微笑,并且你可以看到身体上的变化,”Sackman说道。

Spiegel想要创造出一个类似门诊的VR诊所。他说,他的目标不是让患者永远停留在VR中。

“我们的想法是要研究当你处于虚拟现实中时,你可以支配自己的身体,你的意识决定这一切。并且你可以学习这些技能,当你在真实世界中需要它们时,你可以使其再生,并且把它们’召唤’出来,”Spiegel说。

最初发布于2018年8月31日

原文链接:https://www.voanews.com/a/virtual-reality-digital-medicine-to-combat-pain-/4549497.html

新西兰奥塔哥大学用虚拟现实提升囚犯的读写和计算能力

虚拟现实已经大大超越了单纯的娱乐用途,而是变成了一个用来提升读写能力的有潜力的工具,并且新西兰奥塔哥大学正在寻找一个突破性的应用场景。

奥塔哥大学信息科学学院与Methodist Mission Southern合作,打造了一个全新的方式,来帮助位于米尔本的奥塔哥监狱中的囚犯们提高读写技能。

其原型产品已经被证明是很成功的,Animation Research Limited和Methodist Mission Southern在Ngāti Kahungunu的支持下,正在将这个概念开发成一个商业化产品。

虚拟现实(VR)技术是用电脑来创造出一个模拟环境,人们可以沉浸其中,并且能够与3D的世界进行互动,而非观看面前的一个屏幕。

最近十年间,奥塔哥大学信息科学学院一直处在研究虚拟现实和增强现实的实际用途的前沿,其目标在于为这些技术找到有意义的应用方式,来解决真实世界的问题。

Methodist Mission Southern的商业开发总监Jimmy McLauchlan接触了奥塔哥大学信息科学学院的研究人员,因为这家社会机构想要重新思考培养那些经常被忽视的人的读写能力的方式,尤其是在监狱里那些人。

“我们需要一个新的方法,并且我们认为研究和开发能够帮助我们跳出固有的思维模式,”McLauchlan解释说。

博士生Jonny Collins将这一需求和技术相结合,开发了一个虚拟现实应用的原型。他使用的设定,对于学习者来说既熟悉,又能激发其积极性,那就是一个模拟的汽车工厂。Jonny和Methodist Mission Southern一起工作,将教育内容整合其中,并且当地的公司Animated Research Limited还对其中的环境设计提供了帮助。

但尼丁市委员会也认同其潜力,该项目的一部分必需的资金来自于GigCity Community Fund,并且该项目也可以为但尼丁市提供工作机会。

奥塔哥大学信息科学学院的教授Holger Regenbrecht说,人们已经知道可以利用沉浸感来学习另一种语言,无论是真实世界中的文本,还是使用虚拟现实技术。

“对于我们来说,能够测试这种创意是很好的,阅读能力的获得也可以通过虚拟现实的沉浸感来实现。这种更有趣且有重大意义的环境能够帮助学习,并且以这种方式来提高囚犯的读写能力,还能帮助他们更好地重新踏入社会,”Regenbrecht教授说道。

他说,该大学现在正热衷于扩展虚拟现实的边界,来更好地理解用户界面开发,并且证明这样使用VR已经为研究开启了新的可能性。

当然,研究人员们不仅在解决一些技术上的问题,他们同样还在用VR来满足能够对社会有益的非常真实的需求。

“虚拟现实对于学习的助力作用已经引发了世界各国的兴趣。我相信,这种沉浸式的技术有着革新学习方式的潜力,”Regenbrecht教授说道。

同时,这也给了奥塔哥大学一个将商业和社会需求联系在一起的好方法。

他们合作开发的原型是一个360°的虚拟世界程序,其中包含了在汽车工厂进行汽车组装。在开发过程中,他们咨询了一家真实的汽车维修公司,来保证虚拟世界代表了真实的环境。

该原型已经在美国洛杉矶的一场教育展会中进行了展示。他们希望这款程序能够逐渐被应用到整个新西兰的所有监狱的囚犯,来培训读写能力和计算能力。

最初发布于2018年8月28日

原文链接:https://phys.org/news/2018-08-virtual-reality-real-world-literacy-numeracy.html

苹果与谷歌的AR平台之争刚刚开始 但谷歌已经输在了起跑线上

在上周的WWDC 2017开发者大会期间,终于等到了苹果在AR领域真正的行动:苹果推出了名为ARKit的平台,并且表示,这一平台将成为世界上最大的AR平台。是不是世界最大我们不知道,但至少在与另一家巨头谷歌进行对比时,可以发现,苹果在AR领域的进展已经领先谷歌一大步。

苹果ARKit的优势所在

我们先来看看苹果的ARKit。据本次开发者大会提供的信息,ARKit可以让开发者们利用来自于相机和传感器的详细数据,将数字对象投射到3D空间。通过现场的演示可以看出,苹果的ARKit在算法和优化上下足了功夫,效果应该说超过了现有的手机端AR应用。

并且,ARKit平台提供了“世界跟踪”功能,这项功能依赖于一项视觉惯性测距的技术。使用iPhone或iPad的摄像头和运动传感器,ARKit可以在周围环境中找到一些点,当手机移动时,ARKit仍然能够追踪它们。它不会创建一个3D模型,但它可以将物体“钉在”某一个点,然后改变物体的尺度和视角。它也可以在环境中找到一个平面,让用户把虚拟物体放在地板或者桌子上。

另外,ARKit可以改善现有AR应用程序的各个元素,例如强大的物体缩放功能。苹果公司表示,ARKit的运行仅占用了手机CPU的一小部分,可以减少AR所带来的资源消耗。ARKit不会改变iPhone或iPad的基本跟踪功能,它只是让更多的开发人员可以使用,并且不再需要构建自己的跟踪和映像系统。

天猫互动技术专家蒋佳忆认为,最近一年,国内国外几乎所有SDK公司都在基于单目做SLAM算法的研发,然而除了Vuforia以外,并没有哪家拿出来可以服众的单目SLAM算法SDK,或多或少的,各家都有自己存在的问题。

而苹果展示的ARKit效果足以超过所有其他玩家,并且,这还是iOS原生算法。这就意味着所有APP不需要集成任何SDK就可以具备目前市面上最好的AR能力,可以说对大部分SDK都是致命的打击。

谷歌Tango平台新进展

谷歌在今年的I/O 2017开发者大会上也展示了Tango平台的全新进展。根据之前的报道,谷歌的AR平台Tango能通过手机摄像头和处理器配合,将现实世界和虚拟图像无缝融合。

具体来说,Tango平台融合了Motion Tracking运动追踪技术、Area Learning场景学习技术和Depth Perception深度感知技术,结合一系列的摄像头、传感器和芯片,能实时为用户周围的环境进行3D建模。在去年年底,首款搭载谷歌Tango平台的智能手机,联想Phab 2 Pro也已经开售。

而在今年,谷歌进一步推出了室内定位服务VPS(Visual Positioning Service),它可以在没有卫星信号的室内精准定位,结合Google Map精确检测周围的环境和位置,当用户位于室内时,能提供类似GPS的导航体验。这意味着Tango平台可以实现更多的AR应用场景,例如,提供AR指引,帮助寻找目标商品等等。

并且据I/O 2017大会现场消息,集成VPS技术的第二代Tango设备将在今年夏天推出,比如华硕的ZenFone AR,估计发布会也就这两天了。

在实际应用方面,目前,Tango技术已经应用到谷歌的学校和教育项目Google Expeditions中,宜家即将推出的应用程序还可以让顾客可以直接在App上把虚拟家具置于家中。

ARKit和Tango各有优缺点

从上文可以了解到,谷歌Tango平台已经有了一些实际应用场景,但当说到设备时,谷歌可就尴尬了。

谷歌Tango平台发布已经一年有余,但目前市面仅有联想的Phab 2 Pro一款手机,再加上即将发布的华硕ZenFone AR,是的,只有这两款。由于Tango平台对硬件配置有明确要求,并且目前适配Tango平台的内容匮乏,导致Tango手机出货量少得可怜,且价格偏高(比如联想Phab 2 Pro国行版售价高达3999元,除了Tango技术加持之外,没有任何亮点)。毕竟谷歌不能指望手机厂商在低端机型上搭载复杂且昂贵的Tango摄像头模组。

而苹果ARKit发布一瞬间几乎覆盖所有的iOS设备,首先在用户基数上,谷歌就无法与苹果相比。谷歌无法强推Tango平台,让用户更换手中的安卓机,而且这还会加剧安卓平台的碎片化。碎片化问题,可能会抵消谷歌在AR技术方面的优势。

如此看来,苹果称ARKit将成为“世界上最大的AR平台”,这话恐怕不假,毕竟它可以直接应用在市面上海量的iOS设备上。苹果公司软件工程部高级副总裁Craig Federighi认为:”一旦将软硬件整合在一起,苹果便可以使每一部iPhone和iPad成为AR平台,届时世界最大的AR平台将会形成。”

当然,ARKit也是一个能力有限的平台,至少和Tango平台相比还有一些劣势。

比如,Tango设备相比iOS设备有更多的摄像头,可以接收广角图像和深度数据,而且在过去的几年中,它开发出非常精确的跟踪功能。你用它扫描一个房间时,Tango可以立即构建一个相应的3D模型。对于苹果来说,这需要在iOS设备上安装一个单独的外围设备。

此外,苹果似乎并不打算像谷歌一样,让AR与互联网搜索功能联动起来。开发者可以使用苹果的机器学习框架来识别场景中的对象,但它不会让Siri像Google Assistant那样自动翻译标语。

巨头之争给行业带来的影响

毫无疑问,双方在AR领域的新动作,会让苹果与谷歌形成更严峻的竞争。谷歌的AR产品为基于手机平台的增强现实技术设定了很高的标准。苹果加入市场竞争,会对称霸已久的Tango平台造成一定威胁,最明显的就是降低了AR的开发和使用门槛。

这对于行业的发展也来说是一件大好事。巨头入局本来就容易吸引话题,带动更多的公司加入潮流中来。而简化AR的开发和使用,也可以快速教育用户,毕竟不是所有的用户都会去购买AR眼镜,而在手机上使用AR应用则要容易的多。当用户习惯于使用AR,并且想要更高质量的AR体验的时候,如今只能面向B端用户的AR眼镜或许就会进入C端。

再来看AR应用的开发商,由于技术不够成熟,之前开发AR应用时,接入SDK的学习成本和风险都比较高,再加上代表性的AR游戏《口袋妖怪GO》后期下滑得厉害,导致开发商动力不足。而在苹果发布ARKit之后,开发商们就不一定还能淡定的观望了。就算是跟风,应用开发者们也会尝试在游戏里加入部分AR的元素,这一点很值得期待。

如此看来,苹果此举能够大幅加速整个AR行业的发展。

反观谷歌,如上文所述,Tango技术对手机硬件的硬性要求,是市面上符合这一标准的机型极少,现有的大批安卓机无法接触这一技术,反而让Facebook之流轻而易举地占领了AR这一重要阵地。笔者有点纳闷的是,谷歌在VR方面的发展策略是比较适合市场现状的,先用价格低廉的Cardboard教育市场,再用高质量的Daydream逐步提升。为何在AR领域却不使用这种策略,一上来就要做高端呢?

最初发布于2017年6月14日

除了提升游戏体验 VR的沉浸感还能助力产妇分娩

虚拟现实是一种最新的技术,可以把用户传送到一个虚拟世界。

“在游戏结束后,你摘下头显,会惊奇地发现,刚刚还在太空站中对抗无人机,现在我却位于一个游乐场,我还可以看到我的朋友们,并且当你从丧尸狂潮中安全的活下来时,你会非常高兴,”Octane Raceway的总经理JP Mullan说道。

虚拟现实,或者说VR,是一种计算机技术,通过使用头显来生成逼真的图像、声音和其他感官信息,可以在虚拟环境中模拟用户的形象。Octane Raceway中的Velocity VR游戏区可以让用户逃离现实,变成游戏中的角色。

“它是360度的,在游乐场中有64个摄像头,”Mullan说。“你可以向上看,向下看,可以蹲下,你可以藏在某个东西后面,可以在不同区域中跑。你可以与其他人组队合作,也可以与他人保持沟通,共同对抗僵尸和无人机。或者你让某个人作为狙击手,或者让某个人作为队伍的首领。这对于群组活动或者团队建设来说也是非常棒的。”

在Velocity,玩家可以杀死僵尸,或者在太空站中射击无人机,并且是在一个可以自有漫游的多人互动场景中。

“这是极具沉浸感的,”Mullan说道。“其中的画面是很惊人的。当你从一个房间转换到另一个房间时,也是非常流畅的。你可以在游戏中看到其他人,同样还能看到墙面,充满沉浸感。当你发现你在这场僵尸生存游戏中时,你会处在一个小巷子里,僵尸从四面八方向你袭来。在另一个游戏中,你会通过一个太空站,你可以真正的在通道中走过,就像通过一座桥那样,并且可以用电梯上下楼。当你在游戏中时,会完全沉浸在声音和画面带来的感官刺激中,这是相当惊人的。”

而这项了不起的技术可不仅仅是为了游戏而存在的,医学教授们也正在注意到这项技术在减轻病痛上的潜力。在菲尼克斯Banner大学医学中心,已经发起了一个试点项目,可以为临产期的母亲们提供VR体验。

“我们会随机选择被试,而非让她们选择,”菲尼克斯Banner大学医学中心的Michael Foley博士说道。“他们可以选择是加入或者退出,但这并不是所有临产期母亲都可以体验的内容。我们正在寻找让体验内容变得更好的机会。”

Foley说,虽然虚拟现实不能真正地减少病痛,但是能起到辅助作用。

“这是一种沉浸式的疗法,”Foley说。“虚拟现实能够增加脱氢表雄酮这种健康的激素分泌,并且真正是一种分散注意力的方法,也是一种全新的体验,可以用你的想法抵消掉正在到来的痛感,并且这种方式可以减少药物用量。有了虚拟现实技术,可以让产妇的注意力有足够的转移,来控制疼痛,这样她们就只需要少量的药物。虽然我们还无法消除疼痛,但它能够给你一种类似我们已经使用了数十年的无痛分娩法或心理助产法的感受。虚拟现实技术可以产生一种不同的体验,吸引你的注意力,从而达成与过去所采用的无痛分娩法类似的身体反应。”

VR能够虚拟地将产妇带出病房,让产妇享受海滩阳光,或者在进入冥想的同时享受舒缓的声音。

“想象一下,你突然沉浸到了这种奇幻的360°的世界中,无论是上下前后左右都有奇幻的场景,”Foley说道。“想象下你自己站在海滩上,听到海滩上的各种声音,四处望,可以看到山,看看脚下,可以看到你在沙滩上踩出来的脚印,还可以听到海浪的声音,沙子的声音,这种体验就好像真的在海滩上一样。”

根据Foley的说法,VR是一种完全无需药物,甚至可以让产妇无需使用药物的方法,这种方法正在变成产妇之间的一种流行趋势。

“我认为所有其他类型的医疗行业数十年来形成的惯例并不会被VR取代,”Foley说。“它并不会进入并修正所有的事物。但我仍然相信,它将会改善人们对病痛的控制。它可能会帮助那些产妇,当然我并不希望所有产妇都使用它,但我现在的确遇到了这种问题,并且需要一个东西来解决这些问题,而VR,或许就是我需要的东西。”

最初发布于2017年11月24日

原文链接:http://www.fox10phoenix.com/news/arizona-news/research-underway-to-use-virtual-reality-to-control-pain#

虚拟现实将为高压人群的培训带来一场空前的革命

消防部门接到的电话数量每年都在增长,但实际上大部分都是医疗类的紧急情况。实际上,根据美国消防协会(National Fire Protection Association)的数据,真正的火警数量在过去的十年间已经有所下降了。今天,美国的27000家消防局每年平均会面临少于50场火灾。

这些火警大部分都是住宅遭遇火灾–这就意味着消防员们有越来越少的机会来练习对抗大型的火灾或面临生死攸关的紧急情况–比如高层建筑的火灾,或者存在爆炸物的工业建筑,或者是遭遇火灾的医院的紧急疏散。

传统的烟熏室训练手段面对这一问题时明显力不从心。它们只能模拟出小规模的紧急情况–并且在环保方面的规定也限制了它的使用频率。

这时就需要使用VR技术了。美国佛罗里达州的橘子郡消防局,是美国最大的消防局之一。该消防局正在转向使用VR技术来改善消防局中尉管理火情的培训工作。在联邦紧急事务管理署(FEMA)的授权支持下,这个消防局与中佛罗里达大学的模拟和训练机构(IST)合作,开发了一个全新的紧急事件指挥训练系统。

不过你别多想,在这个项目中,消防员可不会去疯玩那些新鲜的游戏。消防局的领导们最初的确想过要使用他们能找到的最高端的VR头显,但承包方的合伙人Eileen Smith拒绝了这种想法。作为IST的E2i Creative Studio的总监,她认为最新技术的采用通常会引发“惊奇和赞叹”,无论它是否能够真正的改善培训。

主要的挑战在于,消防局的中尉们有着不同等级的经验。那些年长的橘子郡消防员领队现在已经有60来岁了,在被提拔为中尉时,差不多已经接触了100场火灾,而那些年轻的中尉基本上只对抗过三场火灾,甚至有些人无法分辨烟雾。

现有的训练方法是无法胜任的:一组无趣的演讲幻灯片,以及成堆的指导图书。最终的测试是一个仅有一些受限制的互动内容的基于视频的模拟器。真正需要的,是更高的强度和更多的压迫感,这样,中尉们才能够真正学到在面对工作中可能会出现的压力时该如何应对。他们需要进入一个实时的场景,通过视觉线索和来自其他参与者的实时的声音线索–并且看到他们的行动会引发的结果。在这样的模拟训练中,中尉做出的每个决定–或者没有及时决定–都会得到反馈。并且模拟训练还可以被暂停,以修正过程中的错误。

Smith的团队并没有使用VR头显,而是选择了一个10*18米的屏幕,让参与者穿戴上能够测量紧张感的呼吸面罩。“我会把你放进一个3D环境中,虽然是在屏幕上,但你可以与他互动,并且这取决于你自己,”Smith解释道。“在我们的场景中,除了火还在继续燃烧之外,所有的内容都可以停止,直到你做出决定。在一个场景中,你甚至可以共同创作体验内容,你必须要参与其中。”

Mark Nesselrode是一位退休的海军上尉,现在担任General Dynamics Information Technology(GDIT)的全球服务分部的系统架构师,他曾经测试过水手的承压能力,使用的方法是让水手佩戴防毒面具,并且加入化学烟雾。那些无法面对幽闭恐惧症体验的人会首先摘下防毒面具。

现在,Nesselrode也开始模拟训练城市中的火灾场景,他利用声音、黑暗、写实感强的火焰和烟雾,以及触感反馈来进行实验–就是无生气的物体的模拟反馈–能够给水手带来真正的紧张感。

“灭火工作是非常,非常困难的,”他说道。除了视觉、气味和触觉元素之外,“还要有大量的物理效果存在,”包括了解在真实的火灾现场的热量转换的多种模式,由于冷却而引起的颗粒物与表面的互动和湍流。通过使用基于真实效果的游戏引擎,开发出贴近真实的可感知的火场体验,Nesselrode表示,“可以让我们看到潜在任务的‘可组合性’,然后我们就可以评估开发所需的时间、花费和工作流。”

他还补充道,除了消防,甚至还可以应用到其他的服务行业分支,以及供电、重工业、机场和市政部门。

当然,沉浸式的模拟训练并不是一直有必要的。Nesselrode和GDIT已经取得了显著的成就,他们开发了模拟的船上工程项目,使用传统的显示技术,而非VR。

想要打造成功的模拟训练项目的终极方法是,任何的训练方法都需要改善对项目的了解,并帮助做好充足的准备。在消防、短兵相接的战场和紧急的医疗情况中尤其明显,在这些情况下,训练项目可以帮助受训人员在紧张的情况下,甚至面对一些恐怖的场景时也能保持冷静。

美国陆军模拟、训练和设备执行办公室的副主任Rob Parrish认为,VR已经展示出了显著增进知识获取的能力,相比其他没有使用VR技术的训练手段,能够显著提升战场上救助伤员的能力。

在空间感非常重要的训练项目中,VR是特别有效的。Courtney McNamara是一位计算机科学家,他与奥兰多的美国海军空战中心训练分部的Advanced Gaming Interactive Learning Environment(AEILE)团队合作,以航空母舰的飞行甲板举例阐述了这一观点。

“在甲板上有飞机在移动和起飞,还有大量的大型装备,”McNamara说道。“因为这些设备的引擎都在运行中,”发动机喷口的风量和废气可以把水手吹飞…在这些事情发生时,飞行甲板上就像跳芭蕾舞一样–哪里是安全的,哪里是不安全的–你必须可以360°地观看四周,因为这些危险情况可能会发生在每一个方向。

你无法使用传统的相机和监视器来模拟出这样的环境,McNamara解释道。但是“如果你把一个人戴上VR头显,让他进入模拟环境中,并且可以四处移动看到周围的场景,”这时训练过程就会变得非常有效且有教育意义。当受训人员接近不安全的区域时,训练系统可以警告他们,或者训练过程的指导人员可以“暂停模拟项目,告诉他们向右看,那里来了一架喷气机。”

确实,VR模拟训练能够很好地把受训人员传送到训练环境中,并且帮助他们学习正确的反应,以面对那些容易产生紧张感的刺激物。已经有研究人员开始在临床上使用VR技术。圣迭戈的虚拟现实医疗中心使用VR技术来治疗各种焦虑症和恐惧症,以及退伍军人的创伤后应激障碍。这家研究中心使用包含VR模拟器的暴露疗法,带病人回到引发心理创伤的场景,以帮助病人克服这些问题。其中的秘诀在于移除病人的遇到的破坏性的心理障碍。“我们在非常努力的克服这一问题,”该医疗中心的CEO Mark Wiederhold博士说道。“我们并不称其为治疗,而是称其为训练。病人们会来这里,参与一些训练。我们有更高的耐受度。”

医生们会测量病患的心率和皮肤传导性,这能够帮助确定他们的情感状况,并且可以帮助确定Wiederhold博士所说的“暴露速率”。他还从圣迭戈的艺术中心招募了一些老兵来设计VR环境。这些额外的逼真场景确实起到了很大帮助。他说,该医疗中心的成功率在80%左右,而退伍军人管理局的治疗成功率仅为46%。

Wiederhold博士表示,VR是“如果能够明智并且正确的应用的话,VR会是我们能够使用的最强大的技术之一。”

不过,并不是所有的VR都需要使用头显。Gregory Welch是中佛罗里达护理大学的计算机科学教授,他正在开发被他称之为“真实-虚拟病患模拟器”–这是一个先进的,可互动的人体模型。长期以来都是使用传统的人体模型来教会学生静脉注射和插管。但Welch意在让人体模型获得一个全新的真实度。

Welch开发的基于电脑的、半透明的人体模型是由电脑来控制的,并且可以通过透明的皮肤可视化地模拟出毛细血管的反应。甚至还可以修改模型的脉搏,模拟出体温和呼吸频率的变化。种族和性别也可以快速切换。如果需要的话,这个人体模型还可以移动,甚至交流。Welch的团队目前正在专注于如何美化其面部特征,比如嘴唇和眼皮的下垂动作,因为这些是预示着中风的警告信号。

Welch表示想要让这些技术广泛采用的话,还有很多工作要做。但是他很看好这项技术的未来,在未来,该技术会与传统的培训手段一起应用,而不是替代传统手段。“在我看来,这些只是附加的手段,”他说道。“这些方法可以给医护专业的学生不同的体验。”

人们需要能够满足特殊需求的训练工具,不仅是对于不同的用户,而且可以应用到每个领域。确实,开发这种技术的一个期望就是随着用户群体越来越大,成本也能够降低。美国海军计划在2017年的早些时候开始减少一半的核反应堆原型训练的成本,无论是书本还是模拟器。Nesselrode说道。

“不用阅读技术手册或查阅单行本或图解,你就能够进入虚拟的引擎室,看到整个反应堆,并且随着技术的进步,还可以肚子操作设备,或者作为观察组的一员来观摩,”Nesselrode说道。“这就是训练过程的一场革命。”

最初发布于2017年3月20日

原文链接:https://www.govtechworks.com/virtual-reality-revolutionizes-high-stress-training/

VR将为心理健康领域带来变革!牛津大学临床心理学教授如是说

我们离提供给每个需要心理治疗的患者及时的帮助还有很长的距离,但是通过使用VR技术,我们或许即将迎来一场变革。

在目前的科技界,没有几个话题的热度能够超过VR。虽然这一技术已经存在数十年,但直到现在,VR才通过Oculus Rift、HTC Vive和可以连接手机的移动VR头显进入消费电子产品领域。但是VR不只是技术领域的游戏改变着,它还将改变我们解决心理健康问题的方法。

在不久之前,谈论心理问题还是一个禁忌,而目前这些问题的存在已经不是秘密。比如,我们知道每四个人中就有一个会在生命过程中的某个阶段经历心理健康问题。这个病痛的分支不是只有少数人才有的,其在社会经济学方面的影响也是非常深远的。在英国,处于工作年龄的成年人存在健康问题的,有一半是心理方面的问题。每年,英国用在心理疾病方面的财政支出能够达到2800万英镑–这还不包括英国全民医疗服务的支出。

既然问题如此严重,我们是如何应对的呢?以研究基金为例,心理健康问题研究仅使用了5%的医疗研究基金,13%的英国全民医疗服务基金。虽然从2007年开始,在Improving Access to Psychological Therapies项目的帮助下,治疗手段正在逐渐增多,但我们距离给每个需要治疗的人及时的治疗,还有很长的路要走。

并且这种治疗方法是非常关键的。在某种程度上,心理咨询和辅导是更加高效的,但是只有在呈现给患者引发心理问题的场景,并且让他们直接去学习、感受和表现的更具建设性时,才能产生最强大的改变。这就意味着患者走出心理咨询室,进入了真正的世界,而治疗过程更像是一个私人的治疗师,或者说一个教练。但不幸的是,这种情形还很少出现:即使咨询师们能够意识到这种强烈的需求,他们的时间也是非常贵的。

现实情况是非常不乐观的,这是一个重要的公共健康问题,并且无法提供给这些心理疾病患者最佳的治疗。终于,借助已经出现了近半个世纪的技术,我们处在了一次重大突破的边缘。

MIT在上世纪60年代就最先研究了VR技术,并且其中的基础元素到现在也没有太大改变–一台电脑生成一张图片,一个显示系统呈现出感知信息,以及一个跟踪器能够反馈用户的位置和方向,以对图像进行更新–但最新的内容是复杂性和新技术的易得性。

由于像Facebook这样的大公司对VR技术的大量投入(他们在2014年以20亿美元收购了Oculus),这项技术已经在游戏领域崭露头角。那么这项技术能够给心理健康领域带来什么呢?

答案在于,VR在创作强大的模拟环境时有着非凡的力量,比如模拟出引发心理问题的环境。这样一来,我们就不需要心理治疗师来协助病患回到特定的环境,比如喧闹的商场,或者爬上一栋高楼。那些基本不可能为了治疗心理问题就搭建的环境也可以通过点击鼠标来完成,比如飞行,或者是引发创伤后应激障碍的事件。对于许多心理问题来说非常有效的现场咨询,也可以直接传送到咨询室中,模拟环境可以调节难度,还可以根据需要进行重复。

VR还有另外一个巨大的优势。这是很容易理解的,面对一个难以接受的场景–虽然是治疗过程的一部分–对于很多人来说都是不愉快的。但由于VR并不是真实的,它会逐渐消失。我们可以在VR中做我们在日常生活中不情愿的事。并且,虽然由电脑生成的环境是人工的,我们的思想和身体也会给出真实的反应,就像它们是真的一样。这就意味着我们在VR中学到的东西会转换到真实世界中。

那么,VR和心理治疗到底如何结合呢?我们已经见到了使用VR去评估、理解和面对心理问题的一些研究。最早的案例出现在大约25年前,那时,设备的造价和复杂程度以及编程难度意味着这项研究仅仅属于非常小的专家团体和研究中心。之后发布了285项研究内容,这些研究内容中大部分都聚焦于使用VR来治疗焦虑症,以及特定的恐惧症、社交恐惧症和创伤后应激障碍。治疗结果是非常鼓舞人心的–VR是一个经过验证的提供迅速且持久的改善的治疗方法。

那么,其他类型的心理失调呢?目前还只能说有潜力。我们目前对于精神病中经常出现的被害妄想症的研究也提到,VR有着巨大的价值,但是我们还需要更多的研究。只有两个试点研究项目使用VR来检测抑郁症,当然这也是最常见的心理疾病之一。我们都知道,这项技术在触发酗酒和烟瘾时非常有效,但是没有人真正在一次VR治疗中进行测试。类似的,因为VR能够改变我们了解自己身体的方式,它能够极大地帮助治疗进食障碍问题(比如曾有这样一项研究,让厌食症病人用很短的时间去体验一个身体质量系数正常的人的身体,在此之后,厌食症病人就会较少的过高评价自己的体重)。但截至目前,针对进食障碍的系统化的VR治疗研究还没有出现。

焦虑症除外,在早期就已经使用VR对其进行了研究。我们可以看到,这项研究的潜力是巨大的,不仅是用于治疗,还需要用于评估。这样一来就无需依赖于病患能够回忆的想法和感受,VR还可以让临床医生们进行大规模的测试。而且,或许很快我们就可以在自己舒适又安全的家中使用VR来改善我们的心理健康状况。目前的VR治疗手段需要经过培训的医师来主导,未来的VR治疗手段或许能够由一个虚拟的医师来提供,让数量远超现在的病患能够获得最佳的心理治疗。

想要达到这种程度的话,需要有效的战略引导和投入。在硬件方面,VR在心理治疗中或许比脑部扫描仪更加重要。目前,位于牛津大学的心理健康研究团队是英国唯一具有完整的VR治疗手段的团队。

不仅虚拟治疗的心理学部分要适当,VR体验内容也必须要达到标准。很多所谓的VR距离革命性的沉浸式技术还有好几条街的距离。当VR被适当运用时,它对于用户来说将会是一个惊人的体验。虚拟的治疗手段就会像是目前最棒的电脑游戏那样激动人心,如果它们还能让我们回来寻求更多内容的话。

我们绝不能忘记VR极少会让我们模拟现实场景–它允许我们创建在真实世界中可能不会发生的场景。我们在几年前曾经做过这样的事,我们在一个VR环境中改变了人的可感知的高度,并且跟踪了这对他们的自负感的影响。VR治疗手段必须专注于开发这项技术难以置信的强大能力。

当然,更稀松平常但却依然非常重要的是,VR治疗手段必须经过严格的临床测试。

我们还需要进行更多的研究,但是最终的益处会是惊人的。很多人都说VR是一项正在寻找目标的技术。但在心理健康领域,它已经找到了用武之地。

最初发布于2017年3月24日

原文链接:https://www.theguardian.com/science/blog/2017/mar/22/why-virtual-reality-could-be-a-mental-health-gamechanger

虚拟现实技术有效助力肢体康复训练 但我们还需要谨慎些

技术的进步正在持续改变着医学领域的未来,但是曾经被认为是游戏玩家专属的VR设备,是否会成为肢体康复领域的下一个前沿呢?

Rohan O’Reilly是南威尔士纽卡斯尔的一位运动康复治疗师,他已经在尝试选择性的使用一些包含VR设备的治疗手段,来帮助他的病人们做肢体康复训练。

“听他们讲述自己遭遇大面积创伤的经过,以及他们从遭遇事故到治疗的过程中遇到的事,让我有了很多思考,”O’Reilly说道。

“他们其中的大部分人都认为治疗过程是非常乏味的,并且非常不舒适,也没有任何的激励性。所以我们认为,我们需要让治疗过程感觉好一点。”

“现在,激动人心的新技术正在不断涌现,但却不是所有人都知晓。很幸运我们能生活在这样一个年代。虚拟现实就是这样的一种技术,毫无疑问它将会改变游戏行业。这是一个现象级的技术,VR作为一个平台,可以把人们放进他们想要进入的环境中。”

虚拟现实让治疗过程更有趣

O’Reilly表示,虚拟现实可以用一种非传统的方法来帮助病人进行肢体康复训练。

“治疗过程是融入情感的,”他说道。“如果你的康复训练刚好遇到这样一种情景,比如你需要捡起一个无生命的物体,你和这个物体也没有任何的情感联系,然后不断重复….对于大多数人来说,他们会认为这没有问题,我可以重复一会儿这样的动作,但是,他们很快就会感觉枯燥。”

“但如果你把一个人放进虚拟现实中,其中所有的画面都会让他们联想到自己喜欢的事物,他们就会接受这种治疗。”

“我们只是简单的创作出一种环境,病人们可以在其中探索自己的能力。”

病人们会发现自己健康状况大有好转

在大概四年前,Angus McConnell遭遇了一场事故,彻底改变了他的生活。他在顺着纽卡斯尔的一条山路向下骑行时遭遇了车祸。

“我撞在了挡风玻璃上,倒在了路上,最后导致我脊椎损伤–这是C7级的完全残疾,”McConnell说道。

“这种伤痛一直在纠缠着我。”McConnell也曾在传统的医院进行了康复训练,但他还在寻求其他的治疗手段。

“随着伤痛的延续,你会想要确定是否应该忽略这些无法工作的肢体部位,或者是否要让他们恢复正常,”他说道。

McConnell说,他在经过肢体康复训练之后,已经有了大幅的改善。

“最初我们从增强肌肉开始,希望神经信号也能够恢复正常,”他说道。“我可以感觉出来身体的变化,电极刺激身体的部位时,神经也会有明显反应。”

“在电极刺激的帮助下,我现在已经能够站起来了,在两年前,这是我不敢想象的。”

学术研究称VR是有效的,但是人们应该谨慎对待

纽斯卡尔大学的中风研究者Coralie English副教授认为,人们应该以一种谨慎的态度对待肢体康复训练。

“有相当多的证据证明,虚拟现实在恢复中风病人的肢体功能上是有效的,”她说道。

“这种康复手段对于那些已经有过活动的病人来说是有用的。但目前没有任何证据证明,如果你根本不能动,在VR中尝试运动的话会引起任何功能的恢复。”

“必须要确保的是,病人正在锻炼他们需要恢复的功能,并且这还需要由医疗方面的专家进行严格而透彻的评估。”

最初发布于2017年4月5日

原文链接: