用于训练、作战与维护 美军正寻求更先进的VR/AR头显设备

有专家表示,商业领域推动的技术提升有望带来更先进的虚拟和增强现实头显,以解决当今与美军使用的头显相关的许多问题。

虚拟现实(VR)使用户沉浸在一个由计算机生成的环境中,例如VR游戏。增强现实(AR)可以将数据或其他用数字化手段创建的图像叠加到现实世界的视场上,例如电视观众在观看足球或棒球比赛时看到的黄色或橙色的区框。

美军的官员们指出,通过提供使用数字化手段创建的敌军或其他在实际战斗中可能遇到的环境因素,VR和AR头显可以改善军队为对抗先进的对手进行的高科技战争的训练方式。

市场分析公司Frost&Sullivan的航空、国防和安全分析部门副总裁Michael Blades说:“商业领域也是所有游戏玩家都将使用这些设备的地方。他们将进行修改、更新和升级,以跟上该市场中的竞争对手的步伐,这将提升国防领域用户的能力。因此,国防领域将最终从商业市场的竞争中获胜,因为他们将获得更好的训练能力。”

美国空军的飞行员培训计划(Pilot Training Next)就是一个例子,该计划旨在提高飞行员培训的效率,并加快学员们的学习进度。虚拟现实头显的使用为学生们提供了更多磨练技能的机会。

美国空军教育与训练司令部(Air Force Education and Training Command,简称AETC)第24分部的运营官Robert Knapp中校说,在传统的飞行员训练结构中,学生都是从一些纸质出版物或带有培训文件的iPad开始。

“他们从那些培训手段起步,之后会使用一个极其昂贵的传统的模拟器,在那里他们可以进行全方位的飞行训练,”他说道。“那些昂贵的模拟器的问题在于,它们的数量太少了,而且学生进入模拟器的次数也很有限。”

现在,参加Pilot Training Next培训计划的学生可以坐在椅子上,戴上HTC Vive Pro等商业设备进行练习。

VR头显为美国空军的飞行员提供了更多接触模拟技术的机会。

“我们可以填补阅读书本或iPad上的内容与使用一些较便宜的市售设备进行高保真模拟训练之间的差距,”Knapp说。

但他指出,如今的头显有一些缺点。

“当你使用超高分辨率的头显时,视野会变窄,”他解释说。“要获得更大的视野,你需要使用较低分辨率的头显。”

“但是理想情况下,技术研发将会继续,我们将拥有超宽的视野、超高分辨率和非常高的帧率,因此不会出现抖动,”他补充说。“我们现在还没到这一步。”

但是,参考游戏行业技术的发展速度,美国空军可能会在不久的将来拥有它们所需的VR头显。

“我们对这些设备在接下来的几年中的发展趋势感到非常兴奋,因为我确实认为我们离极高保真度的头显并不遥远,到时候,任何人戴上头显都会沉浸在更像真实世界的虚拟环境中,”AETC的助理运营总监Maj.Eric Jones说。

CAE的防御和安全业务技术负责人Phil Perey说,新上市的头显比以前的系统具有更好的保真度。CAE将虚拟和增强现实头显整合到了它为军方客户(包括后勤机组人员)提供的培训解决方案中。

新的Varjo XR-1具有足够清晰的分辨率,用户可以清楚地读取仪表面板的信息,这是以前的头显所不具备的功能。他指出。

Perey预计VR和AR头显技术将继续发展。

“以后将有必要给这些头显做减重处理,”他说到。但是,这不是唯一的需求。

“他们可能会因为现有的视野而减小应用范围,但是当他们试图将视野扩展到更大时,他们的应用范围也将扩大,”他说道。“我们将看到设备重量的下降,可能会看到设备外形逐渐变大,以涵盖更大的水平视野。”

Perey说,他已经尝试了一些将于2020年上市的下一代头显,并且对它们的大体积和较轻的重量都印象深刻。他说,其中之一“几乎是羽毛般的轻盈”。

减轻系统重量可以减轻用户所承受的压力和不适感。

“有一些有前景的制造技术将使这些设备的重量减轻很多,”Perey说。“这将成为人们戴上这些设备,并持续佩戴数小时的重要因素。”

新的电池和更小的计算机也可以帮助减小头显的体积和重量。

微软公司服务美国陆军部门的主管Mark Valentine表示,重点是提升与头显相关的电池技术。他指出,材料科学的进步带来了更小的外形尺寸和更长的电池寿命。

“对电池电量的研究,以及提高电池效率是目前的关键技术之一,”他说道。

微软正在向美国陆军提供其HoloLens2增强现实头显的修改版,以用于集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)项目,该项目包括抬头显示器。美国陆军希望将这些设备用于训练目的,并向战场上的部队提供更好的态势感知和数据访问能力。

HoloLens系统具备透明的镜片,Valentine指出。

“我可以看到现实世界,同时还可以获取数据和信息,并以固定在环境中的3D全息图的形式显示出来,”他说道。“HoloLens本质上是戴在头上的Windows 10计算机,但并不是通过屏幕来显示的。现在,它是通往现实世界的混合现实传送门。”

Valentine拒绝具体讨论IVAS项目的细节,但他指出,微软认为HoloLens技术有多种潜在用途,包括用于战斗准备。

“现在,如果我是一名陆军士兵,并且要训练夺取一座建筑物,我会遇到一些敌方部队,会遇到一些突然出现的目标,诸如此类。然后我便冲入建筑物并用真正的武器射击,“他说。但是在混合现实世界中,可以用全息图来模拟敌军。

头显也可用于帮助设备维护人员。

“比如,我们可以看到工具箱,设备本身可以在智能边缘进行人工智能识别,打开工具箱,确定下一步维修所需的工具,然后就会为我突出显示这个工具,”他解释说。“我拿起工具,看着飞机,然后,维修清单中的下一步就会以全息图的形式显示出来。”

Valentine指出,与上一代HoloLens相比相比,HoloLens 2具有更小的外形尺寸和更大的视野。该公司还将计算部分从设备的正面移至后面的垫子上,以使佩戴者感到更舒适。

困扰VR和AR头显的另一个问题是用户的操作与模拟环境中相应的变化之间的延迟。美国国家训练与模拟协会(National Training and Simulation Association,简称NTSA)会长James Robb指出,这不仅降低了模拟训练的效率,而且还可能导致晕动症。NTSA是美国国防工业协会(National Defense Industrial Association)的附属机构。

然而,新兴的5G无线技术可能会改变这方面的游戏规则,Robb说。预计5G网络的速度将是4G的20倍。

“5G的延迟应该很小,”他说道。“每当你需要将模拟训练内容从服务器传输到头显时,传输过程中都会有所延迟。因此,只要你提高架构的效率,将无线架构合理地直接用于高速计算机上,就可以减少该问题。”

Blades说,这种技术是未来的潮流。

他说:“这项技术将朝着使一切无线化,并且眼镜本身具有大量计算能力的方向发展,”他说道。“我们已经有了5G。因此,我确定在任何头显与它们所连接的设备(无论是PC还是其他头显或其他设备)之间的延迟几乎可以忽略不计。”

五角大楼即将启动一项5G计划,其中包括将该技术整合到军事任务计划中,以及在训练领域的虚拟和真实环境中进行训练。

Robb还期望下一代头显在训练场景中能够具有更强的数据收集能力和更强的利用AI的能力。

“在这种情况下,机器将在确定你的工作方式并帮助提升表现方面进行很多工作。从帮助你提供决策选项,到提供信息,或者帮助你获得正确的可视化效果,它将无所不包,”他说道。“支持人员越聪明,用户从中获得的好处就越多。”

美国陆军作战能力发展司令部(Combat Capabilities Development Command)模拟和培训技术中心主任Matthew Clarke表示,他不太担心VR技术的改进。

他在最近一次与记者会面时说:“VR行业会采取行动,因为这与游戏行业有关,而游戏业务正在增长。”

他指出,增强现实是一个更大的问题。

“这是因为你正在尝试将真实世界与虚拟世界融合在一起,并且面临着巨大的挑战,”他解释说。“例如,如果你没有将这两个世界进行绝对的对齐,那么,当你在使用时会产生偏离,但我们不能有这种偏差。”

“因此,我在AR中要面临的具体挑战是对齐、跟踪、动态遮挡,”他补充道。

美国陆军希望有一个可以从AR过渡到VR的套件,因此军方可以“从中获得双重收益”,他指出。

同时,美国陆军还想要具备功能更强的被动型传感器的头显。

“美国陆军讨厌主动型传感器,因为敌人可以检测到它们,”他说道。“我们需要被动型传感器。如今,被动型传感器存在的问题是无法获得距离信息,无法获得范围能力,这是我们进行单元训练所需要的。”

Clarke还设想了一个AR技术看起来与今天完全不同的世界。

“我们将不用佩戴头显,而是佩戴增强现实隐形眼镜,”他说道。“对我来说,这就是未来,摆脱处理过程,将人体产生的能量转换为电源,你无需携带额外的电池。”

Blades表示,在未来,AR技术的进步可能不需要用户佩戴任何的头显设备。

“这些设备很多都是显示了某物的3D外观,”他指出。“如果这只是由某种视频产生的,你不需要眼镜就可以在面前显示一个3D物体呢?增强现实的有趣之处在于,其中一些应用程序,甚至可能不需要眼镜就能体验。”

最初发布于2020年1月8日

原文链接:https://www.nationaldefensemagazine.org/articles/2019/11/27/pentagon-eyeing-more-advanced-virtual-augmented-reality-headwear

战斗机飞行员培训新方案:增强现实模拟假想敌战机

在空战环境中训练顶级飞行员时,通常需要有飞行员驾驶作为假想敌的战斗机。而在训练中扮演敌方非常昂贵且危险。服役于英国皇家空军(RAF)的Daniel Robinson,同时也是Red 6 Aerospace公司的联合创始人兼CEO,开发了一个增强现实平台,名为机载战术增强现实系统(Airborne Tactical Augmented Reality System,简称A-TARS)。它可以为飞行员创建虚拟的对手,例如中国的J-20,用于飞行员的空中对抗训练。

Robinson说:“至关重要的是,我们的竞争对手的创新步伐是如此之快,以至于我们无法准确模拟在任何即将到来的冲突中可能被要求对抗的威胁类型。”

Robinson是第一位与美国空军一起驾驶F-22战斗机的非美国飞行员,他亲眼目睹了所谓的红军对手的需求。“简单来说,战斗机飞行员每次升空训练时,他们都需要飞机和飞行员进行对抗训练,”Robinson在最近的一次采访中说。“如何提供这些对手是一个明确的痛点,不仅对于美国空军,而且对于所有军种和盟军而言都是如此。仅就美国空军而言,这是一个每年要花费数十亿美元的问题,并且由于长期缺乏前线飞行员和机队老化而无法模拟最新的威胁,解决这一问题变得越来越困难。”

通过已获得专利的显示技术,A-TARS系统将虚拟飞机放入飞行员的头盔显示器中。当前的显示系统具有105度的视场角,并集成到了标准的HDU 55头盔系统中。它也能够在日光环境下工作。他说:“我们能够将虚拟飞机带入现实世界,带入飞行员的视线中。”并且,A-TARS还可以用于任何级别的空战飞行员培训。

Robinson受到了Red 6首席产品官Glenn Synder开发的技术的启发。该虚拟现实系统使在英国赛道上的一名赛车手能够同时与身在美国的赛车手竞赛。Robinson说:“两位赛车手都佩戴了基于虚拟现实的头盔,但是却在真实的赛道上驾驶着真正的汽车。”

“他们在这个虚拟世界中同时相遇,并在两条真实的赛道上进行比赛,即使中间隔着大西洋,”他解释说:“这是VR(虚拟现实)领域令人难以置信的首创,是非常重要的技术突破。一看到它,我就开始联想,并问他们:’我可以用飞机替换这些汽车吗?’他们说是的,尽管很复杂,但很有可能。”

Robinson认识到,虚拟现实或真实世界的完全数字化对于进行空中训练的飞行员来说是不可行的。但是增强现实,或将某些虚拟元素叠加到现实世界上,提供了新的思路。他说,Red 6必须解决在户外和高度动态化的环境中使用增强现实的问题,例如每小时飞行数百英里并执行快速机动的喷气式飞机。

Red 6开始了其研发过程,并在2018年Starburst Aerospace加速器的年度East Coast Selection Committee活动中推出了该平台。该公司在洛杉矶的Moonshots Capital领投的种子轮融资中筹集了255万美元,并获得了Austin’s Capital Factory、IronGate Capital Advisors以及其他投资机构的支持。

美国空军注意到了这家公司,特别是当Robinson向空军创新部门AFWERX和空军研究实验室(Air Force Research Laboratory,简称AFRL)提出他的想法时。在今年2月,Red 6 Aerospace对该服务进行了可行性演示,展示了在静态环境中(在停放在机库中的一架试验飞机的驾驶舱中)的增强现实平台的情况。

“我们有试飞学校、AFRL、空战司令部,空军教育训练司令部的代表,”Robinson说:“他们都来看我们的系统。他们能够坐在驾驶舱中,戴上我们设计的头盔,通过增强现实系统,我们能够看到周围的飞机,同时仍然可以看到真实世界。”

在地面演示之后,空军与Red 6公司签署了小型企业创新研究(SBIR)第一阶段合同。本月早些时候,Red 6获得了150万美元的SBIR第二阶段合同。该公司将在接下来的几周内为利益相关者进行空中演示。

“上周,我们在真实飞机和增强现实中进行了世界上首次增强现实空中加油测试,”Robinson说道。“我们飞到了模拟的空中加油机附近,并在旁边加入了模拟的F-22战斗机。我们能够实时围绕加油机进行机动,接近加油机,甚至感受到了加油杆插入我们的飞机。这对我们来说是一个非常激动人心的新世界。我们测试了空中加油训练,但它可以是任何东西,包括一架正在机动的J-20。”

Robinson表示,这家总部位于圣莫尼卡的公司预计将在2020年第一季度筹集A轮资金,以继续开发该技术。

最初发布于2019年11月21日

原文链接: https://www.afcea.org/content/flying-augmented-reality

从军用到民用 增强现实技术是如何让航空飞行更安全的?

我们都曾经幻想坐在座舱里,在远处的天边漫游。很难找到一个没有过飞行梦想的人。但是飞行除了能给我们带来满足感之外,没有人能够否认,飞行还是一件很危险的事。现在的飞机当然是非常高效而且安全的,在制造时必须执行的极高的安全标准和维护工作使得事故概率变得极低。不过,飞行中真正的薄弱环节并不在于人们所想象的飞机的工程力学设计,或者发动机,或者控制面,而在于飞行员。

最新的研究报道显示,所有的飞行事故中有85%是由于飞行员的误操作。虽然在商业航空领域的事故概率在最近几年有所降低,但总体上看,基本没有什么变化。在个人飞行领域,事故概率在最近十年间上升了20%。

民用航空领域的增强现实应用

通过这些数据,很容易就可以发现飞行员存在问题,不过,还有更多的问题。Richard Collins在其文章《Was it Really Pilot Error – Or Was it Something Else?》中曾经很直接地指出了真正的问题所在–“飞行员们并不是故意犯错的,不过,他们犯错是因为没有更好的解决办法。”

任何一个曾经驾驶过飞机(或者曾经尝试过桌面版的飞行模拟器)的人都会告诉你,飞行并不容易。即使是看一下塞斯纳172飞机的操作说明,就能让一个飞行学员头脑混乱。更不必说那些操作波音737飞机的飞行员了,毕竟这架飞机包含上百个开关和表盘。

飞行员们需要在做出最简单的决定之前,综合考虑大量的信息。这时,错误就可能会失去控制。了解设备信息、地形地势和天气信息并且做出决定,会是非常枯燥但非常快的。作为飞行员,我知道这种情节会可能会有多危险。

这里就需要增强现实了。飞行员出错的原因并不都在于没有获得足够的信息,而是同时呈现太多的信息,可能会导致分析瘫痪。而使用AR应用,那些具有重大意义的信息能够在需要时,以一种直观的方式呈现给飞行员,这样一来他们就可以专注于当前的任务。

将AR应用于飞行中并不是最近才开始的,实际上,它早已投入使用了。今天,每一款四代以上的战斗机都会包含标准的抬头显示器HUD,可以在飞行员面前的一片玻璃上呈现极为重要的导航信息、飞行信息、目标信息以及与任务相关的其他信息。这是为了保证飞行员在空中鏖战时无需低头查看其他设备。第五代战斗机F-35 闪电2更进一步,它在飞行员的头盔中安装了一套完整的AR设备。可以让飞行员获得史无前例的360°态势感知,甚至是视觉穿透能力。

现在,很多技术都开始从军用领域进入到民用市场,像是Aero Glass这样的初创团队正在进军传统的飞行领域。随着硬件价格的下降和可视化技术的进步,AR终于可以在商用飞行领域亮相,并且能够实现姗姗来迟的成就。来自奥迪、宝马和丰田的许多汽车都开始使用HUD,并且可以很容易地给其他汽车找到第三方配件。当然也可以将其应用于飞行系统。

AR如何帮助飞行员

正如过去所说的那样,AR应用于飞行时的首要功能,是根据需要呈现重要信息。今天的AR系统可以360° 3D的可视化展现地形地势、导航、空中交通、设备信息、天气和空域信息,并且是以很容易理解的形式。下面是AR能够帮助飞行员的几种方式。

比如一个飞行员准备好要滑行了。他们的AR头显能够列出一个虚拟的清单,帮助他们做好飞行前的检查。在检查完成之后,头显能够呈现跑道的信息,引导飞行员进入预定跑道。同时飞行员还可以收到其他正在滑行/降落/起飞的飞机发来的警告信息。

同样的,当飞行员准备好要起飞或降落时,AR系统能够呈现一个简单的通道式图层,展示出正确的路线。这是非常有用的,因为起飞和降落是飞行中风险最大的环节。由于飞行员离地面很近,任何的风险都需要快速处置。通过告诉飞行员哪些需要处理,AR系统能够帮飞行员减少疏漏,让起飞和降落更简单,更安全。

最后,AR系统在巡航阶段也是非常有用的。包括水平仪、航点、天气更新、飞行计划、管制区域和地形地势在内地重要信息都能展现出来,以提供完整的态势感知。

显示的这些信息还可以个性化,以配合飞行员的喜好,其中的不同模式也可以启用或关闭。值得注意的是,这一系统需要极高的精确度,以保证正常运行。因为即使是图层间最细小的区别也可能会引起严重的,甚至是致命的后果。

除了飞行,AR还有哪些应用场景

虽然上面提到的AR应用场景是非常明确并且久经考验的,这种技术也展示了其他领域的使用潜力。维修和操作行业(MRO)就是这样一个领域,能够从AR中获益。培训和认定一位技师会是非常贵并且费时的。在美国,最多需要八年的时间,一位技师才能获得完整的资质。主要是由于培训通常是需要亲自上手操作的,并且有时要使用设备也是很困难的。

AR/VR/MR在该领域的价值都是不可估量的。通过创作出真实部件的虚拟形象,技师们可以在安全的环境中进行技能培训,并且在培训次数上不受限。他们可以将手放在虚拟部件上,就像操作真正的部件那样与之互动。基于AR/VR的指导可以降低培训专业人员所需的时间和资金成本,同时让培训过程完全不会遇到危险。

同样的,虽然抬头显示器HUD已经出现在汽车行业,但远远没有突破其潜力。可穿戴的AR系统能够为司机们提供360°的态势感知,就像飞行员们那样,可以让司机们更加安全地驾驶。比如地标建筑、导航信息和潜在的危险等信息能够呈现在司机眼前,这样他们就无需从路上移开视线。

有些人持有这种观点:自动化会是民用和军用航空领域的未来。毫无疑问,自动驾驶和传感器技术正在取得巨大进步,并且也让飞行更加安全了。但是正如人们常说的,技术在任何时候都不可能替代飞行员,虽然他们容易产生误操作。

以1549号航班事件(电影《萨利机长》的原型)为例。这架飞机从纽约飞往北卡罗来纳州夏洛特的时候,刚刚起飞三分钟就遭遇了小鸟的撞击,让两台发动机都出现了故障。在发现无法返航,且无法转向新泽西的帝特波罗机场之后,飞行员决定将飞机迫降到哈德逊河里,并且成功地救下了飞机上所有的155名乘客。现在该事件被誉为“哈德逊河的奇迹”。这场事故告诉人们,人的因素是不能被忽视的,因为机器是无法做出这种决定的。

增强现实应用,比如由Aero Glass开发的这些能够在未来帮助飞行员们避免代价高昂的失误,让他们迅速做出决定,拯救生命。虽然该技术还处在开发阶段,但该技术将带来的安全方面的改善,值得我们的等待。

最初发布于2017年5月16日

原文链接:https://uploadvr.com/ar-aviation-safer-better/