融合VR/AR等技术,4GD打造面向城市作战的模拟训练系统

在合成的背景幕下,狙击手观察到一组队友正在前进,然后瞄准他的目标。他静静地通过无线电告诉大家稳住。狙击手开火,第一枪失误,然后第二枪击中了敌人。在海岸安全后,小队继续前进。狙击手在200多英里外的训练舱里观察到了这一切。

这个场景,或至少是它目前的版本,是4GD作出的承诺。这家公司致力于为城市作战构建一种新的训练系统。要兑现这一承诺,意味着广泛应用虚拟现实/增强现实、合成训练环境和生物识别传感器,所有这些都是为了创造一个像使用激光标签一样顺畅、自然的训练系统。

这是一个雄心勃勃的计划。随着军队,如英国和美国的军队,着眼于2020年代、2030年代和2040年代的冲突或战事,他们可能希望训练士兵掌握所有的能力,包含与狙击手和无人机协同,或阅读发送到随身平板电脑的情报。在现实世界进行的大规模训练可以提供实践经验,但实际上,由无人机进行现场监视意味着需要使用昂贵的工具,而且这种训练方式也只能在有限的时间内进行。

虽然无法预测未来战场上可能存在的各种危险,但现在已经可以预测新的现代作战方式大概的轮廓。弗吉尼亚州Quantico海军陆战队基地保存至今的战壕,是美国海军陆战队在美国加入第一次世界大战时挖掘的。在战壕中进行训练,显然无法应对西海岸已知的高科技威胁。

五角大楼预计,城市战场将成为未来几十年战争的重要组成部分,这些战争将会离不开无人侦察机。通过4GD的技术,士兵可以在符合预期的模拟战场进行训练,训练工具和威胁内容会随着时间的推移而演变。

4GD的业务发展总监James Crowley说,4GD由英国皇家海军陆战队退伍军人于2016年创立,“我们认识到城市作战不会发生太大的变化”。

Crowley说:“我们都是相对现代的士兵。然而,无论是在英国还是在国际上,我们都在不活动的、相当无聊、安静的模拟城市环境中接受过训练”,“有些是由海运集装箱制成的,另一些是相当简单的挡风板式设施。我们认识到,在引入技术和提供士兵视角之间存在鸿沟。”

城市模拟训练设施的门槛可能相当低。西点军校学员使用的训练设施之一,是由六块煤渣砌块结构组成的,既没有城市地区的复杂性,也没有比农场更密集的人口。

美国陆军正在积极寻求开发一种包含增强现实和合成现实的训练工具,名为合成训练环境(Synthetic Training Environment)。该计划的承包商尚未确定,尽管已经在测试基于微软HoloLens 2的集成视觉增强系统(Integrated Visual Augmentation System)。以前演示的组件包括头显和安装在步枪上的激光附件。

为了完成更复杂、更贴近现实的训练,4GD最初曾着眼于虚拟现实。

Crowley说:“虚拟现实并不能真正满足近距作战的士兵的需求。”正如Crowley所理解的那样,这些需求是让训练尽可能接近真实体验。这意味着使用与战场相同的装备,从带有模拟弹药的普通步枪,到战斗中随身携带的平板电脑。

“当你使用战况感知设备时,它就在你的胸前,”Crowley说:“你想达到的是可以凭直觉地移动并翻转它……因为你已经在训练中做了一百万次了。”

VR头显在提供沉浸式体验的同时,需要用户通过控制器战斗。它还通过遮住佩戴者的眼睛,阻碍了外围视觉感知。这对于一个正在玩游戏的玩家来说,没有关系。但对于团队训练来说,要相互了解彼此的非语言暗示,消除外围视觉是不可行的。

4GD提供的训练环境,并不是最近几代新兵很熟悉的固定的组合,而是在专用设施内使用模块化和灵活的装置。军队可以一遍又一遍地以相同配置进行训练,也可以将其设置为进阶训练的独特场景。4GD提供了复杂程度不同的五个级别,每个级别都包含更多技术来增强体验,同时支持教官对团队表现进行分析。

可以响应士兵携带的传感器信号的灯光、烟雾、气味和自动化目标,共同构成了逐渐更具沉浸感的体验。训练设施内的大量传感器也会跟踪运动、光线和声音。协助训练的教官可以模拟枪声和爆炸。

这种复杂的虚拟训练的另一个优势是能够将远处的参与者融入其中,例如在本文开头的场景中与小队合作的狙击手。狙击手与其他训练人员相距200多英里。通过将场景投影到环绕屏幕,在狙击手的瞄准镜中,他可以看到并瞄准屏幕上的目标。

这个目标则是4GD训练设施中的移动单元,位于一个房间内。如果小队开门或从窗户开枪,狙击手能远程看到。

Crowley解释说:“当目标被击中时,它真的会倒下,与此同时,借助虚拟现实进行观察的狙击手会看到正在倒下的目标的化身,同时看到小队进入那个房间。”

在没有合成环境的战斗演习中,想要与狙击手一起训练,需要部队在同一地点进行训练,并需要与现实世界相同的大面积的训练场地。而通过在训练设施中使用合成的房间和虚拟现实技术,进行训练的单位可以与身处其他地方的狙击手一起训练,同时还能学习呼叫狙击手支援、等待狙击手开枪,以及清理房间等动作。

常规训练之所以非常昂贵,是因为还要用到无人机等其他设备。4GD可以模拟这些设备,并将视频发送到士兵在训练中配备的平板电脑。

对于日常工作需要查看无人机监视视频的部队来说,每次他们进行训练时,随身携带的无人机拍到的监视视频,可以让他们熟悉在战场上会看到的信息类型。从设计上讲,这是一种让战场上现代和专业的内容变得常规和熟悉的方法。

4GD的全套训练设施于2021年1月首次亮相。目前,还没有部队采用它。该技术演示是英国国防部正在进行的陆军作战实验(Army Warfighting Experiment)的一部分。虽然该公司已经出售了其系统的不同组成部分,但4GD仍然希望能在不久的将来出售全套训练设施。

“我们希望将城市战术训练变成像去健身房一样容易,”Crowley说。

最初发布于2021年12月1日

原文链接:

https://www.military.com/daily-news/2021/10/29/training-future-of-combat-try-augmented-reality-headsets-and-biometric-sensors.html

用于训练、作战与维护 美军正寻求更先进的VR/AR头显设备

有专家表示,商业领域推动的技术提升有望带来更先进的虚拟和增强现实头显,以解决当今与美军使用的头显相关的许多问题。

虚拟现实(VR)使用户沉浸在一个由计算机生成的环境中,例如VR游戏。增强现实(AR)可以将数据或其他用数字化手段创建的图像叠加到现实世界的视场上,例如电视观众在观看足球或棒球比赛时看到的黄色或橙色的区框。

美军的官员们指出,通过提供使用数字化手段创建的敌军或其他在实际战斗中可能遇到的环境因素,VR和AR头显可以改善军队为对抗先进的对手进行的高科技战争的训练方式。

市场分析公司Frost&Sullivan的航空、国防和安全分析部门副总裁Michael Blades说:“商业领域也是所有游戏玩家都将使用这些设备的地方。他们将进行修改、更新和升级,以跟上该市场中的竞争对手的步伐,这将提升国防领域用户的能力。因此,国防领域将最终从商业市场的竞争中获胜,因为他们将获得更好的训练能力。”

美国空军的飞行员培训计划(Pilot Training Next)就是一个例子,该计划旨在提高飞行员培训的效率,并加快学员们的学习进度。虚拟现实头显的使用为学生们提供了更多磨练技能的机会。

美国空军教育与训练司令部(Air Force Education and Training Command,简称AETC)第24分部的运营官Robert Knapp中校说,在传统的飞行员训练结构中,学生都是从一些纸质出版物或带有培训文件的iPad开始。

“他们从那些培训手段起步,之后会使用一个极其昂贵的传统的模拟器,在那里他们可以进行全方位的飞行训练,”他说道。“那些昂贵的模拟器的问题在于,它们的数量太少了,而且学生进入模拟器的次数也很有限。”

现在,参加Pilot Training Next培训计划的学生可以坐在椅子上,戴上HTC Vive Pro等商业设备进行练习。

VR头显为美国空军的飞行员提供了更多接触模拟技术的机会。

“我们可以填补阅读书本或iPad上的内容与使用一些较便宜的市售设备进行高保真模拟训练之间的差距,”Knapp说。

但他指出,如今的头显有一些缺点。

“当你使用超高分辨率的头显时,视野会变窄,”他解释说。“要获得更大的视野,你需要使用较低分辨率的头显。”

“但是理想情况下,技术研发将会继续,我们将拥有超宽的视野、超高分辨率和非常高的帧率,因此不会出现抖动,”他补充说。“我们现在还没到这一步。”

但是,参考游戏行业技术的发展速度,美国空军可能会在不久的将来拥有它们所需的VR头显。

“我们对这些设备在接下来的几年中的发展趋势感到非常兴奋,因为我确实认为我们离极高保真度的头显并不遥远,到时候,任何人戴上头显都会沉浸在更像真实世界的虚拟环境中,”AETC的助理运营总监Maj.Eric Jones说。

CAE的防御和安全业务技术负责人Phil Perey说,新上市的头显比以前的系统具有更好的保真度。CAE将虚拟和增强现实头显整合到了它为军方客户(包括后勤机组人员)提供的培训解决方案中。

新的Varjo XR-1具有足够清晰的分辨率,用户可以清楚地读取仪表面板的信息,这是以前的头显所不具备的功能。他指出。

Perey预计VR和AR头显技术将继续发展。

“以后将有必要给这些头显做减重处理,”他说到。但是,这不是唯一的需求。

“他们可能会因为现有的视野而减小应用范围,但是当他们试图将视野扩展到更大时,他们的应用范围也将扩大,”他说道。“我们将看到设备重量的下降,可能会看到设备外形逐渐变大,以涵盖更大的水平视野。”

Perey说,他已经尝试了一些将于2020年上市的下一代头显,并且对它们的大体积和较轻的重量都印象深刻。他说,其中之一“几乎是羽毛般的轻盈”。

减轻系统重量可以减轻用户所承受的压力和不适感。

“有一些有前景的制造技术将使这些设备的重量减轻很多,”Perey说。“这将成为人们戴上这些设备,并持续佩戴数小时的重要因素。”

新的电池和更小的计算机也可以帮助减小头显的体积和重量。

微软公司服务美国陆军部门的主管Mark Valentine表示,重点是提升与头显相关的电池技术。他指出,材料科学的进步带来了更小的外形尺寸和更长的电池寿命。

“对电池电量的研究,以及提高电池效率是目前的关键技术之一,”他说道。

微软正在向美国陆军提供其HoloLens2增强现实头显的修改版,以用于集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)项目,该项目包括抬头显示器。美国陆军希望将这些设备用于训练目的,并向战场上的部队提供更好的态势感知和数据访问能力。

HoloLens系统具备透明的镜片,Valentine指出。

“我可以看到现实世界,同时还可以获取数据和信息,并以固定在环境中的3D全息图的形式显示出来,”他说道。“HoloLens本质上是戴在头上的Windows 10计算机,但并不是通过屏幕来显示的。现在,它是通往现实世界的混合现实传送门。”

Valentine拒绝具体讨论IVAS项目的细节,但他指出,微软认为HoloLens技术有多种潜在用途,包括用于战斗准备。

“现在,如果我是一名陆军士兵,并且要训练夺取一座建筑物,我会遇到一些敌方部队,会遇到一些突然出现的目标,诸如此类。然后我便冲入建筑物并用真正的武器射击,“他说。但是在混合现实世界中,可以用全息图来模拟敌军。

头显也可用于帮助设备维护人员。

“比如,我们可以看到工具箱,设备本身可以在智能边缘进行人工智能识别,打开工具箱,确定下一步维修所需的工具,然后就会为我突出显示这个工具,”他解释说。“我拿起工具,看着飞机,然后,维修清单中的下一步就会以全息图的形式显示出来。”

Valentine指出,与上一代HoloLens相比相比,HoloLens 2具有更小的外形尺寸和更大的视野。该公司还将计算部分从设备的正面移至后面的垫子上,以使佩戴者感到更舒适。

困扰VR和AR头显的另一个问题是用户的操作与模拟环境中相应的变化之间的延迟。美国国家训练与模拟协会(National Training and Simulation Association,简称NTSA)会长James Robb指出,这不仅降低了模拟训练的效率,而且还可能导致晕动症。NTSA是美国国防工业协会(National Defense Industrial Association)的附属机构。

然而,新兴的5G无线技术可能会改变这方面的游戏规则,Robb说。预计5G网络的速度将是4G的20倍。

“5G的延迟应该很小,”他说道。“每当你需要将模拟训练内容从服务器传输到头显时,传输过程中都会有所延迟。因此,只要你提高架构的效率,将无线架构合理地直接用于高速计算机上,就可以减少该问题。”

Blades说,这种技术是未来的潮流。

他说:“这项技术将朝着使一切无线化,并且眼镜本身具有大量计算能力的方向发展,”他说道。“我们已经有了5G。因此,我确定在任何头显与它们所连接的设备(无论是PC还是其他头显或其他设备)之间的延迟几乎可以忽略不计。”

五角大楼即将启动一项5G计划,其中包括将该技术整合到军事任务计划中,以及在训练领域的虚拟和真实环境中进行训练。

Robb还期望下一代头显在训练场景中能够具有更强的数据收集能力和更强的利用AI的能力。

“在这种情况下,机器将在确定你的工作方式并帮助提升表现方面进行很多工作。从帮助你提供决策选项,到提供信息,或者帮助你获得正确的可视化效果,它将无所不包,”他说道。“支持人员越聪明,用户从中获得的好处就越多。”

美国陆军作战能力发展司令部(Combat Capabilities Development Command)模拟和培训技术中心主任Matthew Clarke表示,他不太担心VR技术的改进。

他在最近一次与记者会面时说:“VR行业会采取行动,因为这与游戏行业有关,而游戏业务正在增长。”

他指出,增强现实是一个更大的问题。

“这是因为你正在尝试将真实世界与虚拟世界融合在一起,并且面临着巨大的挑战,”他解释说。“例如,如果你没有将这两个世界进行绝对的对齐,那么,当你在使用时会产生偏离,但我们不能有这种偏差。”

“因此,我在AR中要面临的具体挑战是对齐、跟踪、动态遮挡,”他补充道。

美国陆军希望有一个可以从AR过渡到VR的套件,因此军方可以“从中获得双重收益”,他指出。

同时,美国陆军还想要具备功能更强的被动型传感器的头显。

“美国陆军讨厌主动型传感器,因为敌人可以检测到它们,”他说道。“我们需要被动型传感器。如今,被动型传感器存在的问题是无法获得距离信息,无法获得范围能力,这是我们进行单元训练所需要的。”

Clarke还设想了一个AR技术看起来与今天完全不同的世界。

“我们将不用佩戴头显,而是佩戴增强现实隐形眼镜,”他说道。“对我来说,这就是未来,摆脱处理过程,将人体产生的能量转换为电源,你无需携带额外的电池。”

Blades表示,在未来,AR技术的进步可能不需要用户佩戴任何的头显设备。

“这些设备很多都是显示了某物的3D外观,”他指出。“如果这只是由某种视频产生的,你不需要眼镜就可以在面前显示一个3D物体呢?增强现实的有趣之处在于,其中一些应用程序,甚至可能不需要眼镜就能体验。”

最初发布于2020年1月8日

原文链接:https://www.nationaldefensemagazine.org/articles/2019/11/27/pentagon-eyeing-more-advanced-virtual-augmented-reality-headwear

美国陆军正在为虚拟现实训练建立真实城市的3D数据库

美国陆军负责现代化的部门正在建立一个新的数据库,其中包含卫星图像以及来自世界各地的城市和关键地形的3D模型,这些模型有朝一日可能会用于支持士兵们的虚拟训练。

这项名为One World Terrain(OWT)的工作是美国陆军全面现代化工作的一部分,旨在创造比专门建造的训练设施更加真实的合成训练环境。

“One World Terrain基本上就是合成训练环境的数据库,”Dylan Morelle中校在近日的美国陆军未来司令部媒体活动中表示。

美国陆军官员正在与私营企业合作,以确保OWT能囊括来自商业机构、学术机构和政府机构的测绘、卫星图像和无人机拍摄数据,以便领导和士兵们能够在需要时访问它,来自美国陆军未来司令部旗下合成训练环境跨职能团队的Morelle说道。

Morelle说:“我们希望能够拥有这些信息的知识库,并能够将其提供给作战人员。”

Morelle以波士顿的三维模型为例,通过鼠标点击,展示了指挥官或小型作战单位领导如何规划城市内的路线并标记已知的敌人位置。他说,这项技术还可以显示“敌人可以看到或看不到的地方”。

OWT旨在与美国陆军的可重新配置虚拟集体训练模拟器(Reconfigurable Virtual Collective Trainer,简称RVCT)合作,后者将包括航空平台和地面平台,以及步兵集体机动训练和其他模拟枪械和任务排练能力的模拟器,Morelle说。

“它已通过一次用户评估,并正在被告知要求,”Morelle说道。并且他还补充说,美国陆军在今年6月与地理空间情报数据和软件公司Vricon签订了原型合同,根据Vricon官网的信息,该合同价值高达9470万美元。

“到2021年第四季度,该项目将可以为美国陆军提供初步的作战能力,”Morelle说。并且美国陆军希望在2023年达到全面的作战能力。

OWT还将被设计用于美国陆军的集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS),这是一个由微软开发的系统,使用增强现实技术为单个士兵创建综合训练环境,目前还仍然是一个护目镜形式的原型。该系统同样被设计用于在战斗中使用,因为它可以将使用者的武器瞄准十字线投射到战术眼镜中。

美国陆军官员表示,最终版本的IVAS计划于2021年第四季度完成。

Morrel说,负责OWT项目的官员希望利用人工智能和机器学习技术,将建筑物的蓝图转换为可供使用IVAS训练的士兵使用的真实房间模型。

“也许这是我们了解那些建筑的唯一方式,”他说。“AI可以查看该蓝图并创建它的3D模型。”

最初发布于2019年7月23日

原文链接:https://www.military.com/daily-news/2019/07/18/army-building-3d-database-real-cities-virtual-reality-training.html

微软HoloLens中标美国陆军4.8亿美元”集成视觉增强系统”合同

根据美国陆军发布的消息,在去年11月,美国陆军与微软达成一项总值近4.8亿美元的合同,微软将会向美国陆军提供HoloLens增强现实系统原型,用于战斗任务和训练。

根据彭博社的消息,该合同最终可能导致军方购买超过10万台头显,并且旨在“通过提高在敌方之前侦查、决策和参与的能力来增强军队的杀伤力”,根据政府对该计划的描述,该系统被正式称为集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)。

“增强现实技术将为部队提供更多更好的信息来帮助做出决策。这项新工作将我们与国防部长期的、互信的关系扩展到这个新领域,“一位微软发言人在给彭博社的电子邮件声明中表示。

虚拟现实产生了一种由计算机生成的现实,用户可以与之交互(通常通过头显),而增强现实会将数字信息带入用户的视野并叠加到现实世界,通常需要通过智能手机的摄像头或头显来实现 。

HoloLens是微软的AR平台,这家软件巨头称之为“混合现实”。该公司已经将HoloLens用于工业场景,他们认为这台头显可以“让技术人员在混合现实中远程协作,并在几分钟内解决问题,而不是几天。“并且微软表示用户可以充分利用3D模型“创建易于编辑的、生活规模的布局,让您和您的利益相关者可以在物理世界或虚拟现实中体验全息图。”

据MSPoweruser称,在2018年4月,微软透露已经向客户出货了50000台HoloLens设备。正如彭博社指出的那样,该合同使得美国陆军成为微软最重要的HoloLens客户之一。

美国陆军希望微软提供的头显在几个关键方面区别于消费级同类产品。

根据彭博社的报道:在与竞标该合同的公司分享的一份文件中,美国陆军表示,它希望该产品能结合夜视和热感应,测量像呼吸这样的生命特征和“准备就绪”,监测脑震荡并提供听力保护。

微软作为中标者,预计将在两年内交付2500台头显,并展示全面生产的能力。

美国陆军的合同旨在鼓励服务部门与不是典型国防承包商的公司开展业务。AR创业公司Magic Leap是另一个竞标者,据彭博社报道,2018年8月美国陆军与25家有兴趣以某种方式参与该项目的公司举行了会议,其中包括Booz Allen Hamilton控股公司,Lockheed Martin公司和Raytheon公司。

美国陆军并不是唯一对AR技术感兴趣的国防部门。美军特种作战司令部(SOCOM)也对 “ 视觉增强系统(Visual Augmentation Systems,简称VAS)”及相关辅助技术的改进和增强表示了兴趣。这包括用于抬头显示器的AR和虚拟现实解决方案,以及如何将不同数据源的信息融合进一个共同的视觉显示单元。

美军特种作战司令部正在寻求几个不同领域的创新技术和能力,包括AI/机器学习,具备增强的光学特性的显示器,多传感器数据融合与处理、通信等。

在这些领域内,美军特种作战司令部对非常具体的技术应用感兴趣。例如,在AR/VR和AI/机器学习领域中,美军特种作战司令部对任务前的演练和定位、全息显示,游戏技术,神经形态计算和工程,远程医疗以及综合训练和操作环境等技术很感兴趣。

最初发布于2019年2月15日

原文链接:https://fedtechmagazine.com/article/2019/01/army-teams-microsoft-ar