增强现实成为军事医疗培训的关键工具

是否拥有训练有素的医务人员和其他军事医疗保健专业人员,关乎军人的生死存亡。因此,五角大楼将增强现实作为一种模拟工具,来帮助这些医务人员提高技能。

去年,迈阿密大学戈登医学教育模拟与创新中心进行了一项由美国国防卫生局资助的为期四个月的研究,以检验利用AR进行远程培训的有效性。

“国防部和我们所有人一样,在医疗保健领域面临着完全相同的挑战,即没有足够的师资力量来培训所有需要培训的人”,迈阿密大学卫生系统的急诊医学专家Ivette Motola博士说。“它在某些方面是为了进行概念验证——我们可以远程且有效地做好培训吗?”

该研究涉及大约30名参与者,其中包括美国陆军创伤培训支队的人员。

Motola博士说,这项研究测试了是否可以使用增强现实远程培训来向一组护理人员教授一种新的、复杂的程序。该研究使用的AR技术由位于佛罗里达州博卡拉顿的ArchieMD公司开发,这家公司提供健康科学领域的教育培训产品。

“我们将讲师和学员放在两个不同的地方,并使用远程医疗、人体模型和增强现实技术生成的图像,来教护理人员如何插入胸管,”Motola博士在一次采访中解释道。

管胸造口术需要在肋骨之间放置一根空心塑料管并进入伤员胸腔,以排出肺部周围的空气、血液或其他液体,这可能是挽救伤员生命所必需的手术。

“这个是位于人体模型上方的投影仪,在学员面前有一个屏幕,可以在屏幕上看到讲师,还可以看到叠加了解剖结构和手术步骤的人体模型,”她说。“学员们可以看到人体模型叠加解剖结构(使用AR图像)以及他们需要一起经历的所有步骤。”

“这就像他们拥有了X射线般的视力一样,”戈登中心教育技术开发主任、前空军外科医生Ross Scalese博士在谈到该项目时说。

Motola博士表示,参与者的反馈是积极的。

她说:“学员们发现最有用的功能是能够互动并接收来自讲师的实时指导和反馈,以及AR的解剖标志和分步动画。讲师认为视听技术的高质量以及解剖结构图的存在是最有用的,可以确保学员在正确的位置执行正确的动作。”

那么,研究人员在向美国国防卫生局提交的报告中得出了什么结论?

“远程培训与增强现实的结合可能成为培训军事医疗人员和治疗战场伤员的宝贵方法,”Motola博士说。“军医可以在手术过程中获得远程指导,从而节省时间,甚至挽救生命。”

美国国防部正在积极推进这些能力的研发。

美国陆军有一个名为“使用增强现实的便携式可部署医疗患者模拟器”的项目。在去年4月,美国陆军医学研究与开发司令部的“医学模拟和信息科学研究计划”对由MedCognition开发的名为PerSim的增强现实设备进行了现场演示。

据美国陆军的报道,该技术利用微软HoloLens头显,可以让用户进入虚拟环境中治疗各种模拟的伤员。“这些虚拟伤员是通过对一个活生生的人体模型进行动画处理来创建的,然后将该模型包裹在三维皮肤中,可以根据当时伤员遭受的确切疾病或伤害来调整许多变量”。

报道称,该系统可以支持多种手术培训,包括使用止血带、治疗弹片伤或胸部伤口的处理。

据该公司称,美国陆军还一直在探索由Design Interactive开发的一种名为AUGMED的软件工具,该工具旨在利用增强现实为学员提供“完全身临其境”的伤员护理培训场景,并且这些场景可以远程交付。据美国陆军称,该软件也利用了HoloLens。

“我们所有这些努力的长期目标是不再将讲师派往另一个地点,并且能够随时随地提供培训,”医学研究与开发司令部高级项目经理Frank Karluk说道。“如果可以在未来的战争中以这种方式完成培训,我们将一直拥有培训有素且准备就绪的医疗部队,而无需在部署军队前进行即时的培训。”

该司令部的投资经理Darrin Frye博士说:“至关重要的是,我们可以为我们的医疗和非医疗部队提供使用增强现实合成的战斗创伤场景,和进行伤员护理的机会,提供最佳的学习体验。这种方式具备高性价比,且随时随地,身临其境。”

据报道,PerSim和AUGMED预计都将移交给美国国防卫生局的医学模拟和培训办公室,目标是将该技术交到最终用户手中。

同时,根据去年9月美国空军的新闻报道,美国空军第6医疗大队教育和飞行培训队已被选中与美国国防卫生局及其商业伙伴合作,部署美国国防部第一个集成的“混合现实”培训平台,用于将增强现实与人体模型相结合的军事医疗准备培训。

“增强现实培训的引入提升了培训的可用性,无需为培训设施和多个学员的面对面互动增加过多人力,”该报道称。“将增强现实应用于军事医疗培训的额外好处是更高的机动性、最小化的设备和可以在现场使用的无线连接能力。”

5G网络是一种可以作为远程培训和增强现实关键推动力的新兴技术。

去年,五角大楼指定将德克萨斯州圣安东尼奥联合基地作为5G试验场。官员们已将由AR引导的增强型医疗培训确定为5G技术的潜在应用。

“5G的特性、功能和先进的通信技术,包括灵活的带宽分配(从超窄到极宽)、网络内核心应用、超低延迟,以及国防部军事医疗服务组件无处不在的连接,将使联合医疗社区可以维持长期的经济和军事优势,”国防部新闻稿称。

“它的5G原型和演示旨在加强驻军(在哨所或驻地)或即时(在出发部署之前)的医疗准备培训,”Scalese说,在远程医疗和远程培训方面,“带宽始终是个问题”。

“如果你想让它看起来就像在你房间里做汇报的人一样,或者就像正在观看这样的场景一样,那么你可能总是要处理延迟问题,”他说。“当你看到这些3D渲染内容时,你正在尝试传输大量信息。所以带宽肯定是一个重要因素。而5G只是其中的一个步骤,将带动它实现跨越式发展。”

美国国防部于去年6月向美国国家频谱联盟的成员发布了一份原型提案请求,旨在支持5G远程医疗和医学培训技术的研发。

此次征集关注两个感兴趣的领域:开发支持5G的增强现实培训平台,可由一名培训师培训多名学员;利用AR和5G促进远程服役人员和医学专家之间的实时远程医疗指导。

美国国家频谱联盟的首席战略官、前海军中将Joseph Dyer说:“增强现实具有创造3D沉浸式学习体验的真正潜力,可以在偏远地区培训和指导军事医务人员应对重症监护和创伤场景。”

联盟执行董事Maren Leed表示,该计划为显著提高偏远地区军事医务人员的医疗保健质量提供了机会。

此外,“国防部的投资将有助于推进最先进的商业技术的发展,将AR用于医学培训和指导方面,从而使整个国家受益,”她说。

增强现实和远程培训技术的发展速度有多快?

Motola博士说,它现在比几年前更加用户友好。

Scalese表示,视觉体验是技术开发人员取得最大进步的地方。然而,他指出,触觉体验仍有很大的改进空间。

“理想的情况是,当你走进全息甲板并说‘加载创伤场景1B’,然后就会出现3D的、完全逼真的场景,并且你所有的感官都参与其中,“Scalese 说。全息甲板指的是《星际迷航》中具备全息图的虚构设备,可以让用户在合成环境中与实体进行交互。“我们还没有到那一步,但已经走了很长一段路,所有的3D图形和处理器速度已经可以实现更加逼真的场景。”

最初发布于2022年7月27日

原文链接:

https://www.nationaldefensemagazine.org/articles/2021/10/22/augmented-reality–emerges-as-key-tool-for-military-medical-training

增强现实技术用于标记战场核生化威胁

未来的作战人员可以在不踏上战场的情况下了解到化学、生物和放射性威胁的位置。

Teledyne FLIR于去年12月宣布赢得一份价值1570万美元的合同,用于开发增强现实软件,该软件可以查明化学、生物、放射性和核威胁(简称CBRN),并将其提供给军方。该合同由美国国防威胁管控局旗下的联合科学技术办公室签发。

对于侦察和洗消任务,遥控操作的车辆将首先穿过可能存在危险物质的区域,并使用传感器收集数据,该公司匹兹堡分部的科学和技术总监Jeremy Walker说。

“这些数据将以数字方式注册,并用于创建突出显示危险的区域的AR显示内容,”他补充说。

“当士兵们穿过那个区域时,他们会看到一些热图,这些热图显示了威胁物被检测到的位置,以及它们是什么威胁物,”Jeremy Walker说。“一旦这些数据被进行侦察任务的遥控车辆捕获,那么后续的其他士兵……可以利用这些数据更好地完成任务。”

测绘和AR技术将被整合到军方的战术突击套件(Tactical Assault Kit )中,这些工具套件可能是手机或平板电脑。像是集成视觉增强系统(Integrated Visual Augmentation System)的混合现实头显,也是一种选择,Jeremy Walker说。

“对所有那些位于更远的后方的士兵们来说,他们不一定必须拿着传感器才能知道威胁在哪里,才能完成他们的工作,”他说。“有了这个工具,可以帮助士兵们直观地看到这些威胁,这样他们就可以腾出双手去做其他事情。”

在开发这项技术的过程中,Teledyne FLIR匹兹堡实验室将寻求与增强现实和3D映射领域的合作伙伴们合作,以帮助开发软件。

最初发布于2022年2月28日

原文链接:

https://www.nationaldefensemagazine.org/articles/2022/2/10/augmented-reality-tech-maps-chem-bio-threats

融合VR/AR等技术,4GD打造面向城市作战的模拟训练系统

在合成的背景幕下,狙击手观察到一组队友正在前进,然后瞄准他的目标。他静静地通过无线电告诉大家稳住。狙击手开火,第一枪失误,然后第二枪击中了敌人。在海岸安全后,小队继续前进。狙击手在200多英里外的训练舱里观察到了这一切。

这个场景,或至少是它目前的版本,是4GD作出的承诺。这家公司致力于为城市作战构建一种新的训练系统。要兑现这一承诺,意味着广泛应用虚拟现实/增强现实、合成训练环境和生物识别传感器,所有这些都是为了创造一个像使用激光标签一样顺畅、自然的训练系统。

这是一个雄心勃勃的计划。随着军队,如英国和美国的军队,着眼于2020年代、2030年代和2040年代的冲突或战事,他们可能希望训练士兵掌握所有的能力,包含与狙击手和无人机协同,或阅读发送到随身平板电脑的情报。在现实世界进行的大规模训练可以提供实践经验,但实际上,由无人机进行现场监视意味着需要使用昂贵的工具,而且这种训练方式也只能在有限的时间内进行。

虽然无法预测未来战场上可能存在的各种危险,但现在已经可以预测新的现代作战方式大概的轮廓。弗吉尼亚州Quantico海军陆战队基地保存至今的战壕,是美国海军陆战队在美国加入第一次世界大战时挖掘的。在战壕中进行训练,显然无法应对西海岸已知的高科技威胁。

五角大楼预计,城市战场将成为未来几十年战争的重要组成部分,这些战争将会离不开无人侦察机。通过4GD的技术,士兵可以在符合预期的模拟战场进行训练,训练工具和威胁内容会随着时间的推移而演变。

4GD的业务发展总监James Crowley说,4GD由英国皇家海军陆战队退伍军人于2016年创立,“我们认识到城市作战不会发生太大的变化”。

Crowley说:“我们都是相对现代的士兵。然而,无论是在英国还是在国际上,我们都在不活动的、相当无聊、安静的模拟城市环境中接受过训练”,“有些是由海运集装箱制成的,另一些是相当简单的挡风板式设施。我们认识到,在引入技术和提供士兵视角之间存在鸿沟。”

城市模拟训练设施的门槛可能相当低。西点军校学员使用的训练设施之一,是由六块煤渣砌块结构组成的,既没有城市地区的复杂性,也没有比农场更密集的人口。

美国陆军正在积极寻求开发一种包含增强现实和合成现实的训练工具,名为合成训练环境(Synthetic Training Environment)。该计划的承包商尚未确定,尽管已经在测试基于微软HoloLens 2的集成视觉增强系统(Integrated Visual Augmentation System)。以前演示的组件包括头显和安装在步枪上的激光附件。

为了完成更复杂、更贴近现实的训练,4GD最初曾着眼于虚拟现实。

Crowley说:“虚拟现实并不能真正满足近距作战的士兵的需求。”正如Crowley所理解的那样,这些需求是让训练尽可能接近真实体验。这意味着使用与战场相同的装备,从带有模拟弹药的普通步枪,到战斗中随身携带的平板电脑。

“当你使用战况感知设备时,它就在你的胸前,”Crowley说:“你想达到的是可以凭直觉地移动并翻转它……因为你已经在训练中做了一百万次了。”

VR头显在提供沉浸式体验的同时,需要用户通过控制器战斗。它还通过遮住佩戴者的眼睛,阻碍了外围视觉感知。这对于一个正在玩游戏的玩家来说,没有关系。但对于团队训练来说,要相互了解彼此的非语言暗示,消除外围视觉是不可行的。

4GD提供的训练环境,并不是最近几代新兵很熟悉的固定的组合,而是在专用设施内使用模块化和灵活的装置。军队可以一遍又一遍地以相同配置进行训练,也可以将其设置为进阶训练的独特场景。4GD提供了复杂程度不同的五个级别,每个级别都包含更多技术来增强体验,同时支持教官对团队表现进行分析。

可以响应士兵携带的传感器信号的灯光、烟雾、气味和自动化目标,共同构成了逐渐更具沉浸感的体验。训练设施内的大量传感器也会跟踪运动、光线和声音。协助训练的教官可以模拟枪声和爆炸。

这种复杂的虚拟训练的另一个优势是能够将远处的参与者融入其中,例如在本文开头的场景中与小队合作的狙击手。狙击手与其他训练人员相距200多英里。通过将场景投影到环绕屏幕,在狙击手的瞄准镜中,他可以看到并瞄准屏幕上的目标。

这个目标则是4GD训练设施中的移动单元,位于一个房间内。如果小队开门或从窗户开枪,狙击手能远程看到。

Crowley解释说:“当目标被击中时,它真的会倒下,与此同时,借助虚拟现实进行观察的狙击手会看到正在倒下的目标的化身,同时看到小队进入那个房间。”

在没有合成环境的战斗演习中,想要与狙击手一起训练,需要部队在同一地点进行训练,并需要与现实世界相同的大面积的训练场地。而通过在训练设施中使用合成的房间和虚拟现实技术,进行训练的单位可以与身处其他地方的狙击手一起训练,同时还能学习呼叫狙击手支援、等待狙击手开枪,以及清理房间等动作。

常规训练之所以非常昂贵,是因为还要用到无人机等其他设备。4GD可以模拟这些设备,并将视频发送到士兵在训练中配备的平板电脑。

对于日常工作需要查看无人机监视视频的部队来说,每次他们进行训练时,随身携带的无人机拍到的监视视频,可以让他们熟悉在战场上会看到的信息类型。从设计上讲,这是一种让战场上现代和专业的内容变得常规和熟悉的方法。

4GD的全套训练设施于2021年1月首次亮相。目前,还没有部队采用它。该技术演示是英国国防部正在进行的陆军作战实验(Army Warfighting Experiment)的一部分。虽然该公司已经出售了其系统的不同组成部分,但4GD仍然希望能在不久的将来出售全套训练设施。

“我们希望将城市战术训练变成像去健身房一样容易,”Crowley说。

最初发布于2021年12月1日

原文链接:

https://www.military.com/daily-news/2021/10/29/training-future-of-combat-try-augmented-reality-headsets-and-biometric-sensors.html

Strategy Analytics最新报告:2021年起XR市场将强劲增长

近日,分析机构Strategy Analytics发布了名为《COVID-19对AR和VR市场的影响》专题研究报告,该报告指出,虽然在短期内,COVID-19会对AR/VR硬件出货和市场收入有负面影响,但Strategy Analytics仍然认为XR将会在这种“新常态”下找到自己的一席之地。

该报告的主要内容如下:

尽管2020年将是充满挑战的一年,但Strategy Analytics预测,从2021年起XR市场将强劲增长。

尽管市场将在2020年萎缩,但Strategy Analytics预计未来几年市场将强劲增长。从2020年到2025年,出货量将增长六倍,收入达到270亿美元。

COVID-19将在2020年对XR市场产生重大负面影响。Strategy Analytics预计出货量和收入将同比下降20%以上。Strategy Analytics预计,与智能手机绑定的AR头显的发布至少要推迟到2020年底,甚至会推迟到2021年,这将使Strategy Analytics早先预期的专用AR设备的消费市场增长推迟一年。

2020年本可以是专用AR头显市场真正腾飞的一年,但其他大事件很快使这种趋势停止了。

Strategy Analytics预计,一旦这些与智能手机捆绑的设备进入市场,中低端的AR头显将出现强劲增长。 形似隐形眼镜的AR头显也于2020年投放市场,这一新产品类别已添加到预测中。

Strategy Analytics预计VR市场将在2020年有所收缩,但由于“新常态”下的新工作和生活模式,Strategy Analytics提高了对VR头显的长期预测。

随着企业越来越多地使用VR工具进行远程协作,并且教育机构也越来越多地远程提供课程,最终的结果可能是VR硬件的前景有所改善。

尽管Strategy Analytics提高了对VR头显的总体预测,但由于微软决定下一代Xbox不支持VR,Strategy Analytics已稍微降低了主机VR头显的预期出货量。

在低端市场,Strategy Analytics预计2021-2022年将看到由于移动运营商推出5G而导致智能手机捆绑的VR头显出现小幅回升。

报告来自Strategy Analytics。

最初发布于2020年7月10日

Oculus正在开发Quest头显的新版本 最快今年年底见

Facebook旗下的Oculus部门正在开发Quest虚拟现实头显的新版本,但是由于Covid-19对产品开发和全球供应链的影响,该设备面临潜在的延迟风险。

这家社交网络巨头正在研究Quest头显的多个潜在继任者。知情人士透露,一些处于高级测试中的模型更小,更轻,并且具有更快的图像刷新率,可以提供更逼真的内容。并且,这些头显还重新设计了控制器。

该公司尚未最终确定将发布哪个新版本的Quest头显,最终产品可能具有不同的特性。知情人士透露,Facebook最初计划在2020年底的年度Oculus Connect会议前后推出新型号,但新型冠状病毒的大流行可能会将这款头盔的发货推迟到2021年。

测试中的某些版本比当前的Quest头显小10%至15%。不仅重量更轻,而且佩戴起来更舒适。现有型号的重量约为1.25磅,对于某些长时间使用该设备的用户来说仍然太重。这位知情人士说,测试中的模型重量接近一磅。

该公司可能会将新的头显与目前的Quest头显一起出售,或选择完全替代目前的型号。Facebook发言人拒绝对未来产品发表评论。

Facebook在2014年以20亿美元的价格收购了Oculus,押注VR作为数字通信的未来。Facebook首席执行官Mark Zuckerberg预测人们将使用该技术通过共享体验(例如身临其境的游戏和其他3D娱乐内容)在网上彼此联系。

该愿景尚未完全实现,部分原因是缺乏广泛的用户群体,并且可供体验的内容也有限。但是,由于新冠病毒大流行期间有数百万人呆在家里,因此虚拟现实的体验量有所增加。

与该领域的其他公司相比,Oculus作为Facebook的子公司,发展还算顺利。初创公司Magic Leap一直在努力完善其增强现实技术,但在最近削减了员工规模,并考虑出售自己。另一家AR公司North也在于今年早些时候寻找买家。

据知情人士说,对于新的Quest设备,Facebook正在测试去除侧面的织物,并像现在的Oculus Rift S那样用更多的塑料来代替织物。它还在考虑改变表带中使用的材料,使其相比目前的橡胶和尼龙搭扣更具弹性。

Oculus Quest产品线是Facebook的中端VR头显,不需要连接至智能手机或PC。其399美元的价位也比Facebook最强大的头显,即需要连接到电脑的Rift S更便宜。

Facebook仍在销售Oculus Go,这是一款基于智能手机芯片的入门级头显。Quest系列头显使用了高通公司制造的更高端的部件。

Facebook当前的Quest头显缺货已经持续几个月了,部分是由于新冠病毒大流行造成的供应链问题。但是,最近几天的库存正在缓慢增加。Zuckerberg在4月份的财报电话会议上表示,该产品“超出了我们的预期”,并且该公司希望它“可以赚更多”。该公司还表示,“其他收入”部门上个季度增长了80%,“主要由Oculus产品的销售所推动。”

根据Statista汇编的数据,Facebook去年是VR头戴设备的第二大销售商,约占出货量的28%,仅次于索尼公司。虚拟现实几乎涵盖了观看电影,运动和玩游戏的用户。

增强现实将虚拟图像与现实世界结合在一起。据知情人士说,Oculus还正在制造AR头显。该产品的软件和应用程序开发仍在继续,但新冠病毒拖慢了硬件开发速度,一些员工无法使用实验室设施。目前尚不清楚这是否推迟了计划的产品时间表,包括2023年的上市时间。

另据熟悉情况的人表示,苹果公司或许会在2021年货2022年推出一款VR头显,在2023年推出AR头显。

新Quest VR头显的刷新率至少为90Hz,高于当前型号的播放电影时60Hz刷新率或运行大多数VR任务时的72Hz刷新率,从而使视频和游戏显得更加流畅。知情人士说,该公司正在测试刷新率高达120Hz的原型设备,但可以将此频率限制在90Hz,以保证电池续航时间。

测试中的新头显的某些型号还会继续配备用于调节IPD的物理开关,IPD是头显内部显示屏之间的距离。该机制很重要,因为它可以帮助用户调整头显,以适合自己的眼睛,从而避免头痛。

Facebook还在研究重新设计的控制器,该控制器使用起来更舒适,并解决了现有控制器的一个问题:控制器的电池盖有时会滑落。知情人士说,新的控制器将会兼容当前的Quest头显。

测试中的头显具有四个外部摄像头,而Rift S上有五个摄像头,并且具备六自由度,这使用户可以沿任何方向环顾四周,并像在现实中一样在虚拟空间中走动。新型号还将继续支持Oculus Link,即通过线缆可以将头显连接到PC以提高性能。

最初发布于2020年5月9日

原文链接:https://www.bloomberg.com/news/articles/2020-05-05/facebook-s-oculus-developing-smaller-lighter-quest-vr-headset

NASA:HoloLens 2混合现实技术助力载人登月计划

工程师们正将混合现实技术这种强大的工具,用于NASA载人登月的Artemis计划。洛克希德·马丁公司是NASA猎户座宇宙飞船的主承包商,正在使用MR技术来提升Artemis II宇宙飞船的制造效率,这是猎户座飞船的第一个载人任务。

Mary Lakaszcyck是一名技术人员,服务于洛克希德·马丁公司的分包商ASRC Federal Data Solutions。她戴着HoloLens 2,将胶带贴在猎户座乘员模块适配器上安装部件的位置。这项工作是在高架舱内进行的,地点位于佛罗里达州NASA肯尼迪航天中心的行动和检测中心。

在组装复杂硬件,比如载人进入外层空间的宇宙飞船时,该技术提供了独特的功能,可以帮助人们了解动态工作环境。以前在二维屏幕上,人们是通过文本或模型来展示工作步骤的;但是当佩戴HoloLens 2时,这些指令能以三维立体的形式出现,并且映射在宇宙飞船的物理实体上。

“老实说,这个设备是多么有用、多省时和多有趣,我很难用语言充分表达。” Lakaszcyck说,“有些工作过去至少要花1周的时间,或者8到12个班次,而现在1个班次内就能完成。”

Lakaszcyck还表示,通过这个设备,她可以准确地看到在宇宙飞船里摆放物品的位置,放置的方向,以及它们的参考编号,使得这个过程前所未有的高效。

AR/MR技术并不是一时之风。它们是洛克希德·马丁公司项目团队为猎户座飞船投入飞行准备的常用工具。该公司已经于2017年开始使用这项技术。

“我们在猎户座飞船的制造中使用了MR技术,用于Artemis I号的飞行任务,”Shelley Peterson说,她是洛克希德·马丁公司混合现实和混合现实方面的专家。“与传统方法相比,混合现实技术正帮助我们突破界限,以更快的速度完成任务。”

NASA乘员模块适配器的组装、集成和测试负责人Carlos Garcia对猎户座制造工作感到满意,他对MR技术在点击联结件(click bonds)上的省时效果感到满意。点击联结件是一种紧固件,可以将几英里长的线束固定在航天器结构上。

“在乘员模块适配器的制造工作中,使用该技术来定位安全带上的‘点击联结件’,相当于节省了三周的时间,” Garcia说。

MR设备佩戴者将在猎户座飞船上放置几个关键的航天部件,包括乘员模块和Artemis II号中要用到的隔热板。他们还将使用混合现实工作指令,以完成飞船乘员座椅的组装。

“在四个场所中,我们通过使用混合现实完成航天器制造,工作时间要比传统方法减少90%。例如,一项通常需要8小时的工作,现在可以在45分钟之内完成,”Peterson说,“如果单看紧固件的话,一艘猎户座宇宙飞船有57000个以上的线束紧固件。每个紧固件上节省出来的时间汇总起来就很可观了!”

Peterson说,使用混合现实的工作指令后,几乎无需解释说明,工人就可以立即理解手上的任务。

微软制造的HoloLens 2是洛克希德·马丁公司所用设备的第二次迭代。该公司使用Scope AR公司开发的混合现实软件平台WorkLink为设备构建内容。

“我从未想过自己会亲手建造进入外层空间的宇宙飞船,” Lakaszcyck说,“我已经设计了三种不同的运载工具,包括当前即将载人升空的Artemis II。现在我是Artemis的一员,这不仅有着不可替代的兴奋感,更是一种责任感。”

在Artemis计划里,NASA将先把一个女性送达月球上,之后是一个男性。猎户座飞船将通过Space Launch System火箭发射出去,把机组人员运送到太空,提供紧急中止能力,在太空旅行中为机组人员提供供给,并能从外层空间安全重返。NASA将在月球上建立可持续的前哨站,并运用获得的知识将宇航员送往火星。

最初发布于2020年4月10日

原文链接:https://www.nasa.gov/feature/using-augmented-reality-to-prepare-orion-hardware-for-artemis-ii-crewed-mission

在最早的文字诞生地 虚拟现实正在保护和重现历史遗迹

大约3300年前,港口城市乌加里特(Ugarit)是一个充满活力的中心城市,位于连接埃及与小亚细亚的陆路网络上,并在东部的波斯和印度与西部的希腊和塞浦路斯之间,战略地位十分重要。这座城市的起源可以追溯到公元前3000年,并且最早的文字(楔形文字)和文字书写系统是在公元前14世纪开始在那里出现的。

今天,乌加里特是叙利亚西北部的一个青铜时代考古遗址,最初于1929年开始发掘,它可以告诉我们很多过去的事。保护历史遗迹需要我们了解它的历史,了解如何保存和恢复现存的内容。我们在虚拟现实和重建方面的工作可以帮助实现这两个目标。

尽管只发掘了乌加里特的30%,但已经发现的地区为该城市的结构提供了线索。这些建筑包括王宫,大型房屋,陵墓,圣所,公共建筑和寺庙。乌加里特的黄金时代在公元前14至12世纪之间,已经发掘的废墟表明该市发生了有趣的政治、社会和经济演变。

统治者所在地区发现了政治体系发达、防御结构复杂且宫殿结构合理的证据。平民所在的地区则揭示了有关乌加里特人民的日常生活及其对死者的尊敬等重要信息。但是,由于暴露了90多年且仅进行了极少的维修工作,这些建筑遗迹正处于损毁状态,甚至还在恶化。

近年来,人们开始使用虚拟技术作为保护方法,来记录历史遗迹并提供教育机会。这样可以防止可能会损坏遗迹的错误的保护方式。

增强现实可以将重建的建筑投射到考古遗址上,例如比利时的中世纪村庄Ename。在其他地方,虚拟重建项目生成了一些3D纹理模型,比如威尼斯总督宫的“ Sala dello Scrutinio”。

我们使用了计算机辅助设计模型来测试Ugarit的保护方案,并研究可能的保护措施对遗址的影响。这些研究导致了设计概念和材料的变化,以更好地达成保护的目的。

发掘过程揭示了一条重要的“神圣之路”,该路线将皇宫与Baal神庙的主圣殿连接起来,并经过乌加里特的公共区域。研究人员认为,国王会经过这条神圣的道路,在圣殿里进行宗教祭祀活动。

该路线包含了很多有形的重要元素,例如宫殿、房屋和寺庙的遗迹。但是,目前的保护策略还打算重现这条路线的无形部分,比如巨大的防御工事,神庙的规模以及经过神圣之路的体验,而所有这些都很难从现存的废墟中获得。

虚拟重建是评估这些建议并判断其保护遗址的能力,以及揭示无形的部分(例如街道的氛围)的有效工具,这些已经随着时间流逝了。我们已经开发了虚拟游览,为在实际提案实施之前在现场进行展示创造了机会。

这些虚拟游览包括该站点的一个区域,该区域在历史上曾经是广场和酒馆。这里的保护方法包括建立一个社交和娱乐中心。这将使广场的城市环境和小酒馆昏暗而舒适的内部环境得以重现。

这些虚拟游览活动为保护提案的第二阶段,即设计阶段提供了可靠的证据。但是,叙利亚的政治局势使磋商进程搁浅。

这种政治局势也意味着目前无法参观乌加里特-世界上成百上千的考古遗址都有这种区域。因此,虚拟重建还有另一个目的:它们使感兴趣的人们可以瞥见这座迷人的城市,并为全世界的人们提供了一个提高对历史遗址文化重要性的认识的机会。

最初发布于2020年4月1日

原文链接:https://theconversation.com/virtual-reality-can-bring-ancient-cities-back-to-life-and-improve-conservation-130664

用于训练、作战与维护 美军正寻求更先进的VR/AR头显设备

有专家表示,商业领域推动的技术提升有望带来更先进的虚拟和增强现实头显,以解决当今与美军使用的头显相关的许多问题。

虚拟现实(VR)使用户沉浸在一个由计算机生成的环境中,例如VR游戏。增强现实(AR)可以将数据或其他用数字化手段创建的图像叠加到现实世界的视场上,例如电视观众在观看足球或棒球比赛时看到的黄色或橙色的区框。

美军的官员们指出,通过提供使用数字化手段创建的敌军或其他在实际战斗中可能遇到的环境因素,VR和AR头显可以改善军队为对抗先进的对手进行的高科技战争的训练方式。

市场分析公司Frost&Sullivan的航空、国防和安全分析部门副总裁Michael Blades说:“商业领域也是所有游戏玩家都将使用这些设备的地方。他们将进行修改、更新和升级,以跟上该市场中的竞争对手的步伐,这将提升国防领域用户的能力。因此,国防领域将最终从商业市场的竞争中获胜,因为他们将获得更好的训练能力。”

美国空军的飞行员培训计划(Pilot Training Next)就是一个例子,该计划旨在提高飞行员培训的效率,并加快学员们的学习进度。虚拟现实头显的使用为学生们提供了更多磨练技能的机会。

美国空军教育与训练司令部(Air Force Education and Training Command,简称AETC)第24分部的运营官Robert Knapp中校说,在传统的飞行员训练结构中,学生都是从一些纸质出版物或带有培训文件的iPad开始。

“他们从那些培训手段起步,之后会使用一个极其昂贵的传统的模拟器,在那里他们可以进行全方位的飞行训练,”他说道。“那些昂贵的模拟器的问题在于,它们的数量太少了,而且学生进入模拟器的次数也很有限。”

现在,参加Pilot Training Next培训计划的学生可以坐在椅子上,戴上HTC Vive Pro等商业设备进行练习。

VR头显为美国空军的飞行员提供了更多接触模拟技术的机会。

“我们可以填补阅读书本或iPad上的内容与使用一些较便宜的市售设备进行高保真模拟训练之间的差距,”Knapp说。

但他指出,如今的头显有一些缺点。

“当你使用超高分辨率的头显时,视野会变窄,”他解释说。“要获得更大的视野,你需要使用较低分辨率的头显。”

“但是理想情况下,技术研发将会继续,我们将拥有超宽的视野、超高分辨率和非常高的帧率,因此不会出现抖动,”他补充说。“我们现在还没到这一步。”

但是,参考游戏行业技术的发展速度,美国空军可能会在不久的将来拥有它们所需的VR头显。

“我们对这些设备在接下来的几年中的发展趋势感到非常兴奋,因为我确实认为我们离极高保真度的头显并不遥远,到时候,任何人戴上头显都会沉浸在更像真实世界的虚拟环境中,”AETC的助理运营总监Maj.Eric Jones说。

CAE的防御和安全业务技术负责人Phil Perey说,新上市的头显比以前的系统具有更好的保真度。CAE将虚拟和增强现实头显整合到了它为军方客户(包括后勤机组人员)提供的培训解决方案中。

新的Varjo XR-1具有足够清晰的分辨率,用户可以清楚地读取仪表面板的信息,这是以前的头显所不具备的功能。他指出。

Perey预计VR和AR头显技术将继续发展。

“以后将有必要给这些头显做减重处理,”他说到。但是,这不是唯一的需求。

“他们可能会因为现有的视野而减小应用范围,但是当他们试图将视野扩展到更大时,他们的应用范围也将扩大,”他说道。“我们将看到设备重量的下降,可能会看到设备外形逐渐变大,以涵盖更大的水平视野。”

Perey说,他已经尝试了一些将于2020年上市的下一代头显,并且对它们的大体积和较轻的重量都印象深刻。他说,其中之一“几乎是羽毛般的轻盈”。

减轻系统重量可以减轻用户所承受的压力和不适感。

“有一些有前景的制造技术将使这些设备的重量减轻很多,”Perey说。“这将成为人们戴上这些设备,并持续佩戴数小时的重要因素。”

新的电池和更小的计算机也可以帮助减小头显的体积和重量。

微软公司服务美国陆军部门的主管Mark Valentine表示,重点是提升与头显相关的电池技术。他指出,材料科学的进步带来了更小的外形尺寸和更长的电池寿命。

“对电池电量的研究,以及提高电池效率是目前的关键技术之一,”他说道。

微软正在向美国陆军提供其HoloLens2增强现实头显的修改版,以用于集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)项目,该项目包括抬头显示器。美国陆军希望将这些设备用于训练目的,并向战场上的部队提供更好的态势感知和数据访问能力。

HoloLens系统具备透明的镜片,Valentine指出。

“我可以看到现实世界,同时还可以获取数据和信息,并以固定在环境中的3D全息图的形式显示出来,”他说道。“HoloLens本质上是戴在头上的Windows 10计算机,但并不是通过屏幕来显示的。现在,它是通往现实世界的混合现实传送门。”

Valentine拒绝具体讨论IVAS项目的细节,但他指出,微软认为HoloLens技术有多种潜在用途,包括用于战斗准备。

“现在,如果我是一名陆军士兵,并且要训练夺取一座建筑物,我会遇到一些敌方部队,会遇到一些突然出现的目标,诸如此类。然后我便冲入建筑物并用真正的武器射击,“他说。但是在混合现实世界中,可以用全息图来模拟敌军。

头显也可用于帮助设备维护人员。

“比如,我们可以看到工具箱,设备本身可以在智能边缘进行人工智能识别,打开工具箱,确定下一步维修所需的工具,然后就会为我突出显示这个工具,”他解释说。“我拿起工具,看着飞机,然后,维修清单中的下一步就会以全息图的形式显示出来。”

Valentine指出,与上一代HoloLens相比相比,HoloLens 2具有更小的外形尺寸和更大的视野。该公司还将计算部分从设备的正面移至后面的垫子上,以使佩戴者感到更舒适。

困扰VR和AR头显的另一个问题是用户的操作与模拟环境中相应的变化之间的延迟。美国国家训练与模拟协会(National Training and Simulation Association,简称NTSA)会长James Robb指出,这不仅降低了模拟训练的效率,而且还可能导致晕动症。NTSA是美国国防工业协会(National Defense Industrial Association)的附属机构。

然而,新兴的5G无线技术可能会改变这方面的游戏规则,Robb说。预计5G网络的速度将是4G的20倍。

“5G的延迟应该很小,”他说道。“每当你需要将模拟训练内容从服务器传输到头显时,传输过程中都会有所延迟。因此,只要你提高架构的效率,将无线架构合理地直接用于高速计算机上,就可以减少该问题。”

Blades说,这种技术是未来的潮流。

他说:“这项技术将朝着使一切无线化,并且眼镜本身具有大量计算能力的方向发展,”他说道。“我们已经有了5G。因此,我确定在任何头显与它们所连接的设备(无论是PC还是其他头显或其他设备)之间的延迟几乎可以忽略不计。”

五角大楼即将启动一项5G计划,其中包括将该技术整合到军事任务计划中,以及在训练领域的虚拟和真实环境中进行训练。

Robb还期望下一代头显在训练场景中能够具有更强的数据收集能力和更强的利用AI的能力。

“在这种情况下,机器将在确定你的工作方式并帮助提升表现方面进行很多工作。从帮助你提供决策选项,到提供信息,或者帮助你获得正确的可视化效果,它将无所不包,”他说道。“支持人员越聪明,用户从中获得的好处就越多。”

美国陆军作战能力发展司令部(Combat Capabilities Development Command)模拟和培训技术中心主任Matthew Clarke表示,他不太担心VR技术的改进。

他在最近一次与记者会面时说:“VR行业会采取行动,因为这与游戏行业有关,而游戏业务正在增长。”

他指出,增强现实是一个更大的问题。

“这是因为你正在尝试将真实世界与虚拟世界融合在一起,并且面临着巨大的挑战,”他解释说。“例如,如果你没有将这两个世界进行绝对的对齐,那么,当你在使用时会产生偏离,但我们不能有这种偏差。”

“因此,我在AR中要面临的具体挑战是对齐、跟踪、动态遮挡,”他补充道。

美国陆军希望有一个可以从AR过渡到VR的套件,因此军方可以“从中获得双重收益”,他指出。

同时,美国陆军还想要具备功能更强的被动型传感器的头显。

“美国陆军讨厌主动型传感器,因为敌人可以检测到它们,”他说道。“我们需要被动型传感器。如今,被动型传感器存在的问题是无法获得距离信息,无法获得范围能力,这是我们进行单元训练所需要的。”

Clarke还设想了一个AR技术看起来与今天完全不同的世界。

“我们将不用佩戴头显,而是佩戴增强现实隐形眼镜,”他说道。“对我来说,这就是未来,摆脱处理过程,将人体产生的能量转换为电源,你无需携带额外的电池。”

Blades表示,在未来,AR技术的进步可能不需要用户佩戴任何的头显设备。

“这些设备很多都是显示了某物的3D外观,”他指出。“如果这只是由某种视频产生的,你不需要眼镜就可以在面前显示一个3D物体呢?增强现实的有趣之处在于,其中一些应用程序,甚至可能不需要眼镜就能体验。”

最初发布于2020年1月8日

原文链接:https://www.nationaldefensemagazine.org/articles/2019/11/27/pentagon-eyeing-more-advanced-virtual-augmented-reality-headwear

美国空军希望尝试VR/AR 但受限于“中国制造”?

美国空军希望进军在商业市场蓬勃发展的的增强现实和虚拟现实技术领域,但他们遇到了一个问题:许多产品都有来自中国的部件,限制了它们被美军用于作战环境中的能力。

“我们可以使用不是中国制造的AR(增强现实)解决方案吗?我认为这对我们不利。”空军作战训练基础设施部门主管Gerard Ryan上周二在跨军种/行业培训、模拟和教育会议的小组讨论中说。

“我认为安全政策方面不会通过。虽然有些讽刺,但这是事实。如果我们要使用游戏引擎,我们要确保它不是我们不喜欢的国家开发的。”他补充道。

美国空军正在通过Pilot Training Next(简称PTN)计划接触虚拟现实技术,该计划旨在使飞行员更快、更经济地进行基本飞行员培训。虽然PTN计划目前被认为是一项实验,在限定的时间内只有少数飞行员参加,但美国空军已经表明,它可以通过HTC Vive虚拟现实头显和飞行模拟软件来补充在T-6教练机上进行的真实的飞行训练,来将现有训练时间缩短数月。

像飞行员基础训练这样非机密的环境是美国空军使用当前市场上增强显示和虚拟现实设备的理想场所。但是对于战斗机和轰炸机飞行员,或任何处理加密信息的操作员都将使用的设备,美国空军必须确保该设备的任何部件都不是中国制造的,或者没有任何其他国家的实体可以插入用于数据收集的技术。

美国空军已经开始与供应商谈论其担忧,Ryan说。他们希望这些公司可以检查其供应链,不再购买中国的零件。

“我已经与一些行业人士进行了交谈。一家较小的公司表示,他们找到了一套美国制造的头显。我当时的反应就是:“太好了,你是第一个这样告诉我的人。也是到目前为止唯一的一个。”

另一个挑战是在可能限制蓝牙和Wi-Fi使用的机密环境中连接商业设备。

“我已经与一家找到了解决方案的公司进行了交谈。他们有一台背包电脑。因此,它是直接连接到头显的,”Ryan说。“不幸的是,这样做可能更昂贵。要找到零件可能更具挑战性。”

美国空军空战司令部作战副主任David Nyikos说,当将增强现实或虚拟现实系统进入加密环境时,它们可能不够灵活,无法快速重新配置以适应不同的训练场景。

“AR/VR非常酷,”他在座谈会上说。“但是现在你需要它进一步发展,需要对其进行重新编程,以适应我们想要进行的任何任务演练。比如,或许今晚你就会和来自空军特种作战司令部(AFSOC)的人员一起训练,或者与一些挪威特种部队(SOF)人员一起训练,又或者与一些阿富汗人一起训练。但我们现在还没有这种系统。”

最初发布于2019年12月13日

原文链接:https://www.defensenews.com/digital-show-dailies/itsec/2019/12/06/wanted-virtual-reality-headsets-that-arent-made-in-china/

科学美国人:新的虚拟现实触感贴片可实现远距离“触摸”

添加触感可以使虚拟现实体验更真实,John A.Rogers的团队开发了轻巧灵活的触感贴片,可将触感直接传递给皮肤,兼具轻薄和节能特性。

一个女人坐在电脑前,与她的小儿子视频聊天,同时她轻轻地在另一个屏幕上轻拍了一个界面。作为响应,孩子背上的无线贴片以与母亲手指相匹配的模式振动,从而使他“感觉”到她的真实的触摸。

这种新的贴片是一种触觉设备,是一种可以远程传递触觉信号的技术。一个常见的例子是游戏控制器,当玩家的虚拟形象受到打击时会振动。一些研究人员认为,此类界面的更高级的、可穿戴的版本将成为使虚拟现实和增强现实体验更加真实的关键。“如果你了解一下当今的VR和AR,你会发现它主要由听觉和视觉通道组成感官体验的主要基础,”美国伊利诺伊州西北大学的物理化学家和材料科学家John A.Rogers说,他的团队帮助开发了新的触觉贴片。“但是我们认为,皮肤本身(触摸感)可以从质量上提升您通过VR可以实现的体验,而音频和视频则无法实现这种提升。”

科学家,技术公司和技术极客们已经试验了可穿戴的触觉设备,通常是配备振动电机的背心或手套。但是,其中很多都需要通过电线来连接沉重的电池组。由于它们的重量,大多数都必须宽松地附着在身体上,而不是牢固地粘附在皮肤上。因此,Rogers和他的同事们开发了仅几毫米厚的振动盘,该振动盘的电量消耗很小。这些执行器(用于使系统运动的设备的术语)需要的电量非常少,因此可以通过NFC近场通信(一种传递少量电量的无线方法)来供电,该方法通常用于开门的ID卡。

“机械执行器所需的电力通常是在移动应用中真正大量、可扩展地使用这些技术的限制因素,”德国萨尔大学的计算机科学家Jürgen Steimle说,他并没有参与新的贴片项目。研究人员“指出,单个执行器所需的功率不到2毫瓦,比以前的设备通常通常所需的功率少了一个数量级。…在我看来,这是一个逐步的改变,因为它允许我们将创造出新型的移动设备,这些设备可以使用电池高效地驱动,或者甚至可以像Rogers团队一样使用无线供电。”

产品看起来就像轻巧柔软的织物状材料补丁,可以像潜水衣一样弯曲和扭曲,并在穿着者的身体移动时保持与穿着者皮肤的直接接触。它由夹在保护性硅胶片之间的电子薄层组成。一层包含为设备供电的NFC技术。这可以激活另一层:执行器阵列,每个执行器都可以单独激活,并调整到不同的振动频率以传递更强或更弱的感觉。这堆比鼠标垫稍薄的电子设备最终形成了粘在皮肤上的贴片。该设备在最近出版的《自然》杂志上有描述。

Rogers指出,该技术的一些要素已经存在于其他设备中,但是他说,他的团队开发的的贴片以一种新的方式将它们结合在一起。“小型执行器、无线控制策略、轻薄,灵活,柔软的结构、与皮肤的柔软,温和的接触、无需电池的操作-这是我们过去从未报道过的一系列技术特性的集合,”他说。“当您将它们全部组合在一起时,最终会得到一个完全不同类型的平台,我认为它将成为一个真正强大的起点,最终您可能拥有具备1000个执行器的全身套装,它们都是同时受到控制,并具有人们实际要使用的尺寸。”

Steimle指出,其他团队已经开发出了更薄的执行器,但是使用了不同的刺激皮肤的方法。物理振动的模块“往往笨重,坚硬,且耗电量大,因为你需要实现机械运动,”他说。“有机械运动的配合,当然能出色地起作用。”

到目前为止,研究人员已经测试了各种形状和大小的贴片原型,以适应身体的各个部位。例如,圆形的贴片放在手背上,而X形的贴片放在背部。在一个演示中,一家人在视频聊天时使用该贴片体验了远程触摸。在另一例演示中,一名下肢截肢者用假肢抓住了一杯啤酒。每个指尖均配备有传感器,该传感器与上臂的贴片进行通信,从而提供有关其机械臂所握住的物体的触觉信息。最终,一个测试对象在玩战斗类游戏时佩戴了多个触觉贴片,因此游戏中化身的四肢所受到的虚拟打击可以传输到他的真实身体的相应部位。

尽管Rogers和他的同事们已经建立了一家新兴公司来潜在地将其设备商业化,但他们说,这并不是他们继续研究的重点。Rogers说,在不久的将来,他们希望可以使贴片更轻、更薄、更灵活。他们还在试验其灵敏度:由于可以调节执行器,使其在皮肤或多或少可以感知到的频率下振动,因此从理论上讲它们可以传递更强或更弱的触感(尽管这将需要更精密的系统来输入信号,可以区分轻柔的抚摸和较粗暴的推动)。Rogers认为,未来版本的触觉贴片可能会产生更多类型的感觉。除了在皮肤上垂直的接触外,它还可以传递缠绕运动或温度变化。

“我认为这项技术的应用空间十分广泛,而且很明显,我们需要这种类型的触觉输出,”Steimle说。他指出,最常见的商用触觉设备是智能手机,它只有两种模式:振动或不振动。“当然,这不是很有说服力,这实际上并没有为我们人类以及我们如何触摸,如何感觉,如何感知周围的世界起到什么帮助,”他说道。“任何有助于我们改善触觉通道、触觉通道的表达能力的东西,都将有助于我们将来实现更高级的计算接口。”

最初发布于2019年11月25日

原文链接:https://www.scientificamerican.com/article/new-virtual-reality-interface-enables-touch-across-long-distances/