增强现实成为军事医疗培训的关键工具

是否拥有训练有素的医务人员和其他军事医疗保健专业人员,关乎军人的生死存亡。因此,五角大楼将增强现实作为一种模拟工具,来帮助这些医务人员提高技能。

去年,迈阿密大学戈登医学教育模拟与创新中心进行了一项由美国国防卫生局资助的为期四个月的研究,以检验利用AR进行远程培训的有效性。

“国防部和我们所有人一样,在医疗保健领域面临着完全相同的挑战,即没有足够的师资力量来培训所有需要培训的人”,迈阿密大学卫生系统的急诊医学专家Ivette Motola博士说。“它在某些方面是为了进行概念验证——我们可以远程且有效地做好培训吗?”

该研究涉及大约30名参与者,其中包括美国陆军创伤培训支队的人员。

Motola博士说,这项研究测试了是否可以使用增强现实远程培训来向一组护理人员教授一种新的、复杂的程序。该研究使用的AR技术由位于佛罗里达州博卡拉顿的ArchieMD公司开发,这家公司提供健康科学领域的教育培训产品。

“我们将讲师和学员放在两个不同的地方,并使用远程医疗、人体模型和增强现实技术生成的图像,来教护理人员如何插入胸管,”Motola博士在一次采访中解释道。

管胸造口术需要在肋骨之间放置一根空心塑料管并进入伤员胸腔,以排出肺部周围的空气、血液或其他液体,这可能是挽救伤员生命所必需的手术。

“这个是位于人体模型上方的投影仪,在学员面前有一个屏幕,可以在屏幕上看到讲师,还可以看到叠加了解剖结构和手术步骤的人体模型,”她说。“学员们可以看到人体模型叠加解剖结构(使用AR图像)以及他们需要一起经历的所有步骤。”

“这就像他们拥有了X射线般的视力一样,”戈登中心教育技术开发主任、前空军外科医生Ross Scalese博士在谈到该项目时说。

Motola博士表示,参与者的反馈是积极的。

她说:“学员们发现最有用的功能是能够互动并接收来自讲师的实时指导和反馈,以及AR的解剖标志和分步动画。讲师认为视听技术的高质量以及解剖结构图的存在是最有用的,可以确保学员在正确的位置执行正确的动作。”

那么,研究人员在向美国国防卫生局提交的报告中得出了什么结论?

“远程培训与增强现实的结合可能成为培训军事医疗人员和治疗战场伤员的宝贵方法,”Motola博士说。“军医可以在手术过程中获得远程指导,从而节省时间,甚至挽救生命。”

美国国防部正在积极推进这些能力的研发。

美国陆军有一个名为“使用增强现实的便携式可部署医疗患者模拟器”的项目。在去年4月,美国陆军医学研究与开发司令部的“医学模拟和信息科学研究计划”对由MedCognition开发的名为PerSim的增强现实设备进行了现场演示。

据美国陆军的报道,该技术利用微软HoloLens头显,可以让用户进入虚拟环境中治疗各种模拟的伤员。“这些虚拟伤员是通过对一个活生生的人体模型进行动画处理来创建的,然后将该模型包裹在三维皮肤中,可以根据当时伤员遭受的确切疾病或伤害来调整许多变量”。

报道称,该系统可以支持多种手术培训,包括使用止血带、治疗弹片伤或胸部伤口的处理。

据该公司称,美国陆军还一直在探索由Design Interactive开发的一种名为AUGMED的软件工具,该工具旨在利用增强现实为学员提供“完全身临其境”的伤员护理培训场景,并且这些场景可以远程交付。据美国陆军称,该软件也利用了HoloLens。

“我们所有这些努力的长期目标是不再将讲师派往另一个地点,并且能够随时随地提供培训,”医学研究与开发司令部高级项目经理Frank Karluk说道。“如果可以在未来的战争中以这种方式完成培训,我们将一直拥有培训有素且准备就绪的医疗部队,而无需在部署军队前进行即时的培训。”

该司令部的投资经理Darrin Frye博士说:“至关重要的是,我们可以为我们的医疗和非医疗部队提供使用增强现实合成的战斗创伤场景,和进行伤员护理的机会,提供最佳的学习体验。这种方式具备高性价比,且随时随地,身临其境。”

据报道,PerSim和AUGMED预计都将移交给美国国防卫生局的医学模拟和培训办公室,目标是将该技术交到最终用户手中。

同时,根据去年9月美国空军的新闻报道,美国空军第6医疗大队教育和飞行培训队已被选中与美国国防卫生局及其商业伙伴合作,部署美国国防部第一个集成的“混合现实”培训平台,用于将增强现实与人体模型相结合的军事医疗准备培训。

“增强现实培训的引入提升了培训的可用性,无需为培训设施和多个学员的面对面互动增加过多人力,”该报道称。“将增强现实应用于军事医疗培训的额外好处是更高的机动性、最小化的设备和可以在现场使用的无线连接能力。”

5G网络是一种可以作为远程培训和增强现实关键推动力的新兴技术。

去年,五角大楼指定将德克萨斯州圣安东尼奥联合基地作为5G试验场。官员们已将由AR引导的增强型医疗培训确定为5G技术的潜在应用。

“5G的特性、功能和先进的通信技术,包括灵活的带宽分配(从超窄到极宽)、网络内核心应用、超低延迟,以及国防部军事医疗服务组件无处不在的连接,将使联合医疗社区可以维持长期的经济和军事优势,”国防部新闻稿称。

“它的5G原型和演示旨在加强驻军(在哨所或驻地)或即时(在出发部署之前)的医疗准备培训,”Scalese说,在远程医疗和远程培训方面,“带宽始终是个问题”。

“如果你想让它看起来就像在你房间里做汇报的人一样,或者就像正在观看这样的场景一样,那么你可能总是要处理延迟问题,”他说。“当你看到这些3D渲染内容时,你正在尝试传输大量信息。所以带宽肯定是一个重要因素。而5G只是其中的一个步骤,将带动它实现跨越式发展。”

美国国防部于去年6月向美国国家频谱联盟的成员发布了一份原型提案请求,旨在支持5G远程医疗和医学培训技术的研发。

此次征集关注两个感兴趣的领域:开发支持5G的增强现实培训平台,可由一名培训师培训多名学员;利用AR和5G促进远程服役人员和医学专家之间的实时远程医疗指导。

美国国家频谱联盟的首席战略官、前海军中将Joseph Dyer说:“增强现实具有创造3D沉浸式学习体验的真正潜力,可以在偏远地区培训和指导军事医务人员应对重症监护和创伤场景。”

联盟执行董事Maren Leed表示,该计划为显著提高偏远地区军事医务人员的医疗保健质量提供了机会。

此外,“国防部的投资将有助于推进最先进的商业技术的发展,将AR用于医学培训和指导方面,从而使整个国家受益,”她说。

增强现实和远程培训技术的发展速度有多快?

Motola博士说,它现在比几年前更加用户友好。

Scalese表示,视觉体验是技术开发人员取得最大进步的地方。然而,他指出,触觉体验仍有很大的改进空间。

“理想的情况是,当你走进全息甲板并说‘加载创伤场景1B’,然后就会出现3D的、完全逼真的场景,并且你所有的感官都参与其中,“Scalese 说。全息甲板指的是《星际迷航》中具备全息图的虚构设备,可以让用户在合成环境中与实体进行交互。“我们还没有到那一步,但已经走了很长一段路,所有的3D图形和处理器速度已经可以实现更加逼真的场景。”

最初发布于2022年7月27日

原文链接:

https://www.nationaldefensemagazine.org/articles/2021/10/22/augmented-reality–emerges-as-key-tool-for-military-medical-training

NASA:HoloLens 2混合现实技术助力载人登月计划

工程师们正将混合现实技术这种强大的工具,用于NASA载人登月的Artemis计划。洛克希德·马丁公司是NASA猎户座宇宙飞船的主承包商,正在使用MR技术来提升Artemis II宇宙飞船的制造效率,这是猎户座飞船的第一个载人任务。

Mary Lakaszcyck是一名技术人员,服务于洛克希德·马丁公司的分包商ASRC Federal Data Solutions。她戴着HoloLens 2,将胶带贴在猎户座乘员模块适配器上安装部件的位置。这项工作是在高架舱内进行的,地点位于佛罗里达州NASA肯尼迪航天中心的行动和检测中心。

在组装复杂硬件,比如载人进入外层空间的宇宙飞船时,该技术提供了独特的功能,可以帮助人们了解动态工作环境。以前在二维屏幕上,人们是通过文本或模型来展示工作步骤的;但是当佩戴HoloLens 2时,这些指令能以三维立体的形式出现,并且映射在宇宙飞船的物理实体上。

“老实说,这个设备是多么有用、多省时和多有趣,我很难用语言充分表达。” Lakaszcyck说,“有些工作过去至少要花1周的时间,或者8到12个班次,而现在1个班次内就能完成。”

Lakaszcyck还表示,通过这个设备,她可以准确地看到在宇宙飞船里摆放物品的位置,放置的方向,以及它们的参考编号,使得这个过程前所未有的高效。

AR/MR技术并不是一时之风。它们是洛克希德·马丁公司项目团队为猎户座飞船投入飞行准备的常用工具。该公司已经于2017年开始使用这项技术。

“我们在猎户座飞船的制造中使用了MR技术,用于Artemis I号的飞行任务,”Shelley Peterson说,她是洛克希德·马丁公司混合现实和混合现实方面的专家。“与传统方法相比,混合现实技术正帮助我们突破界限,以更快的速度完成任务。”

NASA乘员模块适配器的组装、集成和测试负责人Carlos Garcia对猎户座制造工作感到满意,他对MR技术在点击联结件(click bonds)上的省时效果感到满意。点击联结件是一种紧固件,可以将几英里长的线束固定在航天器结构上。

“在乘员模块适配器的制造工作中,使用该技术来定位安全带上的‘点击联结件’,相当于节省了三周的时间,” Garcia说。

MR设备佩戴者将在猎户座飞船上放置几个关键的航天部件,包括乘员模块和Artemis II号中要用到的隔热板。他们还将使用混合现实工作指令,以完成飞船乘员座椅的组装。

“在四个场所中,我们通过使用混合现实完成航天器制造,工作时间要比传统方法减少90%。例如,一项通常需要8小时的工作,现在可以在45分钟之内完成,”Peterson说,“如果单看紧固件的话,一艘猎户座宇宙飞船有57000个以上的线束紧固件。每个紧固件上节省出来的时间汇总起来就很可观了!”

Peterson说,使用混合现实的工作指令后,几乎无需解释说明,工人就可以立即理解手上的任务。

微软制造的HoloLens 2是洛克希德·马丁公司所用设备的第二次迭代。该公司使用Scope AR公司开发的混合现实软件平台WorkLink为设备构建内容。

“我从未想过自己会亲手建造进入外层空间的宇宙飞船,” Lakaszcyck说,“我已经设计了三种不同的运载工具,包括当前即将载人升空的Artemis II。现在我是Artemis的一员,这不仅有着不可替代的兴奋感,更是一种责任感。”

在Artemis计划里,NASA将先把一个女性送达月球上,之后是一个男性。猎户座飞船将通过Space Launch System火箭发射出去,把机组人员运送到太空,提供紧急中止能力,在太空旅行中为机组人员提供供给,并能从外层空间安全重返。NASA将在月球上建立可持续的前哨站,并运用获得的知识将宇航员送往火星。

最初发布于2020年4月10日

原文链接:https://www.nasa.gov/feature/using-augmented-reality-to-prepare-orion-hardware-for-artemis-ii-crewed-mission

美国陆军和政府机构这样应用增强现实和虚拟现实

士兵们在被送往战场之前需要训练数月甚至数年,并且在他们返回后还要继续训练。美国陆军希望确保他们的专业知识保持敏锐,无论他们位于何处。而虚拟现实可能会有所帮助。

“在你被部署后,训练还没有结束,”美国陆军联合兵种训练中心副总指挥Maria Gervais少将说。“我们希望能够一次又一次地进行训练,同时改变一些变量,当士兵们进入第一场战斗时就非常有自信。”

美国陆军正在利用已经在商业游戏领域应用的技术来更新其沉浸式培训能力,并于去年11月向微软授予了一份价值4.8亿美元的合同,用于开发可用于培训的增强现实系统原型。“可用的技术已经出现了,”Gervais说道。

联邦机构如何使用AR和VR

增强现实和虚拟现实正在消费市场中崛起,VR头显变得越来越便宜,越来越多的公司开始寻找在平板电脑和智能手机上应用AR的新方法,只要看看《Pokémon GO》和同类游戏的受欢迎程度就知道了。

IDC Government Insights的研究主管Shawn McCarthy表示,一些联邦机构也开始利用这些技术,尤其是增强现实技术,并且领先于这一趋势。

“这真的是出于高度专业化的目的,”McCarthy说。“ 最大的用途是培训,维护是次要的。例如可以让工人在飞机腹部时访问维修记录和部件照片的AR眼镜。“

美国陆军一直在将既有的旧系统结合起来创建虚拟培训环境,但他们意识到,需要具有可重新配置选项的虚拟培训体验,这些选项可以在任何地方使用,负责美国陆军综合训练环境(Synthetic Training Environment)的 Gervais说。

她曾与科技公司会面,评估经过改装可以用于军事用途的现成产品。去年11月与微软的合同要求该公司为美国陆军的集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)提供2550个AR/VR原型设备,基于微软的HoloLens。如果原型设备满足需求,美国陆军可以购买多达10万台。

起初,由于对技术发展速度的担忧,美国陆军将最后期限设定在2025年到2030年之间。但由于游戏视觉技术的快速提升,Gervais现在希望很快就能获得满足需求的AR/VR体验。

“我们需要一个基于通用数据和架构的环境,”她说。“正如我们今天所看到的那样,我们必须能够为更加复杂和更具挑战性的环境做好准备。”

VR让用户体验历史遗迹

其他机构正在转向更具创造性的方法,以及外界的帮助,来开发增强客户体验的AR/VR内容。

美国战争纪念碑委员会(American Battle Monuments Commission,简称ABMC)开发了一个智能手机App,可以让人们虚拟地参观法国北部奥马哈海滩附近的诺曼底美军公墓,这是埋葬9387名在诺曼底登陆时阵亡的美国士兵的地点。该App还在网站上为游客提供了有关他们所看到的内容的更多信息。

ABMC的对外事务主管Tim Nosal说,这家小型机构在全球范围内维护着26个墓地和30个纪念馆,外包了该App的制作工作。

当虚拟现实内容平台TimeLooper向国家公园管理局(National Park Service,简称NPS)询问有关华盛顿纪念碑VR体验的信息时,NPS开始与这家公司合作。

在林肯纪念堂的电梯被关闭,行动不便的游客无法进入主室时,TimeLooper制作了这段VR体验,可以使用Cardboard头显帮助游客在不使用楼梯的情况下观看包含林肯塑像的房间。

NPS的发言人Paul Ollig说,该公司还在2018年在Petersen House周围创建了一个VR体验,这里是林肯总统去世的地方,当时它必须关闭,以安装灭火系统并进行其他修理工作。

“当你看着那个房间时,你会感受到当晚事件的重要性,”他说。“我们发现,在这种情况下体验虚拟现实的人会非常感谢我们能提供这种替代品。”

NPS礼品店现在销售(或偶尔免费提供)Cardboard头显,当与智能手机配合使用时,可体验各种地标(包括越战纪念碑)的3D内容。TimeLooper处理这些业务,并管理应用程序更新。Ollig说,这就是与外部供应商合作的优势。

“该技术的复杂程度可能超出了大多数政府机构的能力,”Ollig说。“当我们找到一个愿意以符合我们要求的方式与我们合作的伙伴时,我们可以向公众展示他们以前从未见过的东西。

政府机构对AR和VR的应用有望增长

McCarthy表示,尽管一些机构可能认为AR/VR技术无用,但价格较低的新解决方案可能会改变他们的想法。

“它为你提供了更多的灵活性,以便在任何地方访问信息,”他说。“我不认为这是无聊的。”

他说,联邦、州和地方政府去年在AR/VR解决方案上花费了大约3.26亿美元。IDC预计到2021年该金额将达到92亿美元,这标志着政府对AR/VR使用量的显着增长。

增强现实和虚拟现实能够向人们展示他们无法看到的东西,其面临的最大挑战可能是几乎无限数量的潜在应用场景。

“它永远不会取代公园护林员或其他的我们讲故事的传统方式,”Ollig说。“但它是我们参观这些历史遗迹的的另一种工具,并且可以帮助人们理解为什么保护它们很重要。“

哪些政府机构在使用AR/VR?

根据McCarthy的说法,美国国防部是目前在增强现实和虚拟现实领域投入最大的政府机构,其次是美国航空航天局和国土安全部。

“美国宇航局通常不是资金投入排前三的机构之一,”他说。“但由于他们所做的所有训练和尖端研究,他们长期以来一直是这个领域的重要成员。”在接下来的几年间,他预计会有更多的机构利用这项技术。

“在农业部处理单据的人现在可能不需要虚拟现实,”McCarthy说。“但如果事实证明美国农业部希望每个人都沉浸在工作中,那么它可能会变得很有必要。

最初发布于2019年5月24日

原文链接:https://fedtechmagazine.com/article/2019/05/army-nps-embrace-virtual-and-augmented-reality

增强现实变革人机交互 这就是建筑行业的未来

“简而言之,我们相信增强现实将永远改变我们使用技术的方式。” – Apple公司首席执行官Tim Cook

到2023年,增强现实市场预计将达到605.5亿美元,该技术正在迅速改变建筑师和工程师的工作方式。

增强现实(AR),也称为空间计算,正在迅速发展并扩展到无数的商业和工业应用中。

空间计算被用作广义术语来描述人类与同一环境中的计算机交互的方式。换句话说,在空间计算中,机器与人类处于相同的空间,而不是被包含在一个单独的位置。

因此,增强现实系统使数字媒体通过交互式设计和手势操作,让人感觉就像真实存在一样。

根据Markets and Markets的预测,到2023年,全球增强现实市场预计将达到605.50亿美元的规模,在2018年至2023年的预测期内以40.29%的复合年增长率增长。顶级技术巨头的兴趣和投资增加会直接推动增强现实市场的增长。

总体而言,由于人们在消费、商业和企业用途中越来越多地使用智能手机、平板电脑和其他设备来应用AR技术,AR软件市场将在此期间引领增长。

在越来越多的AR应用需求出现在医疗保健,零售和电子商务领域的同时,建筑和企业应用对AR的需求仍在不断提升,这其中还有很多新兴的机会。

参与AR投资和收购的大公司包括谷歌,苹果,英特尔,三星和Facebook。

增强现实:不仅用于游戏

AR技术可以让人类和机器进行交互和协同创作,反过来,也会改变企业实现其愿景的方式。

虚拟现实和增强现实不仅仅适用于游戏。它们是一种改变游戏规则的工具,可以在几乎所有行业中展示它们的能力。

虚拟、增强和混合现实技术在过去几年中发展很快,从最常见的游戏和娱乐领域,发展到成功的商业用例,包括智慧城市规划。

智慧城市规划和建设:增加可能性

例如,在建筑行业,沉浸式技术可以帮助智能城市的发展,比如增强现实正在成为建设过程中不可或缺的一部分。

城市收集了大量的数据,而增强现实可以使数据可视化。通过使用AR,建筑师可以找到一种更具创造性和直接的方式,通过创建引人入胜的可视化体验,向城市规划者展示他们的项目在现实生活中的样子,从而触发更快的决策。

它可以用来“建造”一个新的交通中心或一个城市的下一座摩天大楼。在所有情况下,使用增强现实技术都可以使工作更轻松。

建筑项目中的增强现实模型

现在,在业务中使用增强现实平台,可以轻松设计智能城市项目。WakingApp是一个专业的增强现实工作室,使工程师和建筑师等专业人士能够利用最新技术。项目在构建之前就能实现可视化,避免了很多错误。

WakingApp技术的有趣之处在于,开发人员和设计人员无需拥有任何编码经验即可利用该工具集。他们可以快速创建高质量的AR体验,以有限的编码经验来展示建筑项目。

建筑项目中的增强现实模型

MLM集团是一家工程、环境和楼宇控制设计顾问公司,他们能够用WakingApp的AR技术,使用AR Studio转化其项目,并展示给客户。

“增强现实体验为建筑项目节约了成本,增加了价值,并使整个建筑过程更加高效。因为从一开始,工程师和建筑师就能够创建最终项目的详细交互式示例,” WakingApp首席执行官Matan Libis表示。

“AR为建筑商及其客户提供了远远超过任何蓝图或3D模型的理解水平,并且通常可以在很短的时间内创建AR体验,为用户提供实用性和功效的提升,”他说。

微软HoloLens和增强现实可以帮助加快建设项目

微软的混合现实头显HoloLens可以给2D蓝图赋予生命。在施工现场,工人可以将3D模型与实时数据相结合。他们可以看到现实世界中的问题和缺陷,并在建造之前修复它们。

这加快了施工过程并提高了最终产品的质量。使用这种技术,建筑工人可以将他们的技能提升到一个新的水平,增加他们的知识并使用它来做出更好的决策。

最初发布于2019年4月21日

原文链接:https://interestingengineering.com/augmented-reality-the-future-of-building

微软全新Kinect传感器Azure Kinect DK上手

微软昨天在巴塞罗那举行的MWC 2019大会上举办的HoloLens 2新闻发布会期间宣布了全新的Kinect传感器,这家软件巨头推出的新Kinect是一款售价为399美元的PC外围设备,可以像开发人员使用Kinect for Windows甚至最初的Xbox 360 Kinect一样用作传感器。微软设计这款新的Kinect的主要用途在于Azure,这是该公司基于云的服务,用于计算机视觉和语音模型。

外媒记者在MWC大会上仔细研究了Azure Kinect DK,并惊讶于它与Kinect for Windows传感器相比要小得多,而且也更轻,Azure Kinect DK仅重440克,而Kinect for Windows则重达970克,并且由于一系列的硬件升级变得更加强大。与之前的Kinect中的4麦克风阵列相比,Azure Kinect DK内置7个麦克风阵列,以及能够支持3840*2160分辨率图像的经过升级的RGB相机。其中的深度传感器与HoloLens 2上的深度传感器相同,因而具有一致的分辨率和帧率。

微软计划为这款新的Azure Kinect DK发布一系列SDK,由于以前基于Kinect for Windows的应用程序无法直接用于这个新的Kinect,开发人员需要将现有的Kinect for Windows应用程序移植到这个新平台上。Azure Kinect DK有一个新的传感器SDK、身体跟踪SDK、视觉API和语音服务SDK。微软尚未发布所有这些SDK,但这款399美元的Kinect已经开始预定,预计将于6月底向开发者发货。

微软提供了一系列示例,来说明开发人员能够如何在零售、制造甚至医疗保健领域中使用Azure Kinect DK。比如在零售商店中,开发者可以使用这款新的Kinect来跟踪产品和管理库存,并且鉴于Azure Kinect DK具备对身体跟踪的支持,它甚至可以用于无人商店。与最初的Kinect非常相似,其用例将取决于创意开发人员如何使用它。

但这个新的Kinect传感器不会取代Kinect for Xbox,它不是为与Xbox一起使用而设计的,并且开发人员可以在有或没有Azure的情况下使用它。外媒记者在现场尝试了一下新Kinect的身体跟踪功能的简短演示,可以使用新的SDK来测量跳的多高,当这款设备在6月下旬出货时,身体跟踪SDK也将可以使用。它让我想起了很多早期的Kinect演示,但新的传感器外形更小,并且有了明确的用途。它不再是游戏外围设备,它是该公司用HoloLens构建的“第三个计算时代”的重要组成部分,同时也将助力微软的Azure云服务。

最初发布于2019年2月26日

原文链接:https://www.theverge.com/2019/2/25/18239860/microsoft-kinect-azure-dk-hands-on-mwc-2019

微软HoloLens中标美国陆军4.8亿美元”集成视觉增强系统”合同

根据美国陆军发布的消息,在去年11月,美国陆军与微软达成一项总值近4.8亿美元的合同,微软将会向美国陆军提供HoloLens增强现实系统原型,用于战斗任务和训练。

根据彭博社的消息,该合同最终可能导致军方购买超过10万台头显,并且旨在“通过提高在敌方之前侦查、决策和参与的能力来增强军队的杀伤力”,根据政府对该计划的描述,该系统被正式称为集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)。

“增强现实技术将为部队提供更多更好的信息来帮助做出决策。这项新工作将我们与国防部长期的、互信的关系扩展到这个新领域,“一位微软发言人在给彭博社的电子邮件声明中表示。

虚拟现实产生了一种由计算机生成的现实,用户可以与之交互(通常通过头显),而增强现实会将数字信息带入用户的视野并叠加到现实世界,通常需要通过智能手机的摄像头或头显来实现 。

HoloLens是微软的AR平台,这家软件巨头称之为“混合现实”。该公司已经将HoloLens用于工业场景,他们认为这台头显可以“让技术人员在混合现实中远程协作,并在几分钟内解决问题,而不是几天。“并且微软表示用户可以充分利用3D模型“创建易于编辑的、生活规模的布局,让您和您的利益相关者可以在物理世界或虚拟现实中体验全息图。”

据MSPoweruser称,在2018年4月,微软透露已经向客户出货了50000台HoloLens设备。正如彭博社指出的那样,该合同使得美国陆军成为微软最重要的HoloLens客户之一。

美国陆军希望微软提供的头显在几个关键方面区别于消费级同类产品。

根据彭博社的报道:在与竞标该合同的公司分享的一份文件中,美国陆军表示,它希望该产品能结合夜视和热感应,测量像呼吸这样的生命特征和“准备就绪”,监测脑震荡并提供听力保护。

微软作为中标者,预计将在两年内交付2500台头显,并展示全面生产的能力。

美国陆军的合同旨在鼓励服务部门与不是典型国防承包商的公司开展业务。AR创业公司Magic Leap是另一个竞标者,据彭博社报道,2018年8月美国陆军与25家有兴趣以某种方式参与该项目的公司举行了会议,其中包括Booz Allen Hamilton控股公司,Lockheed Martin公司和Raytheon公司。

美国陆军并不是唯一对AR技术感兴趣的国防部门。美军特种作战司令部(SOCOM)也对 “ 视觉增强系统(Visual Augmentation Systems,简称VAS)”及相关辅助技术的改进和增强表示了兴趣。这包括用于抬头显示器的AR和虚拟现实解决方案,以及如何将不同数据源的信息融合进一个共同的视觉显示单元。

美军特种作战司令部正在寻求几个不同领域的创新技术和能力,包括AI/机器学习,具备增强的光学特性的显示器,多传感器数据融合与处理、通信等。

在这些领域内,美军特种作战司令部对非常具体的技术应用感兴趣。例如,在AR/VR和AI/机器学习领域中,美军特种作战司令部对任务前的演练和定位、全息显示,游戏技术,神经形态计算和工程,远程医疗以及综合训练和操作环境等技术很感兴趣。

最初发布于2019年2月15日

原文链接:https://fedtechmagazine.com/article/2019/01/army-teams-microsoft-ar

美国海军用HoloLens进行实弹射击训练 让模拟训练更逼真

模拟训练可以帮助士兵和水手学习如何安全地使用他们的武器,但模拟器有时可能无法营造出真正的战斗中的充满压力的环境。

这就是美国海军开发出一种在HoloLens上运行的更逼真的增强现实模拟器的原因。

该系统被称为武器增强现实评分系统(Weapons Augmented Reality Scoring System,简称WARSS),通过用HoloLens在用户的视野中显示敌方部队的3D图像来模拟实弹演习。该系统还会显示一个记分牌,该记分牌可以根据射击次数与未命中次数的百分比来计算已开枪数,击中次数以及得分。

这样一来,士兵们可以向虚拟目标发射实弹,而不是向真实目标发射空包弹,以获得更真实的战场感觉。

“当你专注于模拟训练时,你对风险的评估是不同的。它可以帮助你学习如何使用武器,它可以帮助你思考环境,”美国海军的Steve Murray上校说,他是美国海军海上系统司令部水面舰艇部队的项目经理。“当你将所有的压力都加入时,你需要建立一个更逼真的环境,以确保你在实际战斗中获得你想要的结果。”

此外,WARSS还可以将士兵的视频流显示在传统显示器或笔记本电脑上,也可以通过远程网络连接来传输,让指挥人员可以远程观察训练过程。

近年来,HoloLens已经成为全球军事行动中备受欢迎的AR可穿戴设备,英国皇家海军和澳大利亚皇家空军都采用了这款来自微软的头显。

去年,微软甚至击败了Magic Leap,获得了一项4.8亿美元的合同,将向美国陆军提供AR头显。

但是,这种优势并不能永远保证,因为目前的部署仅限于指挥中心或训练演习,二者都远离战场。最终,军队的客户将寻求能够进入战场的AR硬件,在这种情况下,我们期望微软能够提供体积较小的HoloLens。

最初发布于2019年2月13日

原文链接:https://hololens.reality.news/news/us-navy-taps-microsofts-hololens-for-augmented-reality-war-games-system-0193389/

英国军火商积极测试 未来军舰将通过AI/VR实现远程控制?

未来的海军或许可以使用新技术让舰员们远程操控。像是人工智能和虚拟现实这样的技术能够让一些舰员们在岸上工作,甚至是在千里之外控制军舰的关键功能。这种“半自治”的军舰,需要更少的船员,也就意味着会有更少的人身处战争的险境。

外媒报道,在未来,英国皇家海军可以使用AI和VR来减少船员的规模。类似于在千里之外控制着无人机的操作员,舰员们可以远程工作,比如控制军舰上的传感器或武器。当他们在陆上的基地工作时,可以远离前方的战火。甚至军舰的舰长也可以在岸上,在陆上的基地里指挥他的战舰。

英国军火商BAE系统公司一直在向英国皇家海军推广这项技术。“与军舰上那些坐满军官的控制室不同的是,为了防止军舰受到敌方攻击时控制室也被波及,在陆上的控制室中,军官们能够在其中自由走动,”BAE的一位代表向媒体表示。

飞机将会是首个被远程操控的武器系统。通常飞机都由一位或两位飞行员进行操控,这种短程的任务不需要额外的维护工作,并且相对而言是可支配的。而军舰就不同了,通常军舰都是需要数十人来处理数百项任务,有时会在海上航行数月时间,需要大量经过训练的舰员在离岸数百英里的军舰上进行维护工作,并且很容易就会耗费数十万美元甚至更多。可以说,操纵军舰的复杂性对于使用AI和VR的舰员或陆上的控制室来说是难度最高的任务。

在岸上工作的舰员还会遇到另一个问题:海军需要保证他们的战舰被敌方围堵,或者被迫不使用雷达和通讯信号来进行操控的情况下依然可控,因为敌军将会用这些信号来定位他们。同时,军舰也可能会被敌军攻击,或者受到其他损害,使军舰的动力或通信功能失效。在最坏的情况下,如果军舰和岸上指挥部的联系中断了,那些在岸上基地中远程执行的工作将无法完成。

同时,BAE系统公司还在测试增强现实技术,可以让负责军舰安全的值班人员即使在控制室之外也能够看到战术数据和其他重要的信息。“我们将会使用微软HoloLens在明年3月25日至4月11日的皇家海军Information Warrior 19演习期间首次展示。目前,我们还在使用Striker II飞行员头盔来为皇家海军开发这一系统。”

不过,要在军舰上使用这种增强现实设备,还需要面对强光照和复杂的海面状况等问题,BAE希望对Striker II头盔技术的应用能够帮助解决这一问题。目前的测试虽然进展顺利,但却不够高效,尤其是有大量来自军舰和陆上的各种传感器的数据需要呈现给操作员。

另外,BAE系统公司还在和电脑制造商戴尔合作,来开发更安全的WiFi技术,将舰桥与控制室更好地进行连接。

“虚拟现实、增强现实,触控、手势控制,语音控制…这些都是我们目前正在探索的技术。当然这些技术并不全都适合用在皇家海军的军舰控制室,但肯定有一些是合适的,” BAE系统公司的作战系统技术总监Frank Cotton说道。

最初发布于2018年11月29日

原文链接:https://www.popularmechanics.com/military/navy-ships/a25322684/remote-warships-ai-vr/

美国海军陆战队测试HoloLens 用于装备维修保养培训

美国海军陆战队的作战实验室刚刚完成了对微软HoloLens的快速能力评估,这款增强现实头显可以让炮兵中的维修保养人员来操作M777型155mm榴弹炮的3D模型。

一等兵Nicholas Reedy是一位维修保养人员,他在今年的海军陆战队博览会期间展示了增强维护操作(Enhanced Maintenance Operations)技术。通过佩戴HoloLens增强现实头显,他能够完全专注于呈现在面前的一个M777榴弹炮的数字模型。

“我很喜欢这种体验,你可以分辨出缺少了什么部件,什么部件损坏了,什么部件开裂了,”他说道。“对于我来说它还不能做太多事,但如果是在我上军校的时候 ,这会在很大程度上帮助我来‘看到’榴弹炮的零部件。我是一个非常注重视觉感受的人,只是盯着图解对我来说没有什么用。”

根据Mark Gilday的说法,美国海军陆战队和军队武器装备研发工程中心(Army Armament Research, Development and Engineering Center,简称ARDEC)合作开发了这一项目。Mark Gilday是海军陆战队作战实验室旗下快速能力办公室( Rapid Capability Office,简称RCO)的项目经理。

该项目的评估工作从今年7月一直持续到了9月,并且在海军陆战队和军校中都进行了评估,Gliday说道。

“我们现在正在撰写报告的阶段,这份报告将会提交到将军级别官员,同时还会提交一份推荐信,我们会在其中写明如何以及为何要持续研究该项技术,我们认为这项技术能够适用于未来的应用场景,”Reedy说。

快速能力办公室购买了8台HoloLens头显,该头显运行Windows 10系统,每台的价格是3000美元。其高度一体化的外观、对周围环境的理解能力,以及手势操作的便利性 ,为其带来了各行各业的客户。

“在培训过程中,HoloLens会运行指定的培训程序,这个程序可以是维修保养培训内容,可以是步兵的培训内容,还可以是炮手的培训内容。我在早些时候和一些狙击手谈过,我们都认为,它还能被用于狙击手的培训。在培训过程中,狙击手需要在草地上匍匐,使目标进入射程之内,并且要保证在行动时不被发现,”Gliday说。

“现在,他们是怎样被发现的呢?是通过望远镜。你可以用激光测距技术来增强这些需要使用人眼的望远镜,来找出地面上的一些差异,以更好地发现这些狙击手。这会让他们成为更好的狙击手,因为现在他们必须去想办法击败技术手段。很明显,HoloLens就是可以用于训练的一个很好的选择。”他补充道。

Gliday表示他对该项目充满信心,因为美国海军陆战队和其他兵种都在寻找在培训中使用增强现实技术的方法。

“目前看起来,这个项目是不会被叫停的,”他说道。“海军陆战队系统司令部对增强现实很感兴趣,并且我们一直在谈论这个系统,以及能够应用这个系统的领域。”

最初发布于2018年10月26日

原文链接:https://www.military.com/defensetech/2018/09/27/marines-show-augmented-reality-goggles-modern-day-marine.html

AR技术如何改变未来军队训练的方式?

技术永远在向前发展。上一代的军队训练方式,在很多方面看来,对于新一代的军队来说都是陈旧的。虽然训练的细节可能每年都会有变化,但美国军队在持续创新和更新训练工具和训练方式,以达成同样的目标:给予军队尽可能接近真实的经验,同时平衡财务支出和安全因素。

如果你综合考虑所有这些因素,就会有一个很明显的、并且很合理的新一代训练技术可供使用,那就是增强现实。

这并不是要取代真实的,需要拿着步枪的训练。没有一种模拟训练能够给战士们同样的体验,比如他们在战斗中真正会使用的武器。打穿靶纸或击落射程内的目标是一种有价值的体验,并且是无法被取代的。

现在,军队在训练过程中使用游戏机来进行一些战略对战已经不是什么新鲜事了,通过这种训练,士兵们可以了解到要战胜对方所需要进行的步骤。这种类型的训练是非常安全的,并且很节约训练经费,但是,它并不足够接近真实场景。

达成足够真实的训练需求的下一步是虚拟现实训练中心,而这种训练方式已经开始在一些训练基地进行测试了。比如名为 Dismounted Soldier Training System,或者简称DSTS的训练设施,它会把士兵们放在一个有着仿真步枪并且被几块屏幕包围的房间中。士兵可以在其中“射击”并且以一种安全(但是昂贵)的模拟方式进行训练。这比用主机游戏来训练要更加高效,因为士兵必须使用他们的身体,亲自练习重要的行动技巧。在这里,他们将会训练看到敌人出现在屏幕上时的反应能力。

对于通过监视器查看士兵们的表现的上级来说,这是很不错的训练体验,不过这仍然很接近于让士兵体验主机游戏,上级在旁边观看他们的表现,基本上,就是一个价格昂贵的《火线危机3》。

接下来我们来谈谈增强现实。增强现实可以说是数字世界和真实世界的交叉,通过这项技术,可以将数字元素叠加到真实世界中。并且这不是未来科技,这种技术现在已经可以实现了。Magic Leap目前正在使用该技术开发一种先进的训练模拟器。与虚拟现实不同的是,它能够将模拟内容带到真实世界中,而不是把真实世界中的士兵放到模拟环境中。

在这种训练过程中,士兵们在走进一个特殊设计的环境中时,会佩戴着AR眼镜,这种环境类似在城市化地区的军事训练场地,并且会连接到一个中央枢纽。接下来AR眼镜会智能化地在真实世界中叠加数字图像,训练程序会替换士兵们视野中的模拟元素,比如在真实的窗户中出现的一个模拟的恐怖分子。然后士兵就可以举起训练用的步枪(这支步枪会与训练程序同步),扣下扳机,就能看到如同真实战斗那样的枪口火焰出现在眼前。

这种训练方式相比其他模拟训练的另一个优势在于,它不再局限于单独训练一个士兵。理论上说,一个排的士兵都可以同时佩戴AR眼镜并且一起进行训练,获得与真实战场很接近的训练体验,同时保证自身的安全。

最起码,相比连续几个钟头看着上级在白板上写的文字,这是一个更加具有参与感和沉浸感的学习战术的方式。

实际上,在今年的早些时候,美国陆军就曾公布消息,要在18个月之内,测试一款新型的头盔显示器,从而辅助士兵导航、瞄准。这套被称为HUD 3.0的设备,主要的功能是增强现实,也就是在士兵们肉眼观察真实世界的基础上,叠加各种字符、画面或数据。

在HUD 3.0的发展规划中,它将能显示包括地形信息、障碍物等等。同时,还可以生成虚拟的敌军位置,大大提高士兵们在复杂的、具备挑战性的训练场景中进行训练的效率。

根据外媒此前的报道,Magic Leap和微软HoloLens正在争夺为美国士兵提供AR头显的军方合同,而这一和合同,便是HUD 3.0项目的一部分。

最初发布于2018年10月24日

原文链接:https://www.wearethemighty.com/gear-tech/military-training-augmented-reality