增强现实成为军事医疗培训的关键工具

是否拥有训练有素的医务人员和其他军事医疗保健专业人员,关乎军人的生死存亡。因此,五角大楼将增强现实作为一种模拟工具,来帮助这些医务人员提高技能。

去年,迈阿密大学戈登医学教育模拟与创新中心进行了一项由美国国防卫生局资助的为期四个月的研究,以检验利用AR进行远程培训的有效性。

“国防部和我们所有人一样,在医疗保健领域面临着完全相同的挑战,即没有足够的师资力量来培训所有需要培训的人”,迈阿密大学卫生系统的急诊医学专家Ivette Motola博士说。“它在某些方面是为了进行概念验证——我们可以远程且有效地做好培训吗?”

该研究涉及大约30名参与者,其中包括美国陆军创伤培训支队的人员。

Motola博士说,这项研究测试了是否可以使用增强现实远程培训来向一组护理人员教授一种新的、复杂的程序。该研究使用的AR技术由位于佛罗里达州博卡拉顿的ArchieMD公司开发,这家公司提供健康科学领域的教育培训产品。

“我们将讲师和学员放在两个不同的地方,并使用远程医疗、人体模型和增强现实技术生成的图像,来教护理人员如何插入胸管,”Motola博士在一次采访中解释道。

管胸造口术需要在肋骨之间放置一根空心塑料管并进入伤员胸腔,以排出肺部周围的空气、血液或其他液体,这可能是挽救伤员生命所必需的手术。

“这个是位于人体模型上方的投影仪,在学员面前有一个屏幕,可以在屏幕上看到讲师,还可以看到叠加了解剖结构和手术步骤的人体模型,”她说。“学员们可以看到人体模型叠加解剖结构(使用AR图像)以及他们需要一起经历的所有步骤。”

“这就像他们拥有了X射线般的视力一样,”戈登中心教育技术开发主任、前空军外科医生Ross Scalese博士在谈到该项目时说。

Motola博士表示,参与者的反馈是积极的。

她说:“学员们发现最有用的功能是能够互动并接收来自讲师的实时指导和反馈,以及AR的解剖标志和分步动画。讲师认为视听技术的高质量以及解剖结构图的存在是最有用的,可以确保学员在正确的位置执行正确的动作。”

那么,研究人员在向美国国防卫生局提交的报告中得出了什么结论?

“远程培训与增强现实的结合可能成为培训军事医疗人员和治疗战场伤员的宝贵方法,”Motola博士说。“军医可以在手术过程中获得远程指导,从而节省时间,甚至挽救生命。”

美国国防部正在积极推进这些能力的研发。

美国陆军有一个名为“使用增强现实的便携式可部署医疗患者模拟器”的项目。在去年4月,美国陆军医学研究与开发司令部的“医学模拟和信息科学研究计划”对由MedCognition开发的名为PerSim的增强现实设备进行了现场演示。

据美国陆军的报道,该技术利用微软HoloLens头显,可以让用户进入虚拟环境中治疗各种模拟的伤员。“这些虚拟伤员是通过对一个活生生的人体模型进行动画处理来创建的,然后将该模型包裹在三维皮肤中,可以根据当时伤员遭受的确切疾病或伤害来调整许多变量”。

报道称,该系统可以支持多种手术培训,包括使用止血带、治疗弹片伤或胸部伤口的处理。

据该公司称,美国陆军还一直在探索由Design Interactive开发的一种名为AUGMED的软件工具,该工具旨在利用增强现实为学员提供“完全身临其境”的伤员护理培训场景,并且这些场景可以远程交付。据美国陆军称,该软件也利用了HoloLens。

“我们所有这些努力的长期目标是不再将讲师派往另一个地点,并且能够随时随地提供培训,”医学研究与开发司令部高级项目经理Frank Karluk说道。“如果可以在未来的战争中以这种方式完成培训,我们将一直拥有培训有素且准备就绪的医疗部队,而无需在部署军队前进行即时的培训。”

该司令部的投资经理Darrin Frye博士说:“至关重要的是,我们可以为我们的医疗和非医疗部队提供使用增强现实合成的战斗创伤场景,和进行伤员护理的机会,提供最佳的学习体验。这种方式具备高性价比,且随时随地,身临其境。”

据报道,PerSim和AUGMED预计都将移交给美国国防卫生局的医学模拟和培训办公室,目标是将该技术交到最终用户手中。

同时,根据去年9月美国空军的新闻报道,美国空军第6医疗大队教育和飞行培训队已被选中与美国国防卫生局及其商业伙伴合作,部署美国国防部第一个集成的“混合现实”培训平台,用于将增强现实与人体模型相结合的军事医疗准备培训。

“增强现实培训的引入提升了培训的可用性,无需为培训设施和多个学员的面对面互动增加过多人力,”该报道称。“将增强现实应用于军事医疗培训的额外好处是更高的机动性、最小化的设备和可以在现场使用的无线连接能力。”

5G网络是一种可以作为远程培训和增强现实关键推动力的新兴技术。

去年,五角大楼指定将德克萨斯州圣安东尼奥联合基地作为5G试验场。官员们已将由AR引导的增强型医疗培训确定为5G技术的潜在应用。

“5G的特性、功能和先进的通信技术,包括灵活的带宽分配(从超窄到极宽)、网络内核心应用、超低延迟,以及国防部军事医疗服务组件无处不在的连接,将使联合医疗社区可以维持长期的经济和军事优势,”国防部新闻稿称。

“它的5G原型和演示旨在加强驻军(在哨所或驻地)或即时(在出发部署之前)的医疗准备培训,”Scalese说,在远程医疗和远程培训方面,“带宽始终是个问题”。

“如果你想让它看起来就像在你房间里做汇报的人一样,或者就像正在观看这样的场景一样,那么你可能总是要处理延迟问题,”他说。“当你看到这些3D渲染内容时,你正在尝试传输大量信息。所以带宽肯定是一个重要因素。而5G只是其中的一个步骤,将带动它实现跨越式发展。”

美国国防部于去年6月向美国国家频谱联盟的成员发布了一份原型提案请求,旨在支持5G远程医疗和医学培训技术的研发。

此次征集关注两个感兴趣的领域:开发支持5G的增强现实培训平台,可由一名培训师培训多名学员;利用AR和5G促进远程服役人员和医学专家之间的实时远程医疗指导。

美国国家频谱联盟的首席战略官、前海军中将Joseph Dyer说:“增强现实具有创造3D沉浸式学习体验的真正潜力,可以在偏远地区培训和指导军事医务人员应对重症监护和创伤场景。”

联盟执行董事Maren Leed表示,该计划为显著提高偏远地区军事医务人员的医疗保健质量提供了机会。

此外,“国防部的投资将有助于推进最先进的商业技术的发展,将AR用于医学培训和指导方面,从而使整个国家受益,”她说。

增强现实和远程培训技术的发展速度有多快?

Motola博士说,它现在比几年前更加用户友好。

Scalese表示,视觉体验是技术开发人员取得最大进步的地方。然而,他指出,触觉体验仍有很大的改进空间。

“理想的情况是,当你走进全息甲板并说‘加载创伤场景1B’,然后就会出现3D的、完全逼真的场景,并且你所有的感官都参与其中,“Scalese 说。全息甲板指的是《星际迷航》中具备全息图的虚构设备,可以让用户在合成环境中与实体进行交互。“我们还没有到那一步,但已经走了很长一段路,所有的3D图形和处理器速度已经可以实现更加逼真的场景。”

最初发布于2022年7月27日

原文链接:

https://www.nationaldefensemagazine.org/articles/2021/10/22/augmented-reality–emerges-as-key-tool-for-military-medical-training

增强现实技术用于标记战场核生化威胁

未来的作战人员可以在不踏上战场的情况下了解到化学、生物和放射性威胁的位置。

Teledyne FLIR于去年12月宣布赢得一份价值1570万美元的合同,用于开发增强现实软件,该软件可以查明化学、生物、放射性和核威胁(简称CBRN),并将其提供给军方。该合同由美国国防威胁管控局旗下的联合科学技术办公室签发。

对于侦察和洗消任务,遥控操作的车辆将首先穿过可能存在危险物质的区域,并使用传感器收集数据,该公司匹兹堡分部的科学和技术总监Jeremy Walker说。

“这些数据将以数字方式注册,并用于创建突出显示危险的区域的AR显示内容,”他补充说。

“当士兵们穿过那个区域时,他们会看到一些热图,这些热图显示了威胁物被检测到的位置,以及它们是什么威胁物,”Jeremy Walker说。“一旦这些数据被进行侦察任务的遥控车辆捕获,那么后续的其他士兵……可以利用这些数据更好地完成任务。”

测绘和AR技术将被整合到军方的战术突击套件(Tactical Assault Kit )中,这些工具套件可能是手机或平板电脑。像是集成视觉增强系统(Integrated Visual Augmentation System)的混合现实头显,也是一种选择,Jeremy Walker说。

“对所有那些位于更远的后方的士兵们来说,他们不一定必须拿着传感器才能知道威胁在哪里,才能完成他们的工作,”他说。“有了这个工具,可以帮助士兵们直观地看到这些威胁,这样他们就可以腾出双手去做其他事情。”

在开发这项技术的过程中,Teledyne FLIR匹兹堡实验室将寻求与增强现实和3D映射领域的合作伙伴们合作,以帮助开发软件。

最初发布于2022年2月28日

原文链接:

https://www.nationaldefensemagazine.org/articles/2022/2/10/augmented-reality-tech-maps-chem-bio-threats

Strategy Analytics最新报告:2021年起XR市场将强劲增长

近日,分析机构Strategy Analytics发布了名为《COVID-19对AR和VR市场的影响》专题研究报告,该报告指出,虽然在短期内,COVID-19会对AR/VR硬件出货和市场收入有负面影响,但Strategy Analytics仍然认为XR将会在这种“新常态”下找到自己的一席之地。

该报告的主要内容如下:

尽管2020年将是充满挑战的一年,但Strategy Analytics预测,从2021年起XR市场将强劲增长。

尽管市场将在2020年萎缩,但Strategy Analytics预计未来几年市场将强劲增长。从2020年到2025年,出货量将增长六倍,收入达到270亿美元。

COVID-19将在2020年对XR市场产生重大负面影响。Strategy Analytics预计出货量和收入将同比下降20%以上。Strategy Analytics预计,与智能手机绑定的AR头显的发布至少要推迟到2020年底,甚至会推迟到2021年,这将使Strategy Analytics早先预期的专用AR设备的消费市场增长推迟一年。

2020年本可以是专用AR头显市场真正腾飞的一年,但其他大事件很快使这种趋势停止了。

Strategy Analytics预计,一旦这些与智能手机捆绑的设备进入市场,中低端的AR头显将出现强劲增长。 形似隐形眼镜的AR头显也于2020年投放市场,这一新产品类别已添加到预测中。

Strategy Analytics预计VR市场将在2020年有所收缩,但由于“新常态”下的新工作和生活模式,Strategy Analytics提高了对VR头显的长期预测。

随着企业越来越多地使用VR工具进行远程协作,并且教育机构也越来越多地远程提供课程,最终的结果可能是VR硬件的前景有所改善。

尽管Strategy Analytics提高了对VR头显的总体预测,但由于微软决定下一代Xbox不支持VR,Strategy Analytics已稍微降低了主机VR头显的预期出货量。

在低端市场,Strategy Analytics预计2021-2022年将看到由于移动运营商推出5G而导致智能手机捆绑的VR头显出现小幅回升。

报告来自Strategy Analytics。

最初发布于2020年7月10日

NASA:HoloLens 2混合现实技术助力载人登月计划

工程师们正将混合现实技术这种强大的工具,用于NASA载人登月的Artemis计划。洛克希德·马丁公司是NASA猎户座宇宙飞船的主承包商,正在使用MR技术来提升Artemis II宇宙飞船的制造效率,这是猎户座飞船的第一个载人任务。

Mary Lakaszcyck是一名技术人员,服务于洛克希德·马丁公司的分包商ASRC Federal Data Solutions。她戴着HoloLens 2,将胶带贴在猎户座乘员模块适配器上安装部件的位置。这项工作是在高架舱内进行的,地点位于佛罗里达州NASA肯尼迪航天中心的行动和检测中心。

在组装复杂硬件,比如载人进入外层空间的宇宙飞船时,该技术提供了独特的功能,可以帮助人们了解动态工作环境。以前在二维屏幕上,人们是通过文本或模型来展示工作步骤的;但是当佩戴HoloLens 2时,这些指令能以三维立体的形式出现,并且映射在宇宙飞船的物理实体上。

“老实说,这个设备是多么有用、多省时和多有趣,我很难用语言充分表达。” Lakaszcyck说,“有些工作过去至少要花1周的时间,或者8到12个班次,而现在1个班次内就能完成。”

Lakaszcyck还表示,通过这个设备,她可以准确地看到在宇宙飞船里摆放物品的位置,放置的方向,以及它们的参考编号,使得这个过程前所未有的高效。

AR/MR技术并不是一时之风。它们是洛克希德·马丁公司项目团队为猎户座飞船投入飞行准备的常用工具。该公司已经于2017年开始使用这项技术。

“我们在猎户座飞船的制造中使用了MR技术,用于Artemis I号的飞行任务,”Shelley Peterson说,她是洛克希德·马丁公司混合现实和混合现实方面的专家。“与传统方法相比,混合现实技术正帮助我们突破界限,以更快的速度完成任务。”

NASA乘员模块适配器的组装、集成和测试负责人Carlos Garcia对猎户座制造工作感到满意,他对MR技术在点击联结件(click bonds)上的省时效果感到满意。点击联结件是一种紧固件,可以将几英里长的线束固定在航天器结构上。

“在乘员模块适配器的制造工作中,使用该技术来定位安全带上的‘点击联结件’,相当于节省了三周的时间,” Garcia说。

MR设备佩戴者将在猎户座飞船上放置几个关键的航天部件,包括乘员模块和Artemis II号中要用到的隔热板。他们还将使用混合现实工作指令,以完成飞船乘员座椅的组装。

“在四个场所中,我们通过使用混合现实完成航天器制造,工作时间要比传统方法减少90%。例如,一项通常需要8小时的工作,现在可以在45分钟之内完成,”Peterson说,“如果单看紧固件的话,一艘猎户座宇宙飞船有57000个以上的线束紧固件。每个紧固件上节省出来的时间汇总起来就很可观了!”

Peterson说,使用混合现实的工作指令后,几乎无需解释说明,工人就可以立即理解手上的任务。

微软制造的HoloLens 2是洛克希德·马丁公司所用设备的第二次迭代。该公司使用Scope AR公司开发的混合现实软件平台WorkLink为设备构建内容。

“我从未想过自己会亲手建造进入外层空间的宇宙飞船,” Lakaszcyck说,“我已经设计了三种不同的运载工具,包括当前即将载人升空的Artemis II。现在我是Artemis的一员,这不仅有着不可替代的兴奋感,更是一种责任感。”

在Artemis计划里,NASA将先把一个女性送达月球上,之后是一个男性。猎户座飞船将通过Space Launch System火箭发射出去,把机组人员运送到太空,提供紧急中止能力,在太空旅行中为机组人员提供供给,并能从外层空间安全重返。NASA将在月球上建立可持续的前哨站,并运用获得的知识将宇航员送往火星。

最初发布于2020年4月10日

原文链接:https://www.nasa.gov/feature/using-augmented-reality-to-prepare-orion-hardware-for-artemis-ii-crewed-mission

基于华为河图Cyberverse技术构建 华为AR地图率先上线P40系列

4月8日,在华为P40系列国内发布会期间,华为不仅发布了P40、P40 Pro和P40 Pro+三款全新旗舰手机,备受关注的华为河图(Cyberverse)也正式亮相。基于华为河图Cyberverse技术构建的华为AR地图已上线华为应用商店,目前仅支持P40系列机型。

华为AR地图首批开放的体验区域包括敦煌莫高窟世界文化遗产和南京外滩观光商业区,用户可以在这两个区域感受全新的AR体验。具体包括:AR实景导航、全息信息显示、虚拟融合的拍照、丰富多彩的虚拟活动。

实景AR导航:抬起手机就能识别出当前位置,确定目标点,发起导航后,可以直观的在实时图像上呈现导航指引。

全息信息显示:当您定位成功,环视周围世界时,会看到各类信息标牌,点击可以获取更详细的介绍。

虚拟融合的拍照:您会在真实空间中发现穿越自河图世界的飞天仙女或神兽,也可以在伙伴的帮助下,与虚拟角色合影。

丰富多彩的虚拟活动:在虚拟融合的世界中,可以参与精彩的虚拟活动。

根据发布会期间华为消费者业务CEO余承东的介绍,华为AR地图目前实现了厘米级3D地图(每平方公里40亿三维信息点,1:1还原真实世界)、高精度空间计算(实时比对上亿图像信息,见景定位)、AI 3D物体识别(毫米级精确融合3D影像)、虚实光影追踪(真实与虚拟世界无缝融合)。

敦煌研究院此次采用华为河图平台将敦煌学研究的成果、数字敦煌高精度壁画图像和洞窟三维模型制作的虚拟数字内容与真实的莫高窟实景实时融合在一起,既实现了景区的实景导览,又创造了一种全新的洞窟数字体验方式。参观者在现场参观时,既有参观真实洞窟的体验,又可清晰地欣赏到精美的石窟壁画彩塑艺术。

此外,该技术还可将敦煌壁画中九色鹿、飞天等丰富的文化元素,栩栩如生地呈现在参观者周围,与其近距离互动,进一步增强参观者对敦煌艺术的体验感、亲近感。

华为河图Cyberverse融合了AR功能,又不仅仅局于AR功能。华为Fellow Cyberverse总工程师、Camera总工程师罗巍曾表示,华为河图的初级定义应该为“地球级的,和现实无缝融合的,自主演进的数字世界”。华为河图Cyberverse将以“开启数字新世界”的理念为用户提供服务。

根据罗巍之前分享的内容,河图Cyberverse在结构上分为Physical Layer物理世界层、Vivid Layer物理世界的数字印象、Semantic Layer语义层、GIS Layer地理信息层、Data Layer数据层、Communication Layer通讯层、UGC Layer用户产生的内容层、Content Layer内容层。

河图Cyberverse具备4大核心能力:全场景空间计算、超高精地图HDMAP、强场景理解、沉浸式渲染。

首先是全场景空间计算,华为的空间计算是全场景的、全天候的,河图Cyberverse可以做到室内、室外、白天、晚上,不同的光照都可以提供空间计算定位定姿能力。河图Cyberverse结合了华为的GPS,室内的WiFi定位,以及VPS定位和SLAM定位,所有的技术组成了华为的空间计算能力。河图Cyberverse可以做到厘米级和一度以内的定姿。

其次是超高精地图HDMAP生产能力,河图Cyberverse结合了卫星的卫片到飞机的航片,到无人机的航片,以及到高精度的激光扫描数据,一直到用户上传的众包数据,可以把所有的数据整合起来,利用自动生产流水线将其生产成河图Cyberverse。而且POI信息都自动标注在三维空间里。

第三是强场景理解,这得益于AI技术,河图Cyberverse可以认识植物、认识动物、认识人,一直到认识建筑、商品,让搭载河图Cyberverse的设备更好的理解它所处的环境。

第四是沉浸式渲染,河图Cyberverse在端侧可以提供高精度的光照估计、实时深度估计、优化的功耗通路,保证河图Cyberverse的服务跑得尽量的长。在5G时代,在强大带宽的支持下,可以在云端实现光线的实时追踪,ray tracing的渲染技术可以让大家的体验更具沉浸感。

罗巍在微博表示,华为AR地图将在5月底覆盖上海内环120平方公里。今年底覆盖一线城市,100+顶级博物馆景区,1000家顶级商圈。

最初发布于2020年4月8日

用于训练、作战与维护 美军正寻求更先进的VR/AR头显设备

有专家表示,商业领域推动的技术提升有望带来更先进的虚拟和增强现实头显,以解决当今与美军使用的头显相关的许多问题。

虚拟现实(VR)使用户沉浸在一个由计算机生成的环境中,例如VR游戏。增强现实(AR)可以将数据或其他用数字化手段创建的图像叠加到现实世界的视场上,例如电视观众在观看足球或棒球比赛时看到的黄色或橙色的区框。

美军的官员们指出,通过提供使用数字化手段创建的敌军或其他在实际战斗中可能遇到的环境因素,VR和AR头显可以改善军队为对抗先进的对手进行的高科技战争的训练方式。

市场分析公司Frost&Sullivan的航空、国防和安全分析部门副总裁Michael Blades说:“商业领域也是所有游戏玩家都将使用这些设备的地方。他们将进行修改、更新和升级,以跟上该市场中的竞争对手的步伐,这将提升国防领域用户的能力。因此,国防领域将最终从商业市场的竞争中获胜,因为他们将获得更好的训练能力。”

美国空军的飞行员培训计划(Pilot Training Next)就是一个例子,该计划旨在提高飞行员培训的效率,并加快学员们的学习进度。虚拟现实头显的使用为学生们提供了更多磨练技能的机会。

美国空军教育与训练司令部(Air Force Education and Training Command,简称AETC)第24分部的运营官Robert Knapp中校说,在传统的飞行员训练结构中,学生都是从一些纸质出版物或带有培训文件的iPad开始。

“他们从那些培训手段起步,之后会使用一个极其昂贵的传统的模拟器,在那里他们可以进行全方位的飞行训练,”他说道。“那些昂贵的模拟器的问题在于,它们的数量太少了,而且学生进入模拟器的次数也很有限。”

现在,参加Pilot Training Next培训计划的学生可以坐在椅子上,戴上HTC Vive Pro等商业设备进行练习。

VR头显为美国空军的飞行员提供了更多接触模拟技术的机会。

“我们可以填补阅读书本或iPad上的内容与使用一些较便宜的市售设备进行高保真模拟训练之间的差距,”Knapp说。

但他指出,如今的头显有一些缺点。

“当你使用超高分辨率的头显时,视野会变窄,”他解释说。“要获得更大的视野,你需要使用较低分辨率的头显。”

“但是理想情况下,技术研发将会继续,我们将拥有超宽的视野、超高分辨率和非常高的帧率,因此不会出现抖动,”他补充说。“我们现在还没到这一步。”

但是,参考游戏行业技术的发展速度,美国空军可能会在不久的将来拥有它们所需的VR头显。

“我们对这些设备在接下来的几年中的发展趋势感到非常兴奋,因为我确实认为我们离极高保真度的头显并不遥远,到时候,任何人戴上头显都会沉浸在更像真实世界的虚拟环境中,”AETC的助理运营总监Maj.Eric Jones说。

CAE的防御和安全业务技术负责人Phil Perey说,新上市的头显比以前的系统具有更好的保真度。CAE将虚拟和增强现实头显整合到了它为军方客户(包括后勤机组人员)提供的培训解决方案中。

新的Varjo XR-1具有足够清晰的分辨率,用户可以清楚地读取仪表面板的信息,这是以前的头显所不具备的功能。他指出。

Perey预计VR和AR头显技术将继续发展。

“以后将有必要给这些头显做减重处理,”他说到。但是,这不是唯一的需求。

“他们可能会因为现有的视野而减小应用范围,但是当他们试图将视野扩展到更大时,他们的应用范围也将扩大,”他说道。“我们将看到设备重量的下降,可能会看到设备外形逐渐变大,以涵盖更大的水平视野。”

Perey说,他已经尝试了一些将于2020年上市的下一代头显,并且对它们的大体积和较轻的重量都印象深刻。他说,其中之一“几乎是羽毛般的轻盈”。

减轻系统重量可以减轻用户所承受的压力和不适感。

“有一些有前景的制造技术将使这些设备的重量减轻很多,”Perey说。“这将成为人们戴上这些设备,并持续佩戴数小时的重要因素。”

新的电池和更小的计算机也可以帮助减小头显的体积和重量。

微软公司服务美国陆军部门的主管Mark Valentine表示,重点是提升与头显相关的电池技术。他指出,材料科学的进步带来了更小的外形尺寸和更长的电池寿命。

“对电池电量的研究,以及提高电池效率是目前的关键技术之一,”他说道。

微软正在向美国陆军提供其HoloLens2增强现实头显的修改版,以用于集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)项目,该项目包括抬头显示器。美国陆军希望将这些设备用于训练目的,并向战场上的部队提供更好的态势感知和数据访问能力。

HoloLens系统具备透明的镜片,Valentine指出。

“我可以看到现实世界,同时还可以获取数据和信息,并以固定在环境中的3D全息图的形式显示出来,”他说道。“HoloLens本质上是戴在头上的Windows 10计算机,但并不是通过屏幕来显示的。现在,它是通往现实世界的混合现实传送门。”

Valentine拒绝具体讨论IVAS项目的细节,但他指出,微软认为HoloLens技术有多种潜在用途,包括用于战斗准备。

“现在,如果我是一名陆军士兵,并且要训练夺取一座建筑物,我会遇到一些敌方部队,会遇到一些突然出现的目标,诸如此类。然后我便冲入建筑物并用真正的武器射击,“他说。但是在混合现实世界中,可以用全息图来模拟敌军。

头显也可用于帮助设备维护人员。

“比如,我们可以看到工具箱,设备本身可以在智能边缘进行人工智能识别,打开工具箱,确定下一步维修所需的工具,然后就会为我突出显示这个工具,”他解释说。“我拿起工具,看着飞机,然后,维修清单中的下一步就会以全息图的形式显示出来。”

Valentine指出,与上一代HoloLens相比相比,HoloLens 2具有更小的外形尺寸和更大的视野。该公司还将计算部分从设备的正面移至后面的垫子上,以使佩戴者感到更舒适。

困扰VR和AR头显的另一个问题是用户的操作与模拟环境中相应的变化之间的延迟。美国国家训练与模拟协会(National Training and Simulation Association,简称NTSA)会长James Robb指出,这不仅降低了模拟训练的效率,而且还可能导致晕动症。NTSA是美国国防工业协会(National Defense Industrial Association)的附属机构。

然而,新兴的5G无线技术可能会改变这方面的游戏规则,Robb说。预计5G网络的速度将是4G的20倍。

“5G的延迟应该很小,”他说道。“每当你需要将模拟训练内容从服务器传输到头显时,传输过程中都会有所延迟。因此,只要你提高架构的效率,将无线架构合理地直接用于高速计算机上,就可以减少该问题。”

Blades说,这种技术是未来的潮流。

他说:“这项技术将朝着使一切无线化,并且眼镜本身具有大量计算能力的方向发展,”他说道。“我们已经有了5G。因此,我确定在任何头显与它们所连接的设备(无论是PC还是其他头显或其他设备)之间的延迟几乎可以忽略不计。”

五角大楼即将启动一项5G计划,其中包括将该技术整合到军事任务计划中,以及在训练领域的虚拟和真实环境中进行训练。

Robb还期望下一代头显在训练场景中能够具有更强的数据收集能力和更强的利用AI的能力。

“在这种情况下,机器将在确定你的工作方式并帮助提升表现方面进行很多工作。从帮助你提供决策选项,到提供信息,或者帮助你获得正确的可视化效果,它将无所不包,”他说道。“支持人员越聪明,用户从中获得的好处就越多。”

美国陆军作战能力发展司令部(Combat Capabilities Development Command)模拟和培训技术中心主任Matthew Clarke表示,他不太担心VR技术的改进。

他在最近一次与记者会面时说:“VR行业会采取行动,因为这与游戏行业有关,而游戏业务正在增长。”

他指出,增强现实是一个更大的问题。

“这是因为你正在尝试将真实世界与虚拟世界融合在一起,并且面临着巨大的挑战,”他解释说。“例如,如果你没有将这两个世界进行绝对的对齐,那么,当你在使用时会产生偏离,但我们不能有这种偏差。”

“因此,我在AR中要面临的具体挑战是对齐、跟踪、动态遮挡,”他补充道。

美国陆军希望有一个可以从AR过渡到VR的套件,因此军方可以“从中获得双重收益”,他指出。

同时,美国陆军还想要具备功能更强的被动型传感器的头显。

“美国陆军讨厌主动型传感器,因为敌人可以检测到它们,”他说道。“我们需要被动型传感器。如今,被动型传感器存在的问题是无法获得距离信息,无法获得范围能力,这是我们进行单元训练所需要的。”

Clarke还设想了一个AR技术看起来与今天完全不同的世界。

“我们将不用佩戴头显,而是佩戴增强现实隐形眼镜,”他说道。“对我来说,这就是未来,摆脱处理过程,将人体产生的能量转换为电源,你无需携带额外的电池。”

Blades表示,在未来,AR技术的进步可能不需要用户佩戴任何的头显设备。

“这些设备很多都是显示了某物的3D外观,”他指出。“如果这只是由某种视频产生的,你不需要眼镜就可以在面前显示一个3D物体呢?增强现实的有趣之处在于,其中一些应用程序,甚至可能不需要眼镜就能体验。”

最初发布于2020年1月8日

原文链接:https://www.nationaldefensemagazine.org/articles/2019/11/27/pentagon-eyeing-more-advanced-virtual-augmented-reality-headwear

美国空军希望尝试VR/AR 但受限于“中国制造”?

美国空军希望进军在商业市场蓬勃发展的的增强现实和虚拟现实技术领域,但他们遇到了一个问题:许多产品都有来自中国的部件,限制了它们被美军用于作战环境中的能力。

“我们可以使用不是中国制造的AR(增强现实)解决方案吗?我认为这对我们不利。”空军作战训练基础设施部门主管Gerard Ryan上周二在跨军种/行业培训、模拟和教育会议的小组讨论中说。

“我认为安全政策方面不会通过。虽然有些讽刺,但这是事实。如果我们要使用游戏引擎,我们要确保它不是我们不喜欢的国家开发的。”他补充道。

美国空军正在通过Pilot Training Next(简称PTN)计划接触虚拟现实技术,该计划旨在使飞行员更快、更经济地进行基本飞行员培训。虽然PTN计划目前被认为是一项实验,在限定的时间内只有少数飞行员参加,但美国空军已经表明,它可以通过HTC Vive虚拟现实头显和飞行模拟软件来补充在T-6教练机上进行的真实的飞行训练,来将现有训练时间缩短数月。

像飞行员基础训练这样非机密的环境是美国空军使用当前市场上增强显示和虚拟现实设备的理想场所。但是对于战斗机和轰炸机飞行员,或任何处理加密信息的操作员都将使用的设备,美国空军必须确保该设备的任何部件都不是中国制造的,或者没有任何其他国家的实体可以插入用于数据收集的技术。

美国空军已经开始与供应商谈论其担忧,Ryan说。他们希望这些公司可以检查其供应链,不再购买中国的零件。

“我已经与一些行业人士进行了交谈。一家较小的公司表示,他们找到了一套美国制造的头显。我当时的反应就是:“太好了,你是第一个这样告诉我的人。也是到目前为止唯一的一个。”

另一个挑战是在可能限制蓝牙和Wi-Fi使用的机密环境中连接商业设备。

“我已经与一家找到了解决方案的公司进行了交谈。他们有一台背包电脑。因此,它是直接连接到头显的,”Ryan说。“不幸的是,这样做可能更昂贵。要找到零件可能更具挑战性。”

美国空军空战司令部作战副主任David Nyikos说,当将增强现实或虚拟现实系统进入加密环境时,它们可能不够灵活,无法快速重新配置以适应不同的训练场景。

“AR/VR非常酷,”他在座谈会上说。“但是现在你需要它进一步发展,需要对其进行重新编程,以适应我们想要进行的任何任务演练。比如,或许今晚你就会和来自空军特种作战司令部(AFSOC)的人员一起训练,或者与一些挪威特种部队(SOF)人员一起训练,又或者与一些阿富汗人一起训练。但我们现在还没有这种系统。”

最初发布于2019年12月13日

原文链接:https://www.defensenews.com/digital-show-dailies/itsec/2019/12/06/wanted-virtual-reality-headsets-that-arent-made-in-china/

科学美国人:新的虚拟现实触感贴片可实现远距离“触摸”

添加触感可以使虚拟现实体验更真实,John A.Rogers的团队开发了轻巧灵活的触感贴片,可将触感直接传递给皮肤,兼具轻薄和节能特性。

一个女人坐在电脑前,与她的小儿子视频聊天,同时她轻轻地在另一个屏幕上轻拍了一个界面。作为响应,孩子背上的无线贴片以与母亲手指相匹配的模式振动,从而使他“感觉”到她的真实的触摸。

这种新的贴片是一种触觉设备,是一种可以远程传递触觉信号的技术。一个常见的例子是游戏控制器,当玩家的虚拟形象受到打击时会振动。一些研究人员认为,此类界面的更高级的、可穿戴的版本将成为使虚拟现实和增强现实体验更加真实的关键。“如果你了解一下当今的VR和AR,你会发现它主要由听觉和视觉通道组成感官体验的主要基础,”美国伊利诺伊州西北大学的物理化学家和材料科学家John A.Rogers说,他的团队帮助开发了新的触觉贴片。“但是我们认为,皮肤本身(触摸感)可以从质量上提升您通过VR可以实现的体验,而音频和视频则无法实现这种提升。”

科学家,技术公司和技术极客们已经试验了可穿戴的触觉设备,通常是配备振动电机的背心或手套。但是,其中很多都需要通过电线来连接沉重的电池组。由于它们的重量,大多数都必须宽松地附着在身体上,而不是牢固地粘附在皮肤上。因此,Rogers和他的同事们开发了仅几毫米厚的振动盘,该振动盘的电量消耗很小。这些执行器(用于使系统运动的设备的术语)需要的电量非常少,因此可以通过NFC近场通信(一种传递少量电量的无线方法)来供电,该方法通常用于开门的ID卡。

“机械执行器所需的电力通常是在移动应用中真正大量、可扩展地使用这些技术的限制因素,”德国萨尔大学的计算机科学家Jürgen Steimle说,他并没有参与新的贴片项目。研究人员“指出,单个执行器所需的功率不到2毫瓦,比以前的设备通常通常所需的功率少了一个数量级。…在我看来,这是一个逐步的改变,因为它允许我们将创造出新型的移动设备,这些设备可以使用电池高效地驱动,或者甚至可以像Rogers团队一样使用无线供电。”

产品看起来就像轻巧柔软的织物状材料补丁,可以像潜水衣一样弯曲和扭曲,并在穿着者的身体移动时保持与穿着者皮肤的直接接触。它由夹在保护性硅胶片之间的电子薄层组成。一层包含为设备供电的NFC技术。这可以激活另一层:执行器阵列,每个执行器都可以单独激活,并调整到不同的振动频率以传递更强或更弱的感觉。这堆比鼠标垫稍薄的电子设备最终形成了粘在皮肤上的贴片。该设备在最近出版的《自然》杂志上有描述。

Rogers指出,该技术的一些要素已经存在于其他设备中,但是他说,他的团队开发的的贴片以一种新的方式将它们结合在一起。“小型执行器、无线控制策略、轻薄,灵活,柔软的结构、与皮肤的柔软,温和的接触、无需电池的操作-这是我们过去从未报道过的一系列技术特性的集合,”他说。“当您将它们全部组合在一起时,最终会得到一个完全不同类型的平台,我认为它将成为一个真正强大的起点,最终您可能拥有具备1000个执行器的全身套装,它们都是同时受到控制,并具有人们实际要使用的尺寸。”

Steimle指出,其他团队已经开发出了更薄的执行器,但是使用了不同的刺激皮肤的方法。物理振动的模块“往往笨重,坚硬,且耗电量大,因为你需要实现机械运动,”他说。“有机械运动的配合,当然能出色地起作用。”

到目前为止,研究人员已经测试了各种形状和大小的贴片原型,以适应身体的各个部位。例如,圆形的贴片放在手背上,而X形的贴片放在背部。在一个演示中,一家人在视频聊天时使用该贴片体验了远程触摸。在另一例演示中,一名下肢截肢者用假肢抓住了一杯啤酒。每个指尖均配备有传感器,该传感器与上臂的贴片进行通信,从而提供有关其机械臂所握住的物体的触觉信息。最终,一个测试对象在玩战斗类游戏时佩戴了多个触觉贴片,因此游戏中化身的四肢所受到的虚拟打击可以传输到他的真实身体的相应部位。

尽管Rogers和他的同事们已经建立了一家新兴公司来潜在地将其设备商业化,但他们说,这并不是他们继续研究的重点。Rogers说,在不久的将来,他们希望可以使贴片更轻、更薄、更灵活。他们还在试验其灵敏度:由于可以调节执行器,使其在皮肤或多或少可以感知到的频率下振动,因此从理论上讲它们可以传递更强或更弱的触感(尽管这将需要更精密的系统来输入信号,可以区分轻柔的抚摸和较粗暴的推动)。Rogers认为,未来版本的触觉贴片可能会产生更多类型的感觉。除了在皮肤上垂直的接触外,它还可以传递缠绕运动或温度变化。

“我认为这项技术的应用空间十分广泛,而且很明显,我们需要这种类型的触觉输出,”Steimle说。他指出,最常见的商用触觉设备是智能手机,它只有两种模式:振动或不振动。“当然,这不是很有说服力,这实际上并没有为我们人类以及我们如何触摸,如何感觉,如何感知周围的世界起到什么帮助,”他说道。“任何有助于我们改善触觉通道、触觉通道的表达能力的东西,都将有助于我们将来实现更高级的计算接口。”

最初发布于2019年11月25日

原文链接:https://www.scientificamerican.com/article/new-virtual-reality-interface-enables-touch-across-long-distances/

战斗机飞行员培训新方案:增强现实模拟假想敌战机

在空战环境中训练顶级飞行员时,通常需要有飞行员驾驶作为假想敌的战斗机。而在训练中扮演敌方非常昂贵且危险。服役于英国皇家空军(RAF)的Daniel Robinson,同时也是Red 6 Aerospace公司的联合创始人兼CEO,开发了一个增强现实平台,名为机载战术增强现实系统(Airborne Tactical Augmented Reality System,简称A-TARS)。它可以为飞行员创建虚拟的对手,例如中国的J-20,用于飞行员的空中对抗训练。

Robinson说:“至关重要的是,我们的竞争对手的创新步伐是如此之快,以至于我们无法准确模拟在任何即将到来的冲突中可能被要求对抗的威胁类型。”

Robinson是第一位与美国空军一起驾驶F-22战斗机的非美国飞行员,他亲眼目睹了所谓的红军对手的需求。“简单来说,战斗机飞行员每次升空训练时,他们都需要飞机和飞行员进行对抗训练,”Robinson在最近的一次采访中说。“如何提供这些对手是一个明确的痛点,不仅对于美国空军,而且对于所有军种和盟军而言都是如此。仅就美国空军而言,这是一个每年要花费数十亿美元的问题,并且由于长期缺乏前线飞行员和机队老化而无法模拟最新的威胁,解决这一问题变得越来越困难。”

通过已获得专利的显示技术,A-TARS系统将虚拟飞机放入飞行员的头盔显示器中。当前的显示系统具有105度的视场角,并集成到了标准的HDU 55头盔系统中。它也能够在日光环境下工作。他说:“我们能够将虚拟飞机带入现实世界,带入飞行员的视线中。”并且,A-TARS还可以用于任何级别的空战飞行员培训。

Robinson受到了Red 6首席产品官Glenn Synder开发的技术的启发。该虚拟现实系统使在英国赛道上的一名赛车手能够同时与身在美国的赛车手竞赛。Robinson说:“两位赛车手都佩戴了基于虚拟现实的头盔,但是却在真实的赛道上驾驶着真正的汽车。”

“他们在这个虚拟世界中同时相遇,并在两条真实的赛道上进行比赛,即使中间隔着大西洋,”他解释说:“这是VR(虚拟现实)领域令人难以置信的首创,是非常重要的技术突破。一看到它,我就开始联想,并问他们:’我可以用飞机替换这些汽车吗?’他们说是的,尽管很复杂,但很有可能。”

Robinson认识到,虚拟现实或真实世界的完全数字化对于进行空中训练的飞行员来说是不可行的。但是增强现实,或将某些虚拟元素叠加到现实世界上,提供了新的思路。他说,Red 6必须解决在户外和高度动态化的环境中使用增强现实的问题,例如每小时飞行数百英里并执行快速机动的喷气式飞机。

Red 6开始了其研发过程,并在2018年Starburst Aerospace加速器的年度East Coast Selection Committee活动中推出了该平台。该公司在洛杉矶的Moonshots Capital领投的种子轮融资中筹集了255万美元,并获得了Austin’s Capital Factory、IronGate Capital Advisors以及其他投资机构的支持。

美国空军注意到了这家公司,特别是当Robinson向空军创新部门AFWERX和空军研究实验室(Air Force Research Laboratory,简称AFRL)提出他的想法时。在今年2月,Red 6 Aerospace对该服务进行了可行性演示,展示了在静态环境中(在停放在机库中的一架试验飞机的驾驶舱中)的增强现实平台的情况。

“我们有试飞学校、AFRL、空战司令部,空军教育训练司令部的代表,”Robinson说:“他们都来看我们的系统。他们能够坐在驾驶舱中,戴上我们设计的头盔,通过增强现实系统,我们能够看到周围的飞机,同时仍然可以看到真实世界。”

在地面演示之后,空军与Red 6公司签署了小型企业创新研究(SBIR)第一阶段合同。本月早些时候,Red 6获得了150万美元的SBIR第二阶段合同。该公司将在接下来的几周内为利益相关者进行空中演示。

“上周,我们在真实飞机和增强现实中进行了世界上首次增强现实空中加油测试,”Robinson说道。“我们飞到了模拟的空中加油机附近,并在旁边加入了模拟的F-22战斗机。我们能够实时围绕加油机进行机动,接近加油机,甚至感受到了加油杆插入我们的飞机。这对我们来说是一个非常激动人心的新世界。我们测试了空中加油训练,但它可以是任何东西,包括一架正在机动的J-20。”

Robinson表示,这家总部位于圣莫尼卡的公司预计将在2020年第一季度筹集A轮资金,以继续开发该技术。

最初发布于2019年11月21日

原文链接: https://www.afcea.org/content/flying-augmented-reality

Adobe Max大会见闻:增强现实将成为创作者的新机遇

Adobe的年度Max会议是一年一度的最大规模的创意专业人士聚会,这些人的艺术、摄影和图形设计技能可以改善我们每天看到的图像和阅读的材料。在本周的活动中,Adobe正在采取一系列的措施,将增强现实作为创作者的新机遇。尽管该技术只正在洛杉矶会议中心展览区的一个安静角落里,努力寻求人们的关注。

在活动开始之前,Adobe表示其最大的AR新闻将与Aero有关,这是一个iPad应用程序,旨在简化新手创作者开发AR体验的过程。活动中的展台引导游客使用该应用程序识别真实空间的表面,并以正确的尺寸和正确的位置放置3D模型,将其与环境无缝融合,以便可以在iPad上从多个角度查看它,就像它是真实的一样。

在Aero的主要演示中,用户看到了最基本的AR体验类型,多年来,我们已经以手持形式看到了AR体验,这在很大程度上要归功于Pokemon Go之类的游戏。尽管Adobe的目的是向创作者展示他们如何将自己开发的3D资产带到混合现实空间中,并用于营销目的。有人认为,Aero将帮助品牌创建更多应用程序,比如今年早些时候测试的Jack Daniel的AR Experience,它使用动画3D资产和画外音将这家公司的任何威士忌酒瓶变成了弹出式故事书。

幸运的是,Adobe并没有坚持完全枯燥的演示。尽管您必须在洛杉矶会议中心展览区的最深处寻找它,但该公司还利用Aero进行了一次名为Terminator Max Experience的演示,它利用了刚发行的电影Terminator:Dark Fate的资产。与会者将获得包含一系列提示的列表,然后跟随它们来体验AR场景,在这个场景中,虚拟终结者会从满是瓦砾的场景中的能量泡泡中出现。

作为驱动该体验的相机和3D合成引擎,安装了Aero的iPad将数字资产与场景中的实际人物和物体融合在一起,从而实现了这样的场景。尽管展位上没有任何内容说明最终用户将如何以这种方式使用Aero或Aero创建的应用程序,但这意味着创作者们可以为用户创建电影级的3D体验,然后将其部署到特定位置,或提供可下载的应用程序,以用于营销目的。

Adobe将一台计算机连接到运行Aero的iPad上,以录制Terminator Max Experience视频,并承诺将其通过电子邮件发送给与会者。

在展区中专门展示AR的区域实际上是3D和AR体验的共享空间,大多数演示都专注于各种早已亮相且普遍应用的3D内容,而优质的AR只是轻描淡写。例如,英伟达(Nvidia)展示了在笔记本电脑上运行的RTX Studio图形技术,说明现在即使是便携式计算机也可以在3D场景中光线追踪逼真的反射和阴影。

RTX-caliber光线追踪何时才会进入移动设备?由于渲染技术的高速处理要求,Nvidia表示,当前唯一可行的解决方案是使用GeForce Now将完全由服务器渲染的场景流式传输到移动设备的屏幕,或使用移动设备来渲染场景,同时服务器将渲染的反射流进行合成。但由于存在延迟,可能难以实时同步。

HP在展区里炫耀着Project Captis,该项目搭建于Z by HP阵列,是为创意专业人士设计的使用测光法将真实的纹理和对象转换成数字内容的预生产3D材料扫描工具。这套硬件和软件的组合目前尚未公布定价,通过将多个4K摄像机放置在一个大盒子中,可以从多个角度捕获物体的高精度细节。目前仍是创作者进行测试的试点。

Project Captis产生的扫描结果可用于将一种材料的纹理应用于另一种材料,例如制作一双具有皮革外观的3D打印太阳镜,或一双具有编织的复杂网眼纹理的运动鞋。像3D和AR展区中的许多其他演示一样,这种扫描技术具有明显的潜力,可以为未来的AR应用创建超级逼真的资产。

Max大会上发布的最有趣的产品之一(但不属于3D和AR领域)是Adobe Photoshop Camera,现已以Beta形式提供给少数用户。Adobe表示,该摄影应用程序将完全免费提供给iOS和Android用户,而无需Creative Cloud订阅或应用程序内购买。用户将能够从大量艺术家开发的Photoshop滤镜中进行选择,这些滤镜可实时应用于相机输入,并在拍摄时添加静态或动画图像。

Photoshop Camera令人印象深刻的是滤镜是如何工作的。Adobe使用基于云的Sensei AI实时扫描相机输入的某些类型的内容(例如天空,脸部或食物),然后选择性地将静止或动画滤镜应用于AI识别的对象。比如在上面的图像中,AI可以识别风景图像,将其从白天转换为夜晚(带有移动的月亮)或添加日式的朝阳覆盖层。另一个示例显示了该应用程序通过适当的调整色温和对比度,自动调整食物照片。

我并不认为我们需要另一个照片滤镜应用程序,或者Photoshop Camera将以某种方式取代Android或iOS设备内建的相机应用程序。但是,正如您看到的技术一样,使用人工智能和机器学习来实时增强摄影技术显然具有一定的吸引力。其中包含的识别技术是强大的,在正确的艺术家手中,结果可能是强大的。

Max大会明显缺少任何可穿戴的AR硬件,至少当我环顾四周时,我找不到它。尽管展厅中散布了一些VR头显,但几乎所有显示的东西都在计算机或平板电脑的屏幕上进行了展示,这表明Adobe和相关供应商仍在等待可用的AR头显。因此,3D和AR展区严格来说只是一个是2D展区。

Adobe Max是一个相当大型的展览,毫无疑问,AR既不是活动的主要的重点,也不是次要的焦点,Aero和相关内容在主题演讲和展区中只占很小的一部分。也就是说,很明显,创意人员已开始为不远的未来做准备,很快,混合现实将成为日常生活的重要组成部分,包括消费级应用程序和专业应用程序。这个阶段的挑战是要让AR从小型演示和营销过程中的小把戏变成消费者实际想要使用的实用的应用程序。我推测这将在2020年开始发生,这可能是由于价格合理的硬件和更多的开发者对其感兴趣共同推动的。

最初发布于2019年11月8日

原文链接:https://venturebeat.com/2019/11/05/at-adobe-max-augmented-reality-is-fighting-its-way-out-of-the-corner/