NASA:HoloLens 2混合现实技术助力载人登月计划

工程师们正将混合现实技术这种强大的工具,用于NASA载人登月的Artemis计划。洛克希德·马丁公司是NASA猎户座宇宙飞船的主承包商,正在使用MR技术来提升Artemis II宇宙飞船的制造效率,这是猎户座飞船的第一个载人任务。

Mary Lakaszcyck是一名技术人员,服务于洛克希德·马丁公司的分包商ASRC Federal Data Solutions。她戴着HoloLens 2,将胶带贴在猎户座乘员模块适配器上安装部件的位置。这项工作是在高架舱内进行的,地点位于佛罗里达州NASA肯尼迪航天中心的行动和检测中心。

在组装复杂硬件,比如载人进入外层空间的宇宙飞船时,该技术提供了独特的功能,可以帮助人们了解动态工作环境。以前在二维屏幕上,人们是通过文本或模型来展示工作步骤的;但是当佩戴HoloLens 2时,这些指令能以三维立体的形式出现,并且映射在宇宙飞船的物理实体上。

“老实说,这个设备是多么有用、多省时和多有趣,我很难用语言充分表达。” Lakaszcyck说,“有些工作过去至少要花1周的时间,或者8到12个班次,而现在1个班次内就能完成。”

Lakaszcyck还表示,通过这个设备,她可以准确地看到在宇宙飞船里摆放物品的位置,放置的方向,以及它们的参考编号,使得这个过程前所未有的高效。

AR/MR技术并不是一时之风。它们是洛克希德·马丁公司项目团队为猎户座飞船投入飞行准备的常用工具。该公司已经于2017年开始使用这项技术。

“我们在猎户座飞船的制造中使用了MR技术,用于Artemis I号的飞行任务,”Shelley Peterson说,她是洛克希德·马丁公司混合现实和混合现实方面的专家。“与传统方法相比,混合现实技术正帮助我们突破界限,以更快的速度完成任务。”

NASA乘员模块适配器的组装、集成和测试负责人Carlos Garcia对猎户座制造工作感到满意,他对MR技术在点击联结件(click bonds)上的省时效果感到满意。点击联结件是一种紧固件,可以将几英里长的线束固定在航天器结构上。

“在乘员模块适配器的制造工作中,使用该技术来定位安全带上的‘点击联结件’,相当于节省了三周的时间,” Garcia说。

MR设备佩戴者将在猎户座飞船上放置几个关键的航天部件,包括乘员模块和Artemis II号中要用到的隔热板。他们还将使用混合现实工作指令,以完成飞船乘员座椅的组装。

“在四个场所中,我们通过使用混合现实完成航天器制造,工作时间要比传统方法减少90%。例如,一项通常需要8小时的工作,现在可以在45分钟之内完成,”Peterson说,“如果单看紧固件的话,一艘猎户座宇宙飞船有57000个以上的线束紧固件。每个紧固件上节省出来的时间汇总起来就很可观了!”

Peterson说,使用混合现实的工作指令后,几乎无需解释说明,工人就可以立即理解手上的任务。

微软制造的HoloLens 2是洛克希德·马丁公司所用设备的第二次迭代。该公司使用Scope AR公司开发的混合现实软件平台WorkLink为设备构建内容。

“我从未想过自己会亲手建造进入外层空间的宇宙飞船,” Lakaszcyck说,“我已经设计了三种不同的运载工具,包括当前即将载人升空的Artemis II。现在我是Artemis的一员,这不仅有着不可替代的兴奋感,更是一种责任感。”

在Artemis计划里,NASA将先把一个女性送达月球上,之后是一个男性。猎户座飞船将通过Space Launch System火箭发射出去,把机组人员运送到太空,提供紧急中止能力,在太空旅行中为机组人员提供供给,并能从外层空间安全重返。NASA将在月球上建立可持续的前哨站,并运用获得的知识将宇航员送往火星。

最初发布于2020年4月10日

原文链接:https://www.nasa.gov/feature/using-augmented-reality-to-prepare-orion-hardware-for-artemis-ii-crewed-mission

微软HoloLens中标美国陆军4.8亿美元”集成视觉增强系统”合同

根据美国陆军发布的消息,在去年11月,美国陆军与微软达成一项总值近4.8亿美元的合同,微软将会向美国陆军提供HoloLens增强现实系统原型,用于战斗任务和训练。

根据彭博社的消息,该合同最终可能导致军方购买超过10万台头显,并且旨在“通过提高在敌方之前侦查、决策和参与的能力来增强军队的杀伤力”,根据政府对该计划的描述,该系统被正式称为集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)。

“增强现实技术将为部队提供更多更好的信息来帮助做出决策。这项新工作将我们与国防部长期的、互信的关系扩展到这个新领域,“一位微软发言人在给彭博社的电子邮件声明中表示。

虚拟现实产生了一种由计算机生成的现实,用户可以与之交互(通常通过头显),而增强现实会将数字信息带入用户的视野并叠加到现实世界,通常需要通过智能手机的摄像头或头显来实现 。

HoloLens是微软的AR平台,这家软件巨头称之为“混合现实”。该公司已经将HoloLens用于工业场景,他们认为这台头显可以“让技术人员在混合现实中远程协作,并在几分钟内解决问题,而不是几天。“并且微软表示用户可以充分利用3D模型“创建易于编辑的、生活规模的布局,让您和您的利益相关者可以在物理世界或虚拟现实中体验全息图。”

据MSPoweruser称,在2018年4月,微软透露已经向客户出货了50000台HoloLens设备。正如彭博社指出的那样,该合同使得美国陆军成为微软最重要的HoloLens客户之一。

美国陆军希望微软提供的头显在几个关键方面区别于消费级同类产品。

根据彭博社的报道:在与竞标该合同的公司分享的一份文件中,美国陆军表示,它希望该产品能结合夜视和热感应,测量像呼吸这样的生命特征和“准备就绪”,监测脑震荡并提供听力保护。

微软作为中标者,预计将在两年内交付2500台头显,并展示全面生产的能力。

美国陆军的合同旨在鼓励服务部门与不是典型国防承包商的公司开展业务。AR创业公司Magic Leap是另一个竞标者,据彭博社报道,2018年8月美国陆军与25家有兴趣以某种方式参与该项目的公司举行了会议,其中包括Booz Allen Hamilton控股公司,Lockheed Martin公司和Raytheon公司。

美国陆军并不是唯一对AR技术感兴趣的国防部门。美军特种作战司令部(SOCOM)也对 “ 视觉增强系统(Visual Augmentation Systems,简称VAS)”及相关辅助技术的改进和增强表示了兴趣。这包括用于抬头显示器的AR和虚拟现实解决方案,以及如何将不同数据源的信息融合进一个共同的视觉显示单元。

美军特种作战司令部正在寻求几个不同领域的创新技术和能力,包括AI/机器学习,具备增强的光学特性的显示器,多传感器数据融合与处理、通信等。

在这些领域内,美军特种作战司令部对非常具体的技术应用感兴趣。例如,在AR/VR和AI/机器学习领域中,美军特种作战司令部对任务前的演练和定位、全息显示,游戏技术,神经形态计算和工程,远程医疗以及综合训练和操作环境等技术很感兴趣。

最初发布于2019年2月15日

原文链接:https://fedtechmagazine.com/article/2019/01/army-teams-microsoft-ar

多感官整合 高度模块化 基于MR的军事模拟训练平台即将亮相

Kratos防务与安全公司是一家国防安全解决方案提供商,该公司宣布,将会在I/ITSEC期间展示其最新的基于混合现实(MR)的模拟训练平台。

为了应对越来越复杂的武器系统、战术和备战需求,美国国防部急需提升训练的效率,让军队可以快速部署并且提升训练内容的可接受度,同时提高真实度,改进训练内容的安全性。

混合现实(MR)是一种日渐流行的新技术,与虚拟现实(VR)和增强现实(AR)不同的是,Kratos将多种多样的先进技术进行整合,提供视觉、听觉、嗅觉、触觉和更多体验,能够在一个更安全,更经济的环境中提供高真实度的训练。

到目前为止,混合现实在军事训练中的用途还很受限,因为将如此多的感知技术进行整合是一个相当大的挑战,并且在何时何地提供混合现实训练内容也是一个难题。Kratos打破了这些界限,他们为沉浸式的训练环境提供了一个基于平台的新方法,将市面上较为成熟的产品进行整合,占地面积更小,并且能够最高效地在任何地点提供虚拟的训练。

Kratos Platform集成了现有最成熟的商用产品,比如虚拟现实头显和全景相机,并对其功能进行了集成。比如,模拟松树林的训练环境能够散发松树独有的气味,而在模拟射击训练的场景中,当受训人员扣下扳机时,会有枪口焰闪现在眼前。课程开发人员可以选择最适合训练目标的场景,无需为每个新的训练课程“重新发明轮子”。他们可以依赖预集成的平台来快速开发,并且在每次要加入新技术时无需重新设计解决方案。

换句话说,Kratos Platform不是一个开发环境或开发工具包,而是一个完整的、简单易用的训练基础方案,可以让训练人员使用最具沉浸感的混合现实技术来达成训练目标。

除了让训练课程的创建更简易之外,Kratos Platform最大的优势之一,在于它能够在任何合适的环境中提供基于混合现实的训练课程,包括正在飞行的倾转旋翼机,沙漠中的车辆座舱,安装在军校中的模拟器等等,甚至还可以在灵活的Kratos Holodeck中,这是Kratos开发的一个简易的快速交付训练环境。

Kratos Holodeck包含图像生成设备、主机、头部跟踪系统和整合了全景相机的VR头显,能够提供一个动态的视角。该系统能够很容易和快速地重新配置成全新的应用场景和课程,只需载入一个新的任务场景,或者增加或删除某种训练用的硬件,比如武器、控制器或其他设备。在I/ITSEC展会期间,Kratos将会使用Holodeck来展示基于混合现实的士兵野战战术训练课程。

Kratos防务与安全公司训练服务分部(KTS)的高级副总裁Jose Diaz说:“这种基于平台的解决方案除了能够开发出一种增强的沉浸式训练环境,还能降低投入和全生命周期的费用,因为该解决方案使用了已商用的成熟产品,占地面积更小,并且使用起来更加简单。”

最初发布于2018年12月5日

原文链接:https://www.armyrecognition.com/weapons_defence_industry_military_technology_uk/kratos_to_introduce_mixed_reality_military_training_platform_at_i/itsec.html

专访Jaunt:打造全新XR平台 重新定位为B2B公司

Jaunt因其是一家360°视频和影视级VR体验开发商而闻名。但是最近,这家公司将其关注的焦点转向了为其他公司提供混合现实技术支持。近日,Jaunt展示了它在容积视频拍摄方面做出的一些很酷的研究成果,比如为增强现实应用创建360°的数字化身。

外媒记者在Jaunt位于加利福尼亚州圣马特奥市的总部尝试了一下,其速度很快并且质量也很高。Jaunt还展示了它能够如何通过六台英特尔RealSense深度摄像头捕捉一个人的360°图像。

Jaunt将这些来自各个摄像头的图像缝合成一个单独的3D化身,并且将这些内容插入到增强现实流中,能够实时发送到移动设备。记者看到了他们能够如何捕捉化身,并且即时,或者说立刻将数据转换成一个可分享的图像。

新的AR容积捕捉拍摄作品将会逐渐成为一个正在增长的XR平台的一部分,这是一个由Jaunt向其合作伙伴授权使用的B2B软件解决方案,而这些合作伙伴将会通过自己的应用或频道来分发增强现实、虚拟现实和混合现实(统称为XR)内容。Jaunt将会在今年第四季度向客户正式发布容积捕捉拍摄技术。

“我们的目标是让这样的体验流变得非常简单并且便携,”Jaunt的CTO,同时也是其创始人Arthur van Hoff在接受外媒采访时说。“我们在VR领域的360°视频和沉浸式内容方面有很强的的实力,并且我们目前正在探索我们能够为AR体验做出的贡献。”

Jaunt在圣塔莫尼卡还有一个大型的VR电影工作室,他们在这里用自己的专业能力在XR中讲述故事。

在过去,Jaunt已经发布了超过350部作品,其中包括许多的虚拟现实影视作品。而现在,这家公司只有在合作伙伴付费时才会启动一个VR影视项目。

“我们想要成为制作和分发沉浸式内容的全球合作伙伴,”Jaunt的CEO George Kliavkoff在外媒的采访中说道。“在过去,我们专注于服务消费者。我们想要成为VR界的Netflix,并且让人们来访问Jaunt所拥有和运营的网站。而现在,我们已经重新定位为一个B2B公司。”

有了360°化身拍摄技术,Jaunt为其合作伙伴提供容积式内容,将其作为另一种讲述故事和创造IP的媒介。容积捕捉拍摄技术(通过六台相机阵列进行拍摄)让以360°视角来拍摄内容变成可能。拍摄之后会输出一个化身,这个化身符合被拍摄者的样貌和动作,并且是以一个可分享的、符合实际比例的增强现实资产。

Jaunt并没有使用昂贵的绿幕工作室,而是使用了一个简单的拍摄台,其中包含一套外观呈流线型的设备,以及他们为传输高质量VR和AR体验而开发的串流技术。这个简单易用且易于发布的分发工具,对于那些想要为其媒体策略寻找高效的方式,来增加沉浸式内容的公司来说是非常理想的。并且这个拍摄台也很便于携带,你可以想象一下它能做什么。

“我们希望能够实时处理内容,而不是花费数周的时间,并且使其便携且易于分享,”Van Hoff说道。“我的父母从荷兰来旅行时,我录制了他们的一个3D拍摄作品,这是非常特别的,并且是我们永远不会忘记的。”

Jaunt在研发上的投入意味着这家公司正在专注于为创建和分享下一代沉浸式内容而开发可商用的解决方案。其他的还包括由机器学习驱动的沉浸式内容,以及为高端XR体验打基础的技术。

从2013年开始,Jaunt就在处在沉浸式内容的前沿,很快就成为了面向消费者的影视级VR内容的前沿开发商和发行商,他们为创建和分发VR体验创造出了端对端的方案。但是,自从第一台主流的VR头显发布以来,面向消费者的VR市场并没有像大家所希望的那样迅速发展。

“一些分析师说,到2021年,XR将会是一个1200亿美元的市场,”Kliavkoff说。“我们认可这个市场的规模,但是我们并不确定分析师们所说的时间节点是否正确。从长期来看,我们认为AR是更大的机会。”

所以在2016年,Jaunt聘用了Kliavkoff,他是Hearst集团的前CEO。他引导这家公司走出消费级VR领域,将其转变成一个专注于B2B业务的公司,帮助合作伙伴开发新形式的XR内容,并且生成增强现实、虚拟现实和混合现实体验。

“作为虚拟现实和增强现实领域早期的、主要的公司之一,我们已经掌握了面向消费者的技术和故事讲述能力,并且使其能够服务于我们的客户,”Van Hoff说道。“我们对B2B业务的专注引发了一些公司使用AR和VR的需求,并且我们认为,我们的XR平台的实时容积捕捉拍摄技术,是他们通过他们自己的频道来分享引人入胜的故事的一个新方式。这仅仅是Jaunt一直在持续努力地推动XR内容进步的方式之一。”

Jaunt新的XR平台首次亮相于去年12月,并且能够以多种不同的方式来使用,英国的天空广播公司在去年年底就已经成为了Jaunt的XR平台的首位客户。现在他们的客户中还包括Diageo和NTT Data。Jaunt的XR平台支持增强现实资产,虚拟现实内容和2D资产,并且能够跨设备传输,且能够与现有的媒体库共存。

在过去,所有的VR、AR和混合现实格式有着不同的技术链。Jaunt将它们统一起来,这样,他们就能够通过一个播放器来查看。

“该技术平台能够管理所有不同媒体类型,并且在一个系统内进行回放,而不是单独进行创建和管理,”负责公司发展和经营的副总裁David Moretti说。

在2017年,Jaunt通过与SMG和华人文化产业基金的合作,在上海开设了办公室,这使其能够向中国分发内容。

Jaunt的投资者包括华特迪士尼公司、Evolution Media Partners、华人文化、高地资本、Redpoint Ventures、SMG、Axel Springer、ProSiebenSat.1 SE、The Madison Square Garden Company、谷歌风投、Peter Gotcher和英国天空广播公司,目前有100余名雇员。

最初发布于2018年9月20日

原文链接:https://venturebeat.com/2018/08/30/jaunt-shows-off-new-augmented-reality-360-degree-full-body-selfies/

[体验+点评]微软MR头显潜力巨大 但明显火候未到

混合现实当然有着巨大的潜力,但同时,我们也要面对现实。

微软在10月3日举办的发布会也以混合现实为重点。在这次发布会期间,他们发布了一款全新的售价500美元的三星Windows混合现实头显,以及宣布收购Altspace,这是一家正在垂死挣扎的社交网络,而其中的人物形象只是目光呆滞的,长着与肉体脱离的手的化身。

而这,在很大程度上正式微软正在加倍下注的一个市场,即混合现实。他们的想法是,唯有微软,以及其顶级的HoloLens技术,才能在同样卓越的设备(由微软的合作伙伴打造的多种不同设备)上同时提供虚拟现实和增强现实体验。

虽然这在长久来看可能是能实现的,但却没有提供给参加这次发布会的人们。这里并没有类似HoloLens的AR设备,相反,在我们所能上手的仅有的Demo中,可以让体验者在一个虚拟的房子中走动,在每个房间中有不同类型的内容,其中大部分都显示在了2D屏幕上。

简而言之,这给人感觉就像是在重温过去三年间每款VR设备提供的Demo。将其称之为“混合现实”就像是把一份菠菜沙拉称之为“生菜沙拉”一样。

即使是体验者最多的《Halo Recruit》–一款全新的应用,用来展示《Halo》在混合现实中的潜力–也很让人失望。你确实处在这款著名游戏的场景之中,其分辨率也令人令人难忘的锐利,但你仍然是站在一个点上,对着大屏幕上那些2D的外星人的轮廓开枪射击。

在《Halo Recruit》的结尾,《Halo》中的士官长走进场景中,邀请你成为他的炮手。你肯定会想,好啊,出发!但体验到此就结束了。这就好像现在大多数的“混合现实”体验那样,虽然告诉我们什么是能够实现的,但现在我们能体验到的版本还处在一个糟糕的阶段。

我体验了售价400美元的Windows混合现实头显(10月17日开始发货)和售价500美元的三星Odyssey(11月初发售)。三星的头显是值得这个价格差的,它有着OLED屏幕(而不是普通的LCD),更高的分辨率(单眼的分辨率要高于宏碁的头显),并且有内建的耳机。看起来要在它和售价同样为500美元的Oculus Rift之间做出选择还有些难度。

虽然微软的头显都在吹嘘使用的便利性–你只需要把USB线缆和网线链接到任何运行最新版本Windows 10的PC上,但这并不代表在让一个主流用户体验VR时,在便利性上有了多大的进步,在用户看来,它并不仅仅是一个新奇的事物。

对于初次接触的人来说,这些设备的重量超过了一磅,仍然十分笨重。我仍然无法在保持舒适的情况下佩戴一款头显超过15分钟。这是这个行业面临的共同问题,但这也值得我们注意,普通的消费者并不会让你满头大汗的笨重的黑色眼罩感兴趣,尤其是目前的分辨率还没有达到视网膜级别,只有到达这一级别时,我们才会难以分辨头显的画面和真实生活。

同时,你在佩戴头显时对周围的真实世界仍然一无所知, 这些外观类似的混合现实头显(包括惠普和戴尔的设备)都是全封闭的,并且也没有可以让你看到周围环境的AR特性。理论上,有一个设置过程可以让你设置自己房间的一些限制,但在实际使用中,这就意味着微软的Demo操作员必须保证我在体验过程中不会碰到其他东西。

至于我所体验的Demo中的环境,还有一个值得注意的点在于,虚拟现实一直在非常努力地复制现实世界。HoloLens的发明人Alex Kipman在虚拟的画面中兴奋地向我们展示了日程安排、LinkedIn资料和他的Pandora radio应用。

但这是为了什么呢?戴上笨重的头显,在一个大房子中巨大的屏幕上仅仅查看一下日程安排,有什么额外的好处吗?Kipman还说道,你可以和其中的一些化身互动,它将这一功能称之为虚拟现实中的“杀手级应用”。

我对混合现实的潜力感到非常兴奋,但我还是要说,如果我想要和身在远方的亲密朋友聊天的话,毫无疑问,我更希望在真实的住宅里进行视频聊天,而不是在一个虚构的房间里,面对着朋友们死板的化身。

当然了,在教育和终身学习领域,混合现实的潜力是巨大的。我们处在这样一个时代,人们喜欢通过YouTube视频来自学新技能。HoloLens给我们带来的最激动人心之处在于,这种学习过程可以变成三维的,我们可以使用头显来学习如何修水龙头,如何弹吉他,或者提高我们的网球水平。

这些潜力依然存在,但目前的Windows混合现实头显没有一款能够让我们离这些目标更近。如果我们想要一些真正尖端的技术产品,可能需要等到其2.0版本问世了。

最初发布于2017年10月10日

原文链接:http://mashable.com/2017/10/03/microsoft-mixed-reality-hands-on/#JTXM82JU2kqo

专访商询科技CTO邬浩:降低混合现实开发门槛 迎接MR企业级应用

微软打造的HoloLens是目前唯一投入商用的混合现实头显,这一革命性的设备自诞生之日起就备受关注。越来越多的公司在从事混合现实(MR)应用开发,但由于设备昂贵,开发难度高,目前的应用大多都是一些实验性质的Demo。唯独这样一家公司,在微软举办的各类混合现实技术交流活动中,几乎都能看到它的身影,他们打造的产品还曾亮相湖南卫视的电视节目,让电视前的观众们也感受到了混合现实技术的神奇,这就是笔者在近日专访的DataMesh商询科技。

在近日于北京·亦创国际会展中心举办的“VRSD2017北京国际虚拟现实与增强现实博览会”期间,笔者在VRSD博览会现场对商询科技CTO邬浩进行了专访。从与邬浩的交谈中,我们不仅了解到了商询科技的主要产品和技术优势,更对混合现实技术的发展前景有了坚定的信心。

作为从事游戏行业达十六年之久的老兵,邬浩认为,目前混合现实领域最大的问题是缺乏内容,而混合现实设备在硬件方面的问题则不足为虑,毕竟硬件的迭代升级是无法阻挡的,但只有充足的内容,才是填充MR技术这个“骨骼”的“血肉”。正因为如此,商询科技正在简化MR内容开发、优化MR内容展示和MR+大数据实际应用等方向奋力前行。

主打混合现实开发“中间件” 简化开发,降低成本

据邬浩介绍,作为2016年3月第一批拿到HoloLens的企业,DataMesh商询科技是最早尝试混合现实内容开发的微软合作伙伴,深刻体会到了开发难度之高。正因如此,20个月之后的现在,基于混合现实的内容依然极度缺乏。踩过许多坑之后,商询科技产生了深深的使命感:我们相信混合现实是人类的未来,可是如何快速普及这项技术,让未来早日到来呢?埋头耕耘一年多之后,商询科技于2017年5月面向全球推出“MeshExpert”开发平台。

邬浩说:“我们主打的产品定位为中间件,我们希望更多的人用这个产品来方便的做内容。在混合现实技术发展初期,我觉得要提高普及度,就要把门槛拉低,把开发难度降下来,让大家都进来,这是我们的目标。”

正是基于这种考虑,开发者使用MeshExpert进行开发,可以大幅降低内容开发难度,直接用传统的3D开发思路就可以做出MR内容,除了其中的素材需要自行制作之外,UI和一些基础的功能都会包含在开发工具内。对于MR应用开发者来说,只需要把精力集中在创意上,利用MeshExpert提供的基础美术资源和内容创作思路,就可以简单快速地编辑出混合现实场景,形成MR内容。

“使用我们的MeshExpert,你不需要再关心MR是什么技术,这个东西怎么定位在那里,以及怎么调整,我们都已经包好了,可以真正做成一个APP发布出去。”邬浩这样向我们描述。在笔者看来,这样能够大大降低混合现实内容的开发难度,减少开发时间,进而降低开发成本,无疑能够大力推动MR技术和应用的普及。另外,这些应用也可以无缝迁移到微软与三星、联想、惠普等厂家合作的MR头显中,对于这些新设备的普及,也大有裨益。

与央视、湖南卫视合作 实现HoloLens第三方视角专业直播

使用MeshExpert,能帮助开发者开发出大量的MR内容,但由于技术和设备的限制,目前AR/MR设备的显示效果只有体验者才能看到。针对这一痛点,商询科技还为混合现实打造了第三方视角录制/直播功能,作为中间件的一个子产品,名为MeshExpert Live!,与微软自家的Spectator View方案相比,这款方案可以实现广电级别的录制/直播功能。

“微软开源的Spectator View是比较粗糙的一套方案,虽然能够让未佩戴设备的人看到效果,但其成本和开发难度决定了其商业前景并不明朗。而我们的方案可以利用轻量级设备,20分钟快速搭建,用简单的操作方法把混合现实的第三方视角做到可拍摄,可直播的广电级别。”邬浩介绍说。据笔者了解,在今年9月,湖南卫视播出的《我是未来》节目现场,就展示了这一方案的神奇魅力。当工作人员开启HoloLens时,整个舞台被太阳系包围,通过手势,还可以对其中的某个行星进行缩放等操作。

在这期节目中,湖南卫视用一台固定机位在舞台中央拍摄现场全景画面,两台移动机位负责舞台部分画面的拍摄和近景及特写画面拍摄。最终呈现的效果让人惊叹,但这并不是后期制作,而是在现场录制的。这次实践代表着通过商询科技的二次开发,混合现实拍摄已经可以告别绿幕和专业演播室,大大缩减了影视制作时间和成本。

邬浩还透露:“Live!作为MeshExpert系列第一个推出的产品,本来只是想为大家提供方便,不戴头显也能通过大屏和操作者互动,没想到产品推出后在影视制作领域也颇受欢迎,各大电视台,节目制作团队,广告制作商,甚至好莱坞摄影师和制片人都纷纷找上门来,逼得我们不断的给产品添加专业feature,一直在快速迭代。大家可以期待专业的Live!套件很快到来。”

混合现实+数据协同 为传统企业升级数据服务

除了混合现实内容开发和展示上的用途之外,商询科技还将混合现实技术应用到了大数据这个看似神秘的领域。

邬浩说道:“我们有自己的大数据平台,可以和MR技术打通。这时就可以用大数据处理一些企业的后端数据的部分,比如维修记录,知识库等等。在对数据进行清洗和整理之后,发到MR设备前端,前端的MR设备一方面是一个虚拟助手,在里面帮维修工人去解决这些问题,另一方面也是一个收集端,它可以看到维修工人看到的东西,把这次的维修记录再次返回到大数据里面。”

邬浩认为,大数据一定是要有实际用途的,如果只给出数据报表,是没有什么实际意义的,而商询科技要做的就是让大数据直接能够指导生产。邬浩以汽车制造行业为例,向笔者讲解了大数据与混合现实技术结合的实际案例。

某老牌跨国车企有着大量的资料积累,但是非常杂乱欠整理,甚至还包括一些纸面资料,其内部连检索功能都没有。商询科技针对这样的情况,首先由大数据方面的专家介入,对数据资料进行AI智能清洗,使其形成知识库,然后在前端对接MR设备。在实际工作过程中,是无法保证每个一线装配工人都有足够高的专业水平的,通过使用HoloLens,在工作过程中会有虚拟助手,比如工人看到的东西,它可以帮助总结,提炼出可能会遇到的问题以及处理方法,利用混合现实技术现场显示给工人,并且这次的维修结果也会反馈回知识库,甚至还可以开启HoloLens等设备的摄像头与专家连线,进行远程协助。

“这就是企业的痛点,他们真的想要这种东西,我们所做的,就是用大数据+MR来解决企业在实际生产过程中的需求。我们用HoloLens所做的尝试可以打通从大数据到最终的维修工人实际操作这个流程。”邬浩说。

有效助力解决实际问题 MR技术将会先在B端爆发

在本次专访的最后,笔者就混合现实技术的发展前景等问题询问了邬浩的看法。在他看来,相比MR,VR的发展道路比较窄。VR是沉浸式的体验,但是沉浸往往会带来比较强的孤独感,这种孤独感就导致只有在100%沉浸的环境下才适合用VR。而在需要解决工作中的实际问题时,更适合使用MR技术。

“所以我个人更加看好MR技术的发展,而且尤其是在B端,MR的想象空间会多很多。目前,MR技术在C端不会有很快的发展,毕竟目前的混合现实设备还过于笨重和昂贵,并不适合在C端进行推广。我觉得MR在B端是必然会爆发的,因为MR是真的能改变你的生产模式,改变你的工作方式的技术。”邬浩认为。

“HoloLens最大的意义在于,它可以让我们看到十年后是什么样子,虽然在短时间内,我们不指望能把HoloLens普及到千家万户,但是我们现在能够把大的方向做出来,等到新设备到来的时候我们的路已经铺好了,这是我们的看法,也是我们现在正在做的事情。”

最初发布于2017年11月27日

当混合现实进入军事领域 都能带来哪些改变?

科技领域的下一场革命,即混合现实技术(本文中的混合现实包括增强现实和虚拟现实),正在改变美国海军和海军陆战队进行系统培训、执行任务、维护和原型设计的方式。增强现实是将电脑生成的图像叠加在真实世界中,而虚拟现实,已经存在了数十年的时间,用户的视野被遮挡,并且完全被由电脑生成的图像所替代。这两项技术都是在视觉上使用了由电脑生成的信息。有了美国海军位于圣迭戈的Battlespace Exploitation of Mixed Reality实验室(以下简称BEMR实验室)的帮助,研究人员正在寻求使用现有的价格低廉的商用产品来研究VR和AR在军事领域的应用。

其中的一项创新,名为GunnAR统一射击系统,该系统使用增强现实头盔作为武器系统的一部分。GunnAR系统从海军的射击联络官和武器系统中获取信息,并且将其呈现在甲板上炮手的头盔中。根据BEMR实验室的说法,该技术改善了传统的获取信息和授权炮手开火的方式,美国海军在数十来年,一直使用老旧的无线电和声力电话,这些设备的声音在机枪的射击声以及必须要配备的听觉保护措施下很难听清楚。

GunnAR系统是使用虚拟现实原型技术来开发的。这种虚拟地创作任何物体,快速地进行虚拟测试,并且立刻将其应用到战士身上的能力,正在让新奇的创意在很短的时间内进入原型阶段,并且只需花费少量的资金,BEMR实验室的领导Heidi Buck说道。

“如果我想要在真实世界中开发头盔系统,我不得不去做实弹测试。我还需要站在一艘军舰的甲板上,”Buck说道。“并且你知道,所有这些都是非常昂贵且耗费时间的,并且我还需要协调一些大型的测试。与此相反,我能够将专家们虚拟的带到军舰甲板上,并且让他们观看不同的设计。他们可以预演火炮系统的工作过程,观看视野中的所有物体, 并且快速地联机重新设计,来改进火炮系统,就好像他们真的站在军舰甲板上那样。 ”

BEMR实验室隶属于美国海军旗下的空间和海上作战系统中心太平洋分部,该实验室被正在考虑游戏领域,以及所谓的沉浸式技术领域那些尖端的混合现实硬件和软件。BEMR实验室承担着为美国海军、海军陆战队和其他国防事务探索、评估和应用这些新技术的职责,因为虚拟现实和增强现实可以用在多种不同的应用场景内。

“我们专注于研究所有那些价格低廉的设备,以及如何在接下来的五年、十年、十五年、二十年内应用它们,”Buck说道。

Buck是该实验室的创始人之一,该实验室启动于三年前,获得了来自美国海军研究办公室的资助和装备。他需要设定BEMR的技术方向,进行日常的运营并且举办展示活动。在美军空间和海战系统司令部的指挥下,BEMR实验室也很快成长为了一个有变革能力的工具,已经成为美国海军旗下指挥、控制、通信、计算机、智能、监测和侦查(C4ISR)能力的一部分。

“你可以想象一下,走进一间空屋子,来观看增强现实能够如何被用来进行战场可视化,”Buck说道。“我们能够控制无人机或舰队。在虚拟环境中,我们能够创作出任何物体,并且展现任何物体。现在,我们有了这种在虚拟现实中的快速原型设计能力,我们能够非常简单地测试解决方案。这就让我们能够向军方展示这些概念,并且可以让我们更快一些地将新的能力应用到舰队中。”

通过帮助战士们预演那些危险的,成本非常昂贵或很少遇到的任务,混合现实证明了自己在培训方面的益处。BEMR实验室应用了美国海军官员们称之为虚拟设备环境的技术,可以虚拟地演练发动机部件装配和拆解过程。这可以被用来可视化任何设备的任何维护工作培训课程。另一个工具名为Aircraft Carrier Environment Simulator(航空母舰环境模拟器),可以用来培训特定的航空母舰上任何岗位的工作人员。此外,还可以使用360°的观看设备来体验360°视频,让战士们熟悉任务,并且让他们在实际参与任务之前就能获得经验。

比如,该实验室最近帮助美国海军SEAL团队培训停靠一个潜水员运输载具(SDV)。通过使用360°技术来演练,可以虚拟地将SDV安置在一艘潜艇的干燥的甲板上,并且可以让美国海军的SEAL团队成员培训高度复杂且危险的活动,而无需面临真正的SDV停靠作业会带来的高风险和高成本。

虽然人们能够很容易地理解虚拟培训,要掌握如何将混合现实技术用于系统维护、原型设计和操作,还有一点点困难。但是,这项技术仍然被证明是有用的。尤其是,增强现实在维护作业中非常有效。“比如说你在一艘船上,上面有一些大型设备的组件无法正常工作,或者说损坏了,”Buck与我们分享道。“你可以戴上增强现实眼镜,并且看到叠加在上面的信息。接下来,该平台能够提供分步的指导,比如如何启动某个旋钮,如何拆解和修复等等。使用增强现实就像是有一个虚拟的专家或一个远程专家在你身边那样,指导你如何完成任务。”

在实际行动中,混合现实技术正在提升士兵们瞄准目标和执行任务的能力,正如美国海军从GunnAR系统中得到的那样。“在这中场景下,增强现实是非常棒的,因为炮手能够看着海面上的船只或者任何目标,并且获得叠加的增强现实信息,之后在炮手的视野中,就会出现射击指令以及其他任何炮手可能会需要的信息。你可以在船上的任何地方使用这种成像能力。你可以走到舰桥上,查看视野范围内那些你需要知道的重要信息。”Buck说道。

将虚拟现实用于原型设计“对我们来说是非常有价值的,”她肯定地说。“比如,你需要创建一个大型的军舰系统。你可以和一大群工程师、一大批设计资料一起,来开始创建这个庞大的系统。而我则能够在虚拟现实中虚拟地进行创建。我们能让专家们虚拟地来到船上,并且给出反馈。我们能查看同一个部件的不同的虚拟设计,并且无需在真实世界中花费成本来制造它。在虚拟世界中,这些都不存在。你在虚拟世界中会没有任何限制,这样我们能够很快地创建物体,并且很快地进行原型设计。”

BEMR实验室现在的座右铭是,优先在虚拟世界中设计,让每个人都认同一个设计,接下来再真正创建这个这个系统,Buck解释道。

“这将为海军带来成本的大幅降低,因为你是在真正开始生产之前就已经在测试、尝试并且确定设计方案了,”SSC Pacific的员工Patric Petrie补充道。

为了进行这些混合现实的开发工作,使用正确的工具是很重要的。为了达到这一目的,BRMR实验室正在测试任何Buck所知的产品。该实验室想要使用先进的手套来跟踪手部动作,同时使用手套和背心来提供触觉反馈。他们还想要使用眼动跟踪技术。“我们需要各种类型的硬件和设备,”她承认。“我们自己并没有在开发头显,也不想做这个,所以任何有头显产品的新公司,我都会非常非常感兴趣。并且我想与这些公司取得联系,体验他们的头显,来看看其优势和劣势。”

然而,对于一个任务是利用商业上可用的技术,来满足美国海军和海军陆战队独特的需求的实验室来说,这在有时还是一个挑战。Buck注意到,大多数的主流消费级增强现实或虚拟现实产品并不是为了严酷的军事领域而设计的。

“海军会有各种各样的特殊情况,比如从甲板上刺眼的光照环境突然走进一间黑暗的屋子,”这位实验室的领导说。“所以你的增强现实头显需要能够快速和可信赖的做出适应。普通的消费者可能会戴着头显在自己家中走动,或者去逛街。与之相比,军舰甲板上的炮手将会经历设备的振动、巨大的噪音、海浪的泼溅,各种天气状况,以及船身的晃动和摇摆。”

美国海军与行业企业有着特殊的协议,来用这些技术满足军事领域的需求,包括协同搜索和开发的协议。比如,BEMR实验室与DAQRI有一个协议,这是一家位于洛杉矶的增强现实头盔技术公司,他们帮助将硬件整合到GunnAR系统中。“实际上,我们联系了一些行业巨头,并且和他们探讨了我们独特的需求,”Buck说道。

来自实验室的官员们计划参观全国范围内的虚拟现实主题乐园和其他沉浸式体验,来增进对新技术的了解。这家正在壮大的实验室也发现它正处在一个独特的位置,他们需要雇用一些艺术家和工程师来开发模拟器所使用的3D模型和动画内容。“我们正在和好莱坞的布景设计师、电影设计师、游戏设计师和其他艺术家们合作,”Buck特别提到。

然而,目前最好的消息来自于参观过这个实验室的士兵们。平均下来,BRMR实验室每年有3000个参观者,并且其中大约有6000名士兵是因为技术演示而来的。

“我们这个实验室正在迎来很多的参观者,他们很容易就会看到混合现实技术的好处,并且能够看到这项技术在未来的应用,”Buck说道。“让这些人来参观,可以让我们收集来自不同兵种和部门的士兵们的想法。我们可以收集、审查、原型化这些想法并且根据这些想法做出改善。”

此外,该实验室的成就很快就引起来来自高层领导的注意和支持。其中一个曾经参观过的海军上将就曾说,“这就像是‘星际迷航’一样。当你面对那些你甚至从未考虑过的问题时,如果有人能够将其进行可视化,你或许可以想到一个解决方案。”Petrie说道。

对于Buck来说,BEMR实验室“真的让我们能够掌握海军和其他兵种正在面临的问题,并且或许可以通过低成本的混合现实技术来解决它们。”

最初发布于2018年5月4日

原文链接:https://www.afcea.org/content/when-mixed-reality-and-military-collide

医疗领域新探索 增强现实让手术过程更安全

最近这几十年间,医疗行业取得了巨大的进步,其中就包括影像诊断学的新进展,比如超声造影、乳房X线照相术、计算机化断层显象(CT),磁共振成象(MRI)等等。这些技术不仅得益于其他领域的技术进步,同样也推动了微型摄像头、微处理器,以及实时数据串流等技术的进步,这些都革新了医生们在手术过程中使用影像的方式。

现在,基本上每个手术之前,都会使用上面一种或几种医学影像。即使是在急诊室,医生们也在使用超声波或CT来帮助引导治疗过程。无论是大型手术还是小型手术,这些影像现都可以在手术过程中实时呈现。

虽然医学影像技术已经取得了极大的进步,但直到现在,影像内容的显示方式基本上与上世纪50年代没有什么区别。无论是影像还是数据,都会呈现在一个2D的平面屏幕上,这就迫使医护人员必须把目光从患者身上移开,甚至从医生们正在进行手术的手上移开。更重要的是,这些影像并不是从观看者的视角来呈现的,而是取决于显示用的设备。在手术过程中,医生们必须使用自己的技能和想象力来理解这些数据,并且通过自己的想象,把这些影像投射在患者身上。此外,不同的视觉数据还会分别显示,所以医生们还不得不分配额外的注意力,把不同的影像和数据内容进行整合,比如将血管造影和CT的影像整合到某个患者的患处,而要掌握这种技能,需要数年时间的训练。

增强现实(AR),是一种可以把数字信息叠加到真实世界中的技术,在我们看来,这种技术有改变医学影像领域的潜力。根据我们在马里兰州混合现实中心(Maryland Blended Reality Center)的Augmentarium项目所做的研究,在我们预期的应用场景中,一个医生使用AR头显,比如微软的HoloLens,能够看到数字图像和其他数据直接叠加在他的视野中,在这样的场景中,头显可能会显示患者的浮动的超声心动图,以及有关患者动脉瘤的极为重要的数据,所有这些都直接呈现在手术区域内。医生无需看病人以外的区域中那些不同的显示设备。

AR能够同时呈现图像数据和患者的其他重要信息,这种潜力能够拯救生命,并且减少医疗事故。这对于那些在手术室以外进行的治疗过程尤为重要。手术室或许是医院中最安全的地方了,在这里,患者周围会有4到8名专职的医护人员。由于每个人都在手术前看过了医学影像内容,手术过程通常都是被妥善计划好的。麻醉师会监控患者的生理机能,并且负责疼痛管理和救命的药物。外科护士需要确保所有必要的设备立刻可用,而医生则需要完全沉浸到手术任务中。

但是,手术室中的时间是极为昂贵的,并且手术室也是严格按照选定的病例来预定的。这些选定的手术是所有医院收益的基本来源之一,所以确保手术室被完全占用并且正常运转是非常重要的。那些小型的,或者突发的手术很难安排到手术室。结果就导致,很多这些手术都是在手术室外面进行的,比如在特护病房或者急诊区。而正是这些没有在手术室接受手术的患者,会冒最大的风险。这时,我们就能看到AR给医疗领域带来的最大的好处。

与在手术室中进行的手术不同,在外面进行的手术得到的来自医护人员的支持会比较少,通常只有一个医生和一个护士,他们同时还有着其他的责任。通常患者的生命体征都不稳定,如果是在深夜,进行手术的医生可能刚刚接受培训不久,他可能同时要担负麻醉师和医生的角色。这个房间也不是专为手术而设计的,尤其是没有那些复杂的呈现影像的设备,更别提那些混乱的对患者生命体征进行监控的设备了。在跟踪患者的多种影像和数据信息的过程中,很容易错过极为重要的线索。而这时,只需一个AR显示功能,将所有的影像和患者的数据进行整合,并且让医生能够把注意力集中在患者身上,很明显能够提升手术的质量和安全性,并且减少与手术过程相关的并发症,进而节约成本。

除了因为更安全的手术过程而带来的成本的降低之外,还可能会因为减少对多余的屏幕的需求量而降低成本。目前,超声波、内窥镜和支气管镜检等设备都需要医院购买整套系统,每套系统都有其各自的显示屏。这些系统每套都可能会花费数十万甚至上百万美元。并不是因为不同的影像功能需要特殊的显示器,而是目前的经济模式所限,这些整套售卖的系统都包含互不兼容的显示器。电子病历有自己的显示屏,血流动力学监控器和呼吸机也有各自的屏幕,并且其数据也无法进行融合。而AR能够提供一个共享的屏幕,能够逐渐减少对患者每项数据进行监控所需的特定的显示器的需求,同时提供一个来自多个来源的生命体征数据能够实时整合的显示器。

要实现这些功能,目前的AR技术还需要进化,而医生们也需要了解这一概念。医生在佩戴这些硬件时,需要舒适且安全。在有些场景中,这些影像还需要尽量不透明,而其他的可能需要更加透明才可以。如果投射的影像是要用来进行手术过程指导的,还需要以极高的准确度来呈现。虽然还有各种各样的技术挑战,但我们相信,没有一个挑战是不能克服的。

在马里兰州混合现实中心,我们致力于研究将AR作为一个主要工具,来帮助医疗行业从业人员拯救生命,同时降低医疗成本。来自斯坦福大学、杜克大学和约翰·霍普金斯大学的团队正在研究融合和投射视觉数据,同时研发适合医疗行业使用的AR显示设备。

这会需要有才华的计算机科学家和有远见的医生们共同努力,让增强现实在医疗领域成为现实。我们对未来充满激情,到那时,我们在医疗领域使用AR技术,会像现在使用听诊器那样普遍。

最初发布于2018年3月21日

原文链接:https://hbr.org/2018/03/how-augmented-reality-will-make-surgery-safer