Meta 2 AR头显上手体验 视场角和分辨率哪个更重要?

上次我体验Meta的AR头显还是在一次非公开的活动中,并且不允许拍照。在SVVR期间,当我再次体验时才允许拍照。这是与上次体验的产品不同的新产品,Meta的技术在这段时间取得了大幅进步。

根据展位工作人员的介绍,这次我体验的产品是Meta 2的最终版,并且将会以945美元的价格对外销售。

这次展示的版本与原型机最大的区别在于其跟踪技术。这款头显使用了inside-out位置跟踪方案,而非依赖外置的第三方摄像头。跟踪方案曾是Meta 2最大的弱点,所以在本次体验中我也特别关心这一问题是否得到了解决,简而言之,Meta解决了这个问题。

不过,Meta 2并不能完美地进行跟踪。当你在移动面前渲染出的虚拟物体时,偶尔会有间断、抖动或者失灵的情况发生。而当你尝试进行手部的互动时,这些问题会更加明显。在我体验期间,我有机会用手与一系列的物体进行互动,包括具有可塑性的方块、汽车模型、地球和大脑。在上次体验这款设备时,我已经见到了这些内容,因而可以明显看到交互效果的改善。但这个经过改进的设备的位置跟踪和近感探测仍然不够完美。

AR应用领域虽然还很年轻,但微软HoloLens已经在其中占据一席之地。任何一款想要进入这一领域的头显都会面临这样的问题“它与微软HoloLens相比有哪些优势/劣势/不同之处”。Meta 2也不例外,我们来看一下。

Meta 2拥有比HoloLens更大的视场角。这在很大程度上归功于显示技术的不同。而更大视场角的代价,则是相比HoloLens要更低一些的图像分辨率。分辨率上的差异还是很明显的,但就目前的AR体验而言,我个人更倾向于选择更大的视场角,而非分辨率的提升。

HoloLens的inside-out跟踪技术被视为是行业的标准。Meta 2虽然也使用了这一技术,但与HoloLens相比却缺乏稳定性。

最后,或许最重要的是,Meta 2是一款仍然需要通过线缆连接的头显,与之相比,微软HoloLens是完全无线的。而Meta 2的用户则需要连接一台高端PC。这条线缆或许可以帮助Meta 2达成更大的视场角,但却为符合人们需求的AR应用场景增加了障碍。

虽然目前Meta 2已经面向消费者开放预订,但Meta仍然表示这款AR头显主要面向开发者,就像当年的Oculus DK1一样。目前Meta 2已经开始出货,Meta希望能在年底前能够满足所有的订单。

最初发布于2017年4月11日

原文链接:https://uploadvr.com/meta-2-hands-ar-svvr/

[梳理]一心为了上战场 深扒美国陆军对增强现实的探索历程

在上周于华盛顿州五角大楼举行的Pentagon Lab Day期间,美国陆军的电子通信研究、开发和工程中心(CERDEC)和陆军研究实验室(ARL)展示了一款全新的原型设备,该设备使用可以使用来自第一人称射击游戏的技术,用增强现实抬头显示器来帮助士兵接入传感器和其他数据。

该技术名为“战术增强现实”(TAR),是美国陆军对利用网络将士兵进行连接的最新革新,可以给予士兵们在战场上的“态势感知”。比如他们所处的位置,友军的位置,敌人的位置,以及所有执行任务所需的信息,所有这些都融入到战术通信过程中。在过去的这几年,CEREDC、ARL和美国国防部高级研究计划局(DARPA)一直在开发核心技术,以使增强现实能够应用于战场,并且还开发一个名为抬头导航、跟踪和报告(HUNTR)系统的平台。

虽然HUNTR还相对较新,却是基于最近三十年间美国陆军对步兵的数字强化的研究成果。直到最近,这些研究成果已经达到了可穿戴计算技术的极限,虽然技术已经趋于成熟,但真正应用到战场上,或许还需要几年时间。

回到未来

从上世纪80年代开始,美国陆军就一直在尝试把某些东西放在士兵眼前。首先是“陆地勇士”(Land Warrior)计划,或者用更正式的称呼:陆地勇士综合作战系统。该系统在1989年首次进行了技术演示,当时名叫“士兵综合防护套装”(SIPE),这一系统展示了增强的传感器和通信系统能够显著提升小型步兵单元的战斗能力。

陆地勇士背后的概念本应在接下来的时间里多次尝试和完善,但直到2000年,这一系统也没有成为真正的采购项目。这时,该系统又变成了美国陆军庞大的未来战斗系统计划的一部分。当陆地勇士系统作为一个较成熟的系统,由美国陆军授予雷声公司继续研发时,其计划中的系统包括一个综合的计算机系统,作为士兵装备的一部分,另外还有头戴式显示器。头戴式显示器用显示通信和导航的数据信息,并且可以观看到士兵手上的“武器子系统”(M16突击步枪或M4卡宾枪)上安装的热成像系统影像。

陆地勇士系统的电脑集成了GPS和无线电信号,允许(理论上允许)指挥官来试试跟踪部队的方位。但是陆地勇士系统本身并不包含抬头显示器,抬头显示器可以在二维地图上展示位置,允许士兵在拐角处用武器瞄准。但是陆地勇士系统不会在士兵周围叠加信息,并且还存在一些显著的问题,最明显的问题在于增加的重量,其中包括电池,电脑,无线电和士兵头部安装的显示屏。

对于一个步兵来说,完整的战斗装备本身就已经接近80磅(约合36.3千克)。陆地勇士的完整装备还会为士兵增加40磅的负荷(约合20.4千克,包括电脑和包含抬头显示器的头盔,以及数码瞄准镜,无线电和电池)。对于那些从未体验过的人来说,在战场上背着重达120磅(约合54.4千克)的装备,就相当于使劲扛着希拉里克林顿那已经退休的邮件服务器,同时在拉斯维加斯大道上慢跑。根据对那些使用过此装备的士兵的回访,这些“服务器”的战斗力也基本与希拉里的邮件服务器相当。

只有一个版本的陆地勇士系统曾经登上过战场:与Stryker装甲车协同的那次战斗是为了配合Stryker步兵战车所搭载的系统。该系统跟随第九步兵团第四步兵营进入了伊拉克战场。Stryker步兵战车的配置降低了陆地勇士系统装备的重量,因为士兵们可以把多余的电池留在装甲车里。这些装备也与Stryker机械化步兵单元一同部署。

颇具讽刺意味的是,整个陆地勇士系统在2007年被取消了,因为造价实在太高,单兵装备的花费就超过85000美元。于是该项目被缩减,并且重启,变成了地面士兵系统(GSS)。但是为了满足部队快速列装的需要,GSS又变成了奈特勇士系统(Nett Warrior,为了纪念二战期间荣誉勋章获得者Colonel Robert B. Nett)。为了更快(并且更便宜)地满足需求,美国陆军不再采用头戴式单片眼镜,而换成了挂在胸前的安卓设备,使用现有的硬件组件来达成几乎是同样的目标,除了士兵们现在必须低头查看自己的手机。

奈特勇士系统的改进

但是,奈特勇士系统给美国陆军提供了一个通用平台,可以基于该平台开发应用。就像是谷歌眼镜这样的增强现实设备这样,又像微软的《Halo》即将变成现实一般。奈特勇士系统中“终端用户设备”(EUD)基于安卓的操作系统可以让军方使用现有的常见的网络接口,并且这对于开发可穿戴计算应用来说,也是一个理想的开发平台。

再来看以前的陆地勇士系统,美国陆军对于战术增强现实TAR的期许,是要将其作为一个增强的导航,友军跟踪,信息共享和武器瞄准功能的集合。但是他们并没有为其配备单片眼镜,来展示类似仪表盘的信息,士兵们希望这些数据能够直接投射在视野之内,并且能够与周边的地形地势无缝结合。

根据在2015年10月的一场行业会议上由CERDEC所做的演示,最近两年间开发的HUNTR系统使用了一个安卓版的软件包接口,名为ARC4。ARC是由应用研究联合公司开发的,也曾用于早期的DAPRA增强现实项目,当时名为Ultra-Vis。由ARC生成的数据不仅可以呈现在夜视增强设备上,还可以显示在多种现有的头戴式透明显示器上。

该软件使用了GPS信息,头盔上的摄像头信息以及惯性传感器来为士兵的视野“注册地理信息”。这就可以使用标志来标注路径点,感兴趣的点,以及友军的位置,这些信息可以投射在士兵所看到的画面上,当然还会由导航罗盘,展示那些不在视野内的物体的方向。此外,地形地势的3D模型也可以叠加在真实世界上,以辅助导航。这些信息和其他所需的资源可以从奈特勇士的设备中获取到,并且由指挥中心分发到每个士兵。

显示屏技术的进展

战术增强现实TAR还有一个主要的问题,那就是现有的显示技术无法满足战场使用的需要。相对而言,要把增强现实数据投射到夜视设备上是很简单的,但是,即使是增强现实的日常使用,也因为透明显示屏相对较小的视场角和较低的对比度,变得很困难。

即使是微软HoloLens相对大一些的视场角,对于战术应用来说也是不够的。并且大多数的显示屏无法生成足够高的亮度,在光线强烈的沙漠或冬天的户外是无法观看的,就像上面CERDEC所演示的幻灯片中呈现的那样。因此,ARL和CERDEC必须和供应商们密切合作,来开发自己的产品。

早期的TAR显示屏使用黑白或者绿屏投射,来保持足够的对比度,以使画面可见。常用的彩色显示屏(对角长大概一英寸)不能提供足够的分辨率,但是在Lab Days期间展示的TAR显示屏有着相当高的对比度。这个原型产品甚至可以让彩色图像叠加在最明亮的背景上。

同时,应用研究联合公司也在为其软件寻求商业和消费级应用场景,无论是物流行业,还是AR游戏,抑或社交媒介。所以,在美国陆军将增强现实技术推向战场时,我们或许也能够看到数据在眼前跳动。

最初发布于2017年5月27日

原文链接:https://arstechnica.com/information-technology/2017/05/heads-up-augmented-reality-prepares-for-the-battlefield/

斯坦福大学利用VR技术培训先天性心脏病知识

斯坦福大学给医生们提供了一种独特的培训方式,通过VR,他们可以看到婴儿的心脏内部结构,瓣膜的开合,血细胞的流动等等。

这个VR项目解决了医学培训领域的一个重要挑战,那就是如何在三维环境中实现对心脏的实时可视化。通过VR头显,他们可以进入到心脏内部,探索先天性心脏病,感觉自己就像一颗花生那样进入了心脏中。

“我甚至可以看到血液的路径,这是我从未体验过的,”斯坦福大学的小儿心脏病学研究员Christopher Knoll博士在本月首次体验这款原型系统之后说道。

David Axelrod博士参与开发了虚拟的心脏教学工具,当他问及Christopher Knoll博士,是否准备好回到现实世界中时,他甚至坚持说:“不,我喜欢这样!”他笑着说道。

这款VR系统是一个使用3D可视化技术来改善医学和病症教育项目的一部分。美国凯斯西储大学使用微软HoloLens来培训学生们解剖学和生理学,而密歇根大学的一个研究项目则让医生们探索大脑内部,以增进对偏头痛治疗的认知。

CT扫描、超声波心动图和核磁共振对于针对和治疗来说仍将是非常重要的工具,但有些专家认为,VR可视化将很快成为一个对于医生和外科医生非常必要的补充,并且对于降低培训过程对尸体解剖的依赖有很大帮助。

“斯坦福大学的这个项目以及类似的项目代表了医学培训的未来,”Luca A. Vricella博士说道。他是约翰霍普金斯大学医学院的小儿心脏移植专家,他指出,在医生心中形成一个3D图像,对于让学生们了解心脏手术是尤为重要的。“这可以让你更好地理解你将在手术室看到的场景。”

当你戴上斯坦福大学提供的VR头显时,你会发现自己在一个光线良好的医生休息室,站在一个中央的讲台旁。在你的左边,你会看到挂在墙上的心脏的平面图,在你的右边,是彩色的塑料心脏模型,算是向老式的学校培训心脏病和血液流动的方式致敬吧。

径直向前走,有一个陈列着众多3D心脏模型的架子,分别标注着先天性心脏病的标签。通过触发手柄上的扳机,你可以从架子上拿起一个“活的”,还在跳动着的心脏,它会呈现在你的面前。这个心脏会以本身的角度展现,或者也可以拆分成不同部分,同时还在持续着同步的运动,也就是说,同时展示了心脏内部和外部的特征。你可以拿起其中一部分,转个圈,以任意角度来观看这个跳动的心脏组件,就像是看一个小生物一样。

其中一个模型展示了室中隔缺损,在两个心室中间有一个洞。这种先天的缺陷会导致一些富氧的血液被泵回至肺部,而不是进入身体的其他部位,这是不正常的,会导致心脏超出负荷。

当按下另一个按钮时,你会被“传送”到心脏内部,可以看到血细胞在心脏的腔室中流动。而使用另一个按钮时,你可以如做手术般的修正问题,使心脏恢复正常。

用户不会感觉眩晕,也不会产生晕动症,因为他们会处在心脏内部,心脏的结构就在用户周围活动,而非位于一个游乐场或过山车上。

到目前为止,斯坦福大学的原型系统中展示了室中隔缺损,在另一个原型系统中,其目标是要模拟出25到30种最常见的心脏问题。David Axelrod博士表示,其长期目标是要为其增加成年人心脏疾病的模型,并且逐渐加入肺部和脑部疾病的模拟。

即使是先进的影像手段,也会让临床医生无法彻底了解心脏结构的修复,David Axelrod说道。他是斯坦福Lucile Packard儿童医院的小儿心脏病学专家。

“如果你不明白心脏的几何结构、解剖图和生理结构,你可能会在以后的手术中产生错误,”他说道。

斯坦福大学的这一系统是与位于旧金山的软件公司Lighthaus合作开发的,该公司也有David Axelrod的股份。Lighthaus是由斯坦福儿童医院的小儿心脏科与Facebook旗下的Oculus VR公司合作建立的。

除了培训之外,这项技术还可以帮助病人们了解医生是如何修复其心脏缺陷的。

“我每周都会接待一些胸前有伤口的病人,他们已经20多岁了。我会问他们,你接受了哪些手术?但他们并不了解,”Axelrod说道。“帮助病人理解他们的心脏问题是我们的工作,因为我们认为,如果你知道问题所在的话,你会更加留心的。”

在五年之内,个性化诊断扫描的VR项目将能够达成,Axelrod说:“那时我就可以说,这就是你的虚拟的心脏。”

Jamil Aboulhosn博士主持了加利福尼亚大学先天性心脏病研究中心的工作,他告诫道,沉浸式3D技术对于已经使用了数十年的传统的解剖和生理学培训手段来说,应该被视为一个助手,而非替代。

“随着我们周边的事物越来越多地被转换成3D和VR的形式,我开始有一点担心了,我们正在进入一个逐渐简化的时代。我们需要只是让某个东西变得更酷而已,”他说道。“但对于医学院来说,还不是摒弃通过艰苦的尸体解剖来培训解剖学的时候。”

“是的,虚拟现实已经准备好登台亮相了,是的,他的确激动人心,”Aboulhosn说道。“那么他会淘汰所有以前的东西吗?当然不会。”

最初发布于2017年4月17日

原文链接:https://www.bostonglobe.com/business/2017/04/16/virtual-reality-lets-mds-training-step-inside-heart/vyI07ZGb2ClL3TTz5NoQzN/story.html

[体验+点评]微软MR头显潜力巨大 但明显火候未到

混合现实当然有着巨大的潜力,但同时,我们也要面对现实。

微软在10月3日举办的发布会也以混合现实为重点。在这次发布会期间,他们发布了一款全新的售价500美元的三星Windows混合现实头显,以及宣布收购Altspace,这是一家正在垂死挣扎的社交网络,而其中的人物形象只是目光呆滞的,长着与肉体脱离的手的化身。

而这,在很大程度上正式微软正在加倍下注的一个市场,即混合现实。他们的想法是,唯有微软,以及其顶级的HoloLens技术,才能在同样卓越的设备(由微软的合作伙伴打造的多种不同设备)上同时提供虚拟现实和增强现实体验。

虽然这在长久来看可能是能实现的,但却没有提供给参加这次发布会的人们。这里并没有类似HoloLens的AR设备,相反,在我们所能上手的仅有的Demo中,可以让体验者在一个虚拟的房子中走动,在每个房间中有不同类型的内容,其中大部分都显示在了2D屏幕上。

简而言之,这给人感觉就像是在重温过去三年间每款VR设备提供的Demo。将其称之为“混合现实”就像是把一份菠菜沙拉称之为“生菜沙拉”一样。

即使是体验者最多的《Halo Recruit》–一款全新的应用,用来展示《Halo》在混合现实中的潜力–也很让人失望。你确实处在这款著名游戏的场景之中,其分辨率也令人令人难忘的锐利,但你仍然是站在一个点上,对着大屏幕上那些2D的外星人的轮廓开枪射击。

在《Halo Recruit》的结尾,《Halo》中的士官长走进场景中,邀请你成为他的炮手。你肯定会想,好啊,出发!但体验到此就结束了。这就好像现在大多数的“混合现实”体验那样,虽然告诉我们什么是能够实现的,但现在我们能体验到的版本还处在一个糟糕的阶段。

我体验了售价400美元的Windows混合现实头显(10月17日开始发货)和售价500美元的三星Odyssey(11月初发售)。三星的头显是值得这个价格差的,它有着OLED屏幕(而不是普通的LCD),更高的分辨率(单眼的分辨率要高于宏碁的头显),并且有内建的耳机。看起来要在它和售价同样为500美元的Oculus Rift之间做出选择还有些难度。

虽然微软的头显都在吹嘘使用的便利性–你只需要把USB线缆和网线链接到任何运行最新版本Windows 10的PC上,但这并不代表在让一个主流用户体验VR时,在便利性上有了多大的进步,在用户看来,它并不仅仅是一个新奇的事物。

对于初次接触的人来说,这些设备的重量超过了一磅,仍然十分笨重。我仍然无法在保持舒适的情况下佩戴一款头显超过15分钟。这是这个行业面临的共同问题,但这也值得我们注意,普通的消费者并不会让你满头大汗的笨重的黑色眼罩感兴趣,尤其是目前的分辨率还没有达到视网膜级别,只有到达这一级别时,我们才会难以分辨头显的画面和真实生活。

同时,你在佩戴头显时对周围的真实世界仍然一无所知, 这些外观类似的混合现实头显(包括惠普和戴尔的设备)都是全封闭的,并且也没有可以让你看到周围环境的AR特性。理论上,有一个设置过程可以让你设置自己房间的一些限制,但在实际使用中,这就意味着微软的Demo操作员必须保证我在体验过程中不会碰到其他东西。

至于我所体验的Demo中的环境,还有一个值得注意的点在于,虚拟现实一直在非常努力地复制现实世界。HoloLens的发明人Alex Kipman在虚拟的画面中兴奋地向我们展示了日程安排、LinkedIn资料和他的Pandora radio应用。

但这是为了什么呢?戴上笨重的头显,在一个大房子中巨大的屏幕上仅仅查看一下日程安排,有什么额外的好处吗?Kipman还说道,你可以和其中的一些化身互动,它将这一功能称之为虚拟现实中的“杀手级应用”。

我对混合现实的潜力感到非常兴奋,但我还是要说,如果我想要和身在远方的亲密朋友聊天的话,毫无疑问,我更希望在真实的住宅里进行视频聊天,而不是在一个虚构的房间里,面对着朋友们死板的化身。

当然了,在教育和终身学习领域,混合现实的潜力是巨大的。我们处在这样一个时代,人们喜欢通过YouTube视频来自学新技能。HoloLens给我们带来的最激动人心之处在于,这种学习过程可以变成三维的,我们可以使用头显来学习如何修水龙头,如何弹吉他,或者提高我们的网球水平。

这些潜力依然存在,但目前的Windows混合现实头显没有一款能够让我们离这些目标更近。如果我们想要一些真正尖端的技术产品,可能需要等到其2.0版本问世了。

最初发布于2017年10月10日

原文链接:http://mashable.com/2017/10/03/microsoft-mixed-reality-hands-on/#JTXM82JU2kqo

增强现实正在入侵你的手机 别说你还不知道它是啥

忘记虚拟现实吧,至少现在可以忘记它,众所周知的是,增强现实AR正在给你的手机带来下一波有趣的新玩法。苹果和谷歌正在努力推动这一技术,但是下一波AR技术热潮究竟会有什么新东西呢?自从Niantic推出《Pokemon Go》,可以让你用手机捕捉小精灵之后,发生了什么变化?除了游戏之外,以后你可以用AR技术来做什么呢?

AR、VR和MR

增强现实AR就是——在真实世界中增加一些额外的数字图像,比如简单的叠加,就像你戴着谷歌眼镜能看到的那样,而虚拟现实VR,则是完全数字化的,完全与世隔绝的虚拟空间。

混合现实MR,也就是目前微软正热衷的新类型,是AR和VR的一种混合体,在这种混合体中,那些数字叠加物被设计成好像就是真实世界的一部分一样,当然了这需要高端的处理器和强大的计算能力才能实现,比如微软的HoloLens,你懂的。

但对于微软和其他对混合现实爱好者来说,不幸的是,增强现实正在越来越多的被应用,风头甚至盖过了混合现实。苹果在用它,谷歌在用它,并且大多数人根本不会在意电脑图形在你面前漂浮和电脑图形融入面前场景之间的区别。

从技术上说,智能手机上流行起来的这一波AR已经有了混合现实的样子,想象一下《Pokemon Go》,以一种更加逼真的形式出现。不过,既然苹果发布了ARKit,谷歌发布了ARCore,我们在这里还是使用增强现实这个概念吧。

Project Tango、ARKit和ARCore

移动设备上的第一波强大的AR浪潮是由谷歌的Project Tango带来的,虽然谷歌很早就进入这一领域,但仍然花费了数年的时间才让合适的传感器和计算工具变得足够小,小到能够安装到手机上,即便如此,这样的手机仍然很笨重。让消费者们放弃轻薄的手机,只为了这样一项技术,从目前来看显然是很困难的任务。

让AR有更高标准的表现意味着要收集大量有关实时环境的数据,像Project Tango设备上所具有的强大的镜头模组当然能够起到很大帮助,但是如果一款手机能够足够强大到实时处理大量的数据,你也就无需为了基本的AR体验来购买这样的硬件模组了。这也就是为什么我们直到现在才看到使用标准摄像头和传感器,却能够提供高端AR体验的手机的原因了。

虽然是谷歌最先竖起了AR大旗,但却是苹果用WWDC 2017开发者大会上发布的ARKit技术推动了新一波浪潮。ARKit是“一个全新的框架,可以让你为iPhone和iPad创作出前所未有的AR体验”,这也就是说,有了它,开发者们可以更容易地将3D图形加入到真实世界中。

开发者们如何使用ARKit取决于他们自己,但是苹果已经在给自己的地图应用增加AR特性了,你可以在自己的城市中漫步,就好像自己是一个160英尺高的巨型日本海怪那样。为了提供好的AR效果,你需要一个能够识别3D空间和2D图形的手机摄像头,但是苹果更倾向于在软件层面做出这些基本的功能。ARKit应用能够在iPhone 5s或更新的运行iOS 11系统的手机上运行(你需要A9或更高的CPU)。

据说,摄像头也需要作出一些优化。苹果表示iPhone 8、iPhone 8 Plus和iPhone X的摄像头都针对AR功能进行了调校。iPhone X的前置模组能够完美的支持在3D环境中感知物体,但我们并不清楚新款iPhone上其他所有的2D摄像头都是怎样为AR体验而特别优化的。

当图像以3D的形式被捕获时,效果是非常炫酷的。比如Snapchat的面部滤镜,它们在任何摄像头上都能够使用,但是在iPhone发布会期间,Craig Federighi使用iPhone X展示了更加逼真的滤镜效果,就好像真的长在脸上了一样。

如果谷歌或苹果有一些其他公司没有的产品,整个生态可能会出现不平衡,无论是地图应用还是移动支付技术。所以我们现在有了ARCore,这基本上就是安卓版的ARKit。该技术可以确定手机的位置,以及识别周边的环境,这样一来开发者们将可以使用它。ARCore目前还处在公测阶段,目前只能用在谷歌Pixel、Pixel XL和三星Galaxy S8手机上。

AR能为你做些什么

AR App并不是什么新鲜事物了,但是我们在上文所描述的技术可以让AR App在融合真实与虚拟时更加高效。虽然你现在就可以使用一款《Action Movie FX》这款App,把一辆翻滚的汽车放到你面前的场景中,很快这辆车就能适应周边的颜色和光照情况,但新的AR App能够看到平面,以及你面前的真实世界。

之前我们在谈及华硕的ZenFone AR时曾说“感觉每款App都像是技术演示Demo”,这就是现在安卓和iOS开发者们面临的挑战,他们需要使用新的技术来创作出引人入胜的AR体验。在新款iPhone发布会期间,苹果展示了一款AR游戏,在该游戏中,战争就发生在桌面上,但是,你是更喜欢举着手机围着桌子转着玩游戏,还是更喜欢坐在舒适的沙发上玩呢?

《Pokemon Go》就是一个完美地把AR融合进游戏的例子,并且我们也都知道一家正在开发一款ARKit应用,可以让你在购买之前,就能看到家具摆在家中的样子。已经有一些这类App了(比如Wayfair也早已经开发了AR家具App),但是这一波新的AR热潮能够让这些App更加精确和实用。

苹果公司的Phil Schiller在现场展示了一款能够把天的星座放到正确位置的App,其实这种App之前我们也见过,但是在使用ARKit之后得到了改善。

你可以看到各种各样的新App,结合最新的硬件和软件,可以让AR元素前所未有的逼真,无论是驾驶汽车,还是在订餐之前出现在面前的菜单,甚至还可以使用ARKit把上世纪80年代经典的MV复原到现实生活中。

现在,这些App大多数都处在Demo阶段,但是你能很容易地看到其潜力。游戏能够在真实世界中出现,无论是你房间的地面上,还是在你邻居家,而且你还可以通过手机摄像头给家中增加新的家具,比如沙发,甚至还可以扩建自己的房子。

再往后发展,你可以把手机指向任何东西,并且以一种从未有过的精确度来获得叠加的信息,比如你可以看到高尔夫球场上你与球洞的距离,棒球场上运动员们的比分情况,或者你在商场中迷路时,帮你找到你想去的商铺的精确方位。你还可以测量距离,甚至在你家后院发射一枚火箭,等等等等。

当然了,AR头显,或者MR头显能够提供更棒的沉浸式体验,并且相比把手机和平板举在面前来查看AR效果,要更加自然舒适。但只要这些头显还没有进入主流市场,ARKit和ARCore将会引导成百上千万的人们了解增强现实AR的潜力,以后你将不再低头看手机,而是把手机举起来,轻轻滑动屏幕来获取互联网的海量信息。

最初发布于2017年10月3日

原文链接:https://fieldguide.gizmodo.com/everything-you-need-to-know-about-augmented-reality-now-1809069515

[盘点]看完这17件大事 就看懂了VR/AR行业的2017年

经历了2016年这个大起大落的“VR元年”,VR/AR行业在2017年更多了一些沉淀和积累。

2017年已经过去,这一年里,各大厂商为了推动VR进入主流市场可谓是不遗余力。去年被频繁吐槽的VR头显笨重、操作复杂等等问题已经引起厂家的重视,并且正在被解决,价格的调整则让这些高端设备更加亲民。VR/AR也更多地与传统行业结合,在我们日常生活中也逐渐出现了此类设备或技术的身影。虽然VR/AR明显还不是刚需,但经过了这一年,让我们对VR/AR的信念更加坚定。

在2018年的第一天,笔者来和大家一起盘点一下,刚刚过去的2017年VR/AR行业发生的17件大事。

1、Magic Leap首款产品终于现身

这件事排在2017年VR/AR行业大事件的第一位可以说当之无愧。Magic Leap曾爆出演示视频造价丑闻,但仍然一轮轮融资拿到手软。就在前几天,Magic Leap终于公开了其首款产品Magic Leap One,虽然引来了无数的吐槽,称其像Walkman、充电宝、肉夹馍,但以目前的技术,能做到这种水平已经颇为不易。其开发者版本将于2018年发货,笔者将和读者朋友们一起静待上手及测评。

2、三大主流VR头显纷纷降价

高昂的价格一直是限制高端PC VR头显进入普通消费者家庭的重要因素,而在2017年,HTC Vive、Oculus Rift和PSVR纷纷降价,虽然在硬件配置上并没有什么变化,只是进行了一些小修小补,但至少通过降价,降低了门槛。截至发稿,三款VR头显的价格分别为:HTC Vive售价5488元、Oculus Rift(含Touch)售价399美元(约合人民币2600元)、Playstation VR精品套装售价3399元。

3、微软MR系列头显上市

微软在去年年底宣布将会联合联想、惠普、戴尔、华硕、宏碁这五家PC厂商推出MR头显,后来三星、富士通、3Glasses也加入这一阵营。微软这一狠招充分利用了已有的供应链优势,集合大批PC行业巨头,推出的MR头显不仅在内容上兼容SteamVR,由于使用inside-out定位方式,且无需安装复杂的软件,在使用中的便利性让其他PC VR头显望尘莫及,且价格方面也占据优势,相信很快就会有大量的配套内容问世。

4、苹果推出ARkit开发平台

在WWDC开发者大会期间,苹果正式发布了ARKit开发平台,之后立刻就有铺天盖地的文章,为那些主研AR SDK的厂家捏了把汗。苹果的影响力自不必多说,且能够支持ARKit的手机数量级已相当恐怖。在ARKit随iOS 11系统更新正式来到用户的手机之后,大批基于ARKit的AR游戏也出现在App Store,ARKit已然成为全球最大的增强现实平台。其CEO库克更是多次发表看好AR技术未来前景的言论。

5、谷歌停止开发Tango 转向ARCore

谷歌在年底宣布,将于明年三月正式关闭对Tango的技术支持,专注于新推出的AR开发平台ARCore。但正如Daydream平台一样,谷歌ARCore只适用于高端的安卓手机,且由于目前安卓系统的碎片化极为严重,又有多少机型能够支持这一技术呢?Tango项目的停止,也是由于其对硬件配置和传感器的要求过高,来自手机厂商的支持也很有限。从这个角度来看,谷歌与苹果在AR领域还有较大差距。

6、英特尔无奈放弃Project Alloy

英特尔在去年的IDF大会期间首次公开了这款“融合现实”头显Project Alloy,用户甚至可以通过实感摄像头“看到”双手,并且用手与虚拟世界中的元素互动。无奈,因为”没有找到硬件合作商“,这一项目被英特尔舍弃了。英特尔希望说服惠普或戴尔等硬件制造商使用Project Alloy的设计蓝图打造自己的头显。然而,这些公司似乎不感兴趣。没过多久,英特尔又决定放弃自己的AR眼镜品牌Recon。

7、国内PC VR头显新品频出

HTC和Oculus两大巨头并没有新的PC头显产品计划,但国内的PC VR头显厂商仍然在不断推出新品,比如小派8K、大朋E3、蚁视2S和2C、Hypereal Pano等等。新型号相比之前的产品,多了一些对市场的思考,和对用户习惯的妥协。比如手柄越来越像Vive手柄(符合用户的使用习惯,且更利于内容适配),头显硬件参数也在各个方面“吊打”Vive和Rift。在国内的B端市场疯狂抢占原本属于Vive的市场份额。

8、VR一体机市场风起云涌

看完PC头显再来看VR一体机,国内国外厂商扎堆进入这一领域。由于VR一体机无需电脑或手机即可运行,且价格较低,体验质量高于VR眼镜类产品,携带和使用都更方便,可以说已经成为VR设备市场的新宠。在2017年,HTC发布Vive Focus、Oculus发布Oculus Go并展示新版Santa Cruz、PICO发布Pico Goblin和Pico Neo CV、暴风魔镜发布Matrix、爱奇艺也有一款4K屏幕VR一体机“奇遇”。

9、手机VR眼镜遇冷

手机VR眼镜类产品在2015和2016两年间“野蛮生长”,各种粗制滥造的VR眼镜虽然体验质量差,但至少让普通消费者们知道了VR这种技术的存在。在2017年,VR眼镜类产品预冷,仅有谷歌推出新款Daydream View,三星推出新款Gear VR,小米推出Play2,国内其他厂商基本消停了。一个例子可以说明这一点:那些曾经在VR行业群里出售VRBOX套料的源头厂商,已经转行做指尖陀螺和充电宝了。

10、HoloLens正式在大陆开售

微软HoloLens可以说是目前唯一的混合现实头显,虽然其价格昂贵,且一直未面向大陆销售,但仍然无法阻挡开发者和极客们对新技术的渴望。现在好了,HoloLens在今年5月正式进入了大陆市场,虽然价格还是那么高,但至少不用经历艰辛的海淘,不用天天查物流了。在微软商城和天猫旗舰店销售的HoloLens包括商业套件和开发者版本。此外,微软还推出了MRPP混合现实合作伙伴计划,以推动混合现实内容的研发。

11、高通发布骁龙835/845移动平台

2017年3月,高通在北京举办了骁龙835移动平台亚洲首秀发布会,正式推出了高通骁龙835移动平台,骁龙835旨在同时满足下一代VR/AR的高性能需求、散热限值和能效限制,支持基于高通自主研发的传感器融合技术的六自由度VR/AR运动追踪,目前已有Vive Focus和Pico Neo CV一体机搭载了这款芯片。而在2017年底,高通正式发布了骁龙845移动平台,在VR/AR沉浸式体验方面又做了提升。

12、苹果开始拥抱VR

一直以来,苹果都没有正式地对VR头显提供支持,而在今年的WWDC期间,这家科技巨头也终于也坐不住了,宣布iMac Pro将支持HTC Vive,并为Macbook产品线发布了外置的VR-Ready显卡处理单元。目前,这两款产品均已上市,相信很快我们就能看到开发者使用Mac OS创作的VR内容。如上文所说,苹果正在VR/AR领域全面发力,虽然其设备的价格仍然是相当感人,但这对身为VR/AR从业者的我们来说仍是一个好消息。

13、Palmer Luckey离开Oculus

称Palmer Luckey为天才少年并不为过,由其创办的Oculus在2014年被Facebook以20亿美元的天价收入囊中,更是很多VR从业者进入这一行业的开端。但在2016年,Palmer Luckey支持特朗普的事件被曝光之后,导致其公司受到影响。之后Palmer Luckey便很少公开露面。终于有一天传来消息,Palmer Luckey已经离开了Oculus。至于其之后成立的Anduril,官网称以研发军用VR/AR产品为主,目前还没有产品露面。

14、Facebook首个VR社交产品亮相

Facebook在2017年4月的F8大会期间正式推出了其首款VR社交应用Facebook Spaces,在Facebook眼中,有了Facebook Spaces之后,VR将不再是一个抽象的东西,也不再是小部分人的自娱自乐。除了Facebook Spaces之外,还有一些厂商也在VR社交领域奋战,国内有BeanVR,国外有Altspace、Rec Room、BigScreen等产品,虽然愿景很美好,但VR用户数量不多的情况下,VR社交产品还有很长的路要走。

15、3A大作纷纷推出VR版

如果说去年VR领域最热闹的是VR硬件,那今年最热闹的当属VR内容,尤其是高品质的3A级VR游戏,比如《辐射4VR》、《DOOM VFR》、《上古卷轴5:天际VR》等。其中尤以《辐射4VR》最具代表性,在2017年年底上线Steam平台之后,迅速达成了Steam平台同时在线玩家最多的VR游戏记录。虽然上线初期因画面BUG收获不少差评,但B社及时修正这一问题,玩家们终于可以愉快地在VR中捡垃圾了!

16、Pokemon GO终成过气网红

《Pokemon GO》在刚刚推出时可以说是红极一时。虽然很多AR从业者批判其并非AR游戏,但正是这款游戏,让普通消费者们也知道了还有AR+LBS这样一种新奇的玩法,之后的模仿者也相当多,甚至淘宝App也内置了一款与之类似的游戏。当然了阿里系的产品你懂的,最终还是要帮你花钱带你买。进入今年以来,《Pokemon GO》终成过气网红,活跃用户数量大幅降低,看来还是得琢磨一些新的玩法才行啊。

17、四部华语VR电影入围威尼斯电影节

2017年的第74届VR电影节在常规的四个竞赛单元(主竞赛、地平线、威尼斯日、未来狮)以外,特设了VR单元。其中入围的作品包括四部华语作品:来自Sandman工作室的《自游》、Pinta工作室的《拾梦老人》、导演邵晴的《窗》和导演蔡明亮的作品《家在兰若寺》。这也是中国VR作品首次入围国际标杆电影节。相信之后也会有更多的优秀VR影视作品出现,对这种新的媒介形式的探索,也会为传统影视行业带来新思路。

正是这些事,让我们看到了VR/AR从业者心态和思路的转变,苹果、谷歌、高通、微软行业巨头全面发力,你还在质疑VR/AR行业的前景吗?

2018年,我们期待着VR/AR进一步渗透到日常生活,进入普通消费者手中,进入主流市场。

最初发布于2018年1月1日

专访商询科技CTO邬浩:降低混合现实开发门槛 迎接MR企业级应用

微软打造的HoloLens是目前唯一投入商用的混合现实头显,这一革命性的设备自诞生之日起就备受关注。越来越多的公司在从事混合现实(MR)应用开发,但由于设备昂贵,开发难度高,目前的应用大多都是一些实验性质的Demo。唯独这样一家公司,在微软举办的各类混合现实技术交流活动中,几乎都能看到它的身影,他们打造的产品还曾亮相湖南卫视的电视节目,让电视前的观众们也感受到了混合现实技术的神奇,这就是笔者在近日专访的DataMesh商询科技。

在近日于北京·亦创国际会展中心举办的“VRSD2017北京国际虚拟现实与增强现实博览会”期间,笔者在VRSD博览会现场对商询科技CTO邬浩进行了专访。从与邬浩的交谈中,我们不仅了解到了商询科技的主要产品和技术优势,更对混合现实技术的发展前景有了坚定的信心。

作为从事游戏行业达十六年之久的老兵,邬浩认为,目前混合现实领域最大的问题是缺乏内容,而混合现实设备在硬件方面的问题则不足为虑,毕竟硬件的迭代升级是无法阻挡的,但只有充足的内容,才是填充MR技术这个“骨骼”的“血肉”。正因为如此,商询科技正在简化MR内容开发、优化MR内容展示和MR+大数据实际应用等方向奋力前行。

主打混合现实开发“中间件” 简化开发,降低成本

据邬浩介绍,作为2016年3月第一批拿到HoloLens的企业,DataMesh商询科技是最早尝试混合现实内容开发的微软合作伙伴,深刻体会到了开发难度之高。正因如此,20个月之后的现在,基于混合现实的内容依然极度缺乏。踩过许多坑之后,商询科技产生了深深的使命感:我们相信混合现实是人类的未来,可是如何快速普及这项技术,让未来早日到来呢?埋头耕耘一年多之后,商询科技于2017年5月面向全球推出“MeshExpert”开发平台。

邬浩说:“我们主打的产品定位为中间件,我们希望更多的人用这个产品来方便的做内容。在混合现实技术发展初期,我觉得要提高普及度,就要把门槛拉低,把开发难度降下来,让大家都进来,这是我们的目标。”

正是基于这种考虑,开发者使用MeshExpert进行开发,可以大幅降低内容开发难度,直接用传统的3D开发思路就可以做出MR内容,除了其中的素材需要自行制作之外,UI和一些基础的功能都会包含在开发工具内。对于MR应用开发者来说,只需要把精力集中在创意上,利用MeshExpert提供的基础美术资源和内容创作思路,就可以简单快速地编辑出混合现实场景,形成MR内容。

“使用我们的MeshExpert,你不需要再关心MR是什么技术,这个东西怎么定位在那里,以及怎么调整,我们都已经包好了,可以真正做成一个APP发布出去。”邬浩这样向我们描述。在笔者看来,这样能够大大降低混合现实内容的开发难度,减少开发时间,进而降低开发成本,无疑能够大力推动MR技术和应用的普及。另外,这些应用也可以无缝迁移到微软与三星、联想、惠普等厂家合作的MR头显中,对于这些新设备的普及,也大有裨益。

与央视、湖南卫视合作 实现HoloLens第三方视角专业直播

使用MeshExpert,能帮助开发者开发出大量的MR内容,但由于技术和设备的限制,目前AR/MR设备的显示效果只有体验者才能看到。针对这一痛点,商询科技还为混合现实打造了第三方视角录制/直播功能,作为中间件的一个子产品,名为MeshExpert Live!,与微软自家的Spectator View方案相比,这款方案可以实现广电级别的录制/直播功能。

“微软开源的Spectator View是比较粗糙的一套方案,虽然能够让未佩戴设备的人看到效果,但其成本和开发难度决定了其商业前景并不明朗。而我们的方案可以利用轻量级设备,20分钟快速搭建,用简单的操作方法把混合现实的第三方视角做到可拍摄,可直播的广电级别。”邬浩介绍说。据笔者了解,在今年9月,湖南卫视播出的《我是未来》节目现场,就展示了这一方案的神奇魅力。当工作人员开启HoloLens时,整个舞台被太阳系包围,通过手势,还可以对其中的某个行星进行缩放等操作。

在这期节目中,湖南卫视用一台固定机位在舞台中央拍摄现场全景画面,两台移动机位负责舞台部分画面的拍摄和近景及特写画面拍摄。最终呈现的效果让人惊叹,但这并不是后期制作,而是在现场录制的。这次实践代表着通过商询科技的二次开发,混合现实拍摄已经可以告别绿幕和专业演播室,大大缩减了影视制作时间和成本。

邬浩还透露:“Live!作为MeshExpert系列第一个推出的产品,本来只是想为大家提供方便,不戴头显也能通过大屏和操作者互动,没想到产品推出后在影视制作领域也颇受欢迎,各大电视台,节目制作团队,广告制作商,甚至好莱坞摄影师和制片人都纷纷找上门来,逼得我们不断的给产品添加专业feature,一直在快速迭代。大家可以期待专业的Live!套件很快到来。”

混合现实+数据协同 为传统企业升级数据服务

除了混合现实内容开发和展示上的用途之外,商询科技还将混合现实技术应用到了大数据这个看似神秘的领域。

邬浩说道:“我们有自己的大数据平台,可以和MR技术打通。这时就可以用大数据处理一些企业的后端数据的部分,比如维修记录,知识库等等。在对数据进行清洗和整理之后,发到MR设备前端,前端的MR设备一方面是一个虚拟助手,在里面帮维修工人去解决这些问题,另一方面也是一个收集端,它可以看到维修工人看到的东西,把这次的维修记录再次返回到大数据里面。”

邬浩认为,大数据一定是要有实际用途的,如果只给出数据报表,是没有什么实际意义的,而商询科技要做的就是让大数据直接能够指导生产。邬浩以汽车制造行业为例,向笔者讲解了大数据与混合现实技术结合的实际案例。

某老牌跨国车企有着大量的资料积累,但是非常杂乱欠整理,甚至还包括一些纸面资料,其内部连检索功能都没有。商询科技针对这样的情况,首先由大数据方面的专家介入,对数据资料进行AI智能清洗,使其形成知识库,然后在前端对接MR设备。在实际工作过程中,是无法保证每个一线装配工人都有足够高的专业水平的,通过使用HoloLens,在工作过程中会有虚拟助手,比如工人看到的东西,它可以帮助总结,提炼出可能会遇到的问题以及处理方法,利用混合现实技术现场显示给工人,并且这次的维修结果也会反馈回知识库,甚至还可以开启HoloLens等设备的摄像头与专家连线,进行远程协助。

“这就是企业的痛点,他们真的想要这种东西,我们所做的,就是用大数据+MR来解决企业在实际生产过程中的需求。我们用HoloLens所做的尝试可以打通从大数据到最终的维修工人实际操作这个流程。”邬浩说。

有效助力解决实际问题 MR技术将会先在B端爆发

在本次专访的最后,笔者就混合现实技术的发展前景等问题询问了邬浩的看法。在他看来,相比MR,VR的发展道路比较窄。VR是沉浸式的体验,但是沉浸往往会带来比较强的孤独感,这种孤独感就导致只有在100%沉浸的环境下才适合用VR。而在需要解决工作中的实际问题时,更适合使用MR技术。

“所以我个人更加看好MR技术的发展,而且尤其是在B端,MR的想象空间会多很多。目前,MR技术在C端不会有很快的发展,毕竟目前的混合现实设备还过于笨重和昂贵,并不适合在C端进行推广。我觉得MR在B端是必然会爆发的,因为MR是真的能改变你的生产模式,改变你的工作方式的技术。”邬浩认为。

“HoloLens最大的意义在于,它可以让我们看到十年后是什么样子,虽然在短时间内,我们不指望能把HoloLens普及到千家万户,但是我们现在能够把大的方向做出来,等到新设备到来的时候我们的路已经铺好了,这是我们的看法,也是我们现在正在做的事情。”

最初发布于2017年11月27日

VR/AR广告营销正在普及 你准备好了吗

数字化营销在过去的十年间有了大幅的增长,每一天的每一分钟,搜索引擎和社交平台都会提供成百上千万的来自广告主的赞助信息。然而,广告的天性导致了一个新的问题,广告主们正在看着广告投入所带来的产出的减少,导致他们的投资回报率显著下降。这就给增强现实和虚拟现实这样的新技术打开了大门,它们可以以全新的形式进入这个竞技场。

数字营销人员都很了解目前的数字显示广告正在面临的问题。这些问题包括广告屏蔽工具的大规模采用,以及用户对数字广告的宽容度越来越低。

由PageFair在2017年提供的一份报告表明,2015到2016年间,广告屏蔽率上升了30%。截至2016年12月,有几乎6亿1500万台设备在屏蔽广告。而且这一趋势估计还会继续增长。再来看Adobe Digital Insights的2017版报告,该报告表明,每过三年时间,互联网广告的花费会提升12%。这一数据是通货膨胀率的五倍以上,这就意味着广告主们正在为广告投入更多的金钱,同时这些广告却只能接触到更少的人。

增强现实用于广告和营销

全球重量级企业可口可乐已经在使用增强现实,并且最近还和支付宝合作了一个全新的AR项目,来庆祝中国农历新年。其他在尝试AR的巨头包括妮维雅,星巴克和大众汽车。虽然这些项目的效果还存在争议,但随着越来越多的消费者开始接触到这些体验,他们不会将这种手段看做是一个正常的广告工具,而是一个小花招或者新奇的玩法。

全球的增强现实广告投入数据也很惊人,从2016年的66亿美元到2017年的128亿美元,我们看到了几乎是成倍的增长。

而当我们来看AR和VR技术从2016年到2020年的发展趋势时,这一数据还出现了飙升,预计2021年将会达到2150亿美元的规模,当然,如果采用率足够高的话。目前最好的例子是2016年年中移动AR游戏《Pokémon Go》大获成功。该游戏超大的用户体量也促成了游戏开发商与Sprint、麦当劳、星巴克的合作。

AR技术目前还处在发展初期,像是微软、苹果和谷歌这样的科技巨头还只是在开发其首个版本的硬件和软件。制造商们正在努力研发可穿戴AR技术,像是微软的HoloLens和英特尔的Vaunt都在尽力把人们的数字生活变得前所未有的轻松。谷歌基于Web的AR研发项目去除了现有的AR框架的局限性,甚至苹果,据传言,也在开发类似的可穿戴技术。

虚拟现实用于广告和营销

虚拟现实VR是一种沉浸式的数字娱乐形式。借助传感器,用户的头部运动可以改变头显中的内容,让用户获得视角的改变和运动的感觉,最终的体验结果是奇异但真实的。

由于VR的逐渐推进,另一个副产品也开始大行其道,那就是360°视频,而这或许是未来大多数的VR广告会专注的领域。一些汽车制造商,包括奥迪和保时捷,已经开始向客户提供VR体验内容,可以让顾客看到不同配置和色调的汽车内饰。

VR设备制造商们需要搞清楚,他们目前面临的最大障碍就是设备的价格,这最终会决定这项技术在未来的消费者群体中普及的水平。目前的VR硬件对于大多数消费者来说还是过于昂贵了,比如PC VR头显的售价大概在300-600美元之间,这还不包括额外的游戏主机或高端PC。

高昂的价格会让普通消费者远离这些设备,但在不久的将来这一状况会发生改变,就像在上世纪90年代的PC一样。

VR和AR广告营销的未来

对于广告主来说,VR/AR这个全新的领域对他们最重大的挑战,是广告的位置。VR/AR中不会有播放广告的地方,不会有视频贴片广告,也不会有头部竞价。所以,如果这些都不能使用了,广告该放在哪儿呢?发布者该如何挣钱,广告主们又怎么提升关注度呢?

随着技术逐渐可以满足广告主在VR和AR游戏环境中加入广告的需求,我们很快就能看到更加吸引人和更具互动性的广告被推送给消费者。传统的广告牌会给包含AR的体验让路,让3D内容能够直接传达给消费者,而特别开发的VR内容也会开始出现在网络游戏中,以游戏内广告的形式。

为了理解VR中的广告和广告的位置会发生多大的变化,你可以想象一下这种场景:你正在你最喜欢的虚拟爵士酒吧里,从这张桌子看过去,你能看到你的朋友正在享受冰爽的啤酒。就在这时,AI系统会认出这瓶啤酒,并且给你提供一个购买建议。接下来你会收到一个一小时送达的选项,可以从亚马逊上直接购买同品牌的啤酒,要完成或者取消交易,只需简单地点击Yes或No按钮。而在另一个场景中,你可能正在玩最喜欢的VR游戏,或者在看电影,在你的VR设备中安装的AI软件会决定,在游戏或电影中最可能出现广告的地方是在可口可乐或百事可乐的瓶子(取决于你所归属的消费调查数据组)。

关于VR和AR广告营销的未来,还有很多问题需要我们探讨。但可以确定的是,是在这条道路的下一个拐角处,会有”The Next Big Thing”等待着数字营销人员,以及消费者。你准备好了吗?

最初发布于2018年3月23日

原文链接:https://www.forbes.com/sites/forbescommunicationscouncil/2018/03/21/digital-marketing-in-the-age-of-virtual-and-augmented-reality/

医疗领域新探索 增强现实让手术过程更安全

最近这几十年间,医疗行业取得了巨大的进步,其中就包括影像诊断学的新进展,比如超声造影、乳房X线照相术、计算机化断层显象(CT),磁共振成象(MRI)等等。这些技术不仅得益于其他领域的技术进步,同样也推动了微型摄像头、微处理器,以及实时数据串流等技术的进步,这些都革新了医生们在手术过程中使用影像的方式。

现在,基本上每个手术之前,都会使用上面一种或几种医学影像。即使是在急诊室,医生们也在使用超声波或CT来帮助引导治疗过程。无论是大型手术还是小型手术,这些影像现都可以在手术过程中实时呈现。

虽然医学影像技术已经取得了极大的进步,但直到现在,影像内容的显示方式基本上与上世纪50年代没有什么区别。无论是影像还是数据,都会呈现在一个2D的平面屏幕上,这就迫使医护人员必须把目光从患者身上移开,甚至从医生们正在进行手术的手上移开。更重要的是,这些影像并不是从观看者的视角来呈现的,而是取决于显示用的设备。在手术过程中,医生们必须使用自己的技能和想象力来理解这些数据,并且通过自己的想象,把这些影像投射在患者身上。此外,不同的视觉数据还会分别显示,所以医生们还不得不分配额外的注意力,把不同的影像和数据内容进行整合,比如将血管造影和CT的影像整合到某个患者的患处,而要掌握这种技能,需要数年时间的训练。

增强现实(AR),是一种可以把数字信息叠加到真实世界中的技术,在我们看来,这种技术有改变医学影像领域的潜力。根据我们在马里兰州混合现实中心(Maryland Blended Reality Center)的Augmentarium项目所做的研究,在我们预期的应用场景中,一个医生使用AR头显,比如微软的HoloLens,能够看到数字图像和其他数据直接叠加在他的视野中,在这样的场景中,头显可能会显示患者的浮动的超声心动图,以及有关患者动脉瘤的极为重要的数据,所有这些都直接呈现在手术区域内。医生无需看病人以外的区域中那些不同的显示设备。

AR能够同时呈现图像数据和患者的其他重要信息,这种潜力能够拯救生命,并且减少医疗事故。这对于那些在手术室以外进行的治疗过程尤为重要。手术室或许是医院中最安全的地方了,在这里,患者周围会有4到8名专职的医护人员。由于每个人都在手术前看过了医学影像内容,手术过程通常都是被妥善计划好的。麻醉师会监控患者的生理机能,并且负责疼痛管理和救命的药物。外科护士需要确保所有必要的设备立刻可用,而医生则需要完全沉浸到手术任务中。

但是,手术室中的时间是极为昂贵的,并且手术室也是严格按照选定的病例来预定的。这些选定的手术是所有医院收益的基本来源之一,所以确保手术室被完全占用并且正常运转是非常重要的。那些小型的,或者突发的手术很难安排到手术室。结果就导致,很多这些手术都是在手术室外面进行的,比如在特护病房或者急诊区。而正是这些没有在手术室接受手术的患者,会冒最大的风险。这时,我们就能看到AR给医疗领域带来的最大的好处。

与在手术室中进行的手术不同,在外面进行的手术得到的来自医护人员的支持会比较少,通常只有一个医生和一个护士,他们同时还有着其他的责任。通常患者的生命体征都不稳定,如果是在深夜,进行手术的医生可能刚刚接受培训不久,他可能同时要担负麻醉师和医生的角色。这个房间也不是专为手术而设计的,尤其是没有那些复杂的呈现影像的设备,更别提那些混乱的对患者生命体征进行监控的设备了。在跟踪患者的多种影像和数据信息的过程中,很容易错过极为重要的线索。而这时,只需一个AR显示功能,将所有的影像和患者的数据进行整合,并且让医生能够把注意力集中在患者身上,很明显能够提升手术的质量和安全性,并且减少与手术过程相关的并发症,进而节约成本。

除了因为更安全的手术过程而带来的成本的降低之外,还可能会因为减少对多余的屏幕的需求量而降低成本。目前,超声波、内窥镜和支气管镜检等设备都需要医院购买整套系统,每套系统都有其各自的显示屏。这些系统每套都可能会花费数十万甚至上百万美元。并不是因为不同的影像功能需要特殊的显示器,而是目前的经济模式所限,这些整套售卖的系统都包含互不兼容的显示器。电子病历有自己的显示屏,血流动力学监控器和呼吸机也有各自的屏幕,并且其数据也无法进行融合。而AR能够提供一个共享的屏幕,能够逐渐减少对患者每项数据进行监控所需的特定的显示器的需求,同时提供一个来自多个来源的生命体征数据能够实时整合的显示器。

要实现这些功能,目前的AR技术还需要进化,而医生们也需要了解这一概念。医生在佩戴这些硬件时,需要舒适且安全。在有些场景中,这些影像还需要尽量不透明,而其他的可能需要更加透明才可以。如果投射的影像是要用来进行手术过程指导的,还需要以极高的准确度来呈现。虽然还有各种各样的技术挑战,但我们相信,没有一个挑战是不能克服的。

在马里兰州混合现实中心,我们致力于研究将AR作为一个主要工具,来帮助医疗行业从业人员拯救生命,同时降低医疗成本。来自斯坦福大学、杜克大学和约翰·霍普金斯大学的团队正在研究融合和投射视觉数据,同时研发适合医疗行业使用的AR显示设备。

这会需要有才华的计算机科学家和有远见的医生们共同努力,让增强现实在医疗领域成为现实。我们对未来充满激情,到那时,我们在医疗领域使用AR技术,会像现在使用听诊器那样普遍。

最初发布于2018年3月21日

原文链接:https://hbr.org/2018/03/how-augmented-reality-will-make-surgery-safer

既提升效率又降低成本 VR/AR为新员工培训带来变革

石油和天然气行业正在面临一个问题:婴儿潮时代(1946-1964年间)出生的这一代人即将退休,并且其技能和经验也可能会失传。

即将蜂拥而上替代他们的是千禧一代(1980-2000年间),这是一群对生活和工作有着非常不同的看法的人。对于千禧一代来说,在一个工作岗位的平均时间只有两年。而在技术岗位,通常需要6个月到一年的时间来训练一个新人使用新的系统和程序。这种情况显然会导致大量的时间和精力的浪费。

霍尼韦尔,是一家涉及工程、汽车、化工、航空和航天等诸多领域的跨国集团,正在尝试全新的虚拟现实(VR)和增强现实(AR)培训工具,来填补这一鸿沟。他们的计划是大幅地减少培训时间,加速新员工的培训过程,同时重新定义对培训和工作的期待,以更加贴近千禧一代的价值观。

霍尼韦尔Connected Plant项目总监Youssef Mestari向我讲述了他们宏大的计划,他说,该计划已经促成了客户在某些领域培训和运营成本的下降,最高下降了约50%。

Mestari告诉我们,“问题在于知识的外泄。随着员工的离职,他们也会把知识带走,并且直到现在,也没有一个有效的方法,把知识保存在工厂或者企业之内。”

传统上,当员工离开他们的岗位时,会出现这种情况,退休员工会被要求把他们在工作生涯中学到的所有内容放到PPT或WORD文档中,这些文档可以用在类似课堂的培训环节中。

而这会引发一些问题,首先,新员工的学习体验是完全被动的。并且研究表明,当被动学习时,三个月后信息的留存率只有20%-30%。

“千禧一代有着不同的学习方式,”Mestari说。“在这样一个信息极为丰富的时代,’是什么’已经不再那么重要了,’在哪儿’更加重要。”

“所以,当我们在尝试把婴儿潮时代的员工的知识传授给千禧一代的员工时,一方面,老员工会给出’是什么’,而新员工则会说,我不需要这些,你只需要告诉我它们存储在哪儿,然后给我一个工具,我可以在适当的时间,当我需要的时候去获取它。”

霍尼韦尔的Connected Plant解决方案会让离职和新入职的员工同时佩戴Windows MR头显,以及HoloLens。首先,这可以让员工们精确记录下工作过程中所作的事。

接下来,当他们开始在新的岗位工作时,这些数据可以立刻被新员工获取到。通过使用AR技术,这些信息会被叠加到他们所看到的场景中。

这种主动的,在工作过程中的培训会提升对技能的记忆水平,在三个月之后,还会有大约80%的信息被保留下来。

Mestari说,这达成了一个一举四得的成果,解决了四个离职员工和新员工的知识技能传授方面的难题。首先是由员工离职引发的“信息外泄”,其次是以最高效的方式传授了知识,第三是这对通常任期只有两年的千禧一代尤其有效,第四是在三个月之后对知识留存的大幅提升。

“千禧一代会经常换工作,尤其是当工作不够令人兴奋时,他们希望工作能够贴近他们的生活方式,这就意味着要非常贴近数字化内容,要具备互动性、社交性和合作性。如果培训过程没有这些千禧一代已经习惯的元素,比如其在教育过程中接触的内容,或者玩Xbox和Playstation或使用社交媒体,那么这种培训手段会没有什么效果。”

“如果你只是想让千禧一代适应行业中那些陈旧的系统,这些系统通常包含了大量的纸质表格和复杂的选项,他们是不会适应的。如果让他们完全掌握这些技能,需要一年的时间来进行培训,并且如果他们再过一年就会离职的话,那么我们就是在浪费公司的钱,并且也是在浪费培训者的时间,同时也浪费了千禧一代的时间。”

这一培训项目使用了由老员工传下来的知识技能来模拟操作实践中的每个环节。这就意味着要开发六个工作中的活动场景:安装、配置、检测、维护、检修和更换部件。

“它可以让你通过操作来学习,”Mestari说。“你会完全沉浸在一个逼真的情景中,但你不需要为了学习而身处实际操作中,或者面临危险。”

“我们不能采购每个设备部件,来真正地重新搭建完整的培训环境,并且仅仅为了培训而搭建一套完整的设备,会耗费太多的金钱和空间。”

“但我们可以搭建这样一个环境,在其中新员工们能够体验到从管道中泄露的蒸汽,并且考察他们会如何应对这种状况。在这时你无法看清眼前的状况,因为到处都是蒸汽。我们可以通过VR和AR来模拟出这种情况,来培训这时的正确处理步骤。”

这一项目已经减少了海上钻井平台高达50%的维护成本。在其中一个使用场景中,以前有一个步骤需要通过直升机运送三位工作人员来执行维护工作,每次的花费大概在1万美元,而现在只需要一位员工。

“以往,我们需要有一个戴着手套,拿着扳手的人进行实际操作。另一个人拿着一叠纸质材料指出处理步骤,并且一步一步地进行指导,然后还会有一个专家在旁边待命,随时准备在遇到问题时介入其中。”

“现在我们让这一场景只需要一个人,我们减少了维护工作中所需的人力,这就提高了安全性,并且降低了维护工作的成本,而其他人将会在陆地上提供支持。通过使用AR头显,所有的操作都可以由语音激活,并且可以被实时跟踪。我们的客户告诉我们,这减少了50%的维护成本。”

很明显,在数字化时代,VR和AR在重新定义培训和工作实践中扮演重要的角色。那么,在行业中毕生积累下来的技能和经验是否能够被简化成数据点,可以让年轻一代通过尖端技术来学习呢?显然这就是霍尼韦尔Connected Plant解决方案的目的所在。

而且根据霍尼韦尔的实践,测试结果也很鼓舞人心。融合VR和AR技术的培训过程可以模糊学习和工作之间的界限,有着更快打造见多识广和可堪使用的员工的潜力,我们很确定,这种培训手段很快就会被广泛应用。

最初发布于2018年3月8日

原文链接:https://www.forbes.com/sites/bernardmarr/2018/03/07/the-amazing-ways-honeywell-is-using-virtual-and-augmented-reality-to-transfer-skills-to-millennials/