华为AR Engine细节发布:明年将会有2亿台手机支持华为AR Engine

6月22日至23日,以“开放&创新”为主题的华为终端·全球合作伙伴及开发者大会在北京举行。在本次大会期间,华为正式发布全场景生态战略,宣布全面推行耀星计划,设立DigiX创新工作室,通过芯端云开放平台,赋能合作伙伴,真正为用户带来更美好的数字生活。笔者参加了本次大会。

在6月23日的VR/AR分论坛期间,华为AR/VR产品线总裁李腾跃正式发布了VR SDK 2.0和AR Engine 1.0,并宣布将会面向所有开发者开放。之后,华为AR产品规划经理符谋政对华为AR Engine的主要特性及对开发者的支持进行了介绍。

为什么要选择华为AR Engine?

关注AR行业的开发者们应当都有了解,Facebook在2017年4月的F8开发者大会上发布了Facebook AR Studio,并展示了一些支持平面和物体识别的AR应用Demo,不过Facebook到现在为止,真正提供给开发者的只有AR Studio,可以做脸部检测的动态特效。而在之后的6月,苹果发布了ARKit,紧接着8月份Google发布了ARCore,大厂纷纷入局手机AR,2017年可以说是当之无愧的手机AR元年。

可能会有开发者心存疑惑,既然iOS和安卓平台上都已经有了AR开发工具,为什么要选择华为AR Engine呢?

据介绍,首先,华为AR Engine是东半球第一个可商业化“大规模部署”的AR SDK。在今年4月的华为P20中国区发布会上,余承东已经公布了对华为AR Engine和ARCore的支持,并且在发布会上展示了一些AR应用。在当时,虽然国内也有一些厂商发布了对AR SDK的支持,但其他厂商在发布这些平台之后并没有明显的开发者的支持,而在这方面,华为做了非常多的工作来支持开发者。

大规模商用的一个标志就是,华为AR Engine支持的设备数量是非常多的。目前,华为AR Engine已经在P20系列手机上运行,到今年10月升级Android P之后,会全系列支持采用麒麟970及以上芯片的设备,到12月,还会增加对麒麟960和6系列的芯片的支持。而在此之后华为发布的新机型将会全面支持华为AR Engine。预计到2019年6月,支持华为AR Engine的手机数量将超过2亿台,这是一个非常可观的数字。而同时支持华为AR Engine和谷歌ARCore也将成为华为手机的显著优势。

其次,华为AR Engine经过了一些顶级的应用开发商的严格考验,比如华为和腾讯合作对AR游戏《一起来捉妖》进行调试,还有网易的AR游戏《悠梦》和京东的AR家具展示应用,都取得了不错的反响。

需要注意的是,华为AR Engine只支持安卓平台,不支持iOS、Windows、Linux。华为认为,包括SLAM在内的很多AR特性都是和硬件强相关的,对摄像头,IMU甚至处理器的参数都有一定的要求,如果不经过硬件的调校,算法是没办法很好地运作的。所以华为AR Engine目前很专注地只支持安卓,只支持华为手机,这也是华为作为硬件厂商,软硬件结合的一个优势。

为了支持开发者们使用华为AR Engine,华为提供了完善的开发者的支持。比如在今年5月,华为AR Engine的Beta版已经在华为开发者联盟网站上线,开发者在这里可以下载SDK和技术文档,可以很方便地开发AR应用。

同时,华为也在与中国信息通信研究院牵头制定ARVR的API接口标准。希望联合国内的厂商,共同制定一个标准接口,减少开发者们的工作量。

华为AR Engine的主要技术特性

针对华为AR Engine的特点,除了目前业界标准的AR特性之外,华为AR Engine还加入了人脸跟踪、人脸Mesh、人脸光照、三维重建、手势姿态等等,后续还会加入尺度测量和光照检测等特性。结合华为手机的GPU和NPU,可以让这种处理能力更加快速和强大。

预计到今年四季度,华为AR Engine将会实现物体/场景重建、房间级多人SLAM、2D/3D图像跟踪、垂直面检测、遮挡计算等特性,之后的版本还会探索人体重建、大场景重建、Cloud SLAM,甚至是曲面检测等等。

接下来华为详细介绍了华为AR Engine 1.0目前已经具备的一些AR特性。

首先是SLAM,这是一个空间定位的特性,它会检测你在空间中的位置,给你一个世界坐标系,结合这个坐标系之后就可以定位,把真实物体和虚拟物体结合起来,同时还会做平面识别。与友商的AR SDK相比,华为AR Engine配合集合芯片和模组优化,功耗更低,能够实现在弱纹理下的快速初始化,并且具备更高的稳定性。同时,华为AR Engine的SLAM特性在今后会全系列支持麒麟9系列和6系列的芯片,到明年6月份,支持的设备会达到2亿台。

其次是平面检测,平面检测其实是基于SLAM,根据场景点云信息,识别类似桌面、地面和墙面等平面,并获取平面三维信息,之后叠加一些AR应用。华为AR Engine的平面识别速度、平面精度、平面贴合度相比友商的AR SDK均占据优势,并且平面和实际的环境会更加贴合,而不仅仅是简单的大块的平面。

接下来是光照检测,这是指识别场景中的光照情况,同时依据此光照情况改变虚拟物体光强变化。光照检测在AR体验中是非常重要的,因为虚拟物体摆放在真实环境中,要和真实的光照情况结合,不然会显得虚拟物体非常突兀,在使用华为AR Engine开发的AR应用中,照在虚拟物体的光照会根据实际的光照有不同强度的变化,据介绍,华为AR Engine的光强识别速度很快,会在10帧之内识别当前光强度的数值,并作出调整。

第四个重要特性是华为AR Engine特有的手部识别。华为AR Engine目前可以识别和跟踪十余个类别的特定手势,并实时输出识别结果和手部位置(>30fps),还可以输出手部关节点和骨骼,支持更精细的识别和操作。结合这一特性,AR应用可以实现非常有趣的手势特效,这种特性是友商的SDK现在不提供的,或者只提供类别识别,功能单一。此外,华为AR Engine对手势进行识别时,正反面的识别是一致的,左右手不区分,且对肤色不敏感。与之相比,有些算法对肤色比较敏感,容易出现错误。该特性目前已经集成在了华为AR Engine 1.0中。

另外华为AR Engine还做到了身体姿势识别,可以识别输入单人或双人的2D身体关节点和骨骼,支持多种姿态识别,由于采用了NPU加速,可以实现30pfs的实时输出。同时还可以做到识别输入单人的3D身体关节点和骨骼,支持转身,同样可以实现30fps的实时输出。据介绍,这一特性需要使用华为手机的NPU,没有NPU的助力,帧率可能会非常低,跑不动识别算法。与之相比,友商的算法只提供2D骨骼点,应用场景很狭窄,且基于CPU算法,帧率一般小于10帧,无法做到近乎实时的输出。

最后,还介绍了华为AR Engine在多机地图共享方面的研究,并且这一特性即将在后续版本的AR Engine中提供给开发者。多机地图共享是指将多台AR设备同步在统一的世界坐标系下,共享统一的虚拟信息。华为将其分为三个阶段,第一个阶段是用Marker/图像/物体来进行跟踪,第二个阶段是做一个基础的锚点,多人可以共享一个地图,第三个阶段可以做到全局地图,并且可以长期保存,可以在所有的地方启动全局地图。华为预计将在今年年底实现前两个阶段的地图共享。并且这一特性除了支持安卓平台,还可能会支持iOS平台,但由于iOS不会开放其底层的算法,华为可能会用一些比较简单的算法来实现地图共享。目前的华为AR Engine 1.0版本还没有这一特性,后续会陆续实现。

2018华为终端·全球合作伙伴及开发者大会已经结束,此次大会期间,华为AR/VR产品线高管分享了华为在AR/VR领域的布局及对开发者的支持。

最初发布于2018年6月28日

华为AR/VR产品线总裁李腾跃:发布VR SDK和AR引擎 5G就是为AR/VR而生!

6月22日至23日,以“开放&创新”为主题的华为终端·全球合作伙伴及开发者大会在北京举行。在本次大会期间,华为正式发布全场景生态战略,宣布全面推行耀星计划,设立DigiX创新工作室,通过芯端云开放平台,赋能合作伙伴,真正为用户带来更美好的数字生活。

在6月23日的VR/AR分论坛期间,华为AR/VR产品线总裁李腾跃正式发布了VR SDK 2.0和AR Engine 1.0,并宣布将会面向所有开发者开放。除此之外,还阐述了他对5G+AR/VR的看法。

在华为,AR/VR有着与手机同等的战略地位

李腾跃表示,华为已经将AR/VR产业当成重要的战略来做。李腾跃本人在华为工作了20年,历任首席技术战略规划专家、技术规划管理部部长、3G平台硬件总经理、产品经理、SE、无线硬件部长等岗位,主持和规划了华为公司多个重大创新和战略规划项目,负责了华为产品与解决方案从2G、3G到4G、5G的规划。现任华为ARVR总裁,负责华为AR&VR产业端到端的方向、战略、布局,负责AR&VR产品的商业成功和技术竞争力建设。他本人和华为都对AR/VR产业充满信心,相信两年以后这个行业会有大发展。

AR/VR在华为消费者BG的地位相当高,与华为现有的huawei、荣耀、Nova系列的手机产品处于同级地位,并单独成立了一个产品线,可见华为对AR/VR的重视程度。

至于华为的ARVR战略,李腾跃表示,华为的AR/VR战略是以手机为中心的,因为华为每年会出货一亿部以上的手机,今年可能会达到两亿部的规模,两三年之后甚至能达到四亿部到八亿部的规模。华为意在以手机为中心,让用户可以随时将手机与AR/VR连接起来,坚持端+云协同,E2E垂直构建差异化的竞争力。

“现在我们想的就是类似于当年做分布式计算一样,我们让计算和显示分离,让计算的能力无处不在,借用这些已经无处不在的计算能力,比如手机,平板,笔记本电脑和台式机,再加上好的显示,就可以让好的体验无处不在。这就是我们的战略。”李腾跃说道。

很多人可能会有疑问,为何华为手机同样基于安卓系统,却不主推Google的ARCore呢?李腾跃说,华为在市场上已经有了一亿部手机,而Google的ARCore只能支持高端手机,华为要把自己的一亿部手机全部用自己的AR引擎接进来,这也是开发者们更愿意看到的。当然ARCore华为手机也会也支持,但ARCore主打海外市场。华为也发布自己的SDK和自己的算法,目的在于通过数量更多的硬件,加上这些算法,进行垂直优化,让开发者的应用在华为的平台上跑的更顺畅。

正式发布VR SDK 2.0和AR Engine 1.0

作为本次VR/AR分论坛的重头戏,李腾跃宣布,华为正式发布VR SDK 2.0和AR Engine 1.0,将面向所有开发者开放,并且目前已经上线了华为开发者平台。

华为希望合作伙伴们可以借助这些引擎和工具去开发AR/VR应用,将来这些应用都可以运行在华为的手机、平板和笔记本电脑上面。这个是一个很大的存量市场,并且华为的下一代设备也会支持。“我们最大的梦想是将8亿台设备都连接起来,做千亿市场。我们会把这些都向所有的开发者开放,我们一起共同来推动这个产业。”李腾跃表示。

AR方面,预置华为AR Engine的华为中高端手机年发货将至少超5000万台,华为AR Engine全面支持麒麟旗舰芯片和中档芯片。华为采用AR Engine+ARCore双栈策略,AR应用可以无感知调用华为AREngine能力和Google ARCore能力。当然,在海外华为将主要使用ARCore,但在国内,华为坚定地用自己的生态,重点是中低端还有很多手机,ARCore是无法支持的。

在VR方面,华为VR SDK 2.0推出了Native API,同时全面支持Unreal和Unity。

在昨天的主论坛期间,华为宣布推出“耀星计划”,而AR/VR也是耀星计划的重点支持领域。李腾跃表示,华为会拿出1000万人民币的扶持基金,奖励优质的AR/VR内容,鼓励开发者进行开发。其次,华为每年会向5000万的目标用户推送AR相关的手机通知,向500万的目标用户推送VR相关的手机通知,未来这一数字希望能够上亿。在硬件支持方面,华为会拿出1000套设备,合作伙伴可以申请用华为的手机和硬件去开发AR/VR应用。最后在品牌推广方面,华为会选择做的比较好的应用,在新品发布会、关键位置、线下门店等地方帮助推广,提供价值500万的推广资源,帮助提升开发者的品牌价值。

畅想5G+AR/VR的无限前景 鼓励大家共同开放创新

作为曾经经历过2G、3G,直到4G和5G研发及应用的“元老级”人物,李腾跃表达了他对5G+AR/VR的前景的看好。在他看来,5G是未来的一个很大的机会,现在华为的5G可以说已经成为行业的No 1。华为当时定义的5G标准是10Gbps的传输速率,1毫秒的延迟。而从目前来看,AR和VR是唯一的支持5G的杀手级应用。5G就是为AR/VR而生的,因为AR/VR既需要高带宽,又需要低延迟。

最后,李腾跃表示,华为此次开发者大会的主题叫“开放&创新”,希望大家能够共同地开放创新,一起去推动AR/VR行业,一起把AR/VR产业做大做强,大家都有机会赢得未来。

最初发布于2018年6月23日