苹果专利:各种头显内CGR环境中虚拟对象的有形可视化

近日,美国专利商标局发布了Apple的一项专利申请,涉及计算机生成的现实(CGR)环境,更具体地说,涉及一种用于在头显内的CGR环境中提供虚拟对象的有形可视化的技术。Apple区分了将来的Apple头显(或各种头显)可能支持的CGR环境,例如VR(虚拟现实),AR(增强现实),MR(混合现实)和AV(增强虚拟)。

苹果首先指出,计算机可以将计算机生成的图像完全投影或部分叠加在用户的视野中,以提供用户可以体验的CGR环境。CGR环境可以基于不同类型的现实。

头显可以选择检测用户的真实运动并进行投影,并在CGR环境的一系列视觉图像或视频中模拟这些运动。

通过在CGR环境中投影或模拟的这些运动,用户可以与CGR环境中的对象进行交互。

Apple的专利涵盖了在CGR环境中提供虚拟对象有形可视化的技术,其中CGR环境为用户提供了与CGR环境进行交互的逼真的体验。

因为这种体验是现实和身临其境的,所以用户可以轻松地将CGR环境中的虚拟(因此是无形的)对象混淆为存在于CGR环境之外的真实的有形对象。

因此,该专利所描述的技术通过使用户能够快速且容易地在视觉上识别CGR环境内的对象是非有形的虚拟对象还是对应于真实环境中的真实物体(因此是有形物体),在用户与CGR环境交互时,增强了用户的便利性并进一步为用户提供了增强的安全性。

该技术不仅限于为特定类型的CGR环境提供有形的可视化,而是可以在任何类型的CGR环境中实现。这些环境包括基于混合现实的CGR环境和基于虚拟现实的CGR环境。

虚拟现实(VR)环境(或虚拟环境)是指被设计为完全基于计算机生成的一种或多种感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,计算机生成的树木图像,建筑物和代表人的化身,就是虚拟对象的示例。一个人可以通过模拟人在计算机生成的环境中的存在和/或通过模拟人在计算机生成的环境中的身体运动的子集来感知和/或与VR环境中的虚拟对象进行交互。

混合现实(MR)环境是指模拟环境,旨在将来自物理环境的感官输入并入其中。在虚拟连续性上,混合现实环境介于完全真实的物理环境和虚拟现实环境之间。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指一种模拟环境,其中一个或多个虚拟对象叠加在物理环境中。例如,用于呈现AR环境的电子系统可以具有透明或半透明的显示器,通过该显示器,人可以直接查看物理环境。该系统可以被配置为在透明或半透明的显示器上呈现虚拟对象,使得使用该系统的人感知叠加在物理环境上的虚拟对象。

增强虚拟(AV)环境是指一种模拟环境,其中虚拟或计算机生成的环境合并了来自物理环境的一个或多个感官输入。感觉输入可以是物理环境的一个或多个特征的表示。例如,一个AV园区可能有虚拟的树木和虚拟的建筑物,但是其中的人有着真实人物拍摄的照片中的人脸。另一个示例是,虚拟物体可以采用由一个或多个成像传感器成像的物理物品的形状或颜色。或者还可以这样示例,虚拟物体可以采用与太阳在物理环境中的位置一致的阴影。

有许多不同类型的电子系统,使人们能够感知和/或与各种CGR环境进行交互。包括头戴式系统,基于投影的系统,平视显示器(HUD),具有集成显示功能的车辆挡风玻璃,具有集成显示功能的窗户,放置在人眼上的镜片状的显示器(类似于隐形眼镜)。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。

头戴式系统可以具有透明或半透明的显示器,而不是不透明的显示器。透明或半透明的显示器可以具备一种介质,代表图像的光通过该介质被引导到人的眼睛。

显示器可以利用数字光投射、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。该介质可以是光波导、全息介质、光组合器、光反射器或其任意组合。在一个示例中,透明或半透明显示器可以被配置为选择性地变得不透明。

基于投影的系统可以采用视网膜投影技术,该技术将图形图像投影到人的视网膜上。投影系统还可以被配置为将虚拟对象投影到物理环境中,例如,显示为全息图或显示在物理表面上。

在一些示例中,系统#100包括设备100a。设备100a包括各种组件,例如处理器102,RF电路104,存储器106,图像传感器108,方向传感器110,麦克风112,位置传感器(多个)。一个或多个116,扬声器118,显示器120和触敏表面122。这些组件可选地在设备100a的通信总线150上通信。

在一些示例中,系统#100的元件在基站设备(例如,诸如远程服务器,移动设备或膝上型计算机的计算设备)中实现,并且系统#100的其他元件在头戴式设备中实现。显示(HMD)设备供用户佩戴,其中HMD设备与基站设备通信。

在一些示例中,系统#100包括两个(或多个)通信中的设备,例如通过有线连接或无线连接(HMD +MacBook或iPhone或iPad)进行通信。

美国专利局今天发布的苹果专利申请已于2019年第二季度提交,其工作可追溯至2018年第二季度。考虑到这是专利申请,因此目前尚不知道这种产品上市的时间。

最初发布于2019年11月4日

原文链接:https://www.patentlyapple.com/patently-apple/2019/11/apple-patent-describes-tangibility-visualization-of-virtual-objects-within-various-headset-environments.html

华为发布超轻薄VR Glass 搭配NOLO套件实现6DOF交互体验

在9月26日下午的2019华为年度旗舰新品发布盛典期间,除了Mate30系列手机之外,华为还正式发布了其在VR领域的最新硬件产品,HUAWEI VR Glass。

此次亮相的HUAWEI VR Glass与两年前推出的VR2类似,本身并不具备运算单元,需连接手机或电脑方可使用。其配备了3DOF的手柄,并且,也可以配合NOLO CV1 Air交互套件实现6DOF的交互。

硬件方面,HUAWEI VR Glass的产品外观已经十分接近普通的眼镜,采用了可折叠风镜造型。其重量仅166克(佩戴部分),机身厚度仅26.6mm,采用左右两块独立的Fast LCD显示屏,3200*1600分辨率,PPI高达1058,并具备创新的动态渲染技术,改善画面拖影,降低。并配备了双半开放扬声器。

内容方面,HUAWEI VR Glass引入华为VR视频平台,同时还聚集了10家VR视频平台的内容。此外,HUAWEI VR Glass还支持VR手机投屏,打破了VR和手机的界限。根据连接设备的不同,支持手机模式和电脑模式。

在发布会现场体验区,华为还与合作伙伴联合展示了结合NOLO CV1 Air交互套件和PPGUN体感枪的VR体验内容。

NOLO CV1 Air是NOLO VR基于HUAWEI VR Glass深度定制的6DoF VR交互套件,为HUAWEI VR Glass提供 头手6DoF定位交互支持。该套件由定位基站、头盔定位器和手柄三部分组成,已获得华为DFH认证。

该套件轻巧便携,性能强劲,定位精度达到±2mm、定位延迟低于20ms;得益于本次深度定制,用户只需连接NOLO CV1 Air,戴上HUAWEI VR Glass即可进入沉浸式VR游戏世界,不仅可以畅玩PC 端大型VR游戏,也可浸享移动端NOLO HOME平台的6DoF VR游戏。

售价方面,HUAWEI VR Glass售价2999元,将于12月开售。

HUAWEI VR Glass是华为推出的第三款VR硬件产品,在此之前,华为曾推出支持Google Daydream标准的手机VR眼镜、主打巨幕观影体验的HUAWEI VR 2。

但传闻中的华为AR眼镜仍然没有消息。早在去年11月CNBC对华为消费者业务CEO余承东的专访期间,余承东便透露华为正在开发一款AR智能眼镜。

之后在今年4月,华为向EUIPO(欧盟知识产权局)及英国IPO(知识产权局)申请了两个商标,名称分别是“HUAWEI AR Glass”及“HUAWEI VR Glass”。

华为发布基于虚实融合的“数字现实”黑科技Cyberverse

在8月11日的2019华为开发者大会上,华为给大家带来一个惊喜——基于虚实融合的全新“数字现实”黑科技,华为fellow罗巍发布了“Cyberverse”,旨在给消费者带来全新的交互体验和视觉体验。

据华为介绍,数字世界和物理世界的结合,将赋予消费者和开发者无限的想象空间。罗巍称,此次发布的“Cyberverse”(名字来源于Cyber和Universe)是地球级的、和现实无缝融合的、不断进化的数字新世界。

Cyberverse添加了3D地图及虚拟融合的全新体验,其改变了步行导航的方式及现实体验,用数字化彻底改变人们的生活方式和交互体验。

Cyberverse拥有广泛的应用场景,包括景点/博物馆/智慧园区、机场/高铁站、商业空间和医院等,使用者可以看到物理空间的数字属性(如楼宇虚拟标牌、楼宇出入口的虚拟呈现和园区服务设施的虚拟标牌等)、智慧园区IoT信息(如室内温度湿度,空气质量和人数等楼宇智慧信息、会议室名称,预定情况与是否有人等会议室智慧信息)和3D步行导航等,带来虚拟融合的全新体验。

Cyberverse主要拥有四大核心能力,包括全场景空间计算能力,超高清地图HDMAP能力,强场景理解能力和沉浸式渲染能力,并将对开发者赋能(包括云端与端侧)。

Cyberverse的全场景空间计算能力,使得手机可以解算出自己的厘米级定位,一度以内定姿的高精度位姿信息,从而实现真实世界与物理世界的无缝融合。超高清地图HDMAP实现了高效率,高精度的HDMAP构建能力,可以自动化的提取周围环境的特征信息,自动构建多源多维HDMAP,使得手机准确获取周围世界的3D信息。强场景理解能力,融合了深度学习技术和地理位置信息,极大的提升了手机准确识别物理环境与物体的能力。超逼真的虚实融合沉浸式渲染能力,使得Cyberverse的绘制效果更加逼真。

罗巍在会上表示:“我们注意到不管白天黑夜或四季轮回,人类都具备极为出色的空间位置感知和环境理解能力,这种发现直接促成了我们的核心算法。通过启发式学习和模拟该能力,我们成功构建出类似于大脑定位和环境感知的计算机模型,初步实现了业界领先的厘米级定位和1度以内的定姿能力,以及与人类视觉相同的夜晚定位和长时间导航能力。模型还具备与大脑类似的学习和演进能力,空间计算精度可以不断提升。“

”另外,我们还打造了包含真实世界的超大规模数字世界。就像放电影一样,把虚拟世界不断播放给AI模型观看,使得模型在很短的时间内就具备超常的判别能力和识别精度。“

”最后是高效地图生产。我们打造了地图生产流水线,从地图采集到可发布地图,已经完成90%以上的自动化流程,每天可以生成上万平米的地图,采集隔天即可输出地图成品,保证了大规模地图生产效率。”

罗巍表示,Cyberverse具有多元信息呈现方式,并借助了边缘计算、大数据和AR等技术,为用户带来了超视觉体验,在5G时代拥有不可估量的价值。

此外,罗巍还表示,在2019年年底前,会在一线城市提供5个测试开发场景,在2020年2季度结束,会在100个地点提供服务,在2020年4季度结束,会在1000个地点提供服务。在5G的大环境下,Cyberverse将会更好的服务于用户。

最初发布于2019年8月11日

美国陆军和政府机构这样应用增强现实和虚拟现实

士兵们在被送往战场之前需要训练数月甚至数年,并且在他们返回后还要继续训练。美国陆军希望确保他们的专业知识保持敏锐,无论他们位于何处。而虚拟现实可能会有所帮助。

“在你被部署后,训练还没有结束,”美国陆军联合兵种训练中心副总指挥Maria Gervais少将说。“我们希望能够一次又一次地进行训练,同时改变一些变量,当士兵们进入第一场战斗时就非常有自信。”

美国陆军正在利用已经在商业游戏领域应用的技术来更新其沉浸式培训能力,并于去年11月向微软授予了一份价值4.8亿美元的合同,用于开发可用于培训的增强现实系统原型。“可用的技术已经出现了,”Gervais说道。

联邦机构如何使用AR和VR

增强现实和虚拟现实正在消费市场中崛起,VR头显变得越来越便宜,越来越多的公司开始寻找在平板电脑和智能手机上应用AR的新方法,只要看看《Pokémon GO》和同类游戏的受欢迎程度就知道了。

IDC Government Insights的研究主管Shawn McCarthy表示,一些联邦机构也开始利用这些技术,尤其是增强现实技术,并且领先于这一趋势。

“这真的是出于高度专业化的目的,”McCarthy说。“ 最大的用途是培训,维护是次要的。例如可以让工人在飞机腹部时访问维修记录和部件照片的AR眼镜。“

美国陆军一直在将既有的旧系统结合起来创建虚拟培训环境,但他们意识到,需要具有可重新配置选项的虚拟培训体验,这些选项可以在任何地方使用,负责美国陆军综合训练环境(Synthetic Training Environment)的 Gervais说。

她曾与科技公司会面,评估经过改装可以用于军事用途的现成产品。去年11月与微软的合同要求该公司为美国陆军的集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)提供2550个AR/VR原型设备,基于微软的HoloLens。如果原型设备满足需求,美国陆军可以购买多达10万台。

起初,由于对技术发展速度的担忧,美国陆军将最后期限设定在2025年到2030年之间。但由于游戏视觉技术的快速提升,Gervais现在希望很快就能获得满足需求的AR/VR体验。

“我们需要一个基于通用数据和架构的环境,”她说。“正如我们今天所看到的那样,我们必须能够为更加复杂和更具挑战性的环境做好准备。”

VR让用户体验历史遗迹

其他机构正在转向更具创造性的方法,以及外界的帮助,来开发增强客户体验的AR/VR内容。

美国战争纪念碑委员会(American Battle Monuments Commission,简称ABMC)开发了一个智能手机App,可以让人们虚拟地参观法国北部奥马哈海滩附近的诺曼底美军公墓,这是埋葬9387名在诺曼底登陆时阵亡的美国士兵的地点。该App还在网站上为游客提供了有关他们所看到的内容的更多信息。

ABMC的对外事务主管Tim Nosal说,这家小型机构在全球范围内维护着26个墓地和30个纪念馆,外包了该App的制作工作。

当虚拟现实内容平台TimeLooper向国家公园管理局(National Park Service,简称NPS)询问有关华盛顿纪念碑VR体验的信息时,NPS开始与这家公司合作。

在林肯纪念堂的电梯被关闭,行动不便的游客无法进入主室时,TimeLooper制作了这段VR体验,可以使用Cardboard头显帮助游客在不使用楼梯的情况下观看包含林肯塑像的房间。

NPS的发言人Paul Ollig说,该公司还在2018年在Petersen House周围创建了一个VR体验,这里是林肯总统去世的地方,当时它必须关闭,以安装灭火系统并进行其他修理工作。

“当你看着那个房间时,你会感受到当晚事件的重要性,”他说。“我们发现,在这种情况下体验虚拟现实的人会非常感谢我们能提供这种替代品。”

NPS礼品店现在销售(或偶尔免费提供)Cardboard头显,当与智能手机配合使用时,可体验各种地标(包括越战纪念碑)的3D内容。TimeLooper处理这些业务,并管理应用程序更新。Ollig说,这就是与外部供应商合作的优势。

“该技术的复杂程度可能超出了大多数政府机构的能力,”Ollig说。“当我们找到一个愿意以符合我们要求的方式与我们合作的伙伴时,我们可以向公众展示他们以前从未见过的东西。

政府机构对AR和VR的应用有望增长

McCarthy表示,尽管一些机构可能认为AR/VR技术无用,但价格较低的新解决方案可能会改变他们的想法。

“它为你提供了更多的灵活性,以便在任何地方访问信息,”他说。“我不认为这是无聊的。”

他说,联邦、州和地方政府去年在AR/VR解决方案上花费了大约3.26亿美元。IDC预计到2021年该金额将达到92亿美元,这标志着政府对AR/VR使用量的显着增长。

增强现实和虚拟现实能够向人们展示他们无法看到的东西,其面临的最大挑战可能是几乎无限数量的潜在应用场景。

“它永远不会取代公园护林员或其他的我们讲故事的传统方式,”Ollig说。“但它是我们参观这些历史遗迹的的另一种工具,并且可以帮助人们理解为什么保护它们很重要。“

哪些政府机构在使用AR/VR?

根据McCarthy的说法,美国国防部是目前在增强现实和虚拟现实领域投入最大的政府机构,其次是美国航空航天局和国土安全部。

“美国宇航局通常不是资金投入排前三的机构之一,”他说。“但由于他们所做的所有训练和尖端研究,他们长期以来一直是这个领域的重要成员。”在接下来的几年间,他预计会有更多的机构利用这项技术。

“在农业部处理单据的人现在可能不需要虚拟现实,”McCarthy说。“但如果事实证明美国农业部希望每个人都沉浸在工作中,那么它可能会变得很有必要。

最初发布于2019年5月24日

原文链接:https://fedtechmagazine.com/article/2019/05/army-nps-embrace-virtual-and-augmented-reality

增强现实变革人机交互 这就是建筑行业的未来

“简而言之,我们相信增强现实将永远改变我们使用技术的方式。” – Apple公司首席执行官Tim Cook

到2023年,增强现实市场预计将达到605.5亿美元,该技术正在迅速改变建筑师和工程师的工作方式。

增强现实(AR),也称为空间计算,正在迅速发展并扩展到无数的商业和工业应用中。

空间计算被用作广义术语来描述人类与同一环境中的计算机交互的方式。换句话说,在空间计算中,机器与人类处于相同的空间,而不是被包含在一个单独的位置。

因此,增强现实系统使数字媒体通过交互式设计和手势操作,让人感觉就像真实存在一样。

根据Markets and Markets的预测,到2023年,全球增强现实市场预计将达到605.50亿美元的规模,在2018年至2023年的预测期内以40.29%的复合年增长率增长。顶级技术巨头的兴趣和投资增加会直接推动增强现实市场的增长。

总体而言,由于人们在消费、商业和企业用途中越来越多地使用智能手机、平板电脑和其他设备来应用AR技术,AR软件市场将在此期间引领增长。

在越来越多的AR应用需求出现在医疗保健,零售和电子商务领域的同时,建筑和企业应用对AR的需求仍在不断提升,这其中还有很多新兴的机会。

参与AR投资和收购的大公司包括谷歌,苹果,英特尔,三星和Facebook。

增强现实:不仅用于游戏

AR技术可以让人类和机器进行交互和协同创作,反过来,也会改变企业实现其愿景的方式。

虚拟现实和增强现实不仅仅适用于游戏。它们是一种改变游戏规则的工具,可以在几乎所有行业中展示它们的能力。

虚拟、增强和混合现实技术在过去几年中发展很快,从最常见的游戏和娱乐领域,发展到成功的商业用例,包括智慧城市规划。

智慧城市规划和建设:增加可能性

例如,在建筑行业,沉浸式技术可以帮助智能城市的发展,比如增强现实正在成为建设过程中不可或缺的一部分。

城市收集了大量的数据,而增强现实可以使数据可视化。通过使用AR,建筑师可以找到一种更具创造性和直接的方式,通过创建引人入胜的可视化体验,向城市规划者展示他们的项目在现实生活中的样子,从而触发更快的决策。

它可以用来“建造”一个新的交通中心或一个城市的下一座摩天大楼。在所有情况下,使用增强现实技术都可以使工作更轻松。

建筑项目中的增强现实模型

现在,在业务中使用增强现实平台,可以轻松设计智能城市项目。WakingApp是一个专业的增强现实工作室,使工程师和建筑师等专业人士能够利用最新技术。项目在构建之前就能实现可视化,避免了很多错误。

WakingApp技术的有趣之处在于,开发人员和设计人员无需拥有任何编码经验即可利用该工具集。他们可以快速创建高质量的AR体验,以有限的编码经验来展示建筑项目。

建筑项目中的增强现实模型

MLM集团是一家工程、环境和楼宇控制设计顾问公司,他们能够用WakingApp的AR技术,使用AR Studio转化其项目,并展示给客户。

“增强现实体验为建筑项目节约了成本,增加了价值,并使整个建筑过程更加高效。因为从一开始,工程师和建筑师就能够创建最终项目的详细交互式示例,” WakingApp首席执行官Matan Libis表示。

“AR为建筑商及其客户提供了远远超过任何蓝图或3D模型的理解水平,并且通常可以在很短的时间内创建AR体验,为用户提供实用性和功效的提升,”他说。

微软HoloLens和增强现实可以帮助加快建设项目

微软的混合现实头显HoloLens可以给2D蓝图赋予生命。在施工现场,工人可以将3D模型与实时数据相结合。他们可以看到现实世界中的问题和缺陷,并在建造之前修复它们。

这加快了施工过程并提高了最终产品的质量。使用这种技术,建筑工人可以将他们的技能提升到一个新的水平,增加他们的知识并使用它来做出更好的决策。

最初发布于2019年4月21日

原文链接:https://interestingengineering.com/augmented-reality-the-future-of-building

VR/AR/5G齐上阵 2019央视春晚首次实现5G网络4K直播

1月31日,中央广播电视总台召开2019年春晚新闻发布会,介绍本届春晚节目亮点及多项技术创新应用,同时公布了春晚主持人阵容。

中央广播电视总台央视分党组成员姜文波在发布会上介绍:“2019年春晚技术团队一直在追求将最新的技术、最先进的设备应用到总台2019年春晚节目的制作中,为创作出更优秀的节目服务。”可以说,今年春晚的最大亮点之一就是全方位的科技驱动和技术创新。

今年的央视春晚主创团队在4K、5G、VR、AR、AI等多方面进行技术创新,真正带来一场艺术与科技完美结合的春晚。中央广播电视总台央视分党组成员、副总编辑朱彤表示:“这是技术革新与艺术创新在人类文化艺术长廊上的一次有力对接,也是春晚历史上的一次重要创新。”

据了解,今年央视春晚将首次实现春晚在4K超高清频道直播,并全程采用5.1环绕声。如果用户通过中央广播电视总台4K超高清频道(CCTV-4K)收看春晚节目,配置4K超高清图像+5.1环绕声,就能带来更高清晰度、更宽色域、更高动态范围视频和环绕声音频体验,在家就可以享受到影院的视听效果。

在移动通信最新最尖端的发展趋势5G网络高速发展的背景下,中央广播电视总台在2018年年末与中国电信、中国移动、中国联通、华为公司共同签署了5G新媒体平台合作建设框架协议,打造了我国首个国家级5G新媒体平台,此次5G网络也在春晚分会场的内容传输中得到了测试和应用。

1月13日,在春晚深圳分会场成功开展了5G网络4K电视传输测试,除夕夜中,两台基于5G网络的4K机位将纳入深圳分会场的制作系统,用于春晚的4K电视直播。1月28日,在长春分会场成功开展了5G网络VR实时传输。用户可在央视新闻的融媒体节目直播《我要看春晚》中看到通过5G网络下传输的超高清VR全景信号,这也是5G网络与VR制作技术首次结合应用在电视融媒体节目的直播中。这些创新成果都将为2019年春晚带来耳目一新、为之一振的视听体验。

此外,今年春晚的技术还实现了多项突破。春晚首次应用智能语音识别字幕制作技术;首次使用4K超高清AR在线包装技术;全面运用天鹰座和无人机等多个特种设备用于拍摄;在主会场一号演播大厅使用4K超高清主屏和大量冰屏,为春晚带来梦幻般的舞台效果。

最初发布于2019年2月1日

专访HTC王雪红:在VR方面的布局已完成 今年是积极乐观的一年

HTC近日在美国消费电子展(CES)期间发布了Vive Cosmos、Vive Pro Eye等一系列的Vive软硬件新品,董事长王雪红连日在会场与客户直接交流,今天会中她抽空接受采访表示,今年AR/VR(增强现实/虚拟现实)加上AI(人工智能)、 5G、区块链技术开始结合起来,将带来非常长远的发展,今年对HTC是积极乐观的一年。

她说,HTC在VR产业的布局已经差不多完成,因为HTC有平台、内容,加上有最好的硬件,而且HTC提出的是「整合」解决方案,「可以走很久」,因此格外让人兴奋。

不过,王雪红也强调,科技发展不进则退,HTC还是要很努力、要积极。

王雪红说,VR(虚拟现实)AR(增强现实)现在是刚刚开始发展而已,尤其又加上AI(人工智能),而且5G明年就会开始越来越多,还有区块链的加入,这将是非常长远的发展,很多客户的态度也非常友善。她认为,VR的商用市场在今年会开始发展,但消费市场预计会在2020年发酵。

王雪红还表示,投入VR产业是对人类非常有帮助的事。

在配备眼动跟踪技术的Vive Pro Eye推出后,王雪红指出,许多VR新的内容像是演讲训练、教育、会议可以深入其境等,都有很好的解决方式,HTC在全世界也有很多合作伙伴,今年会再度跟法国卢浮宫合作,让VR领域不只是游戏。

例如HTC在CES展示的VR内容中,有课程可教导孩子克服演讲的恐惧,在虚拟环境控制现场听众的反应、人数多少,让小孩练习演讲时眼球应该放哪里,等等。她说,VR对教育将造成非常大的影响。

并且王雪红也认为,VR和手机的整合是迟早的。

在被问及手机时,她强调,HTC还是会努力去做手机,重点是如何为消费者带来价值,而且5G是非常好的助力,只要市场准备好,HTC马上就会跟上,HTC的旗舰手机也会跟着5G走,「5G手机的推出是迟早的事」。

她进一步说,卖终端不只是硬件,还要平台加上内容,认为「服务、平台、内容是长长久久的事情」,当被问及是否能带动毛利率时,她坦言,「当然是这样,这是我该解决的」。

最初发布于2019年1月10日

柯尼卡美能达进军增强现实 推出AR应用及内容创作平台

柯尼卡美能达已经进入了增强现实(AR)领域,它发布了一款灵活易用的基于云端的增强现实应用,能够为打印的材料赋予生机。

该应用发布于大约一个月前,名为genARate,不需要写代码,也不需要任何经验就能够使用,可以在打印的材料上叠加数字内容,比如视频、动画或3D模型。

其目标用户包括商用打印机、公司机构、复印店和营销部门等。

同时,柯尼卡美能达还推出了genARate Studio这款增强现实工具,用户在浏览器中登陆之后,可以快速开始创建一个增强现实体验。据称该工具“非常直观”,有着拖曳式的操作界面,简化了整个创作过程。

通过一款智能手机或平板App,消费者们能够查看并且与虚拟的物体互动,该App能够自动识别图像,并且在屏幕上呈现出对应的3D内容。

柯尼卡美能达表示,这款工具提供了一种更易激发兴趣的互动方式,可以让潜在的消费者与内容进行互动,并且提升转化率。这些互动体验还能被用来提供更加详细或更具深度的信息。

柯尼卡美能达欧洲分部商业创新中心的项目交付与运营总监Christian Kiesewetter认为,商业用户可以“充分利用打印的材料,同时成为数字化的先锋”。

“我们想要提供的不只是打印的材料,我们想提供给我们的核心客户一些新东西,能够帮助他们转型,帮助他们进入数字时代。”

“增强现实能够将打印材料和数字内容连接起来,并且我们将其看作是一个巨大的机遇。比如在这个到处都是包装盒和标签的世界里,你只有很受限的空间来进行打印,而增强现实能够为这些打印制品带来提供更多内容的新方法。”

他补充道:“增强现实本身并不是什么新事物,所以我们想要专注于尽量简单易用的体验。有了genARate,只需点击几次鼠标,你就能够创建AR体验。”

genARate的专业版本包括了内建的分析工具,可以统计应用使用情况和用户对内容的参与度。柯尼卡美能达表示,这种有着简单的定价结构的托管服务能够非常快速、简单并且容易地启动并运营一个AR项目。同时,柯尼卡美能达还提供了一个详细的说明文档。

最初发布于2018年12月6日

原文链接:https://www.printweek.com/print-week/product-news/1166298/konica-minolta-enters-augmented-reality-market

苹果与谷歌的AR平台之争刚刚开始 但谷歌已经输在了起跑线上

在上周的WWDC 2017开发者大会期间,终于等到了苹果在AR领域真正的行动:苹果推出了名为ARKit的平台,并且表示,这一平台将成为世界上最大的AR平台。是不是世界最大我们不知道,但至少在与另一家巨头谷歌进行对比时,可以发现,苹果在AR领域的进展已经领先谷歌一大步。

苹果ARKit的优势所在

我们先来看看苹果的ARKit。据本次开发者大会提供的信息,ARKit可以让开发者们利用来自于相机和传感器的详细数据,将数字对象投射到3D空间。通过现场的演示可以看出,苹果的ARKit在算法和优化上下足了功夫,效果应该说超过了现有的手机端AR应用。

并且,ARKit平台提供了“世界跟踪”功能,这项功能依赖于一项视觉惯性测距的技术。使用iPhone或iPad的摄像头和运动传感器,ARKit可以在周围环境中找到一些点,当手机移动时,ARKit仍然能够追踪它们。它不会创建一个3D模型,但它可以将物体“钉在”某一个点,然后改变物体的尺度和视角。它也可以在环境中找到一个平面,让用户把虚拟物体放在地板或者桌子上。

另外,ARKit可以改善现有AR应用程序的各个元素,例如强大的物体缩放功能。苹果公司表示,ARKit的运行仅占用了手机CPU的一小部分,可以减少AR所带来的资源消耗。ARKit不会改变iPhone或iPad的基本跟踪功能,它只是让更多的开发人员可以使用,并且不再需要构建自己的跟踪和映像系统。

天猫互动技术专家蒋佳忆认为,最近一年,国内国外几乎所有SDK公司都在基于单目做SLAM算法的研发,然而除了Vuforia以外,并没有哪家拿出来可以服众的单目SLAM算法SDK,或多或少的,各家都有自己存在的问题。

而苹果展示的ARKit效果足以超过所有其他玩家,并且,这还是iOS原生算法。这就意味着所有APP不需要集成任何SDK就可以具备目前市面上最好的AR能力,可以说对大部分SDK都是致命的打击。

谷歌Tango平台新进展

谷歌在今年的I/O 2017开发者大会上也展示了Tango平台的全新进展。根据之前的报道,谷歌的AR平台Tango能通过手机摄像头和处理器配合,将现实世界和虚拟图像无缝融合。

具体来说,Tango平台融合了Motion Tracking运动追踪技术、Area Learning场景学习技术和Depth Perception深度感知技术,结合一系列的摄像头、传感器和芯片,能实时为用户周围的环境进行3D建模。在去年年底,首款搭载谷歌Tango平台的智能手机,联想Phab 2 Pro也已经开售。

而在今年,谷歌进一步推出了室内定位服务VPS(Visual Positioning Service),它可以在没有卫星信号的室内精准定位,结合Google Map精确检测周围的环境和位置,当用户位于室内时,能提供类似GPS的导航体验。这意味着Tango平台可以实现更多的AR应用场景,例如,提供AR指引,帮助寻找目标商品等等。

并且据I/O 2017大会现场消息,集成VPS技术的第二代Tango设备将在今年夏天推出,比如华硕的ZenFone AR,估计发布会也就这两天了。

在实际应用方面,目前,Tango技术已经应用到谷歌的学校和教育项目Google Expeditions中,宜家即将推出的应用程序还可以让顾客可以直接在App上把虚拟家具置于家中。

ARKit和Tango各有优缺点

从上文可以了解到,谷歌Tango平台已经有了一些实际应用场景,但当说到设备时,谷歌可就尴尬了。

谷歌Tango平台发布已经一年有余,但目前市面仅有联想的Phab 2 Pro一款手机,再加上即将发布的华硕ZenFone AR,是的,只有这两款。由于Tango平台对硬件配置有明确要求,并且目前适配Tango平台的内容匮乏,导致Tango手机出货量少得可怜,且价格偏高(比如联想Phab 2 Pro国行版售价高达3999元,除了Tango技术加持之外,没有任何亮点)。毕竟谷歌不能指望手机厂商在低端机型上搭载复杂且昂贵的Tango摄像头模组。

而苹果ARKit发布一瞬间几乎覆盖所有的iOS设备,首先在用户基数上,谷歌就无法与苹果相比。谷歌无法强推Tango平台,让用户更换手中的安卓机,而且这还会加剧安卓平台的碎片化。碎片化问题,可能会抵消谷歌在AR技术方面的优势。

如此看来,苹果称ARKit将成为“世界上最大的AR平台”,这话恐怕不假,毕竟它可以直接应用在市面上海量的iOS设备上。苹果公司软件工程部高级副总裁Craig Federighi认为:”一旦将软硬件整合在一起,苹果便可以使每一部iPhone和iPad成为AR平台,届时世界最大的AR平台将会形成。”

当然,ARKit也是一个能力有限的平台,至少和Tango平台相比还有一些劣势。

比如,Tango设备相比iOS设备有更多的摄像头,可以接收广角图像和深度数据,而且在过去的几年中,它开发出非常精确的跟踪功能。你用它扫描一个房间时,Tango可以立即构建一个相应的3D模型。对于苹果来说,这需要在iOS设备上安装一个单独的外围设备。

此外,苹果似乎并不打算像谷歌一样,让AR与互联网搜索功能联动起来。开发者可以使用苹果的机器学习框架来识别场景中的对象,但它不会让Siri像Google Assistant那样自动翻译标语。

巨头之争给行业带来的影响

毫无疑问,双方在AR领域的新动作,会让苹果与谷歌形成更严峻的竞争。谷歌的AR产品为基于手机平台的增强现实技术设定了很高的标准。苹果加入市场竞争,会对称霸已久的Tango平台造成一定威胁,最明显的就是降低了AR的开发和使用门槛。

这对于行业的发展也来说是一件大好事。巨头入局本来就容易吸引话题,带动更多的公司加入潮流中来。而简化AR的开发和使用,也可以快速教育用户,毕竟不是所有的用户都会去购买AR眼镜,而在手机上使用AR应用则要容易的多。当用户习惯于使用AR,并且想要更高质量的AR体验的时候,如今只能面向B端用户的AR眼镜或许就会进入C端。

再来看AR应用的开发商,由于技术不够成熟,之前开发AR应用时,接入SDK的学习成本和风险都比较高,再加上代表性的AR游戏《口袋妖怪GO》后期下滑得厉害,导致开发商动力不足。而在苹果发布ARKit之后,开发商们就不一定还能淡定的观望了。就算是跟风,应用开发者们也会尝试在游戏里加入部分AR的元素,这一点很值得期待。

如此看来,苹果此举能够大幅加速整个AR行业的发展。

反观谷歌,如上文所述,Tango技术对手机硬件的硬性要求,是市面上符合这一标准的机型极少,现有的大批安卓机无法接触这一技术,反而让Facebook之流轻而易举地占领了AR这一重要阵地。笔者有点纳闷的是,谷歌在VR方面的发展策略是比较适合市场现状的,先用价格低廉的Cardboard教育市场,再用高质量的Daydream逐步提升。为何在AR领域却不使用这种策略,一上来就要做高端呢?

最初发布于2017年6月14日

福布斯:增强现实将会改变音乐行业的四种方式

在2016年,流媒体被认为是音乐行业的拯救者。在经过了差不多20年之后,音乐行业第一次看到了收益的增长,这要感谢像是Apple Music和Spotify这样的服务。是的,流媒体已经让音乐变得从未如此容易接触到,但是如果我们真的想要“拯救”这个行业的话,我们需要使用数字技术手段提供给音乐迷们迷人而又感人的体验。这里就要提到增强现实技术了。

我们已经了解了一些统计数据,证明千禧一代更喜欢体验性质的内容,比如根据Harris提供的调查报告,78%接受调查的人表示他们更希望花钱去体验或者参加活动,这一意愿更甚于获得一件具体的物品。另外还有72%接受调查的人表示他们会接下来的一年话更多钱在体验上,而非实际的物品。这可不只是带来回忆,或者自拍的照片。“体验”需要有真实的价值。

作为对比,我们可以看看娱乐行业的另一个大板块:电影。电影工作室们在3D技术上下了大赌注,以期将音乐迷们拉回电影院。虽然重要的大制作都获得了不菲的收益,但根据每个美国人购买的电影票来计算,2016年仍然是从上世纪20年代以来最差的年份。越来越少的人在支付更多的钱来购买通货膨胀般的电影票。3D技术的新鲜感正在逐渐消退,因为这种体验并不能称得上是具有变革性的。

现在,我们必须要面对音乐行业的现状。唱片公司和营销公司在面对数字时代的年轻人时也十分头疼,他们缺乏吸引这些人的方法。而AR,是一种把数字信息叠加到真实世界中的技术,并且大多通过移动设备进行。虚拟现实与之不同,它是完全沉浸式的。AR就有着真实的价值–苹果的CEO Tim Cook认为,它的潜力就像iPhone一样大。

最为流行和最主流的AR应用案例应该是《Pokemon Go》和Snapchat。前者掀起了千禧一代的怀旧风,在顶峰时期每天都能带来1000万美元的营收。而Snap Inc.则跟随了不幸的Google Glass的脚步,发布了Snapchat Spectacles。这是一款太阳镜与相机的组合产品,CNet将其描述为“世界上最火热的AR的推动者”。

音乐行业有着与增强现实技术牵手的潜力。在经过十余年的数字音乐营销和发行之后,我从我的经验中总结道,这种机会不会经常出现。音乐迷们对这种技术已经有了足够的准备和熟悉程度,我们只需要确保自己不错过这个机会。

以下是AR技术将会永久改变音乐行业的四种方式。

音乐视频

在2010年,Rihanna和David Guetta与百事立体脆合作,为其作品《Who’s That Chick》的MV创作了一段AR体验。YouTube在2016年向音乐行业支付了10亿美元之巨,吸引音乐迷去观看音乐视频从来没有像现在这么有价值过。AR技术可以赋予音乐家们把音乐视频带给音乐迷们的能力,甚至可以让音乐迷成为MV的一部分。想象一下这样一个世界,用户在观看MV时虽然在使用手机或者特殊的眼镜,但艺术家就仿佛在音乐迷面前表演一样。

音乐营销

AR在营销领域已经有了被证实的成功案例。举个例子,一家位于纽约的餐厅通过策略性地利用《Pokemon Go》,营收增加了75%。Inc.com曾经指出,AR可以为人和虚拟世界搭建桥梁。虽然从技术角度来说是非常吸引人的,但对于音乐迷来说是很难与虚拟世界产生联系的。设想一下这样的场景,粉丝们可以从一位艺术家即将发布的专辑中“猎取”到独家的内容,就像玩《Pokemon Go》一样。创意不仅具有口碑价值,还有公共关系方面的价值。如果你是第一个这么干的,那人们都会讨论这件事。

音乐教育

培训和教育下一代音乐知识也会深受增强现实的影响。实际上,这种影响已经在发生了:一家日本的公司已经开发了一款全息应用,可以教用户学习弹钢琴。AR是一个工具,可以帮助音乐行业有意义并且有感情地连接年轻的音乐迷。音乐行业最有影响力的人物能够成为最大的教育者,通过体验和把强化转换为参与,来传授其经验。比如Elton John就在通过全息来教上百万的学生弹钢琴,歌手Sia也曾以这种形式展示了歌曲创作过程,就呈现在你的面前。

音乐体验

AR技术改变真实的音乐体验,比如演唱会和其他活动方面的潜力是无限的。正如我之前提到的那样,AR有着把演唱会带到粉丝们自己的环境中的潜力。或者更好的是,想象一下如果全部的音乐迷都能够使用AR技术,来体验一个AR版的全新的演唱会的场景。想象一下歌词在空中飞舞,或者在歌手现场演唱时,自己就置身于最喜爱的MV之中,将会是怎样一种体验?

最终,没有任何一种技术能够“拯救”音乐行业。然而,增强现实有着革新音乐行业的潜力。歌曲识别应用Shazam刚刚发布了全球首个增强现实品牌营销解决方案。作为一个技术开发者和数字音乐营销从业人士,我还是能够分辨什么是趋势,什么能从根本上改变粉丝与艺术家联系的方式。

增强现实不会只是一时热闹。我们需要开始理解,如何使用AR技术来创作出这样的体验,能够给予音乐迷们想要的东西,而不仅仅是用怎样的标签才能卖出更多的唱片。

最初发布于2017年4月11日

原文链接:https://www.forbes.com/sites/forbesagencycouncil/2017/03/30/four-ways-augmented-reality-could-change-the-music-industry/