从中国VR 50强企业名单,看中国VR行业现状

在2021世界VR产业大会云峰会期间,虚拟现实产业联盟连续第三次发布“中国VR 50强企业”名单。从中我们可以对国内VR行业现状有一个基本的了解。从今年的名单来看:

1、国内VR行业中年销售额超亿元的企业占比首次超过50%,年销售额突破百亿元的VR企业达到5家;

2、北京VR产业领跑全国,广东、上海、江西形成第二梯队;

3、从产业链分布环节来看,近三年,中国VR 50强企业更多聚焦整机设备、VR文旅应用、VR教育应用三个领域。

此外,平均研发投入比相比去年有回升,扭转了2020年的下降趋势。

从三年来中国VR50强企业评选结果可以看出,整体而言,我国虚拟现实产业链基本健全,在突破关键技术、丰富产品供给、推动行业应用等方面成效显著。形成技术、产品、服务、应用协同推进的发展格局。

在关键技术领域,近眼显示技术、多感官协同技术、全景摄录技术、虚拟仿真技术、内容处理技术等方面取得显著突破;

在产品供给领域,整机设备、感知交互设备、内容采集制作设备、分发平台等方面取得有效进展;

在行业应用领域,VR/AR在智能制造、医疗健康、影视文化、教育培训、购物商贸等方面取得广泛应用。

下一步,我国VR企业还应聚力发展成为具有较强国际竞争力的骨干企业,实现创新能力、应用能力显著增强,促进我国VR产业综合实力实现跃升。

VR企业规模整体增长迅猛

从2021年VR50强企业年销售额分布情况来看,年销售额超亿元的企业占比首次超过50%,达到27家,2019年仅为14家。其中年销售额超过百亿元的企业从2019年的2家扩充到今年的5家。北京沃东天骏、京东方、北京达佳互联、歌尔股份、科大讯飞位列前五位。 

2021年销售额为1亿-10亿元的企业数量增长明显,从2019年的7家猛增至17家。具有代表性的有百度、爱奇艺、影石创新科技、NREAL、亮风台、上海影创、青岛小鸟看看、当红齐天、凌宇智控、联想新视界、深圳市虚拟现实技术、千种幻影等企业。

VR产业呈“一超多强”区域格局

从2021年中国VR50强企业地区分布情况来看,北京领跑行业,广东、上海、江西形成第二梯队。 

2021年,百度、咪咕、京东方、爱奇艺、贝壳找房、虚拟动点、凌宇智控、当红齐天、东方瑞丰、达佳互联、千种幻影、金山云、耐德佳、易智时代等共26家北京企业挺进50强,较2020年增长5家。在第二梯队中,广东有丝路视觉、影石等5家企业;上海有上海影创、亮风台等5家企业;江西有泰豪创意科技集团、江西科骏等4家企业。

VR企业产业链分布更趋均衡

从2021年中国VR50强企业产业链分布环节来看,我国VR产业发展日趋全面,在近眼显示、渲染处理等关键技术,整机设备、开发工具软件、行业解决方案、分发平台等产品供给,VR+教育、文旅、制造、健康、房地产等应用领域均取得较大发展。 

三年来,中国VR50强企业更多聚焦整机设备、VR文旅应用、VR教育应用三个领域。2021年入围企业中,11家为整机设备企业,包括HTC、歌尔、Nreal、爱奇艺、凌宇智控、影石等。VR文旅应用企业有9家,包括中国动漫集团、当红齐天、泰豪创意科技集团、红色地标、为快科技等。VR教育应用企业有7家,包括上海影创、北京润尼尔、千种幻影、威爱科技集团等。在分发平台、行业解决方案、开发工具软件、渲染处理技术以及VR+制造、健康、房地产领域,中国企业也均有深耕,产业链分布更趋均衡。

VR企业研发投入止降回升

从中国VR50强企业研发投入来看,2019年到2021年三年间,中国VR50强企业平均研发投入比为60.3%、40.7%和48.5%,发明专利总数也呈先降后升态势,2020年下降约20%与疫情抑制产业发展有关,2021年提升约8%与VR产业整体复苏有关。 

从研发专利数量来看,2021年中国VR50强企业的研发专利总量达到41893余件。排名前十位的企业主要涉及重要元器件、整机设备、内容采集制作设备、分发平台、教育应用环节,以HTC、歌尔股份、京东方、北京达佳互联等企业为代表,专利研发数量远超5000件。

最初发布于2021年10月26日

Strategy Analytics最新报告:2021年起XR市场将强劲增长

近日,分析机构Strategy Analytics发布了名为《COVID-19对AR和VR市场的影响》专题研究报告,该报告指出,虽然在短期内,COVID-19会对AR/VR硬件出货和市场收入有负面影响,但Strategy Analytics仍然认为XR将会在这种“新常态”下找到自己的一席之地。

该报告的主要内容如下:

尽管2020年将是充满挑战的一年,但Strategy Analytics预测,从2021年起XR市场将强劲增长。

尽管市场将在2020年萎缩,但Strategy Analytics预计未来几年市场将强劲增长。从2020年到2025年,出货量将增长六倍,收入达到270亿美元。

COVID-19将在2020年对XR市场产生重大负面影响。Strategy Analytics预计出货量和收入将同比下降20%以上。Strategy Analytics预计,与智能手机绑定的AR头显的发布至少要推迟到2020年底,甚至会推迟到2021年,这将使Strategy Analytics早先预期的专用AR设备的消费市场增长推迟一年。

2020年本可以是专用AR头显市场真正腾飞的一年,但其他大事件很快使这种趋势停止了。

Strategy Analytics预计,一旦这些与智能手机捆绑的设备进入市场,中低端的AR头显将出现强劲增长。 形似隐形眼镜的AR头显也于2020年投放市场,这一新产品类别已添加到预测中。

Strategy Analytics预计VR市场将在2020年有所收缩,但由于“新常态”下的新工作和生活模式,Strategy Analytics提高了对VR头显的长期预测。

随着企业越来越多地使用VR工具进行远程协作,并且教育机构也越来越多地远程提供课程,最终的结果可能是VR硬件的前景有所改善。

尽管Strategy Analytics提高了对VR头显的总体预测,但由于微软决定下一代Xbox不支持VR,Strategy Analytics已稍微降低了主机VR头显的预期出货量。

在低端市场,Strategy Analytics预计2021-2022年将看到由于移动运营商推出5G而导致智能手机捆绑的VR头显出现小幅回升。

报告来自Strategy Analytics。

最初发布于2020年7月10日

Oculus正在开发Quest头显的新版本 最快今年年底见

Facebook旗下的Oculus部门正在开发Quest虚拟现实头显的新版本,但是由于Covid-19对产品开发和全球供应链的影响,该设备面临潜在的延迟风险。

这家社交网络巨头正在研究Quest头显的多个潜在继任者。知情人士透露,一些处于高级测试中的模型更小,更轻,并且具有更快的图像刷新率,可以提供更逼真的内容。并且,这些头显还重新设计了控制器。

该公司尚未最终确定将发布哪个新版本的Quest头显,最终产品可能具有不同的特性。知情人士透露,Facebook最初计划在2020年底的年度Oculus Connect会议前后推出新型号,但新型冠状病毒的大流行可能会将这款头盔的发货推迟到2021年。

测试中的某些版本比当前的Quest头显小10%至15%。不仅重量更轻,而且佩戴起来更舒适。现有型号的重量约为1.25磅,对于某些长时间使用该设备的用户来说仍然太重。这位知情人士说,测试中的模型重量接近一磅。

该公司可能会将新的头显与目前的Quest头显一起出售,或选择完全替代目前的型号。Facebook发言人拒绝对未来产品发表评论。

Facebook在2014年以20亿美元的价格收购了Oculus,押注VR作为数字通信的未来。Facebook首席执行官Mark Zuckerberg预测人们将使用该技术通过共享体验(例如身临其境的游戏和其他3D娱乐内容)在网上彼此联系。

该愿景尚未完全实现,部分原因是缺乏广泛的用户群体,并且可供体验的内容也有限。但是,由于新冠病毒大流行期间有数百万人呆在家里,因此虚拟现实的体验量有所增加。

与该领域的其他公司相比,Oculus作为Facebook的子公司,发展还算顺利。初创公司Magic Leap一直在努力完善其增强现实技术,但在最近削减了员工规模,并考虑出售自己。另一家AR公司North也在于今年早些时候寻找买家。

据知情人士说,对于新的Quest设备,Facebook正在测试去除侧面的织物,并像现在的Oculus Rift S那样用更多的塑料来代替织物。它还在考虑改变表带中使用的材料,使其相比目前的橡胶和尼龙搭扣更具弹性。

Oculus Quest产品线是Facebook的中端VR头显,不需要连接至智能手机或PC。其399美元的价位也比Facebook最强大的头显,即需要连接到电脑的Rift S更便宜。

Facebook仍在销售Oculus Go,这是一款基于智能手机芯片的入门级头显。Quest系列头显使用了高通公司制造的更高端的部件。

Facebook当前的Quest头显缺货已经持续几个月了,部分是由于新冠病毒大流行造成的供应链问题。但是,最近几天的库存正在缓慢增加。Zuckerberg在4月份的财报电话会议上表示,该产品“超出了我们的预期”,并且该公司希望它“可以赚更多”。该公司还表示,“其他收入”部门上个季度增长了80%,“主要由Oculus产品的销售所推动。”

根据Statista汇编的数据,Facebook去年是VR头戴设备的第二大销售商,约占出货量的28%,仅次于索尼公司。虚拟现实几乎涵盖了观看电影,运动和玩游戏的用户。

增强现实将虚拟图像与现实世界结合在一起。据知情人士说,Oculus还正在制造AR头显。该产品的软件和应用程序开发仍在继续,但新冠病毒拖慢了硬件开发速度,一些员工无法使用实验室设施。目前尚不清楚这是否推迟了计划的产品时间表,包括2023年的上市时间。

另据熟悉情况的人表示,苹果公司或许会在2021年货2022年推出一款VR头显,在2023年推出AR头显。

新Quest VR头显的刷新率至少为90Hz,高于当前型号的播放电影时60Hz刷新率或运行大多数VR任务时的72Hz刷新率,从而使视频和游戏显得更加流畅。知情人士说,该公司正在测试刷新率高达120Hz的原型设备,但可以将此频率限制在90Hz,以保证电池续航时间。

测试中的新头显的某些型号还会继续配备用于调节IPD的物理开关,IPD是头显内部显示屏之间的距离。该机制很重要,因为它可以帮助用户调整头显,以适合自己的眼睛,从而避免头痛。

Facebook还在研究重新设计的控制器,该控制器使用起来更舒适,并解决了现有控制器的一个问题:控制器的电池盖有时会滑落。知情人士说,新的控制器将会兼容当前的Quest头显。

测试中的头显具有四个外部摄像头,而Rift S上有五个摄像头,并且具备六自由度,这使用户可以沿任何方向环顾四周,并像在现实中一样在虚拟空间中走动。新型号还将继续支持Oculus Link,即通过线缆可以将头显连接到PC以提高性能。

最初发布于2020年5月9日

原文链接:https://www.bloomberg.com/news/articles/2020-05-05/facebook-s-oculus-developing-smaller-lighter-quest-vr-headset

用于训练、作战与维护 美军正寻求更先进的VR/AR头显设备

有专家表示,商业领域推动的技术提升有望带来更先进的虚拟和增强现实头显,以解决当今与美军使用的头显相关的许多问题。

虚拟现实(VR)使用户沉浸在一个由计算机生成的环境中,例如VR游戏。增强现实(AR)可以将数据或其他用数字化手段创建的图像叠加到现实世界的视场上,例如电视观众在观看足球或棒球比赛时看到的黄色或橙色的区框。

美军的官员们指出,通过提供使用数字化手段创建的敌军或其他在实际战斗中可能遇到的环境因素,VR和AR头显可以改善军队为对抗先进的对手进行的高科技战争的训练方式。

市场分析公司Frost&Sullivan的航空、国防和安全分析部门副总裁Michael Blades说:“商业领域也是所有游戏玩家都将使用这些设备的地方。他们将进行修改、更新和升级,以跟上该市场中的竞争对手的步伐,这将提升国防领域用户的能力。因此,国防领域将最终从商业市场的竞争中获胜,因为他们将获得更好的训练能力。”

美国空军的飞行员培训计划(Pilot Training Next)就是一个例子,该计划旨在提高飞行员培训的效率,并加快学员们的学习进度。虚拟现实头显的使用为学生们提供了更多磨练技能的机会。

美国空军教育与训练司令部(Air Force Education and Training Command,简称AETC)第24分部的运营官Robert Knapp中校说,在传统的飞行员训练结构中,学生都是从一些纸质出版物或带有培训文件的iPad开始。

“他们从那些培训手段起步,之后会使用一个极其昂贵的传统的模拟器,在那里他们可以进行全方位的飞行训练,”他说道。“那些昂贵的模拟器的问题在于,它们的数量太少了,而且学生进入模拟器的次数也很有限。”

现在,参加Pilot Training Next培训计划的学生可以坐在椅子上,戴上HTC Vive Pro等商业设备进行练习。

VR头显为美国空军的飞行员提供了更多接触模拟技术的机会。

“我们可以填补阅读书本或iPad上的内容与使用一些较便宜的市售设备进行高保真模拟训练之间的差距,”Knapp说。

但他指出,如今的头显有一些缺点。

“当你使用超高分辨率的头显时,视野会变窄,”他解释说。“要获得更大的视野,你需要使用较低分辨率的头显。”

“但是理想情况下,技术研发将会继续,我们将拥有超宽的视野、超高分辨率和非常高的帧率,因此不会出现抖动,”他补充说。“我们现在还没到这一步。”

但是,参考游戏行业技术的发展速度,美国空军可能会在不久的将来拥有它们所需的VR头显。

“我们对这些设备在接下来的几年中的发展趋势感到非常兴奋,因为我确实认为我们离极高保真度的头显并不遥远,到时候,任何人戴上头显都会沉浸在更像真实世界的虚拟环境中,”AETC的助理运营总监Maj.Eric Jones说。

CAE的防御和安全业务技术负责人Phil Perey说,新上市的头显比以前的系统具有更好的保真度。CAE将虚拟和增强现实头显整合到了它为军方客户(包括后勤机组人员)提供的培训解决方案中。

新的Varjo XR-1具有足够清晰的分辨率,用户可以清楚地读取仪表面板的信息,这是以前的头显所不具备的功能。他指出。

Perey预计VR和AR头显技术将继续发展。

“以后将有必要给这些头显做减重处理,”他说到。但是,这不是唯一的需求。

“他们可能会因为现有的视野而减小应用范围,但是当他们试图将视野扩展到更大时,他们的应用范围也将扩大,”他说道。“我们将看到设备重量的下降,可能会看到设备外形逐渐变大,以涵盖更大的水平视野。”

Perey说,他已经尝试了一些将于2020年上市的下一代头显,并且对它们的大体积和较轻的重量都印象深刻。他说,其中之一“几乎是羽毛般的轻盈”。

减轻系统重量可以减轻用户所承受的压力和不适感。

“有一些有前景的制造技术将使这些设备的重量减轻很多,”Perey说。“这将成为人们戴上这些设备,并持续佩戴数小时的重要因素。”

新的电池和更小的计算机也可以帮助减小头显的体积和重量。

微软公司服务美国陆军部门的主管Mark Valentine表示,重点是提升与头显相关的电池技术。他指出,材料科学的进步带来了更小的外形尺寸和更长的电池寿命。

“对电池电量的研究,以及提高电池效率是目前的关键技术之一,”他说道。

微软正在向美国陆军提供其HoloLens2增强现实头显的修改版,以用于集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)项目,该项目包括抬头显示器。美国陆军希望将这些设备用于训练目的,并向战场上的部队提供更好的态势感知和数据访问能力。

HoloLens系统具备透明的镜片,Valentine指出。

“我可以看到现实世界,同时还可以获取数据和信息,并以固定在环境中的3D全息图的形式显示出来,”他说道。“HoloLens本质上是戴在头上的Windows 10计算机,但并不是通过屏幕来显示的。现在,它是通往现实世界的混合现实传送门。”

Valentine拒绝具体讨论IVAS项目的细节,但他指出,微软认为HoloLens技术有多种潜在用途,包括用于战斗准备。

“现在,如果我是一名陆军士兵,并且要训练夺取一座建筑物,我会遇到一些敌方部队,会遇到一些突然出现的目标,诸如此类。然后我便冲入建筑物并用真正的武器射击,“他说。但是在混合现实世界中,可以用全息图来模拟敌军。

头显也可用于帮助设备维护人员。

“比如,我们可以看到工具箱,设备本身可以在智能边缘进行人工智能识别,打开工具箱,确定下一步维修所需的工具,然后就会为我突出显示这个工具,”他解释说。“我拿起工具,看着飞机,然后,维修清单中的下一步就会以全息图的形式显示出来。”

Valentine指出,与上一代HoloLens相比相比,HoloLens 2具有更小的外形尺寸和更大的视野。该公司还将计算部分从设备的正面移至后面的垫子上,以使佩戴者感到更舒适。

困扰VR和AR头显的另一个问题是用户的操作与模拟环境中相应的变化之间的延迟。美国国家训练与模拟协会(National Training and Simulation Association,简称NTSA)会长James Robb指出,这不仅降低了模拟训练的效率,而且还可能导致晕动症。NTSA是美国国防工业协会(National Defense Industrial Association)的附属机构。

然而,新兴的5G无线技术可能会改变这方面的游戏规则,Robb说。预计5G网络的速度将是4G的20倍。

“5G的延迟应该很小,”他说道。“每当你需要将模拟训练内容从服务器传输到头显时,传输过程中都会有所延迟。因此,只要你提高架构的效率,将无线架构合理地直接用于高速计算机上,就可以减少该问题。”

Blades说,这种技术是未来的潮流。

他说:“这项技术将朝着使一切无线化,并且眼镜本身具有大量计算能力的方向发展,”他说道。“我们已经有了5G。因此,我确定在任何头显与它们所连接的设备(无论是PC还是其他头显或其他设备)之间的延迟几乎可以忽略不计。”

五角大楼即将启动一项5G计划,其中包括将该技术整合到军事任务计划中,以及在训练领域的虚拟和真实环境中进行训练。

Robb还期望下一代头显在训练场景中能够具有更强的数据收集能力和更强的利用AI的能力。

“在这种情况下,机器将在确定你的工作方式并帮助提升表现方面进行很多工作。从帮助你提供决策选项,到提供信息,或者帮助你获得正确的可视化效果,它将无所不包,”他说道。“支持人员越聪明,用户从中获得的好处就越多。”

美国陆军作战能力发展司令部(Combat Capabilities Development Command)模拟和培训技术中心主任Matthew Clarke表示,他不太担心VR技术的改进。

他在最近一次与记者会面时说:“VR行业会采取行动,因为这与游戏行业有关,而游戏业务正在增长。”

他指出,增强现实是一个更大的问题。

“这是因为你正在尝试将真实世界与虚拟世界融合在一起,并且面临着巨大的挑战,”他解释说。“例如,如果你没有将这两个世界进行绝对的对齐,那么,当你在使用时会产生偏离,但我们不能有这种偏差。”

“因此,我在AR中要面临的具体挑战是对齐、跟踪、动态遮挡,”他补充道。

美国陆军希望有一个可以从AR过渡到VR的套件,因此军方可以“从中获得双重收益”,他指出。

同时,美国陆军还想要具备功能更强的被动型传感器的头显。

“美国陆军讨厌主动型传感器,因为敌人可以检测到它们,”他说道。“我们需要被动型传感器。如今,被动型传感器存在的问题是无法获得距离信息,无法获得范围能力,这是我们进行单元训练所需要的。”

Clarke还设想了一个AR技术看起来与今天完全不同的世界。

“我们将不用佩戴头显,而是佩戴增强现实隐形眼镜,”他说道。“对我来说,这就是未来,摆脱处理过程,将人体产生的能量转换为电源,你无需携带额外的电池。”

Blades表示,在未来,AR技术的进步可能不需要用户佩戴任何的头显设备。

“这些设备很多都是显示了某物的3D外观,”他指出。“如果这只是由某种视频产生的,你不需要眼镜就可以在面前显示一个3D物体呢?增强现实的有趣之处在于,其中一些应用程序,甚至可能不需要眼镜就能体验。”

最初发布于2020年1月8日

原文链接:https://www.nationaldefensemagazine.org/articles/2019/11/27/pentagon-eyeing-more-advanced-virtual-augmented-reality-headwear

美国空军希望尝试VR/AR 但受限于“中国制造”?

美国空军希望进军在商业市场蓬勃发展的的增强现实和虚拟现实技术领域,但他们遇到了一个问题:许多产品都有来自中国的部件,限制了它们被美军用于作战环境中的能力。

“我们可以使用不是中国制造的AR(增强现实)解决方案吗?我认为这对我们不利。”空军作战训练基础设施部门主管Gerard Ryan上周二在跨军种/行业培训、模拟和教育会议的小组讨论中说。

“我认为安全政策方面不会通过。虽然有些讽刺,但这是事实。如果我们要使用游戏引擎,我们要确保它不是我们不喜欢的国家开发的。”他补充道。

美国空军正在通过Pilot Training Next(简称PTN)计划接触虚拟现实技术,该计划旨在使飞行员更快、更经济地进行基本飞行员培训。虽然PTN计划目前被认为是一项实验,在限定的时间内只有少数飞行员参加,但美国空军已经表明,它可以通过HTC Vive虚拟现实头显和飞行模拟软件来补充在T-6教练机上进行的真实的飞行训练,来将现有训练时间缩短数月。

像飞行员基础训练这样非机密的环境是美国空军使用当前市场上增强显示和虚拟现实设备的理想场所。但是对于战斗机和轰炸机飞行员,或任何处理加密信息的操作员都将使用的设备,美国空军必须确保该设备的任何部件都不是中国制造的,或者没有任何其他国家的实体可以插入用于数据收集的技术。

美国空军已经开始与供应商谈论其担忧,Ryan说。他们希望这些公司可以检查其供应链,不再购买中国的零件。

“我已经与一些行业人士进行了交谈。一家较小的公司表示,他们找到了一套美国制造的头显。我当时的反应就是:“太好了,你是第一个这样告诉我的人。也是到目前为止唯一的一个。”

另一个挑战是在可能限制蓝牙和Wi-Fi使用的机密环境中连接商业设备。

“我已经与一家找到了解决方案的公司进行了交谈。他们有一台背包电脑。因此,它是直接连接到头显的,”Ryan说。“不幸的是,这样做可能更昂贵。要找到零件可能更具挑战性。”

美国空军空战司令部作战副主任David Nyikos说,当将增强现实或虚拟现实系统进入加密环境时,它们可能不够灵活,无法快速重新配置以适应不同的训练场景。

“AR/VR非常酷,”他在座谈会上说。“但是现在你需要它进一步发展,需要对其进行重新编程,以适应我们想要进行的任何任务演练。比如,或许今晚你就会和来自空军特种作战司令部(AFSOC)的人员一起训练,或者与一些挪威特种部队(SOF)人员一起训练,又或者与一些阿富汗人一起训练。但我们现在还没有这种系统。”

最初发布于2019年12月13日

原文链接:https://www.defensenews.com/digital-show-dailies/itsec/2019/12/06/wanted-virtual-reality-headsets-that-arent-made-in-china/

科学美国人:新的虚拟现实触感贴片可实现远距离“触摸”

添加触感可以使虚拟现实体验更真实,John A.Rogers的团队开发了轻巧灵活的触感贴片,可将触感直接传递给皮肤,兼具轻薄和节能特性。

一个女人坐在电脑前,与她的小儿子视频聊天,同时她轻轻地在另一个屏幕上轻拍了一个界面。作为响应,孩子背上的无线贴片以与母亲手指相匹配的模式振动,从而使他“感觉”到她的真实的触摸。

这种新的贴片是一种触觉设备,是一种可以远程传递触觉信号的技术。一个常见的例子是游戏控制器,当玩家的虚拟形象受到打击时会振动。一些研究人员认为,此类界面的更高级的、可穿戴的版本将成为使虚拟现实和增强现实体验更加真实的关键。“如果你了解一下当今的VR和AR,你会发现它主要由听觉和视觉通道组成感官体验的主要基础,”美国伊利诺伊州西北大学的物理化学家和材料科学家John A.Rogers说,他的团队帮助开发了新的触觉贴片。“但是我们认为,皮肤本身(触摸感)可以从质量上提升您通过VR可以实现的体验,而音频和视频则无法实现这种提升。”

科学家,技术公司和技术极客们已经试验了可穿戴的触觉设备,通常是配备振动电机的背心或手套。但是,其中很多都需要通过电线来连接沉重的电池组。由于它们的重量,大多数都必须宽松地附着在身体上,而不是牢固地粘附在皮肤上。因此,Rogers和他的同事们开发了仅几毫米厚的振动盘,该振动盘的电量消耗很小。这些执行器(用于使系统运动的设备的术语)需要的电量非常少,因此可以通过NFC近场通信(一种传递少量电量的无线方法)来供电,该方法通常用于开门的ID卡。

“机械执行器所需的电力通常是在移动应用中真正大量、可扩展地使用这些技术的限制因素,”德国萨尔大学的计算机科学家Jürgen Steimle说,他并没有参与新的贴片项目。研究人员“指出,单个执行器所需的功率不到2毫瓦,比以前的设备通常通常所需的功率少了一个数量级。…在我看来,这是一个逐步的改变,因为它允许我们将创造出新型的移动设备,这些设备可以使用电池高效地驱动,或者甚至可以像Rogers团队一样使用无线供电。”

产品看起来就像轻巧柔软的织物状材料补丁,可以像潜水衣一样弯曲和扭曲,并在穿着者的身体移动时保持与穿着者皮肤的直接接触。它由夹在保护性硅胶片之间的电子薄层组成。一层包含为设备供电的NFC技术。这可以激活另一层:执行器阵列,每个执行器都可以单独激活,并调整到不同的振动频率以传递更强或更弱的感觉。这堆比鼠标垫稍薄的电子设备最终形成了粘在皮肤上的贴片。该设备在最近出版的《自然》杂志上有描述。

Rogers指出,该技术的一些要素已经存在于其他设备中,但是他说,他的团队开发的的贴片以一种新的方式将它们结合在一起。“小型执行器、无线控制策略、轻薄,灵活,柔软的结构、与皮肤的柔软,温和的接触、无需电池的操作-这是我们过去从未报道过的一系列技术特性的集合,”他说。“当您将它们全部组合在一起时,最终会得到一个完全不同类型的平台,我认为它将成为一个真正强大的起点,最终您可能拥有具备1000个执行器的全身套装,它们都是同时受到控制,并具有人们实际要使用的尺寸。”

Steimle指出,其他团队已经开发出了更薄的执行器,但是使用了不同的刺激皮肤的方法。物理振动的模块“往往笨重,坚硬,且耗电量大,因为你需要实现机械运动,”他说。“有机械运动的配合,当然能出色地起作用。”

到目前为止,研究人员已经测试了各种形状和大小的贴片原型,以适应身体的各个部位。例如,圆形的贴片放在手背上,而X形的贴片放在背部。在一个演示中,一家人在视频聊天时使用该贴片体验了远程触摸。在另一例演示中,一名下肢截肢者用假肢抓住了一杯啤酒。每个指尖均配备有传感器,该传感器与上臂的贴片进行通信,从而提供有关其机械臂所握住的物体的触觉信息。最终,一个测试对象在玩战斗类游戏时佩戴了多个触觉贴片,因此游戏中化身的四肢所受到的虚拟打击可以传输到他的真实身体的相应部位。

尽管Rogers和他的同事们已经建立了一家新兴公司来潜在地将其设备商业化,但他们说,这并不是他们继续研究的重点。Rogers说,在不久的将来,他们希望可以使贴片更轻、更薄、更灵活。他们还在试验其灵敏度:由于可以调节执行器,使其在皮肤或多或少可以感知到的频率下振动,因此从理论上讲它们可以传递更强或更弱的触感(尽管这将需要更精密的系统来输入信号,可以区分轻柔的抚摸和较粗暴的推动)。Rogers认为,未来版本的触觉贴片可能会产生更多类型的感觉。除了在皮肤上垂直的接触外,它还可以传递缠绕运动或温度变化。

“我认为这项技术的应用空间十分广泛,而且很明显,我们需要这种类型的触觉输出,”Steimle说。他指出,最常见的商用触觉设备是智能手机,它只有两种模式:振动或不振动。“当然,这不是很有说服力,这实际上并没有为我们人类以及我们如何触摸,如何感觉,如何感知周围的世界起到什么帮助,”他说道。“任何有助于我们改善触觉通道、触觉通道的表达能力的东西,都将有助于我们将来实现更高级的计算接口。”

最初发布于2019年11月25日

原文链接:https://www.scientificamerican.com/article/new-virtual-reality-interface-enables-touch-across-long-distances/

苹果专利:各种头显内CGR环境中虚拟对象的有形可视化

近日,美国专利商标局发布了Apple的一项专利申请,涉及计算机生成的现实(CGR)环境,更具体地说,涉及一种用于在头显内的CGR环境中提供虚拟对象的有形可视化的技术。Apple区分了将来的Apple头显(或各种头显)可能支持的CGR环境,例如VR(虚拟现实),AR(增强现实),MR(混合现实)和AV(增强虚拟)。

苹果首先指出,计算机可以将计算机生成的图像完全投影或部分叠加在用户的视野中,以提供用户可以体验的CGR环境。CGR环境可以基于不同类型的现实。

头显可以选择检测用户的真实运动并进行投影,并在CGR环境的一系列视觉图像或视频中模拟这些运动。

通过在CGR环境中投影或模拟的这些运动,用户可以与CGR环境中的对象进行交互。

Apple的专利涵盖了在CGR环境中提供虚拟对象有形可视化的技术,其中CGR环境为用户提供了与CGR环境进行交互的逼真的体验。

因为这种体验是现实和身临其境的,所以用户可以轻松地将CGR环境中的虚拟(因此是无形的)对象混淆为存在于CGR环境之外的真实的有形对象。

因此,该专利所描述的技术通过使用户能够快速且容易地在视觉上识别CGR环境内的对象是非有形的虚拟对象还是对应于真实环境中的真实物体(因此是有形物体),在用户与CGR环境交互时,增强了用户的便利性并进一步为用户提供了增强的安全性。

该技术不仅限于为特定类型的CGR环境提供有形的可视化,而是可以在任何类型的CGR环境中实现。这些环境包括基于混合现实的CGR环境和基于虚拟现实的CGR环境。

虚拟现实(VR)环境(或虚拟环境)是指被设计为完全基于计算机生成的一种或多种感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,计算机生成的树木图像,建筑物和代表人的化身,就是虚拟对象的示例。一个人可以通过模拟人在计算机生成的环境中的存在和/或通过模拟人在计算机生成的环境中的身体运动的子集来感知和/或与VR环境中的虚拟对象进行交互。

混合现实(MR)环境是指模拟环境,旨在将来自物理环境的感官输入并入其中。在虚拟连续性上,混合现实环境介于完全真实的物理环境和虚拟现实环境之间。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指一种模拟环境,其中一个或多个虚拟对象叠加在物理环境中。例如,用于呈现AR环境的电子系统可以具有透明或半透明的显示器,通过该显示器,人可以直接查看物理环境。该系统可以被配置为在透明或半透明的显示器上呈现虚拟对象,使得使用该系统的人感知叠加在物理环境上的虚拟对象。

增强虚拟(AV)环境是指一种模拟环境,其中虚拟或计算机生成的环境合并了来自物理环境的一个或多个感官输入。感觉输入可以是物理环境的一个或多个特征的表示。例如,一个AV园区可能有虚拟的树木和虚拟的建筑物,但是其中的人有着真实人物拍摄的照片中的人脸。另一个示例是,虚拟物体可以采用由一个或多个成像传感器成像的物理物品的形状或颜色。或者还可以这样示例,虚拟物体可以采用与太阳在物理环境中的位置一致的阴影。

有许多不同类型的电子系统,使人们能够感知和/或与各种CGR环境进行交互。包括头戴式系统,基于投影的系统,平视显示器(HUD),具有集成显示功能的车辆挡风玻璃,具有集成显示功能的窗户,放置在人眼上的镜片状的显示器(类似于隐形眼镜)。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。

头戴式系统可以具有透明或半透明的显示器,而不是不透明的显示器。透明或半透明的显示器可以具备一种介质,代表图像的光通过该介质被引导到人的眼睛。

显示器可以利用数字光投射、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。该介质可以是光波导、全息介质、光组合器、光反射器或其任意组合。在一个示例中,透明或半透明显示器可以被配置为选择性地变得不透明。

基于投影的系统可以采用视网膜投影技术,该技术将图形图像投影到人的视网膜上。投影系统还可以被配置为将虚拟对象投影到物理环境中,例如,显示为全息图或显示在物理表面上。

在一些示例中,系统#100包括设备100a。设备100a包括各种组件,例如处理器102,RF电路104,存储器106,图像传感器108,方向传感器110,麦克风112,位置传感器(多个)。一个或多个116,扬声器118,显示器120和触敏表面122。这些组件可选地在设备100a的通信总线150上通信。

在一些示例中,系统#100的元件在基站设备(例如,诸如远程服务器,移动设备或膝上型计算机的计算设备)中实现,并且系统#100的其他元件在头戴式设备中实现。显示(HMD)设备供用户佩戴,其中HMD设备与基站设备通信。

在一些示例中,系统#100包括两个(或多个)通信中的设备,例如通过有线连接或无线连接(HMD +MacBook或iPhone或iPad)进行通信。

美国专利局今天发布的苹果专利申请已于2019年第二季度提交,其工作可追溯至2018年第二季度。考虑到这是专利申请,因此目前尚不知道这种产品上市的时间。

最初发布于2019年11月4日

原文链接:https://www.patentlyapple.com/patently-apple/2019/11/apple-patent-describes-tangibility-visualization-of-virtual-objects-within-various-headset-environments.html

华为发布面向2025十大趋势 VR/AR/AI等技术融合应用将带来超级视野

​5G、云、IoT、AI的融合应用正在塑造一个万物感知、万物互联、万物智能的世界,它比我们想象中更快地到来。

华为在近日发布《全球产业展望GIV@2025》,提出智能世界正在加速而来,触手可及,并预测:到2025年,智能技术将渗透到每个人、每个家庭、每个组织,全球58%的人口将能享有5G网络,14%的家庭拥有“机器人管家”,97%的大企业采用AI。

《全球产业展望GIV@2025》于2018年首次推出,初衷是打开智能世界的产业版图,为各行各业创新增长提供路径参考。

2019年,华为基于对交通、零售、金融、制造、航空等17个重点行业的案例研究,并结合定量数据预测,进一步提出了面向2025的十大趋势,呈现了一个触手可及的智能世界。

这十大趋势分别是:

趋势一:是机器,更是家人

随着材料科学、感知人工智能以及5G、云等网络技术的不断进步,将出现护理机器人、仿生机器人、社交机器人、管家机器人等形态丰富的机器人,涌现在家政、教育、健康服务业,带给人类新的生活方式。

《全球产业展望GIV@2025》预测:2025年,全球14%的家庭将拥有自己的机器人管家。

趋势二:超级视野

以5G、AR/VR、机器学习等新技术使能的超级视野,将帮助我们突破空间、表象、时间的局限,见所未见,赋予人类新的能力。

《全球产业展望GIV@2025》预测:2025年,全球的VR/AR用户数将达3.37亿,采用VR/AR技术的企业将增长到10%。

到2025年,全球5G网络覆盖率将达到58%。届时,5G、4K+、VR、AR和AI技术的融合应用不仅能为人们带来全新的体验“超级视野”,它让人们能够以前所未有的方式看待事物,提高各个垂直行业的生产力。“超级视野”能跨越距离、表象和时间,为个人、企业和社会带来巨大利益。

突破距离

电力:目前,天然气资源占世界能源资源总量的22%,需求量每年增长1.6%。天然气一般由陆地管道输送,绵延数千公里,往往要穿越人烟稀少的偏远地区或恶劣复杂的地形,难免出现管道破损,造成天然气泄漏。在美国,年均管道事故近90次,导致1000万个家庭燃气供应不足。

管道上的一处破裂,往往需要有经验的工程师奔波几周甚至上月才能找到,而维修施工缺陷又进一步降低了管道维修的效率。维修施工缺陷是造成燃气管道事故的第三大原因。

然而,“超级视野”让这一切都发生了变化。到2025年,搭载着5G传输器和4K摄像头的管道巡检机器人将代替工程师监控和检查管道。工程师坐在控制室里就能看到管道周围的环境,随意调转视角看清管道损坏的细节原因,进而给出判断,指挥管道机器人进行维修。据预测:到2025年,全球电站设备巡检机器人数量将达到4200台,市场价值超过4.9亿美元,高于2017年的7600万美元。

污水处理系统:污水管道的直径最小为6英寸(150毫米),而污水管道外用混凝土衬砌的隧道直径长达30英尺(9米)。

因此,低压污水处理系统更倾向于在每个连接点使用小型研磨泵。这样的设计导致人工难以检查细小管道是否存在腐蚀、变形和堵塞。但坚固、防水和防尘的机器人巡检车可以突破人类的极限,监控故障并进行小型检修。具有强大计算能力的全自动无绳机器人可以搭载存储器模块,存储视频和图像,传输管道裂缝的高分辨率图像,并检测两个检修孔之间的故障位置和方向,完成人类无法完成的任务。

突破表象

医疗:据世界卫生组织估计,全球约有430万的医护人员缺口,到2030年这一缺口将增加到900万[6]。而5G、VR、AR技术的出现与应用,为全球医疗界带来了“超级视野”,让医疗资源跨越地理和经济差距,让每个人享受到更多、更平等的医疗服务。

眼疾诊断:视力障碍是一个严重的全球性问题。全球大约有13亿人患有近视力或远视力障碍,轻微远视力障碍患者达1.885亿人,中度和重度视力障碍患者达2.17亿人,另有3600万盲人。此外,随着年龄的增长,人眼中的天然晶状体会变得混浊老化,白内障等眼部疾病的发病率也会随之增加,最终影响视力。

在发病前,人类医生很难注意到人眼逐渐发生的变化。人工智能诊断工具可以帮助人们预防可能发生的眼疾并得到及时治疗,防止病情恶化。目前,人工智能机器人能够诊断50多种疾病,诊断精准度堪比人类医生。一项测试表明,相比八名医生会诊,这套人工智能软件能在94%的场合给出相同的诊断结果。为了避免误诊,人工智能机器人采用了一组算法,而非单一算法,因此任何一种算法的错误都会被其他算法推翻。根据诊断概率,该系统会对每个诊断结果的可能性进行评估和评分,并予以注解。

突破模糊

随着数字成像智能化水平的不断提高,扭曲或碎片化的图像能够被转化为清晰的大师级作品。它的工作原理究竟是怎样的呢?人工智能成像技术可以还原被雨水浸湿或沾有污渍的图像、重像素化或低分辨率图像以及被某个元素遮盖的图像。除了图像,这项技术也可用于还原视频。

该技术不仅仅只是先进的图片编辑工具,还能催生可以像人一样分析周边环境的人工智能机器。例如,数字成像技术可以帮助自动驾驶车辆在路况较差和恶劣天气条件下行驶,极大地提高驾驶安全性。

突破时间

建筑和艺术承载了丰富的历史文化。保存、欣赏和传承这些历史文化,是人类发展的共同愿望。

然而,目前我们保护历史文物的技术还不能帮助我们保护人类文明。据国际失踪艺术品记录组织(ALR)统计,全球每年失窃和丢失的文物高达1.2万件。2018年,巴西国家博物馆因为一场大火酿造了人类的悲剧——馆藏2000多万件文物的90%被燃为灰烬。2019年4月,巴黎圣母院失火,损毁严重,其标志性塔尖倒塌。

时间也是建筑和艺术的敌人。虽然罗马斗兽场和雅典帕特农神庙依然庄严屹立、耐人回味,但它们俨然已不是建成之初的模样。

“超级视野”已经成为挽回人类文明记忆的福音,可以让已经消失的历史古迹重现眼前。阿富汗1500年前建成的巴米扬大佛高53米,但在2001年被炸毁。技术人员利用AR技术和先进的3D激光投影仪(光通量为600,000流明,相当于30台电影放映机)使大佛得以1∶1实景重现。这项壮举不仅仅是技术上的成功,而且精准还原了几个世纪以前创造的文化遗产。

在欧洲,VR博物馆可以让更多人领略艺术的魅力。荷兰艺术收藏家乔治·克拉默(George Kremer)曾考虑在一家实体博物馆展出他收藏的74幅来自17世纪荷兰和佛兰德大师的画作,但苦于一直找不到合适的场馆,即便是世界上最好的博物馆,每年也只能接待900万到1000万游客。

趋势三:零搜索

受益于人工智能及物联网技术,智能世界将简化搜索行为和搜索按钮,带给人类更为便捷的生活体验:从过去的你找信息,到信息主动找到你;未来,不需要通过点击按钮来表达你的需求,桌椅、家电、汽车将与你对话。

《全球产业展望GIV@2025》预测:2025年,智能个人终端助理将覆盖90%的人口。

趋势四:懂“我”道路

智能交通系统将把行人、驾驶员、车辆和道路连接到统一的动态网络中,并能更有效地规划道路资源,缩短应急响应时间,让零拥堵的交通、虚拟应急车道的规划成为可能。

《全球产业展望GIV@2025》预测:2025年,C-V2X(Cellular Vehicle-to-Everything)蜂窝车联网技术将嵌入到全球15%的车辆。

趋势五:机器从事三高

自动化和机器人,特别是人工智能机器人,正在改变我们的生活和工作方式,他们可以从事处理高危险、高重复性和高精度的工作,无需休息,也不会犯错,将极大提高生产力和安全性。如今,智能自动化在建筑业、制造业、医疗健康等领域中广泛应用。

《全球产业展望GIV@2025》预测:2025年,每万名制造业员工将与103个机器人共同工作。

趋势六:人机协创

以人工智能、云计算等技术的融合应用,将大幅度促进未来创新型社会的发展:试错型创新的成本得以降低;原创、求真的职业精神得以保障;人类的作品也因机器辅助得以丰富。

《全球产业展望GIV@2025》预测:2025年,97%的大企业将采用AI。

趋势七:无摩擦沟通

随着人工智能、大数据分析的应用与发展,企业与客户的沟通、跨语种的沟通都将可能变得无摩擦,因为精准的信息到达,人与人之间更容易理解、信任彼此。

《全球产业展望GIV@2025》预测:2025年,企业的数据利用率将达86%。

趋势八:共生经济

无论身在何处、语言是否相通、文化是否相似,数字技术与智能能力逐渐以平台模式被世界各行各业广泛应用。各国企业都有机会在开放合作中,共享全球生态资源,共创高价值的智能商业模式。

《全球产业展望GIV@2025》预测:2025年,全球所有企业都将使用云技术,而基于云技术的应用使用率将达到85%。

趋势九:5G,加速而来

大带宽、低时延、广联接的需求正在驱动5G的加速商用,将渗透到各行各业,并比我们想象中更快地到来。

《全球产业展望GIV@2025》预测:2025年,全球将部署650万5G基站,服务于28亿用户,58%的人口将享有5G服务。

趋势十:全球数字治理

触及智能世界,遇到了新的阻力和挑战。华为呼吁全球应该加快建立统一的数据标准、数据使用原则;并鼓励推动建设第三方数据监管机构,让隐私、安全与道德的遵从,有法可依。

《全球产业展望GIV@2025》预测:2025年,全球年存储数据量将高达180ZB。

以上内容摘自华为《全球产业展望GIV@2025》。

最初发布于2019年8月8日

美国陆军和政府机构这样应用增强现实和虚拟现实

士兵们在被送往战场之前需要训练数月甚至数年,并且在他们返回后还要继续训练。美国陆军希望确保他们的专业知识保持敏锐,无论他们位于何处。而虚拟现实可能会有所帮助。

“在你被部署后,训练还没有结束,”美国陆军联合兵种训练中心副总指挥Maria Gervais少将说。“我们希望能够一次又一次地进行训练,同时改变一些变量,当士兵们进入第一场战斗时就非常有自信。”

美国陆军正在利用已经在商业游戏领域应用的技术来更新其沉浸式培训能力,并于去年11月向微软授予了一份价值4.8亿美元的合同,用于开发可用于培训的增强现实系统原型。“可用的技术已经出现了,”Gervais说道。

联邦机构如何使用AR和VR

增强现实和虚拟现实正在消费市场中崛起,VR头显变得越来越便宜,越来越多的公司开始寻找在平板电脑和智能手机上应用AR的新方法,只要看看《Pokémon GO》和同类游戏的受欢迎程度就知道了。

IDC Government Insights的研究主管Shawn McCarthy表示,一些联邦机构也开始利用这些技术,尤其是增强现实技术,并且领先于这一趋势。

“这真的是出于高度专业化的目的,”McCarthy说。“ 最大的用途是培训,维护是次要的。例如可以让工人在飞机腹部时访问维修记录和部件照片的AR眼镜。“

美国陆军一直在将既有的旧系统结合起来创建虚拟培训环境,但他们意识到,需要具有可重新配置选项的虚拟培训体验,这些选项可以在任何地方使用,负责美国陆军综合训练环境(Synthetic Training Environment)的 Gervais说。

她曾与科技公司会面,评估经过改装可以用于军事用途的现成产品。去年11月与微软的合同要求该公司为美国陆军的集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)提供2550个AR/VR原型设备,基于微软的HoloLens。如果原型设备满足需求,美国陆军可以购买多达10万台。

起初,由于对技术发展速度的担忧,美国陆军将最后期限设定在2025年到2030年之间。但由于游戏视觉技术的快速提升,Gervais现在希望很快就能获得满足需求的AR/VR体验。

“我们需要一个基于通用数据和架构的环境,”她说。“正如我们今天所看到的那样,我们必须能够为更加复杂和更具挑战性的环境做好准备。”

VR让用户体验历史遗迹

其他机构正在转向更具创造性的方法,以及外界的帮助,来开发增强客户体验的AR/VR内容。

美国战争纪念碑委员会(American Battle Monuments Commission,简称ABMC)开发了一个智能手机App,可以让人们虚拟地参观法国北部奥马哈海滩附近的诺曼底美军公墓,这是埋葬9387名在诺曼底登陆时阵亡的美国士兵的地点。该App还在网站上为游客提供了有关他们所看到的内容的更多信息。

ABMC的对外事务主管Tim Nosal说,这家小型机构在全球范围内维护着26个墓地和30个纪念馆,外包了该App的制作工作。

当虚拟现实内容平台TimeLooper向国家公园管理局(National Park Service,简称NPS)询问有关华盛顿纪念碑VR体验的信息时,NPS开始与这家公司合作。

在林肯纪念堂的电梯被关闭,行动不便的游客无法进入主室时,TimeLooper制作了这段VR体验,可以使用Cardboard头显帮助游客在不使用楼梯的情况下观看包含林肯塑像的房间。

NPS的发言人Paul Ollig说,该公司还在2018年在Petersen House周围创建了一个VR体验,这里是林肯总统去世的地方,当时它必须关闭,以安装灭火系统并进行其他修理工作。

“当你看着那个房间时,你会感受到当晚事件的重要性,”他说。“我们发现,在这种情况下体验虚拟现实的人会非常感谢我们能提供这种替代品。”

NPS礼品店现在销售(或偶尔免费提供)Cardboard头显,当与智能手机配合使用时,可体验各种地标(包括越战纪念碑)的3D内容。TimeLooper处理这些业务,并管理应用程序更新。Ollig说,这就是与外部供应商合作的优势。

“该技术的复杂程度可能超出了大多数政府机构的能力,”Ollig说。“当我们找到一个愿意以符合我们要求的方式与我们合作的伙伴时,我们可以向公众展示他们以前从未见过的东西。

政府机构对AR和VR的应用有望增长

McCarthy表示,尽管一些机构可能认为AR/VR技术无用,但价格较低的新解决方案可能会改变他们的想法。

“它为你提供了更多的灵活性,以便在任何地方访问信息,”他说。“我不认为这是无聊的。”

他说,联邦、州和地方政府去年在AR/VR解决方案上花费了大约3.26亿美元。IDC预计到2021年该金额将达到92亿美元,这标志着政府对AR/VR使用量的显着增长。

增强现实和虚拟现实能够向人们展示他们无法看到的东西,其面临的最大挑战可能是几乎无限数量的潜在应用场景。

“它永远不会取代公园护林员或其他的我们讲故事的传统方式,”Ollig说。“但它是我们参观这些历史遗迹的的另一种工具,并且可以帮助人们理解为什么保护它们很重要。“

哪些政府机构在使用AR/VR?

根据McCarthy的说法,美国国防部是目前在增强现实和虚拟现实领域投入最大的政府机构,其次是美国航空航天局和国土安全部。

“美国宇航局通常不是资金投入排前三的机构之一,”他说。“但由于他们所做的所有训练和尖端研究,他们长期以来一直是这个领域的重要成员。”在接下来的几年间,他预计会有更多的机构利用这项技术。

“在农业部处理单据的人现在可能不需要虚拟现实,”McCarthy说。“但如果事实证明美国农业部希望每个人都沉浸在工作中,那么它可能会变得很有必要。

最初发布于2019年5月24日

原文链接:https://fedtechmagazine.com/article/2019/05/army-nps-embrace-virtual-and-augmented-reality

科普:VR的位置跟踪系统是如何工作的?

除了具有广阔的视野外,虚拟现实头显与常规的3D显示器的区别在于它们能够被跟踪。PC VR,主机VR以及现在一些独立的头显甚至还具有位置跟踪功能,因此你可以倾斜身体,躲避甚至在VR中走动。

但是这种跟踪如何运作?在这里,我们将解释主要的位置跟踪系统及其运行方式。

背景

什么是位置跟踪(6自由度)?

Oculus Go、三星Gear VR和谷歌Daydream View等大多数移动VR头显只有旋转跟踪(3DoF)。你可以向上或向下看,向左或向右倾斜。但是如果你试图倾斜或移动你的头部的位置,则不会被跟踪。整个虚拟世界将与你同行。3DoF控制器与之类似,仅限旋转。它们基本上只能充当激光选择指针。

这对于就座体验的VR内容来说是可以接受的,但它不允许你在物理上移动虚拟世界,或者直接用手与之交互。

在PC VR和主机VR上,以及现在的高端独立VR中,头显具有位置跟踪功能(6DoF)。位置跟踪使用户可以在虚拟环境中实际移动。如果跟踪范围足够大,你甚至可以在VR中绕着整个房间走动。

当控制器也是6DoF时,你可以直接用手与虚拟对象进行交互,因为你可以通过在现实世界中的移动实现虚拟空间中的移动。

如何实现位置跟踪?

旋转跟踪(3DoF)总是使用微型机电陀螺仪实现的。但不同的公司使用不同的技术来实现位置跟踪(6DoF)。虽然某天可能存在共同的行业标准,但目前尚未形成。不同的公司对哪种技术是正确的有不同的看法。

不同的跟踪系统均可平衡成本、设置难易度、跟踪范围、控制器跟踪范围和模块化等问题。

位置跟踪的共同基础:航位推算

与普遍看法相反,下面描述的光学系统仅是真正意义上的“校正”系统。所有这些系统的主要共享跟踪方法是微型机电加速度计。这些加速度计通常以1000赫兹运行。

其工作原理是:加速度计不读取位置或速度,他们读取加速度。你可能还记得微积分,你可以随着时间的推移获得加速度的积分并获得速度。如果你随着时间的推移得到速度值的积分,你就会获得位置信息(或至少从原始位置产生的位移信息)。

使用它来确定位置的变化称为航位推算。这就是VR头显和控制器每时每刻都在跟踪自己的方法。

那为什么还需要其他跟踪手段呢?因为加速度计并不完美,会产生噪声数据。将这些数据进行两次积分意味着即使是最小的误差也会被放大,并且误差还会累积。实际上,这意味着基于加速度计的位置跟踪会在几秒钟内漂移到无限远。

VR跟踪系统的目的是通过提供参考来纠正这种漂移。每个跟踪系统都采用不同的方式,但目的是相同的。

常见的VR跟踪系统

“星座”(最初的Oculus Rift)

在设计Rift时,Oculus面临着提供与OptiTrack等数千美元的系统相同质量跟踪的挑战,但其成本却要低一个数量级。

每个被跟踪设备都有一个隐藏在外部塑料下的预定义红外LED“星座”。红外线对人眼是不可见的。

传感器基本上是带有过滤器的摄像头,只能看到红外光,通过USB线缆以60Hz的频率将帧发送到用户的PC。PC处理每个帧,识别每个红外LED的位置,从而识别每个对象的相对位置。

该软件可以轻松识别它所看到的LED,因为它知道“星座”的形状,它会记住物体在前一帧中的位置,并且知道它的加速方向(来自加速度计)及其旋转(来自陀螺仪)。每个红外LED也以特定频率闪烁以识别自身。这些创新使“星座”跟踪系统在基于标记的跟踪系统中占据了一席之地。

为了支持快速运动,Rift头显和触摸控制器每次即将发出LED脉冲时,都会与传感器中的无线芯片进行无线通信。这使得相机快门能够像LED那样准确曝光,并且曝光时间很短。

“星座”跟踪不再用于Rift S头显的跟踪,但它用于Rift S头显内置的摄像头,以跟踪控制器。

“星座”的优势:

整合成本低

高品质的跟踪

适用于大多数环境

“星座”的缺点:

每个传感器都与PC有线连接

大USB带宽会导致许多主板出现问题

传感器具有有限的垂直视野

PlayStation VR

PlayStation VR也使用相机,但与Rift不同,PSVR的跟踪功能在可见光光谱中运行。

PlayStation 4摄像头单元包含两个间隔开的相机。摄像头单元连接到PlayStation,后者使用图像数据跟踪头显上的蓝色光条和控制器上的光球。

这使得索尼可以利用2010年就已经发布的PlayStation Move控制器。

PSVR跟踪的优势:

整合成本低

利用现有的PS Move控制器

PSVR跟踪的缺点:

跟踪质量低

不支持房间规模跟踪

SteamVR“灯塔”(HTC Vive)

Valve的SteamVR“灯塔”系统是目前市场上最独特的系统。与所有其他系统不同,它根本不使用摄像头,而且PC不处理任何数据。“灯塔”从一开始就被设计为能够进行房间规模的位置跟踪,而无需将传感器连接回用户的PC。

基站(“灯塔”)位于房间的相对顶角。它们不与PC通信,也不是传感器。它们在整个房间内发射广角二维红外激光束。一次完成一个轴的发射,比如先左右方向,然后上下方向,然后再重复。在每次扫描之前,它们会发出强大的红外闪光。

每个被跟踪设备包含连接到芯片的红外光电二极管阵列。该芯片测量红外闪光和被每个轴的激光扫描到时,二者间隔的时间。由此可以确定它在房间中的位置。

“灯塔”的独特价值在于它在理论上是一个相对简单的设计。不涉及复杂的计算机视觉算法或相机读数,只涉及激光扫描之间的时间。

“灯塔”的优势:

无需将基站连接到PC(仅供电),

高品质跟踪,

跟踪范围大。

“灯塔”的缺点:

生产/整合相对昂贵,

通常需要在墙壁上安装基站(电机会抖动),

室内的反射表面会引发跟踪失灵。

SLAM / Inside-Out

在Oculus Rift和HTC Vive发布之后,许多VR公司开始意识到,在房间里安装传感器或基站的要求让很多潜在买家不想购买。

许多新的和即将推出的头显使用内置于头显中的摄像头,这些摄像头使用计算机视觉算法执行“由内向外”跟踪。使用的特定算法类型被称为即时定位与映射(Simultaneous Localization And Mapping,简称SLAM)。

SLAM算法通过注意房间中的独特静态特征来工作。通过比较来自加速度计和陀螺仪的旋转和加速度以及这些特征如何移动,可以确定头显的位置。

有几家公司已经发布或计划发布使用SLAM的头显:

微软:Windows MR头显

谷歌:联想Mirage Solo

HTC:Vive Focus

Facebook:Oculus Quest和Oculus Rift S

其中,谷歌称他们的跟踪算法为“WorldSense”,Facebook称他们的跟踪算法为“Oculus Insight”。

为了跟踪控制器,这些系统以与“星座”相似的方式运行,那就是使用可见光或红外光。头显上的摄像头跟踪控制器上塑料下的LED。

SLAM/Inside-out的优势:

无需外部硬件,

成本非常低,

简易的设置,

控制器的跟踪范围大,只要在你能在现实生活中看到你的手,头显就可以跟踪控制器。

SLAM/Inside-out的缺点:

无法在黑暗中工作,

当控制器在头后或背部时无法准确跟踪,

当手臂在头显和控制器之间时,无法跟踪控制器的运动。

最初发布于5月16日

原文链接:https://uploadvr.com/how-vr-tracking-works/