纽约警方将虚拟现实技术用于主动射击场景训练

基于虚拟现实的培训,使纽约市警察局的警员们能够以比现实的主动射击训练场景快10倍的速度进行训练,并且还有额外的好处,可以提供有关警员表现的即时反馈。

今年4月,来自纽约警察局巡逻级别、反恐局和紧急服务部的约200名警员参加了由V-Armed开发的模拟训练内容的技术测试,该公司为执法部门和急救人员创建3D VR培训体验。在这种培训过程中,参与者会进入纽约的911国家纪念馆的虚拟版本。

“作为一名教员,很多时候你都无法进入需要进行训练的区域,尤其是那些你需要防守的极其重要的区域,”Raymond McPartland警官说。“比如,我怎么才能关闭世界贸易中心的纪念馆,让100,200人实地进行8小时的训练?这是不可能的。”

但是,通过VR技术,我们可以拥有“与实际环境同等尺寸的虚拟环境,让负责该区域的警员能够在其中进行训练,”他补充道。

纽约警察局一直在进行基于现实的主动射击训练,但它面临着现实世界的限制。比如,现实场景是静态的,教员无法增加更多人来提升场景的复杂性。

VR改变了这一点。最近在布鲁克林进行的持续一周的测试中,训练场景一开始还是空荡荡的走廊和房间,以让学员适应这项技术。McPartland说道。随着鼠标的点击,更多的障碍物和人员加入了这一场景,场景就变得越来越复杂。

他补充说,该技术还十倍提升了每组受训人员在一个场景中训练的次数,从以前的3次提升到了30次左右。

“这很重要,因为训练需要重复,需要暴露问题,这能帮助我们发现更多的问题,进行更多的批判性思考,这些都是警员们必须处理的。”McPartland说:“他们在任何时候都会不习惯于某一种场景,因为我们可以随心所欲地改变它。”

警员们戴着护目镜般的VR头显,配备了专用的枪支和身体标记点,通过Wi-Fi将数据传输到安装在60英尺×40英尺区域上方桁架上的动作捕捉摄像机。使用来自标记点的数据,V-Armed系统可以跟踪警员们的动作,并创建一个与他的身形大小和步态相匹配的逼真的化身,这样一来,“他在现实世界中所做的每一个动作都会完全一致地呈现在VR世界中,“McPartland说。

这些枪支也同样具有标记点,并能传输例如射击次数、子弹轨迹、命中、未命中和瞄准等数据。“在基于现实的训练中我无法做到这些事情,因为我无法回顾警员们的操作,“McPartland说。“而在VR中,所有内容都被记录下来,并且可以回放。”同时还有一些额外的数据,比如谁被击中了,是好人还是坏人,以及警员在场景中的移动花费了多长时间。

路易斯安那州立大学国家生物医学研究和培训中心组织了这次测试。该中心的内部运营和计划副主任Jason Krause表示,虽然V-Armed系统提前构建了模拟环境和动画内容,但仍有一位员工在现场确保系统正常运行,教员可以让这位员工添加或移除训练中的内容。

“我们不会将此作为一种体验,”Krause说。“我们不只是让警员们排队进入其中,然后将他们传送到虚拟现实场景,然后循环这一过程,而是将其整合到一个完整的8小时的课程中”,并且由国土安全部认证。该课程从一场宣讲开始,然后警员们前往训练场地,然后进入VR模拟环境中。警员们需要接受测试和评估,并在最后获得证书。

在VR培训之后,警员们会收到一份行动后报告,并与教员一起回顾训练的视频片段,讨论他们做得好的地方,以及可以改进的地方。警员们可以选择再次进入场景,来应用他们所学到的知识。

“真正的学习来自批判性思考,因为你可以为特定的训练场景改变VR中的任何东西,”McPartland说。

路易斯安那州立大学国家生物医学研究和培训中心与国土安全部和联邦紧急事务管理局的国家培训和教育部门签订了合作协议,由该中心负责培训州和地方的快速响应人员。它每年通过其执法主动射击紧急响应(Law Enforcement Active Shooter Emergency Response,简称LASER)课程进行约50次主动射击训练,其中包括课堂宣讲和基于位置的VR培训课程。

该中心本月将在华盛顿州林伍德市与西北太平洋地区的应急人员进行第二次测试。Krause表示,在此之后,中心官员将考虑明年如何提供VR模拟内容,作为LASER课程的一部分。

McPartland说,他希望再次使用这项技术,来确定警员们应用他们第一次学到的东西的水平。“我们想对其进行回顾,”他说。

最初发布于2019年7月30日

原文链接:https://gcn.com/articles/2019/07/24/vr-active-shooter-training.aspx

美国陆军正在为虚拟现实训练建立真实城市的3D数据库

美国陆军负责现代化的部门正在建立一个新的数据库,其中包含卫星图像以及来自世界各地的城市和关键地形的3D模型,这些模型有朝一日可能会用于支持士兵们的虚拟训练。

这项名为One World Terrain(OWT)的工作是美国陆军全面现代化工作的一部分,旨在创造比专门建造的训练设施更加真实的合成训练环境。

“One World Terrain基本上就是合成训练环境的数据库,”Dylan Morelle中校在近日的美国陆军未来司令部媒体活动中表示。

美国陆军官员正在与私营企业合作,以确保OWT能囊括来自商业机构、学术机构和政府机构的测绘、卫星图像和无人机拍摄数据,以便领导和士兵们能够在需要时访问它,来自美国陆军未来司令部旗下合成训练环境跨职能团队的Morelle说道。

Morelle说:“我们希望能够拥有这些信息的知识库,并能够将其提供给作战人员。”

Morelle以波士顿的三维模型为例,通过鼠标点击,展示了指挥官或小型作战单位领导如何规划城市内的路线并标记已知的敌人位置。他说,这项技术还可以显示“敌人可以看到或看不到的地方”。

OWT旨在与美国陆军的可重新配置虚拟集体训练模拟器(Reconfigurable Virtual Collective Trainer,简称RVCT)合作,后者将包括航空平台和地面平台,以及步兵集体机动训练和其他模拟枪械和任务排练能力的模拟器,Morelle说。

“它已通过一次用户评估,并正在被告知要求,”Morelle说道。并且他还补充说,美国陆军在今年6月与地理空间情报数据和软件公司Vricon签订了原型合同,根据Vricon官网的信息,该合同价值高达9470万美元。

“到2021年第四季度,该项目将可以为美国陆军提供初步的作战能力,”Morelle说。并且美国陆军希望在2023年达到全面的作战能力。

OWT还将被设计用于美国陆军的集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS),这是一个由微软开发的系统,使用增强现实技术为单个士兵创建综合训练环境,目前还仍然是一个护目镜形式的原型。该系统同样被设计用于在战斗中使用,因为它可以将使用者的武器瞄准十字线投射到战术眼镜中。

美国陆军官员表示,最终版本的IVAS计划于2021年第四季度完成。

Morrel说,负责OWT项目的官员希望利用人工智能和机器学习技术,将建筑物的蓝图转换为可供使用IVAS训练的士兵使用的真实房间模型。

“也许这是我们了解那些建筑的唯一方式,”他说。“AI可以查看该蓝图并创建它的3D模型。”

最初发布于2019年7月23日

原文链接:https://www.military.com/daily-news/2019/07/18/army-building-3d-database-real-cities-virtual-reality-training.html

为战斗机飞行员打造的AR技术 正在让科幻变成现实

科幻流行文化长期以来被增强现实(AR)的未来潜力所吸引。早在20世纪80年代,施瓦辛格的《终结者》就在利用他的机器人视觉来确定那些挡在他道路上的讨厌的人类。从那以后,电影制片人们为我们带来了各种新的科技魔法。比如汤姆克鲁斯在《少数派报告》中的数字界面中挥舞双手,比如罗伯特唐尼的钢铁侠在他具备AR技术的战甲协助下拯救世界。

实际上,早在AR技术引起大众的关注之前,军用飞机已经使用这项技术数十年之久。“它已经存在了将近60年,”BAE Systems战略增长总监Chris Colston说道,该公司为20世纪50年代末推出的强大的布莱克本“海盗”飞机制造了第一台平视显示器。“我们早在这项技术被大众了解前,就提供了AR解决方案。”

实质上,AR将数字信息与现实相结合。而今天,它不仅仅是关乎你所看到的,也关乎你所听到和感受到的。在国防工业中,它用于向战斗机飞行员提供直观的线索,包括音频、视觉和触觉线索。Chris说,这意味着他们可以通过抬头和眼动实现更高效的操作。BAE Systems的下一代头盔Striker II提供了全新的数字化功能,可以带来巨大的战术收益。

Chris解释说,战斗机飞行员在测试条件下工作。他们可能在以每小时超过1,000英里的速度飞行,在亮度过高的阳光下或在黑暗的环境中飞行到40,000英尺的高度。他们需要在身体高度紧张的情况下迅速应对威胁或做出改变,并且必须迅速处理信息。可以提供AR信息的智能头盔能够告诉他们需要知道什么,以及在什么时候需要这些信息。

为了在头盔的透明遮阳板内显示智能信息,工程师们开发出了操纵和引导光线的新方法。飞行员能看到这些有关他们自身状况的信息,并且与看现实世界时的焦距相同,从而减少了频繁重新聚焦眼睛的动作。

工程师们还在头盔中加入了夜视系统, 因此飞行员在黑暗中仍然可以使用AR,并且无需佩戴笨重的夜视镜。飞行员还可以通过3D音频听到哪里可能会出现威胁。“一旦你掌握了操纵声音和消除背景噪音的能力,你也可以增强这些现实,”Chris说。“我们可以提供给飞行员关于潜在威胁的空间感知。”

在飞行员从智能头盔接收到大部分信息时,他也会从驾驶舱内的操纵杆接收到即时的触觉反馈。“因此,飞行员控制杆,或主动感应器将提醒飞行员他们可能会超出飞机的极限,”他说。

在未来,触觉服装可以提供更多的信息,例如,用肩部的敲击以表示威胁,或用触觉手套来绘制手势。“这可以在他们最需要的时候提供直接就能看到或感受到的信息。”

Chris说,他们已经花费了很多年来改进为飞行员提供的增加现实体验,并且这些信息必须被严格控制:“如果你不小心,你可能会用大量的信息来‘轰炸’飞行员。在军事用途中,AR就是为了帮助你做得更好、更快,并且要减少工作量,而不是给他们更多需要思考的东西。”

重要的是,平视显示器只和支持它的底层系统一样智能,并且由一个庞大的战斗系统网络向飞行员提供数据:“它是一个更大的系统的一部分,而不仅仅是一个显示器。”

但现在的挑战是,如何使这种昂贵的技术适用于不同的市场,比如英国皇家海军等其他军事设施、商业航空航天、工厂车间甚至是医疗急救人员。Chris说:“困难在于如何使其便于使用,并且价格实惠。” 他认为,AR将会以更便于穿戴和使用的形式,比如眼镜,被送到军舰的舰桥上使用。

虽然军事领域率先为战场开发了AR技术,但AR技术在消费市场的发展也备受关注。目前,游戏和娱乐领域正在使用复杂的视觉效果并尝试虚拟现实。

“我们最大的收获是,技术必须帮助你做得更好、更快、更安全,才有使用的价值,”Chris总结道。

最初发布于2019年7月18日

原文链接:https://www.telegraph.co.uk/education/stem-awards/defence-technology/augmented-reality-in-the-military/

谷歌推出第二代企业版智能眼镜 专注企业应用场景

谷歌在近日发布了第二代企业版智能眼镜Google Glass Enterprise Edition 2,除了规格提升以外,造型也更接近一般眼镜。而且价格也比第一代大幅下降,定价999美元。

谷歌于2017年推出了第一代企业版智能眼镜,告别了以往的怪异造型,并重新锁定制造、维修、运输等应用领域,用以读取检货清单、配备指示或传送检查的照片和视频等。谷歌眼镜企业版现已有DHL、德国邮政、机械厂商AGCO和医疗机构Sutter Health等企业用户。

此次推出的第二代企业版智能眼镜提供两种造型,一种类似第一代产品,具备金属边框和充满未来感的造型,第二种则采用眼镜厂商Smith Optics的安全镜框,适用于生产线或维修中心等使用场景。两种设计都具备分辨率为640×360的显示屏,可显示叠加在真实世界上的文字及图像。

硬件规格方面,第二代企业版智能眼镜搭载高通骁龙XR1平台,包含多核CPU及新的AI引擎,效能更强、功耗更低、支持计算机视觉及机器学习功能。存储方面,它具备3GB的LPDDR4内存和32GB eMMC闪存,此外还搭载了800万像素摄像头、多点手势触控板、USB Type-C接口、以及具备快速充电功能的820mAh电池等。

谷歌表示,第二代企业版智能眼镜搭载了Android Oreo操作系统,方便企业用户整合既有服务和API,现在还加入了Android企业移动设备管理(Android Enterprise Mobile Device Management)软件,可进行大规模部署。

第二代企业版智能眼镜仅面向企业提供,可以通过经销商或向谷歌购买,虽然没有提供定价,但外媒报道称该产品售价999美元,比第一代便宜了600美元。

目前,DHL等公司已经在使用Google Glass Enterprise Edition 2。DHL供应链首席运营官兼首席信息官Markus Voss表示:“我们现在可以为我们的客户和员工提供更强大、技术更优化的智能眼镜。使用相应的软件,它不再只能读出条形码,找到产品并展示相应的储物箱,将来,还可以用智能眼镜识别复杂的物体。我们希望这可以进一步提高生产力,从而使我们的员工和客户受益。“

最初发布于2019年6月3日

美国陆军和政府机构这样应用增强现实和虚拟现实

士兵们在被送往战场之前需要训练数月甚至数年,并且在他们返回后还要继续训练。美国陆军希望确保他们的专业知识保持敏锐,无论他们位于何处。而虚拟现实可能会有所帮助。

“在你被部署后,训练还没有结束,”美国陆军联合兵种训练中心副总指挥Maria Gervais少将说。“我们希望能够一次又一次地进行训练,同时改变一些变量,当士兵们进入第一场战斗时就非常有自信。”

美国陆军正在利用已经在商业游戏领域应用的技术来更新其沉浸式培训能力,并于去年11月向微软授予了一份价值4.8亿美元的合同,用于开发可用于培训的增强现实系统原型。“可用的技术已经出现了,”Gervais说道。

联邦机构如何使用AR和VR

增强现实和虚拟现实正在消费市场中崛起,VR头显变得越来越便宜,越来越多的公司开始寻找在平板电脑和智能手机上应用AR的新方法,只要看看《Pokémon GO》和同类游戏的受欢迎程度就知道了。

IDC Government Insights的研究主管Shawn McCarthy表示,一些联邦机构也开始利用这些技术,尤其是增强现实技术,并且领先于这一趋势。

“这真的是出于高度专业化的目的,”McCarthy说。“ 最大的用途是培训,维护是次要的。例如可以让工人在飞机腹部时访问维修记录和部件照片的AR眼镜。“

美国陆军一直在将既有的旧系统结合起来创建虚拟培训环境,但他们意识到,需要具有可重新配置选项的虚拟培训体验,这些选项可以在任何地方使用,负责美国陆军综合训练环境(Synthetic Training Environment)的 Gervais说。

她曾与科技公司会面,评估经过改装可以用于军事用途的现成产品。去年11月与微软的合同要求该公司为美国陆军的集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)提供2550个AR/VR原型设备,基于微软的HoloLens。如果原型设备满足需求,美国陆军可以购买多达10万台。

起初,由于对技术发展速度的担忧,美国陆军将最后期限设定在2025年到2030年之间。但由于游戏视觉技术的快速提升,Gervais现在希望很快就能获得满足需求的AR/VR体验。

“我们需要一个基于通用数据和架构的环境,”她说。“正如我们今天所看到的那样,我们必须能够为更加复杂和更具挑战性的环境做好准备。”

VR让用户体验历史遗迹

其他机构正在转向更具创造性的方法,以及外界的帮助,来开发增强客户体验的AR/VR内容。

美国战争纪念碑委员会(American Battle Monuments Commission,简称ABMC)开发了一个智能手机App,可以让人们虚拟地参观法国北部奥马哈海滩附近的诺曼底美军公墓,这是埋葬9387名在诺曼底登陆时阵亡的美国士兵的地点。该App还在网站上为游客提供了有关他们所看到的内容的更多信息。

ABMC的对外事务主管Tim Nosal说,这家小型机构在全球范围内维护着26个墓地和30个纪念馆,外包了该App的制作工作。

当虚拟现实内容平台TimeLooper向国家公园管理局(National Park Service,简称NPS)询问有关华盛顿纪念碑VR体验的信息时,NPS开始与这家公司合作。

在林肯纪念堂的电梯被关闭,行动不便的游客无法进入主室时,TimeLooper制作了这段VR体验,可以使用Cardboard头显帮助游客在不使用楼梯的情况下观看包含林肯塑像的房间。

NPS的发言人Paul Ollig说,该公司还在2018年在Petersen House周围创建了一个VR体验,这里是林肯总统去世的地方,当时它必须关闭,以安装灭火系统并进行其他修理工作。

“当你看着那个房间时,你会感受到当晚事件的重要性,”他说。“我们发现,在这种情况下体验虚拟现实的人会非常感谢我们能提供这种替代品。”

NPS礼品店现在销售(或偶尔免费提供)Cardboard头显,当与智能手机配合使用时,可体验各种地标(包括越战纪念碑)的3D内容。TimeLooper处理这些业务,并管理应用程序更新。Ollig说,这就是与外部供应商合作的优势。

“该技术的复杂程度可能超出了大多数政府机构的能力,”Ollig说。“当我们找到一个愿意以符合我们要求的方式与我们合作的伙伴时,我们可以向公众展示他们以前从未见过的东西。

政府机构对AR和VR的应用有望增长

McCarthy表示,尽管一些机构可能认为AR/VR技术无用,但价格较低的新解决方案可能会改变他们的想法。

“它为你提供了更多的灵活性,以便在任何地方访问信息,”他说。“我不认为这是无聊的。”

他说,联邦、州和地方政府去年在AR/VR解决方案上花费了大约3.26亿美元。IDC预计到2021年该金额将达到92亿美元,这标志着政府对AR/VR使用量的显着增长。

增强现实和虚拟现实能够向人们展示他们无法看到的东西,其面临的最大挑战可能是几乎无限数量的潜在应用场景。

“它永远不会取代公园护林员或其他的我们讲故事的传统方式,”Ollig说。“但它是我们参观这些历史遗迹的的另一种工具,并且可以帮助人们理解为什么保护它们很重要。“

哪些政府机构在使用AR/VR?

根据McCarthy的说法,美国国防部是目前在增强现实和虚拟现实领域投入最大的政府机构,其次是美国航空航天局和国土安全部。

“美国宇航局通常不是资金投入排前三的机构之一,”他说。“但由于他们所做的所有训练和尖端研究,他们长期以来一直是这个领域的重要成员。”在接下来的几年间,他预计会有更多的机构利用这项技术。

“在农业部处理单据的人现在可能不需要虚拟现实,”McCarthy说。“但如果事实证明美国农业部希望每个人都沉浸在工作中,那么它可能会变得很有必要。

最初发布于2019年5月24日

原文链接:https://fedtechmagazine.com/article/2019/05/army-nps-embrace-virtual-and-augmented-reality

科普:VR的位置跟踪系统是如何工作的?

除了具有广阔的视野外,虚拟现实头显与常规的3D显示器的区别在于它们能够被跟踪。PC VR,主机VR以及现在一些独立的头显甚至还具有位置跟踪功能,因此你可以倾斜身体,躲避甚至在VR中走动。

但是这种跟踪如何运作?在这里,我们将解释主要的位置跟踪系统及其运行方式。

背景

什么是位置跟踪(6自由度)?

Oculus Go、三星Gear VR和谷歌Daydream View等大多数移动VR头显只有旋转跟踪(3DoF)。你可以向上或向下看,向左或向右倾斜。但是如果你试图倾斜或移动你的头部的位置,则不会被跟踪。整个虚拟世界将与你同行。3DoF控制器与之类似,仅限旋转。它们基本上只能充当激光选择指针。

这对于就座体验的VR内容来说是可以接受的,但它不允许你在物理上移动虚拟世界,或者直接用手与之交互。

在PC VR和主机VR上,以及现在的高端独立VR中,头显具有位置跟踪功能(6DoF)。位置跟踪使用户可以在虚拟环境中实际移动。如果跟踪范围足够大,你甚至可以在VR中绕着整个房间走动。

当控制器也是6DoF时,你可以直接用手与虚拟对象进行交互,因为你可以通过在现实世界中的移动实现虚拟空间中的移动。

如何实现位置跟踪?

旋转跟踪(3DoF)总是使用微型机电陀螺仪实现的。但不同的公司使用不同的技术来实现位置跟踪(6DoF)。虽然某天可能存在共同的行业标准,但目前尚未形成。不同的公司对哪种技术是正确的有不同的看法。

不同的跟踪系统均可平衡成本、设置难易度、跟踪范围、控制器跟踪范围和模块化等问题。

位置跟踪的共同基础:航位推算

与普遍看法相反,下面描述的光学系统仅是真正意义上的“校正”系统。所有这些系统的主要共享跟踪方法是微型机电加速度计。这些加速度计通常以1000赫兹运行。

其工作原理是:加速度计不读取位置或速度,他们读取加速度。你可能还记得微积分,你可以随着时间的推移获得加速度的积分并获得速度。如果你随着时间的推移得到速度值的积分,你就会获得位置信息(或至少从原始位置产生的位移信息)。

使用它来确定位置的变化称为航位推算。这就是VR头显和控制器每时每刻都在跟踪自己的方法。

那为什么还需要其他跟踪手段呢?因为加速度计并不完美,会产生噪声数据。将这些数据进行两次积分意味着即使是最小的误差也会被放大,并且误差还会累积。实际上,这意味着基于加速度计的位置跟踪会在几秒钟内漂移到无限远。

VR跟踪系统的目的是通过提供参考来纠正这种漂移。每个跟踪系统都采用不同的方式,但目的是相同的。

常见的VR跟踪系统

“星座”(最初的Oculus Rift)

在设计Rift时,Oculus面临着提供与OptiTrack等数千美元的系统相同质量跟踪的挑战,但其成本却要低一个数量级。

每个被跟踪设备都有一个隐藏在外部塑料下的预定义红外LED“星座”。红外线对人眼是不可见的。

传感器基本上是带有过滤器的摄像头,只能看到红外光,通过USB线缆以60Hz的频率将帧发送到用户的PC。PC处理每个帧,识别每个红外LED的位置,从而识别每个对象的相对位置。

该软件可以轻松识别它所看到的LED,因为它知道“星座”的形状,它会记住物体在前一帧中的位置,并且知道它的加速方向(来自加速度计)及其旋转(来自陀螺仪)。每个红外LED也以特定频率闪烁以识别自身。这些创新使“星座”跟踪系统在基于标记的跟踪系统中占据了一席之地。

为了支持快速运动,Rift头显和触摸控制器每次即将发出LED脉冲时,都会与传感器中的无线芯片进行无线通信。这使得相机快门能够像LED那样准确曝光,并且曝光时间很短。

“星座”跟踪不再用于Rift S头显的跟踪,但它用于Rift S头显内置的摄像头,以跟踪控制器。

“星座”的优势:

整合成本低

高品质的跟踪

适用于大多数环境

“星座”的缺点:

每个传感器都与PC有线连接

大USB带宽会导致许多主板出现问题

传感器具有有限的垂直视野

PlayStation VR

PlayStation VR也使用相机,但与Rift不同,PSVR的跟踪功能在可见光光谱中运行。

PlayStation 4摄像头单元包含两个间隔开的相机。摄像头单元连接到PlayStation,后者使用图像数据跟踪头显上的蓝色光条和控制器上的光球。

这使得索尼可以利用2010年就已经发布的PlayStation Move控制器。

PSVR跟踪的优势:

整合成本低

利用现有的PS Move控制器

PSVR跟踪的缺点:

跟踪质量低

不支持房间规模跟踪

SteamVR“灯塔”(HTC Vive)

Valve的SteamVR“灯塔”系统是目前市场上最独特的系统。与所有其他系统不同,它根本不使用摄像头,而且PC不处理任何数据。“灯塔”从一开始就被设计为能够进行房间规模的位置跟踪,而无需将传感器连接回用户的PC。

基站(“灯塔”)位于房间的相对顶角。它们不与PC通信,也不是传感器。它们在整个房间内发射广角二维红外激光束。一次完成一个轴的发射,比如先左右方向,然后上下方向,然后再重复。在每次扫描之前,它们会发出强大的红外闪光。

每个被跟踪设备包含连接到芯片的红外光电二极管阵列。该芯片测量红外闪光和被每个轴的激光扫描到时,二者间隔的时间。由此可以确定它在房间中的位置。

“灯塔”的独特价值在于它在理论上是一个相对简单的设计。不涉及复杂的计算机视觉算法或相机读数,只涉及激光扫描之间的时间。

“灯塔”的优势:

无需将基站连接到PC(仅供电),

高品质跟踪,

跟踪范围大。

“灯塔”的缺点:

生产/整合相对昂贵,

通常需要在墙壁上安装基站(电机会抖动),

室内的反射表面会引发跟踪失灵。

SLAM / Inside-Out

在Oculus Rift和HTC Vive发布之后,许多VR公司开始意识到,在房间里安装传感器或基站的要求让很多潜在买家不想购买。

许多新的和即将推出的头显使用内置于头显中的摄像头,这些摄像头使用计算机视觉算法执行“由内向外”跟踪。使用的特定算法类型被称为即时定位与映射(Simultaneous Localization And Mapping,简称SLAM)。

SLAM算法通过注意房间中的独特静态特征来工作。通过比较来自加速度计和陀螺仪的旋转和加速度以及这些特征如何移动,可以确定头显的位置。

有几家公司已经发布或计划发布使用SLAM的头显:

微软:Windows MR头显

谷歌:联想Mirage Solo

HTC:Vive Focus

Facebook:Oculus Quest和Oculus Rift S

其中,谷歌称他们的跟踪算法为“WorldSense”,Facebook称他们的跟踪算法为“Oculus Insight”。

为了跟踪控制器,这些系统以与“星座”相似的方式运行,那就是使用可见光或红外光。头显上的摄像头跟踪控制器上塑料下的LED。

SLAM/Inside-out的优势:

无需外部硬件,

成本非常低,

简易的设置,

控制器的跟踪范围大,只要在你能在现实生活中看到你的手,头显就可以跟踪控制器。

SLAM/Inside-out的缺点:

无法在黑暗中工作,

当控制器在头后或背部时无法准确跟踪,

当手臂在头显和控制器之间时,无法跟踪控制器的运动。

最初发布于5月16日

原文链接:https://uploadvr.com/how-vr-tracking-works/

巨头入局 CAT卡特彼勒推出VR安全培训程序

工程机械行业巨头卡特彼勒(Caterpillar)已经开发了第一个虚拟现实培训程序,培训道路铺设团队的新成员如何避免危险并与同事沟通,并在2019年沥青世界展会上首次展示了其虚拟现实安全培训程序。

“这基本上是他们在工作的第一天所要经历的事,”Caterpillar安全服务业务开发经理Justin Ganschow在印第安纳波利斯最近举行的世界沥青展上说。

“该项目的目的是帮助公司以安全的方式和在安全的环境中对员工进行培训,使他们了解到在铺路的工程车上工作是怎样的体验。”

这个VR程序大约需要25分钟,并会让受训人员经历五种培训场景。

Caterpillar为一家大型国家道路建设承包商开发了该程序。该公司在全国各地的子公司的员工与Caterpillar合作开发了四车道高速公路铺设作业中常见的情景。

在其中一个场景中,工头会告诉受训人员拿起橙色安全锥筒并将它们放在工作区。头显画面会显示放在地面上的安全锥筒,通过手持的控制器,受训者可以移动可见的手,以拾取安全锥筒并将其放置在适当的位置。

在另一个场景中,受训人员被告知要将铲子递给站在铺路车另一侧的工人。当受训者拿起铲子走向另一名工人时,周围突然有红灯闪烁,他被一辆卡车撞倒了。

然后受训人员走到工头面前,工头会解释说在卡车和设备后面行走是危险的,并且给出了正确的操作程序。每次受训人员失败时,工头会提供更详细的指示,直到受训者通过该情景并继续进行下一个任务。

一旦戴上VR头显,受训人员就会沉浸在虚拟的四车道高速公路项目中。除了更安全以外,该程序还可以衡量一名工人在上班前能掌握多少知识。

“你可以用它来看看工人们能否自己做出安全的决定,是否需要更密切的监控,”Ganschow说。

Ganschow说,它也可以用于根据求职者的安全知识来筛选工人。

在他看来,VR培训的一个优点是能够留下持久的记忆。

“VR培训的知识留存率也很可观,大约在一年之后,用户将保留他们学到的80%左右的知识,”他说。“传统学习方式的知识留存率约为10%。”

根据Ganschow的说法,VR模拟器配备了所有需要的设备,大约需要10分钟就能完成配置。该套装售价14,950美元,包括高性能游戏笔记本电脑,HTC Vive虚拟现实头显,手持控制器,顶部带传感器的灯架,已装入笔记本电脑的模拟软件以及便携包。

该模拟器可通过Caterpillar的代理商购买和销售给客户,或者可以让客户使用,并让他们的工人接受培训。

该模拟器也可以定制。比如可以在卡车侧面和安全帽上放公司徽标,并且可以在培训场景开始之前播放公司的视频。

这是Caterpillar首次涉足VR培训,并且它不会是最后一次。Ganschow说,他们正在计划为采石场、沥青厂和任何其他有兴趣开发VR培训的行业开发VR培训程序。

最初发布于4月25日

原文链接:https://www.equipmentworld.com/cat-unveils-its-first-virtual-reality-trainer-simulating-workers-first-day-on-road-paving-crew/

增强现实变革人机交互 这就是建筑行业的未来

“简而言之,我们相信增强现实将永远改变我们使用技术的方式。” – Apple公司首席执行官Tim Cook

到2023年,增强现实市场预计将达到605.5亿美元,该技术正在迅速改变建筑师和工程师的工作方式。

增强现实(AR),也称为空间计算,正在迅速发展并扩展到无数的商业和工业应用中。

空间计算被用作广义术语来描述人类与同一环境中的计算机交互的方式。换句话说,在空间计算中,机器与人类处于相同的空间,而不是被包含在一个单独的位置。

因此,增强现实系统使数字媒体通过交互式设计和手势操作,让人感觉就像真实存在一样。

根据Markets and Markets的预测,到2023年,全球增强现实市场预计将达到605.50亿美元的规模,在2018年至2023年的预测期内以40.29%的复合年增长率增长。顶级技术巨头的兴趣和投资增加会直接推动增强现实市场的增长。

总体而言,由于人们在消费、商业和企业用途中越来越多地使用智能手机、平板电脑和其他设备来应用AR技术,AR软件市场将在此期间引领增长。

在越来越多的AR应用需求出现在医疗保健,零售和电子商务领域的同时,建筑和企业应用对AR的需求仍在不断提升,这其中还有很多新兴的机会。

参与AR投资和收购的大公司包括谷歌,苹果,英特尔,三星和Facebook。

增强现实:不仅用于游戏

AR技术可以让人类和机器进行交互和协同创作,反过来,也会改变企业实现其愿景的方式。

虚拟现实和增强现实不仅仅适用于游戏。它们是一种改变游戏规则的工具,可以在几乎所有行业中展示它们的能力。

虚拟、增强和混合现实技术在过去几年中发展很快,从最常见的游戏和娱乐领域,发展到成功的商业用例,包括智慧城市规划。

智慧城市规划和建设:增加可能性

例如,在建筑行业,沉浸式技术可以帮助智能城市的发展,比如增强现实正在成为建设过程中不可或缺的一部分。

城市收集了大量的数据,而增强现实可以使数据可视化。通过使用AR,建筑师可以找到一种更具创造性和直接的方式,通过创建引人入胜的可视化体验,向城市规划者展示他们的项目在现实生活中的样子,从而触发更快的决策。

它可以用来“建造”一个新的交通中心或一个城市的下一座摩天大楼。在所有情况下,使用增强现实技术都可以使工作更轻松。

建筑项目中的增强现实模型

现在,在业务中使用增强现实平台,可以轻松设计智能城市项目。WakingApp是一个专业的增强现实工作室,使工程师和建筑师等专业人士能够利用最新技术。项目在构建之前就能实现可视化,避免了很多错误。

WakingApp技术的有趣之处在于,开发人员和设计人员无需拥有任何编码经验即可利用该工具集。他们可以快速创建高质量的AR体验,以有限的编码经验来展示建筑项目。

建筑项目中的增强现实模型

MLM集团是一家工程、环境和楼宇控制设计顾问公司,他们能够用WakingApp的AR技术,使用AR Studio转化其项目,并展示给客户。

“增强现实体验为建筑项目节约了成本,增加了价值,并使整个建筑过程更加高效。因为从一开始,工程师和建筑师就能够创建最终项目的详细交互式示例,” WakingApp首席执行官Matan Libis表示。

“AR为建筑商及其客户提供了远远超过任何蓝图或3D模型的理解水平,并且通常可以在很短的时间内创建AR体验,为用户提供实用性和功效的提升,”他说。

微软HoloLens和增强现实可以帮助加快建设项目

微软的混合现实头显HoloLens可以给2D蓝图赋予生命。在施工现场,工人可以将3D模型与实时数据相结合。他们可以看到现实世界中的问题和缺陷,并在建造之前修复它们。

这加快了施工过程并提高了最终产品的质量。使用这种技术,建筑工人可以将他们的技能提升到一个新的水平,增加他们的知识并使用它来做出更好的决策。

最初发布于2019年4月21日

原文链接:https://interestingengineering.com/augmented-reality-the-future-of-building

华为轮值董事长胡厚崑:5G将触发VR/AR产业的爆发与成熟

在近日举行的2019华为分析师大会期间,华为轮值董事长胡厚崑分享了自己对5G的一些观点。

胡厚崑表示,5G比我们预想的来得更快,5G eMMB已经改变了各个行业,5G将触发VR/AR产业的爆发与成熟。

他认为,未来,“零搜索”和“超视觉”将成为技术趋势。

所谓零搜索,就是在未来智能世界中不需要搜索,人类不是找东西,而是东西找我们。“作为消费者我们认为零搜索情景可期。不需要按键、按钮来互动,作为消费者将会完全自由,手是自由的,最终思想也是自由的。”胡厚崑表示。

而超视觉就是5G、AI、AR/VR将帮助人类突破空间距离知识的障碍,将见过去所不能见,更好的理解所见所闻。

“这仅仅是未来趋势中的2个,未来几年可以看到更多类似趋势。”胡厚崑表示。

两年前华为宣布了未来20-30年的愿景:构建万物互联的智能世界。那么,华为如何构建这个智能世界?

首先就是连接,连接就绕不开5G。胡厚崑认为5G网络的部署速度,远远超过了预期,并且“5G不是更快的4G,而是一场革命”。

对比4G和5G标准冻结后的情形:4G标准冻结后一年,没有手机芯片推出,没有手机推出,只有400个基站;而在5G标准冻结后,已经有4家提供5G芯片,40款5G手机推出,超过10万个基站。

华为预计到2025年将有650万个5G基站,28亿5G用户,覆盖全球58%的人口。

结合5G网络的发展,应用侧也相应的会被引爆。比如AR/VR,5G折叠手机。

今年华为在MWC发布了首款5G折叠手机,胡厚崑认为折叠手机加5G网络将会是杀手级的创新产品。而在VR/AR方面,胡厚崑曾在演讲中透露华为计划在今年下半年会发布一款颠覆性的VR终端。

华为认为,5G时代行业达到5亿用户仅需要3年。同时,华为预计,到2025年,将拥有650万个基站、28亿用户、覆盖全球58%的人口。

今年年初,华为推出了5G基带芯片和5G基站芯片。华为透露,截至4月15日,他们已经签订了40个5G商用合同。

至于最近业内热议的华为向苹果提供5G芯片的消息,胡厚崑在会后的采访中表示,并没有与苹果具体讨论。

但华为认为,苹果是一家伟大的公司,如果没有苹果的努力,移动互联网的时代不会怎么早到来。而5G是个非常令人兴奋的时代,华为认为这样的时代,苹果不应该缺席。

”从整个产业发展角度,一个优秀公司参与到产业里会让其他选手更优秀。因此,从意愿上,华为非常期待苹果能够加入到5G移动终端的竞争当中。“胡厚崑表示。

除此之外,胡厚崑还分享了华为在AI和云方面的进展。他认为AI正在加速云的发展,未来97%的大企业都会使用AI,77%的云端APPs将会使用AI。

对于未来,胡厚崑提到了华为的Tech4ALL数字包容计划。据了解,该项目的目标是希望用未来的5年时间,让全球再多5亿人能从数字技术里受益,华为的技术应该为所有人创造价值。

积极探索VR和AR技术 NBA想让数以亿计的粉丝亲临现场

在夏洛特举行的全明星周末的周六晚上,光谱中心内部侧面走廊里有一个房间,地板和墙壁全部都是黑色的。

我们在晚上活动开始前大约15分钟进入房间时,看到的第一个人是Stephen Curry,正在与Dirk Nowitzki和其他三分竞赛参与者一起拍照。在此之前,夏洛特黄蜂队的Kemba Walker正在随意地转动一个篮球,并且球员们正在迅速而小心地进出房间,直到比赛的参与者完成不同的姿势和步伐的拍摄。一台外观看起来很未来主义的相机正在拍摄着不同的照片和视频,每个人都被从房间的一侧带到另一侧,以便捕获每个角度。

所有这些球员参与拍摄都是为了NBA AR App,该应用程序专注于通过增强现实将世界各地的球迷聚在一起。除了由英特尔和NextVR提供技术支持的每周一次的NBA虚拟现实赛事直播外,联盟也处于沉浸式媒体的最前沿。在全明星周末的过程中,我们与负责这些项目的NBA高管进行了交谈,了解了为什么AR和VR对于联盟如此重要,以及进行这项开创性的工作的过程。

NBA早在2014年就开始尝试VR,当时它在迈阿密热火与克利夫兰骑士队的季前赛中尝试了这项技术。第一次公开的VR赛事直播是丹佛掘金队与金州勇士队在2015-2016常规赛开幕之夜的比赛 。

此后不久,联盟负责传播内容管理的副总裁Paul Massache开始推动VR项目。英特尔和NextVR共同负责NBA的现场直播,并且它们也是整个过程中与联盟合作的仅有的供应商。Massache多年来一直与ESPN和Turner合作,弄清楚了他们的电视节目会是什么样子,并将这些知识和洞察力用于VR。

“在NBA,我们总是希望站在技术的最前沿,”Massache说,“所以我们在最好的时机进入了虚拟现实领域。”

Jeff Marsilio是NBA负责新媒体发行的高级副总裁,负责数字许可和业务拓展,包括社交媒体公司的合作伙伴关系,以及让联盟的应用程序-包括AR和VR-应用更多的设备上。Marsilio说,试着分发和发展NBA的新兴技术是他工作中最有趣的部分之一。

根据Marsilio的说法,NBA之所以成为AR和VR的早期支持者,原因在于并非每项技术都会成功,但是如果某些东西最终变得流行和无处不在,那么你就会想要从头开始并做好准备。

“你正在学习,而这些技术正在发展,所以当它们成熟时,你已经能熟练掌握了,”Marsilio说。“如果你等到他们成熟才开始学习,你就会当着所有参与其中的粉丝的面来学习,他们可能会对这种体验感到失望。所以我们希望随着沉浸式媒体的成熟,让这种体验达到它尽可能好的程度。“

回到夏洛特光谱中心的增强现实拍摄室,NBA的Sean Coulter继续拍摄周六晚上的参赛者,包括俄克拉荷马城雷霆队的扣篮冠军Hamidou Diallo。Coulter已经在联盟中效力了25年,并且负责拍摄尽可能多的素材,不仅是在全明星周末,也同样包括在常规赛和季后赛期间。

Coulter使用在周末拍摄的素材,从各个角度进行了拼接,以便在全明星周末后的早晨为NBA AR App提供一分钟左右的剪辑。在全明星周末期间,他还可以获得赛场的独家使用权,为剪辑穿插一些Shaquille O’Neal和其他名人的动作片段。

“你可以在任何地方观看比赛,”Massache说。“但我们要做的是向大家展示幕后的画面。这就是VR的魅力所在。”

NBA现在已进入第三个完整赛季,每周一场比赛,这种赛制从2016年10月27日圣安东尼奥马刺 – 萨克拉门托国王队的比赛开始。根据NBA提供的数据,NextVR在其VR应用上为NBA制作了26场常规赛现场VR直播,而英特尔True VR制作了10场常规赛VR直播和所有的全明星赛,以及16到20场季后赛的直播。

“他们正在尝试拍摄的内容与我们在TNT或ESPN播出的内容相同,”Massache说。

像任何其他播出的内容一样,有一辆节目制作卡车和一个团队会在比赛播出的前一天或当天在场馆内安装摄像机。本赛季,Stephanie Ready和Rip Hamilton每周都会在现场专门布置虚拟现实直播设备,Turner为每周一次的VR直播提供广播通道。

Massache几乎每天都会与NextVR和英特尔进行会谈,每周都会通过电话了解VR版比赛直播的故事线和特性。除了全国电视转播的ESPN,TNT和NBATV之外,VR团队基本上就像他们自己的广播网络一样。

Coulter出现在联盟的许多比赛的现场,帮助为VR应用程序拍摄视频。Massache说,Coulter非常善于融入比赛并使用他的专业VR摄像机捕捉令人难以置信的画面,而不会干扰球员们,或者让他们在准备比赛时感到不舒服。

“这是Sean所面临的挑战的一个重要部分,”Massache说。

此外,联盟会在每周一次的VR比赛直播后,专门为VR应用程序制作一个五分钟的精华集锦。

联盟还在VR和AR应用程序中创建了更长的体验内容。2016年VR纪录片 “ Follow My Lead:The Story of the 2016 NBA Finals”赢得了首届体育艾美奖中新创立的“杰出数字创新”类别奖项。

虽然在早期就获得了成功和荣誉,Massache和Marsilio都认为,这些应用程序还有很长的路要走。

“这是一个学习曲线,”Massache说,“他们的两款产品都明显变得更好了。从一开始到现在,这确实是一个巨大的进步。“

最初,Marsilio认为复制球迷的场边体验是NBA VR的发展方向。 事实证明,将VR摄像机放在场边座位上并不会削弱球迷的体验。

“为了真正感受到在比赛现场,你需要现在不存在的技术,”Marsilio说道,“我们发现的是,我们将从其他媒体中学到的东西,比如电视,与沉浸式媒体的优点结合起来,能为你提供当前沉浸式媒体的最佳体验。“

在VR直播中,需要将八个摄像机安置在球场周围,并像常规电视广播一样在它们的视角之间切换。

“并且你会有专门的解说员,”就像Ready和Hamilton一样,Marsilio说,“没有谁会注意VR摄像机的位置。”

NBA的VR应用程序有一个不小的问题,没有多少人能够充分利用联盟最新的技术。当然了,AR应用程序只需用手机就可以使用。联盟拒绝透露其VR应用程序的确切用户数量。

“使用它的粉丝给了我们很多很好的反馈,”Marsilio说。“使用时间比你想象的要长。人们往往会停留一些时间,因为他们能够获得临场感。”

让应用程序能够通过众多设备进行访问是Marsilio工作的一部分,并且他说Oculus Go已经改变了VR领域的游戏规则。

“我们已经看到随着这款设备的推出,用户数量在急剧上升,”Marsilio说道,“它真的是第一款专用的VR系统,不需要插入手机或电脑,也不需要连接到任何复杂的让用户感到困难的东西。“

Massache和Marsilio都明白,VR和AR的持续广泛流行还需要很长时间,并且联盟需要花费多年时间才能让这些技术为用户提供理想的沉浸式媒体体验。

“由于交通方面的原因,99%的球迷都不能亲自参与比赛,”Marsilio说道,“他们只是没有机会,附近没有比赛。”

世界上几乎所有NBA球迷都无法定期到场馆内观看比赛,尤其是中国和印度的球迷。因此,Marsilio说,数以亿计的粉丝需要一种尽可能接近比赛的方法。

“我们相信沉浸式媒体,特别是VR,能为观看比赛带来新的变革,”Marsilio说。

这些技术尚未成熟,但NBA显然已经在豪赌,他们认为,VR和AR技术将最终将会成为粉丝在更深的、更有意义的层面上与其品牌互动的下一个重要方式。

最初发布于2019年3月31日

原文链接:https://www.forbes.com/sites/shlomosprung/2019/03/15/behind-the-scenes-how-the-nba-is-using-virtual-reality-to-get-fans-closer-to-the-action/#36c8b2ae3727