科普:VR的位置跟踪系统是如何工作的?

除了具有广阔的视野外,虚拟现实头显与常规的3D显示器的区别在于它们能够被跟踪。PC VR,主机VR以及现在一些独立的头显甚至还具有位置跟踪功能,因此你可以倾斜身体,躲避甚至在VR中走动。

但是这种跟踪如何运作?在这里,我们将解释主要的位置跟踪系统及其运行方式。

背景

什么是位置跟踪(6自由度)?

Oculus Go、三星Gear VR和谷歌Daydream View等大多数移动VR头显只有旋转跟踪(3DoF)。你可以向上或向下看,向左或向右倾斜。但是如果你试图倾斜或移动你的头部的位置,则不会被跟踪。整个虚拟世界将与你同行。3DoF控制器与之类似,仅限旋转。它们基本上只能充当激光选择指针。

这对于就座体验的VR内容来说是可以接受的,但它不允许你在物理上移动虚拟世界,或者直接用手与之交互。

在PC VR和主机VR上,以及现在的高端独立VR中,头显具有位置跟踪功能(6DoF)。位置跟踪使用户可以在虚拟环境中实际移动。如果跟踪范围足够大,你甚至可以在VR中绕着整个房间走动。

当控制器也是6DoF时,你可以直接用手与虚拟对象进行交互,因为你可以通过在现实世界中的移动实现虚拟空间中的移动。

如何实现位置跟踪?

旋转跟踪(3DoF)总是使用微型机电陀螺仪实现的。但不同的公司使用不同的技术来实现位置跟踪(6DoF)。虽然某天可能存在共同的行业标准,但目前尚未形成。不同的公司对哪种技术是正确的有不同的看法。

不同的跟踪系统均可平衡成本、设置难易度、跟踪范围、控制器跟踪范围和模块化等问题。

位置跟踪的共同基础:航位推算

与普遍看法相反,下面描述的光学系统仅是真正意义上的“校正”系统。所有这些系统的主要共享跟踪方法是微型机电加速度计。这些加速度计通常以1000赫兹运行。

其工作原理是:加速度计不读取位置或速度,他们读取加速度。你可能还记得微积分,你可以随着时间的推移获得加速度的积分并获得速度。如果你随着时间的推移得到速度值的积分,你就会获得位置信息(或至少从原始位置产生的位移信息)。

使用它来确定位置的变化称为航位推算。这就是VR头显和控制器每时每刻都在跟踪自己的方法。

那为什么还需要其他跟踪手段呢?因为加速度计并不完美,会产生噪声数据。将这些数据进行两次积分意味着即使是最小的误差也会被放大,并且误差还会累积。实际上,这意味着基于加速度计的位置跟踪会在几秒钟内漂移到无限远。

VR跟踪系统的目的是通过提供参考来纠正这种漂移。每个跟踪系统都采用不同的方式,但目的是相同的。

常见的VR跟踪系统

“星座”(最初的Oculus Rift)

在设计Rift时,Oculus面临着提供与OptiTrack等数千美元的系统相同质量跟踪的挑战,但其成本却要低一个数量级。

每个被跟踪设备都有一个隐藏在外部塑料下的预定义红外LED“星座”。红外线对人眼是不可见的。

传感器基本上是带有过滤器的摄像头,只能看到红外光,通过USB线缆以60Hz的频率将帧发送到用户的PC。PC处理每个帧,识别每个红外LED的位置,从而识别每个对象的相对位置。

该软件可以轻松识别它所看到的LED,因为它知道“星座”的形状,它会记住物体在前一帧中的位置,并且知道它的加速方向(来自加速度计)及其旋转(来自陀螺仪)。每个红外LED也以特定频率闪烁以识别自身。这些创新使“星座”跟踪系统在基于标记的跟踪系统中占据了一席之地。

为了支持快速运动,Rift头显和触摸控制器每次即将发出LED脉冲时,都会与传感器中的无线芯片进行无线通信。这使得相机快门能够像LED那样准确曝光,并且曝光时间很短。

“星座”跟踪不再用于Rift S头显的跟踪,但它用于Rift S头显内置的摄像头,以跟踪控制器。

“星座”的优势:

整合成本低

高品质的跟踪

适用于大多数环境

“星座”的缺点:

每个传感器都与PC有线连接

大USB带宽会导致许多主板出现问题

传感器具有有限的垂直视野

PlayStation VR

PlayStation VR也使用相机,但与Rift不同,PSVR的跟踪功能在可见光光谱中运行。

PlayStation 4摄像头单元包含两个间隔开的相机。摄像头单元连接到PlayStation,后者使用图像数据跟踪头显上的蓝色光条和控制器上的光球。

这使得索尼可以利用2010年就已经发布的PlayStation Move控制器。

PSVR跟踪的优势:

整合成本低

利用现有的PS Move控制器

PSVR跟踪的缺点:

跟踪质量低

不支持房间规模跟踪

SteamVR“灯塔”(HTC Vive)

Valve的SteamVR“灯塔”系统是目前市场上最独特的系统。与所有其他系统不同,它根本不使用摄像头,而且PC不处理任何数据。“灯塔”从一开始就被设计为能够进行房间规模的位置跟踪,而无需将传感器连接回用户的PC。

基站(“灯塔”)位于房间的相对顶角。它们不与PC通信,也不是传感器。它们在整个房间内发射广角二维红外激光束。一次完成一个轴的发射,比如先左右方向,然后上下方向,然后再重复。在每次扫描之前,它们会发出强大的红外闪光。

每个被跟踪设备包含连接到芯片的红外光电二极管阵列。该芯片测量红外闪光和被每个轴的激光扫描到时,二者间隔的时间。由此可以确定它在房间中的位置。

“灯塔”的独特价值在于它在理论上是一个相对简单的设计。不涉及复杂的计算机视觉算法或相机读数,只涉及激光扫描之间的时间。

“灯塔”的优势:

无需将基站连接到PC(仅供电),

高品质跟踪,

跟踪范围大。

“灯塔”的缺点:

生产/整合相对昂贵,

通常需要在墙壁上安装基站(电机会抖动),

室内的反射表面会引发跟踪失灵。

SLAM / Inside-Out

在Oculus Rift和HTC Vive发布之后,许多VR公司开始意识到,在房间里安装传感器或基站的要求让很多潜在买家不想购买。

许多新的和即将推出的头显使用内置于头显中的摄像头,这些摄像头使用计算机视觉算法执行“由内向外”跟踪。使用的特定算法类型被称为即时定位与映射(Simultaneous Localization And Mapping,简称SLAM)。

SLAM算法通过注意房间中的独特静态特征来工作。通过比较来自加速度计和陀螺仪的旋转和加速度以及这些特征如何移动,可以确定头显的位置。

有几家公司已经发布或计划发布使用SLAM的头显:

微软:Windows MR头显

谷歌:联想Mirage Solo

HTC:Vive Focus

Facebook:Oculus Quest和Oculus Rift S

其中,谷歌称他们的跟踪算法为“WorldSense”,Facebook称他们的跟踪算法为“Oculus Insight”。

为了跟踪控制器,这些系统以与“星座”相似的方式运行,那就是使用可见光或红外光。头显上的摄像头跟踪控制器上塑料下的LED。

SLAM/Inside-out的优势:

无需外部硬件,

成本非常低,

简易的设置,

控制器的跟踪范围大,只要在你能在现实生活中看到你的手,头显就可以跟踪控制器。

SLAM/Inside-out的缺点:

无法在黑暗中工作,

当控制器在头后或背部时无法准确跟踪,

当手臂在头显和控制器之间时,无法跟踪控制器的运动。

最初发布于5月16日

原文链接:https://uploadvr.com/how-vr-tracking-works/

巨头入局 CAT卡特彼勒推出VR安全培训程序

工程机械行业巨头卡特彼勒(Caterpillar)已经开发了第一个虚拟现实培训程序,培训道路铺设团队的新成员如何避免危险并与同事沟通,并在2019年沥青世界展会上首次展示了其虚拟现实安全培训程序。

“这基本上是他们在工作的第一天所要经历的事,”Caterpillar安全服务业务开发经理Justin Ganschow在印第安纳波利斯最近举行的世界沥青展上说。

“该项目的目的是帮助公司以安全的方式和在安全的环境中对员工进行培训,使他们了解到在铺路的工程车上工作是怎样的体验。”

这个VR程序大约需要25分钟,并会让受训人员经历五种培训场景。

Caterpillar为一家大型国家道路建设承包商开发了该程序。该公司在全国各地的子公司的员工与Caterpillar合作开发了四车道高速公路铺设作业中常见的情景。

在其中一个场景中,工头会告诉受训人员拿起橙色安全锥筒并将它们放在工作区。头显画面会显示放在地面上的安全锥筒,通过手持的控制器,受训者可以移动可见的手,以拾取安全锥筒并将其放置在适当的位置。

在另一个场景中,受训人员被告知要将铲子递给站在铺路车另一侧的工人。当受训者拿起铲子走向另一名工人时,周围突然有红灯闪烁,他被一辆卡车撞倒了。

然后受训人员走到工头面前,工头会解释说在卡车和设备后面行走是危险的,并且给出了正确的操作程序。每次受训人员失败时,工头会提供更详细的指示,直到受训者通过该情景并继续进行下一个任务。

一旦戴上VR头显,受训人员就会沉浸在虚拟的四车道高速公路项目中。除了更安全以外,该程序还可以衡量一名工人在上班前能掌握多少知识。

“你可以用它来看看工人们能否自己做出安全的决定,是否需要更密切的监控,”Ganschow说。

Ganschow说,它也可以用于根据求职者的安全知识来筛选工人。

在他看来,VR培训的一个优点是能够留下持久的记忆。

“VR培训的知识留存率也很可观,大约在一年之后,用户将保留他们学到的80%左右的知识,”他说。“传统学习方式的知识留存率约为10%。”

根据Ganschow的说法,VR模拟器配备了所有需要的设备,大约需要10分钟就能完成配置。该套装售价14,950美元,包括高性能游戏笔记本电脑,HTC Vive虚拟现实头显,手持控制器,顶部带传感器的灯架,已装入笔记本电脑的模拟软件以及便携包。

该模拟器可通过Caterpillar的代理商购买和销售给客户,或者可以让客户使用,并让他们的工人接受培训。

该模拟器也可以定制。比如可以在卡车侧面和安全帽上放公司徽标,并且可以在培训场景开始之前播放公司的视频。

这是Caterpillar首次涉足VR培训,并且它不会是最后一次。Ganschow说,他们正在计划为采石场、沥青厂和任何其他有兴趣开发VR培训的行业开发VR培训程序。

最初发布于4月25日

原文链接:https://www.equipmentworld.com/cat-unveils-its-first-virtual-reality-trainer-simulating-workers-first-day-on-road-paving-crew/

增强现实变革人机交互 这就是建筑行业的未来

“简而言之,我们相信增强现实将永远改变我们使用技术的方式。” – Apple公司首席执行官Tim Cook

到2023年,增强现实市场预计将达到605.5亿美元,该技术正在迅速改变建筑师和工程师的工作方式。

增强现实(AR),也称为空间计算,正在迅速发展并扩展到无数的商业和工业应用中。

空间计算被用作广义术语来描述人类与同一环境中的计算机交互的方式。换句话说,在空间计算中,机器与人类处于相同的空间,而不是被包含在一个单独的位置。

因此,增强现实系统使数字媒体通过交互式设计和手势操作,让人感觉就像真实存在一样。

根据Markets and Markets的预测,到2023年,全球增强现实市场预计将达到605.50亿美元的规模,在2018年至2023年的预测期内以40.29%的复合年增长率增长。顶级技术巨头的兴趣和投资增加会直接推动增强现实市场的增长。

总体而言,由于人们在消费、商业和企业用途中越来越多地使用智能手机、平板电脑和其他设备来应用AR技术,AR软件市场将在此期间引领增长。

在越来越多的AR应用需求出现在医疗保健,零售和电子商务领域的同时,建筑和企业应用对AR的需求仍在不断提升,这其中还有很多新兴的机会。

参与AR投资和收购的大公司包括谷歌,苹果,英特尔,三星和Facebook。

增强现实:不仅用于游戏

AR技术可以让人类和机器进行交互和协同创作,反过来,也会改变企业实现其愿景的方式。

虚拟现实和增强现实不仅仅适用于游戏。它们是一种改变游戏规则的工具,可以在几乎所有行业中展示它们的能力。

虚拟、增强和混合现实技术在过去几年中发展很快,从最常见的游戏和娱乐领域,发展到成功的商业用例,包括智慧城市规划。

智慧城市规划和建设:增加可能性

例如,在建筑行业,沉浸式技术可以帮助智能城市的发展,比如增强现实正在成为建设过程中不可或缺的一部分。

城市收集了大量的数据,而增强现实可以使数据可视化。通过使用AR,建筑师可以找到一种更具创造性和直接的方式,通过创建引人入胜的可视化体验,向城市规划者展示他们的项目在现实生活中的样子,从而触发更快的决策。

它可以用来“建造”一个新的交通中心或一个城市的下一座摩天大楼。在所有情况下,使用增强现实技术都可以使工作更轻松。

建筑项目中的增强现实模型

现在,在业务中使用增强现实平台,可以轻松设计智能城市项目。WakingApp是一个专业的增强现实工作室,使工程师和建筑师等专业人士能够利用最新技术。项目在构建之前就能实现可视化,避免了很多错误。

WakingApp技术的有趣之处在于,开发人员和设计人员无需拥有任何编码经验即可利用该工具集。他们可以快速创建高质量的AR体验,以有限的编码经验来展示建筑项目。

建筑项目中的增强现实模型

MLM集团是一家工程、环境和楼宇控制设计顾问公司,他们能够用WakingApp的AR技术,使用AR Studio转化其项目,并展示给客户。

“增强现实体验为建筑项目节约了成本,增加了价值,并使整个建筑过程更加高效。因为从一开始,工程师和建筑师就能够创建最终项目的详细交互式示例,” WakingApp首席执行官Matan Libis表示。

“AR为建筑商及其客户提供了远远超过任何蓝图或3D模型的理解水平,并且通常可以在很短的时间内创建AR体验,为用户提供实用性和功效的提升,”他说。

微软HoloLens和增强现实可以帮助加快建设项目

微软的混合现实头显HoloLens可以给2D蓝图赋予生命。在施工现场,工人可以将3D模型与实时数据相结合。他们可以看到现实世界中的问题和缺陷,并在建造之前修复它们。

这加快了施工过程并提高了最终产品的质量。使用这种技术,建筑工人可以将他们的技能提升到一个新的水平,增加他们的知识并使用它来做出更好的决策。

最初发布于2019年4月21日

原文链接:https://interestingengineering.com/augmented-reality-the-future-of-building

积极探索VR和AR技术 NBA想让数以亿计的粉丝亲临现场

在夏洛特举行的全明星周末的周六晚上,光谱中心内部侧面走廊里有一个房间,地板和墙壁全部都是黑色的。

我们在晚上活动开始前大约15分钟进入房间时,看到的第一个人是Stephen Curry,正在与Dirk Nowitzki和其他三分竞赛参与者一起拍照。在此之前,夏洛特黄蜂队的Kemba Walker正在随意地转动一个篮球,并且球员们正在迅速而小心地进出房间,直到比赛的参与者完成不同的姿势和步伐的拍摄。一台外观看起来很未来主义的相机正在拍摄着不同的照片和视频,每个人都被从房间的一侧带到另一侧,以便捕获每个角度。

所有这些球员参与拍摄都是为了NBA AR App,该应用程序专注于通过增强现实将世界各地的球迷聚在一起。除了由英特尔和NextVR提供技术支持的每周一次的NBA虚拟现实赛事直播外,联盟也处于沉浸式媒体的最前沿。在全明星周末的过程中,我们与负责这些项目的NBA高管进行了交谈,了解了为什么AR和VR对于联盟如此重要,以及进行这项开创性的工作的过程。

NBA早在2014年就开始尝试VR,当时它在迈阿密热火与克利夫兰骑士队的季前赛中尝试了这项技术。第一次公开的VR赛事直播是丹佛掘金队与金州勇士队在2015-2016常规赛开幕之夜的比赛 。

此后不久,联盟负责传播内容管理的副总裁Paul Massache开始推动VR项目。英特尔和NextVR共同负责NBA的现场直播,并且它们也是整个过程中与联盟合作的仅有的供应商。Massache多年来一直与ESPN和Turner合作,弄清楚了他们的电视节目会是什么样子,并将这些知识和洞察力用于VR。

“在NBA,我们总是希望站在技术的最前沿,”Massache说,“所以我们在最好的时机进入了虚拟现实领域。”

Jeff Marsilio是NBA负责新媒体发行的高级副总裁,负责数字许可和业务拓展,包括社交媒体公司的合作伙伴关系,以及让联盟的应用程序-包括AR和VR-应用更多的设备上。Marsilio说,试着分发和发展NBA的新兴技术是他工作中最有趣的部分之一。

根据Marsilio的说法,NBA之所以成为AR和VR的早期支持者,原因在于并非每项技术都会成功,但是如果某些东西最终变得流行和无处不在,那么你就会想要从头开始并做好准备。

“你正在学习,而这些技术正在发展,所以当它们成熟时,你已经能熟练掌握了,”Marsilio说。“如果你等到他们成熟才开始学习,你就会当着所有参与其中的粉丝的面来学习,他们可能会对这种体验感到失望。所以我们希望随着沉浸式媒体的成熟,让这种体验达到它尽可能好的程度。“

回到夏洛特光谱中心的增强现实拍摄室,NBA的Sean Coulter继续拍摄周六晚上的参赛者,包括俄克拉荷马城雷霆队的扣篮冠军Hamidou Diallo。Coulter已经在联盟中效力了25年,并且负责拍摄尽可能多的素材,不仅是在全明星周末,也同样包括在常规赛和季后赛期间。

Coulter使用在周末拍摄的素材,从各个角度进行了拼接,以便在全明星周末后的早晨为NBA AR App提供一分钟左右的剪辑。在全明星周末期间,他还可以获得赛场的独家使用权,为剪辑穿插一些Shaquille O’Neal和其他名人的动作片段。

“你可以在任何地方观看比赛,”Massache说。“但我们要做的是向大家展示幕后的画面。这就是VR的魅力所在。”

NBA现在已进入第三个完整赛季,每周一场比赛,这种赛制从2016年10月27日圣安东尼奥马刺 – 萨克拉门托国王队的比赛开始。根据NBA提供的数据,NextVR在其VR应用上为NBA制作了26场常规赛现场VR直播,而英特尔True VR制作了10场常规赛VR直播和所有的全明星赛,以及16到20场季后赛的直播。

“他们正在尝试拍摄的内容与我们在TNT或ESPN播出的内容相同,”Massache说。

像任何其他播出的内容一样,有一辆节目制作卡车和一个团队会在比赛播出的前一天或当天在场馆内安装摄像机。本赛季,Stephanie Ready和Rip Hamilton每周都会在现场专门布置虚拟现实直播设备,Turner为每周一次的VR直播提供广播通道。

Massache几乎每天都会与NextVR和英特尔进行会谈,每周都会通过电话了解VR版比赛直播的故事线和特性。除了全国电视转播的ESPN,TNT和NBATV之外,VR团队基本上就像他们自己的广播网络一样。

Coulter出现在联盟的许多比赛的现场,帮助为VR应用程序拍摄视频。Massache说,Coulter非常善于融入比赛并使用他的专业VR摄像机捕捉令人难以置信的画面,而不会干扰球员们,或者让他们在准备比赛时感到不舒服。

“这是Sean所面临的挑战的一个重要部分,”Massache说。

此外,联盟会在每周一次的VR比赛直播后,专门为VR应用程序制作一个五分钟的精华集锦。

联盟还在VR和AR应用程序中创建了更长的体验内容。2016年VR纪录片 “ Follow My Lead:The Story of the 2016 NBA Finals”赢得了首届体育艾美奖中新创立的“杰出数字创新”类别奖项。

虽然在早期就获得了成功和荣誉,Massache和Marsilio都认为,这些应用程序还有很长的路要走。

“这是一个学习曲线,”Massache说,“他们的两款产品都明显变得更好了。从一开始到现在,这确实是一个巨大的进步。“

最初,Marsilio认为复制球迷的场边体验是NBA VR的发展方向。 事实证明,将VR摄像机放在场边座位上并不会削弱球迷的体验。

“为了真正感受到在比赛现场,你需要现在不存在的技术,”Marsilio说道,“我们发现的是,我们将从其他媒体中学到的东西,比如电视,与沉浸式媒体的优点结合起来,能为你提供当前沉浸式媒体的最佳体验。“

在VR直播中,需要将八个摄像机安置在球场周围,并像常规电视广播一样在它们的视角之间切换。

“并且你会有专门的解说员,”就像Ready和Hamilton一样,Marsilio说,“没有谁会注意VR摄像机的位置。”

NBA的VR应用程序有一个不小的问题,没有多少人能够充分利用联盟最新的技术。当然了,AR应用程序只需用手机就可以使用。联盟拒绝透露其VR应用程序的确切用户数量。

“使用它的粉丝给了我们很多很好的反馈,”Marsilio说。“使用时间比你想象的要长。人们往往会停留一些时间,因为他们能够获得临场感。”

让应用程序能够通过众多设备进行访问是Marsilio工作的一部分,并且他说Oculus Go已经改变了VR领域的游戏规则。

“我们已经看到随着这款设备的推出,用户数量在急剧上升,”Marsilio说道,“它真的是第一款专用的VR系统,不需要插入手机或电脑,也不需要连接到任何复杂的让用户感到困难的东西。“

Massache和Marsilio都明白,VR和AR的持续广泛流行还需要很长时间,并且联盟需要花费多年时间才能让这些技术为用户提供理想的沉浸式媒体体验。

“由于交通方面的原因,99%的球迷都不能亲自参与比赛,”Marsilio说道,“他们只是没有机会,附近没有比赛。”

世界上几乎所有NBA球迷都无法定期到场馆内观看比赛,尤其是中国和印度的球迷。因此,Marsilio说,数以亿计的粉丝需要一种尽可能接近比赛的方法。

“我们相信沉浸式媒体,特别是VR,能为观看比赛带来新的变革,”Marsilio说。

这些技术尚未成熟,但NBA显然已经在豪赌,他们认为,VR和AR技术将最终将会成为粉丝在更深的、更有意义的层面上与其品牌互动的下一个重要方式。

最初发布于2019年3月31日

原文链接:https://www.forbes.com/sites/shlomosprung/2019/03/15/behind-the-scenes-how-the-nba-is-using-virtual-reality-to-get-fans-closer-to-the-action/#36c8b2ae3727

“让人上瘾”的新体验 福特汽车设计师用VR设计概念车

福特的设计经理Michael Smith正在展示一个狂野赛车的3D概念渲染。它具有完整的外观和内饰,以及令人难以置信的详细的机械组件:推杆式悬架,混合动力系统,甚至还有中间冷却器和涡轮增压器管道的细节。Smith甚至叠加了一些基线来试验空气动力气流。(我应该指出,这辆车绝对不是为了生产。)

Smith说他花了大约40个小时的时间在一个名为Gravity Sketch的虚拟现实程序中从头开始创建车辆的3D渲染。那么,使用福特的传统设计方法(如2D草图和CAD软件)产出这样的东西需要多长时间?

“需要几个月的时间,”他于上周在密歇根州迪尔伯恩的记者会上说道。他说:“如果你仅仅想制作出内饰和外观,你仍然需要几个月的时间,”而使用VR工具,大约需要20个小时。

全球大约有40至50名福特员工正在尝试使用Gravity Sketch来测试他们对未来汽车的想法。它们戴上VR头显,每只手拿着一个控制器,然后在沉浸式数字环境中开始“绘制”并塑造直线、曲线和曲面。Gravity Sketch是一个公开的软件包,通过HTC Vive虚拟现实头显就可以使用。当然了,福特已经与软件开发商合作进行定制。

“现在我们有一个福特专用版本,而且我们已经进行了一些特殊调整,使它更酷,更适合我们使用,”他说。

Smith在他的空闲时间会在家里玩一款名为Tilt Brush的VR绘画应用程序 ,当时他偶然发现了一个测试版的Gravity Sketch,它具备更先进的编辑和创作功能,Smith看到了它的潜力,并在2017年初让福特开始正式开始试验该软件。

Smith说,在VR中设计汽车的优势是数不清的,即使仅仅是用来设计汽车部件。所有这些都有助于加速这一过程。他和他的设计师可以设计出复杂的曲线,可以从多个角度“看到”汽车的外观,并且可以用传统技术(如粘土模型)无法实现的方式来操纵形状。

“我可以做现实生活中无法做到的事情,”他说。“我可以坐在模型中,让我的头穿过表面,我还可以用射击瞄准的方式来校准直线。”

Smith向我介绍了一些Demo,教我如何使用Gravity Sketch的一些基本功能。戴上VR头显之后,我立刻沉浸在一个有着白墙的虚拟房间。我可以“看到”与我手持的控制器相对应的工具。例如,我可以扣动扳机开始画线,或者使用方向键从色轮中选取颜色。将左手的控制器移入和移出,可以让我“放大”和“缩小”我的3D环境。Smith说,在设计中这可以用于“任何角度,任何规模的实时评估”。

我非常容易地操作着Gravity Sketch中的基本工具,我把我的名字写在一条线上,然后走到一边,看到我的签名浮动在3D空间中。另一个工具可以在空间中自动创建复杂的互锁曲线,这些曲线可以在以后编辑和调整。表面处理工具可以在汽车引擎盖的轮廓上“包裹”表面。在另一个Demo中,我站在汽车驾驶舱的虚拟驾驶座上,同时在我面前放置前面板组件,比如触摸屏,通风口,方向盘。

很容易看出,在这样的环境中玩耍会让人上瘾。Smith对此表示赞同,并谈论了他在设计这款概念车时获得的沉浸感:“我可以变得非常小,用来组装中冷器连接器的附件……我根本不想停下来,我真的非常开心。”

Smith表示,对于福特设计师而言,通常需要大约8个小时的训练来加快使用Gravity Sketch的速度。他指出,一些年轻的设计师已经在设计学校学习一些VR工具。该系统还可以与福特的任何其他设计方法完全集成,可以导入设计草图,导出CAD文件等。

我们还需要等待一段时间才能准确知道福特计划何时以及如何使用Gravity Sketch来设计真正要生产的车型。但很明显,Smith希望尽快加速使用虚拟现实技术。

“我将此视为我们未来的设计工作的原型,”他说道。

最初发布于2019年3月15日

原文链接:https://www.cnet.com/roadshow/news/ford-virtual-reality-design-gravity-sketch/

余承东谈华为手机未来愿景 AR眼镜可以大幅扩展手机屏幕

在接受德国媒体De Welt的采访时,华为消费者业务CEO余承东谈论了华为手机的未来愿景。

在采访中他表示,他相信华为的手机将很快超过三星手机的市场份额,他说道:“我们最迟在明年将会超过三星,成为市场的领导者。我们已经很接近了。“

他已经觉得他的公司在创新方面领先于苹果公司,余承东说,苹果公司很难在今年甚至是下一年推出折叠屏手机。

当然,一部售价高达2300欧元的手机并不完全是面向大众市场的设备,但他相信,在一两年内折叠屏手机的价格将达到1000欧元大关,最终可能会不到500欧元,特别是当其他OEM厂商开始生产时。他带有讽刺意味地说,尽管华为拥有该技术的专利,但中国的OEM厂商可能会模仿他们的设备,并降低价格。

当然,如果该设备取得了成功,他说他可以“随时加速大规模的生产”。

余承东指出,虽然未来通过折叠获得更大屏幕的手机可能会成为标配,但他预计在几年后手机将拥有100到200英寸的屏幕。这当然不可能通过物理设备,但通过增强现实眼镜可以实现。余承东说,华为已经在开发这类设备,并且不需要5年时间就能将它们推向市场。

此外,余承东还表示,如果被迫,该公司将从Windows和Android等西方操作系统转向他们自己的内部解决方案,但是他们更喜欢“与谷歌和微软的生态系统合作。”

华为的设备在欧洲已经非常受欢迎,这表明这家雄心勃勃的全球化公司可能拥有将他们的巨大愿景变为现实所需的一切。

最初发布于2019年3月13日

原文链接:https://mspoweruser.com/huawei-ceo-talks-1000-euro-folding-phones-and-200-inch-smartphones/

Technicolor打造Genesis虚拟制作平台 将VR用于电影制作

我最近有机会来到了位于加利福尼亚州卡尔弗城的Technicolor体验中心,参观了Genesis虚拟制作平台,这是Technicolor与其视觉特效子公司Moving Picture Company(MPC)多年合作的成果。Genesis有着很高的终极目标,但目前还是被用于通过虚拟现实使传统制作团队成员有能力动手参与动画的视觉化过程。这个不断发展的工具生态系统已经被用于制作视觉特效丰富的电影,包括迪士尼的真人版《奇幻森林》(The Jungle Book)。

Genesis的核心是其实时性能,是通过利用Unity 3D游戏引擎和NVIDIA GTX 1080和RTX 2080高性能GPU实现的。通过将实时图像与Vicon动作捕捉相机、用于摄像机的实时运动控制编码器以及HTC Vive虚拟现实头显相结合,Genesis可以让工作人员预览动画和图像,指导、制作设计和虚拟地演出场景。Genesis还可以跟踪每个摄像机的移动、道具/角色/灯光的位置、场景,并存储到安全的云数据库。该系统通过Technicolor自己的Technicolor Connectivity网络运行,允许不同位置的工作人员在同一场景中虚拟地并且同步地进行交互和协作。

根据MPC工作室负责人Kerry Shea的说法,“我们希望为导演、电影摄影师和他们的工作人员提供他们习以为常的传统制作工具,并让他们更具创造性和更直接地参与前期制作过程。Genesis将主要的创意决策更多地转移到制作过程中。“

Genesis演示的第一部分展示了预制作的流程,其中包含一个虚拟的技术监视工具。MPC的艺术家创建了一个内部序列,来演示Genesis在CG工作量大的项目中的使用过程。这个名为Speakeasy的项目包含了一个时髦的CG形象,这个形象在禁酒时代的酒吧里做了几次被拒绝的尝试。整个场景中含那个时期的道具和角色,并且可以使用Vive VR头显实时导航。

根据MPC的虚拟艺术部门主管Ryan Magid的说法,“我的团队有大约一个星期的时间来为场景和角色创建所有需要的3D资产,然后只需几个小时来拍摄场景本身。在那段时间里,我们能够通过导演、电影摄影师、动作捕捉演员和整个组的工作人员的全部投入来进行数十次拍摄。

Genesis不仅能捕获原始的动作捕捉数据和相机支持的编码器数据,还能捕获每个道具、灯光、虚拟角色和相机的逐帧位置。然后,在实时捕捉期间生成的CG镜头能在回放过程中持续调整。该过程赋予创意团队在预览过程中更高的自由度和互动性,这通常是CG动画师的权限范围。

随着预制作演示的完成,我们接下来转移到一个更大的动作捕捉舞台,环绕着Arri SkyPanel S30s LED灯; 配备了巨大的LED显示屏,一台索尼F55相机连接到Genesis系统,现场渲染在前面创建的Speakeasy项目。旁边一名演员穿着由Vicon动作捕捉传感器跟踪的动捕服。工作人员为我们提供了操作三脚架的机会,通过三脚架,可以在虚拟场景中移动摄像机,或者将摄像机连接到场景内轨道上的虚拟推车上。

当演员表演他的对话线并与酒吧中的其他虚拟顾客进行交互时,我们能够操作推车并移动摄像机。当我们操作摄像机时,我们可以看到我们的动作与现场的动作捕捉演员的动作结合的效果。不一会儿,我们就创造出了一个完整的场景,可以作为预演动画进行下一步制作。根据Shea的说法,“我们的员工可以同步且安全地与世界各地的场景互动。即使是高级管理人员也可以从他们的办公室虚拟地参与其中,他们所需要的只是Genesis机架单元(配备了功能强大的PC和GPU硬件来驱动VR头显。)“

作为舞台演示的一部分,我们还目睹了Genesis的一个正在开发中的用途。MPC的虚拟制作主管Joseph Henderson解释说:“我们经常遇到的一个挑战是如何让一个CG角色与真人演员进行令人信服的互动。”在这个场景中,一个演员被F55摄像机拍下来,身后的LED屏幕上有森林的动画图像。当相机操作员在移动相机时,LED屏幕上的图像也相应地移动了视角。

当团队在改变道具、天气和灯光时,动画可以实时编辑,全部都是动态的。 “现场的图像质量还不够真实,” Henderson补充说:“随着GPU变得越来越强大,这种鸿沟正在缩小。我们已经在和NVIDIA合作,利用他们的RTX 2080下一代实时光线跟踪图形卡,看看我们能在多大程度上进一步改进工作流程。“

随着实时动作捕捉的完成,我们被邀请回来观看Vive VR头显中已完成的拍摄内容。VR头显的图像具有非常高的分辨率,具备3D图像和声音,创造出了一种高水平的沉浸感。我能够重新体验之前在舞台上演出并拍摄的内容。使用Vive手持式控制器,我可以重置道具和灯光,并从任何摄像机角度检查它。你会觉得在创造性地探索场景方面任何事都是可能的,并且会知道在调配大群工作人员花费大量时间和成本之前如何最好地拍摄它。

“Genesis有很多潜在的用途,”Genesis的开发人员的Markus Ristich说道。“我们最近在伦敦证券交易所做了一个主要序列的展示。导演知道他不能长时间关闭交易所,甚至不能进行监视。因此,我们与市政府合作,用激光雷达扫描该区域,同时使用了该区域的蓝图以及许多参考照片。然后,我们在Unity中重新创建了整个交易所,并为在Genesis中进行VR预览做好了准备。导演能够舒适地制作他的镜头,并且高效地确定他需要哪些摄像机和物品才能在真实的地方进行拍摄。我们能够将一个非常具有挑战性的任务变成更具互动性的东西。“

随着虚拟现实,混合现实和增强现实等沉浸式技术的不断成熟,我们将看到将它们融入传统电影制作的新方法和新创意。Genesis证明了VR和实时游戏引擎是导演、摄影导演、制作设计师以及习惯于更加传统的电影制作工具的其他主要创作团队可以尝试的更强大的工具。而且在虚拟现实中体验电影场景也十分有趣。

最初发布于2019年3月11日

原文链接:https://ascmag.com/articles/technicolor-genesis-virtual-production-platform

直面恐惧 加拿大军方用虚拟现实治疗创伤后应激障碍

用虚拟现实帮助更多的军人和其他公共安全工作者应对创伤后应激障碍,这是在埃德蒙顿启动的新团队工作的核心。

HiMARC(Heroes in Mind, Advocacy & Research Consortium)由那些希望“为那些为我们服务并继续为我们服务的军人们服务”的人组成,阿尔伯塔大学康复医学院院长Bob Haennel在新闻发布会上表示。

HiMARC的运动辅助多模态记忆脱敏和重建(Motion-Assisted Multi-Modal Memory Desensitization and Reconsolidation,简称3MDR)研究项目可以让创伤后应激障碍患者在Glenrose康复医院使用计算机辅助康复环境(Computer-Assisted Rehabilitation Environment,简称CAREN)。有40名军队的患者参与其中,这是加拿大同类项目中规模最大的一个。

“实在太棒了。我不知道怎么形容它。我的感知提升了。我甚至对我的安全带上的钩环的声音都很敏感,“CFB Edmonton的社会工作人员Anna Harpe上尉在体验了3MDR系统之后说道。

使用CAREN单元的患者会在跑步机上行走,面对刺激物,比如可能会触发他们的创伤性记忆的事件声音和图像。治疗师会与他们一起经历这个过程,引导患者面对自己的记忆。

虽然哈普没有创伤后应激障碍,但她说,在测试3MDR时,她真切地想起了当自己还是个步兵时在阿富汗执行的任务。

“我曾与一些被诊断患有创伤后应激障碍的患者共同进行研究,我不得不说,3MDR是令人兴奋的。我的整个身体都被激活了。通过办公室的谈话疗法,你无法得到同样的体验,“她说。

研究参与者每周接受一次治疗,持续六周。

“通过走向恐惧,患者的大脑会发生转变,”康复医学院的HiMARC主任,同时也是该项目在加拿大的联合首席研究员SuzetteBrémault-Phillips说。

3MDR系统由荷兰国防部军事心理健康部门研究负责人Eric Vermetten上校开发,已经在荷兰有效治疗了PTSD病例。在阿富汗执行任务之后,PTSD患者的数量有了增长。

Vermetten前往埃德蒙顿培训Brémault-Phillips及她的团队使用该系统。

HiMARC的创始成员还包括加拿大皇家军团Alberta-NWT司令部,NAIT,加拿大国防部,加拿大退伍军人事务部和 盟约保健(Covenant Health)。

“HiMARC正在创造希望,我非常感激这个团队。我真的相信,这只是一个开始,“哈普补充道。

最初发布于2019年3月1日

原文链接:https://edmontonjournal.com/news/local-news/mind-blowing-virtual-reality-ptsd-treatment-central-to-launch-of-consortium

微软全新Kinect传感器Azure Kinect DK上手

微软昨天在巴塞罗那举行的MWC 2019大会上举办的HoloLens 2新闻发布会期间宣布了全新的Kinect传感器,这家软件巨头推出的新Kinect是一款售价为399美元的PC外围设备,可以像开发人员使用Kinect for Windows甚至最初的Xbox 360 Kinect一样用作传感器。微软设计这款新的Kinect的主要用途在于Azure,这是该公司基于云的服务,用于计算机视觉和语音模型。

外媒记者在MWC大会上仔细研究了Azure Kinect DK,并惊讶于它与Kinect for Windows传感器相比要小得多,而且也更轻,Azure Kinect DK仅重440克,而Kinect for Windows则重达970克,并且由于一系列的硬件升级变得更加强大。与之前的Kinect中的4麦克风阵列相比,Azure Kinect DK内置7个麦克风阵列,以及能够支持3840*2160分辨率图像的经过升级的RGB相机。其中的深度传感器与HoloLens 2上的深度传感器相同,因而具有一致的分辨率和帧率。

微软计划为这款新的Azure Kinect DK发布一系列SDK,由于以前基于Kinect for Windows的应用程序无法直接用于这个新的Kinect,开发人员需要将现有的Kinect for Windows应用程序移植到这个新平台上。Azure Kinect DK有一个新的传感器SDK、身体跟踪SDK、视觉API和语音服务SDK。微软尚未发布所有这些SDK,但这款399美元的Kinect已经开始预定,预计将于6月底向开发者发货。

微软提供了一系列示例,来说明开发人员能够如何在零售、制造甚至医疗保健领域中使用Azure Kinect DK。比如在零售商店中,开发者可以使用这款新的Kinect来跟踪产品和管理库存,并且鉴于Azure Kinect DK具备对身体跟踪的支持,它甚至可以用于无人商店。与最初的Kinect非常相似,其用例将取决于创意开发人员如何使用它。

但这个新的Kinect传感器不会取代Kinect for Xbox,它不是为与Xbox一起使用而设计的,并且开发人员可以在有或没有Azure的情况下使用它。外媒记者在现场尝试了一下新Kinect的身体跟踪功能的简短演示,可以使用新的SDK来测量跳的多高,当这款设备在6月下旬出货时,身体跟踪SDK也将可以使用。它让我想起了很多早期的Kinect演示,但新的传感器外形更小,并且有了明确的用途。它不再是游戏外围设备,它是该公司用HoloLens构建的“第三个计算时代”的重要组成部分,同时也将助力微软的Azure云服务。

最初发布于2019年2月26日

原文链接:https://www.theverge.com/2019/2/25/18239860/microsoft-kinect-azure-dk-hands-on-mwc-2019

美国海军陆战队寻求用AI/AR等技术规划大规模军事演习

美国海军陆战队正在寻求大数据分析和潜在的类似IBM Watson的机器或软件,以帮助规划复杂的军事演习,并在沉浸式环境中规划未来的战争。

美国海军陆战队的军事演习能力项目经理Ross Monta上校最近对媒体表示,海军陆战队的一个最近的项目意在“将先进的分析技术、可视化、建模和模拟技术相结合,创造出一种可以让高级军官做出大量决策的环境。”

这包括了增强未来的军事能力,测试作战计划的方式,开发操作概念,以及为优化资源提供信息。

这该项目在四个技术领域的第二轮信息收集,其中包括建模和模拟、军事演习设计、数据服务和可视化。美国海军陆战队已经审查1月、2月、3月和7月间各厂商提交的白皮书,并在去年10月开始了测试。

早在2017年现代海上军事博览会期间,Monta上校就谈到了美国海军陆战队是如何为Quantico基地的军事演习中心制定一个三到五年的计划,该计划允许指挥人员每年进行20次军事演习,其中包括两次大规模的,有250人参与的演习。

他们当时所寻求的模拟系统将提供“对未来的行动环境的准确的表达,模拟友军和敌军的能力”,以及“对演习的衍生数据或见解进行快速,深入的分析”的能力。

时任海军陆战队系统司令部负责人的Joseph Shrader将军说,军事演习必须要超越“在地图上移动那些标记”。

Monta说,当时该中心每年能够进行11次军事演习。

他们正在寻求与先进的模拟能力合作,例如他们在fbo.gov上发布的那些需求,以及来自Ellis Group智库的专家们,都是为了更好地理解高层次的、长期的作战需求。

训练系统指挥部负责人Walt Yates上校对媒体表示,其目标是找到让人工智能运行多达1000次的模拟演习的方法。有了这些数字,指挥人员就可以了解胜利的概率,对伤亡值的期望和完成任务所需的后勤保障。

模拟能力将可以让指挥官针对未来的威胁来测试某种场景,以评估获取胜利所需的设备和战术。Yates说,这些因素将会影响所有的规划,从购买下一件战斗装备,到如何最好地部署部队。

大数据分析只是美国海军陆战队近年来一直在努力推进的一系列项目之一,意在将军事演习从小队规模推广至海军远征军规模,其中包括充分利用计算、数据分析、虚拟现实、增强现实和游戏方面的新进展。

从去年开始,美国海军陆战队第24步兵营开始测试战术决策套件(Tactical Decision Kits),其中包括笔记本电脑、HoloLens头显和无人机,可以让小作战单位的领导映射战斗空间,然后在HoloLens中演示作战行动计划,对任务进行预演。

在去年早些时候,MARCORSYSCOM开始寻求在真实的培训中推广武器模拟器,以替代已经使用了几十年,至今仍在使用的古老的激光模拟射击训练。

美国海军陆战队需要能够更真实地复制子弹和炮弹的移动方式以及它们造成的伤害类型的射击系统。

该系统将能够模拟通常能在军营中看到的所有武器和车辆,至少应该包括:M4/M16、M9或其他手枪、M27自动步枪、手榴弹、火箭筒、轻型反坦克武器、60毫米迫击炮、81毫米迫击炮、Claymore反步兵地雷、Mk-19榴弹发射器、俄军的机枪、AK-47的变种系列、Javelin导弹和Carl Gustaf无后坐力步枪。

该系统还可以立即进行行动后的审查,以便训练员和指挥官能够看到他们的海军陆战队员瞄准的目标、射击目标消耗的弹药,以及他们对对手造成的伤害。

最初发布于2019年2月22日

原文链接:https://www.militarytimes.com/news/your-marine-corps/2018/12/18/marines-look-for-ibm-watson-like-artificial-intelligence-to-plan-large-scale-wargames/