分类： 译稿

战斗机飞行员培训新方案：增强现实模拟假想敌战机

在空战环境中训练顶级飞行员时，通常需要有飞行员驾驶作为假想敌的战斗机。而在训练中扮演敌方非常昂贵且危险。服役于英国皇家空军（RAF）的Daniel Robinson，同时也是Red 6 Aerospace公司的联合创始人兼CEO，开发了一个增强现实平台，名为机载战术增强现实系统（Airborne Tactical Augmented Reality System，简称A-TARS）。它可以为飞行员创建虚拟的对手，例如中国的J-20，用于飞行员的空中对抗训练。

Robinson说：“至关重要的是，我们的竞争对手的创新步伐是如此之快，以至于我们无法准确模拟在任何即将到来的冲突中可能被要求对抗的威胁类型。”

Robinson是第一位与美国空军一起驾驶F-22战斗机的非美国飞行员，他亲眼目睹了所谓的红军对手的需求。“简单来说，战斗机飞行员每次升空训练时，他们都需要飞机和飞行员进行对抗训练，”Robinson在最近的一次采访中说。“如何提供这些对手是一个明确的痛点，不仅对于美国空军，而且对于所有军种和盟军而言都是如此。仅就美国空军而言，这是一个每年要花费数十亿美元的问题，并且由于长期缺乏前线飞行员和机队老化而无法模拟最新的威胁，解决这一问题变得越来越困难。”

通过已获得专利的显示技术，A-TARS系统将虚拟飞机放入飞行员的头盔显示器中。当前的显示系统具有105度的视场角，并集成到了标准的HDU 55头盔系统中。它也能够在日光环境下工作。他说：“我们能够将虚拟飞机带入现实世界，带入飞行员的视线中。”并且，A-TARS还可以用于任何级别的空战飞行员培训。

Robinson受到了Red 6首席产品官Glenn Synder开发的技术的启发。该虚拟现实系统使在英国赛道上的一名赛车手能够同时与身在美国的赛车手竞赛。Robinson说：“两位赛车手都佩戴了基于虚拟现实的头盔，但是却在真实的赛道上驾驶着真正的汽车。”

“他们在这个虚拟世界中同时相遇，并在两条真实的赛道上进行比赛，即使中间隔着大西洋，”他解释说：“这是VR（虚拟现实）领域令人难以置信的首创，是非常重要的技术突破。一看到它，我就开始联想，并问他们：’我可以用飞机替换这些汽车吗？’他们说是的，尽管很复杂，但很有可能。”

Robinson认识到，虚拟现实或真实世界的完全数字化对于进行空中训练的飞行员来说是不可行的。但是增强现实，或将某些虚拟元素叠加到现实世界上，提供了新的思路。他说，Red 6必须解决在户外和高度动态化的环境中使用增强现实的问题，例如每小时飞行数百英里并执行快速机动的喷气式飞机。

Red 6开始了其研发过程，并在2018年Starburst Aerospace加速器的年度East Coast Selection Committee活动中推出了该平台。该公司在洛杉矶的Moonshots Capital领投的种子轮融资中筹集了255万美元，并获得了Austin’s Capital Factory、IronGate Capital Advisors以及其他投资机构的支持。

美国空军注意到了这家公司，特别是当Robinson向空军创新部门AFWERX和空军研究实验室（Air Force Research Laboratory，简称AFRL）提出他的想法时。在今年2月，Red 6 Aerospace对该服务进行了可行性演示，展示了在静态环境中（在停放在机库中的一架试验飞机的驾驶舱中）的增强现实平台的情况。

“我们有试飞学校、AFRL、空战司令部，空军教育训练司令部的代表，”Robinson说：“他们都来看我们的系统。他们能够坐在驾驶舱中，戴上我们设计的头盔，通过增强现实系统，我们能够看到周围的飞机，同时仍然可以看到真实世界。”

在地面演示之后，空军与Red 6公司签署了小型企业创新研究（SBIR）第一阶段合同。本月早些时候，Red 6获得了150万美元的SBIR第二阶段合同。该公司将在接下来的几周内为利益相关者进行空中演示。

“上周，我们在真实飞机和增强现实中进行了世界上首次增强现实空中加油测试，”Robinson说道。“我们飞到了模拟的空中加油机附近，并在旁边加入了模拟的F-22战斗机。我们能够实时围绕加油机进行机动，接近加油机，甚至感受到了加油杆插入我们的飞机。这对我们来说是一个非常激动人心的新世界。我们测试了空中加油训练，但它可以是任何东西，包括一架正在机动的J-20。”

Robinson表示，这家总部位于圣莫尼卡的公司预计将在2020年第一季度筹集A轮资金，以继续开发该技术。

最初发布于2019年11月21日

原文链接： https://www.afcea.org/content/flying-augmented-reality

Adobe Max大会见闻：增强现实将成为创作者的新机遇

Adobe的年度Max会议是一年一度的最大规模的创意专业人士聚会，这些人的艺术、摄影和图形设计技能可以改善我们每天看到的图像和阅读的材料。在本周的活动中，Adobe正在采取一系列的措施，将增强现实作为创作者的新机遇。尽管该技术只正在洛杉矶会议中心展览区的一个安静角落里，努力寻求人们的关注。

在活动开始之前，Adobe表示其最大的AR新闻将与Aero有关，这是一个iPad应用程序，旨在简化新手创作者开发AR体验的过程。活动中的展台引导游客使用该应用程序识别真实空间的表面，并以正确的尺寸和正确的位置放置3D模型，将其与环境无缝融合，以便可以在iPad上从多个角度查看它，就像它是真实的一样。

在Aero的主要演示中，用户看到了最基本的AR体验类型，多年来，我们已经以手持形式看到了AR体验，这在很大程度上要归功于Pokemon Go之类的游戏。尽管Adobe的目的是向创作者展示他们如何将自己开发的3D资产带到混合现实空间中，并用于营销目的。有人认为，Aero将帮助品牌创建更多应用程序，比如今年早些时候测试的Jack Daniel的AR Experience，它使用动画3D资产和画外音将这家公司的任何威士忌酒瓶变成了弹出式故事书。

幸运的是，Adobe并没有坚持完全枯燥的演示。尽管您必须在洛杉矶会议中心展览区的最深处寻找它，但该公司还利用Aero进行了一次名为Terminator Max Experience的演示，它利用了刚发行的电影Terminator：Dark Fate的资产。与会者将获得包含一系列提示的列表，然后跟随它们来体验AR场景，在这个场景中，虚拟终结者会从满是瓦砾的场景中的能量泡泡中出现。

作为驱动该体验的相机和3D合成引擎，安装了Aero的iPad将数字资产与场景中的实际人物和物体融合在一起，从而实现了这样的场景。尽管展位上没有任何内容说明最终用户将如何以这种方式使用Aero或Aero创建的应用程序，但这意味着创作者们可以为用户创建电影级的3D体验，然后将其部署到特定位置，或提供可下载的应用程序，以用于营销目的。

Adobe将一台计算机连接到运行Aero的iPad上，以录制Terminator Max Experience视频，并承诺将其通过电子邮件发送给与会者。

在展区中专门展示AR的区域实际上是3D和AR体验的共享空间，大多数演示都专注于各种早已亮相且普遍应用的3D内容，而优质的AR只是轻描淡写。例如，英伟达（Nvidia）展示了在笔记本电脑上运行的RTX Studio图形技术，说明现在即使是便携式计算机也可以在3D场景中光线追踪逼真的反射和阴影。

RTX-caliber光线追踪何时才会进入移动设备？由于渲染技术的高速处理要求，Nvidia表示，当前唯一可行的解决方案是使用GeForce Now将完全由服务器渲染的场景流式传输到移动设备的屏幕，或使用移动设备来渲染场景，同时服务器将渲染的反射流进行合成。但由于存在延迟，可能难以实时同步。

HP在展区里炫耀着Project Captis，该项目搭建于Z by HP阵列，是为创意专业人士设计的使用测光法将真实的纹理和对象转换成数字内容的预生产3D材料扫描工具。这套硬件和软件的组合目前尚未公布定价，通过将多个4K摄像机放置在一个大盒子中，可以从多个角度捕获物体的高精度细节。目前仍是创作者进行测试的试点。

Project Captis产生的扫描结果可用于将一种材料的纹理应用于另一种材料，例如制作一双具有皮革外观的3D打印太阳镜，或一双具有编织的复杂网眼纹理的运动鞋。像3D和AR展区中的许多其他演示一样，这种扫描技术具有明显的潜力，可以为未来的AR应用创建超级逼真的资产。

Max大会上发布的最有趣的产品之一（但不属于3D和AR领域）是Adobe Photoshop Camera，现已以Beta形式提供给少数用户。Adobe表示，该摄影应用程序将完全免费提供给iOS和Android用户，而无需Creative Cloud订阅或应用程序内购买。用户将能够从大量艺术家开发的Photoshop滤镜中进行选择，这些滤镜可实时应用于相机输入，并在拍摄时添加静态或动画图像。

Photoshop Camera令人印象深刻的是滤镜是如何工作的。Adobe使用基于云的Sensei AI实时扫描相机输入的某些类型的内容（例如天空，脸部或食物），然后选择性地将静止或动画滤镜应用于AI识别的对象。比如在上面的图像中，AI可以识别风景图像，将其从白天转换为夜晚（带有移动的月亮）或添加日式的朝阳覆盖层。另一个示例显示了该应用程序通过适当的调整色温和对比度，自动调整食物照片。

我并不认为我们需要另一个照片滤镜应用程序，或者Photoshop Camera将以某种方式取代Android或iOS设备内建的相机应用程序。但是，正如您看到的技术一样，使用人工智能和机器学习来实时增强摄影技术显然具有一定的吸引力。其中包含的识别技术是强大的，在正确的艺术家手中，结果可能是强大的。

Max大会明显缺少任何可穿戴的AR硬件，至少当我环顾四周时，我找不到它。尽管展厅中散布了一些VR头显，但几乎所有显示的东西都在计算机或平板电脑的屏幕上进行了展示，这表明Adobe和相关供应商仍在等待可用的AR头显。因此，3D和AR展区严格来说只是一个是2D展区。

Adobe Max是一个相当大型的展览，毫无疑问，AR既不是活动的主要的重点，也不是次要的焦点，Aero和相关内容在主题演讲和展区中只占很小的一部分。也就是说，很明显，创意人员已开始为不远的未来做准备，很快，混合现实将成为日常生活的重要组成部分，包括消费级应用程序和专业应用程序。这个阶段的挑战是要让AR从小型演示和营销过程中的小把戏变成消费者实际想要使用的实用的应用程序。我推测这将在2020年开始发生，这可能是由于价格合理的硬件和更多的开发者对其感兴趣共同推动的。

最初发布于2019年11月8日

原文链接：https://venturebeat.com/2019/11/05/at-adobe-max-augmented-reality-is-fighting-its-way-out-of-the-corner/

苹果专利：各种头显内CGR环境中虚拟对象的有形可视化

近日，美国专利商标局发布了Apple的一项专利申请，涉及计算机生成的现实（CGR）环境，更具体地说，涉及一种用于在头显内的CGR环境中提供虚拟对象的有形可视化的技术。Apple区分了将来的Apple头显（或各种头显）可能支持的CGR环境，例如VR（虚拟现实），AR（增强现实），MR（混合现实）和AV（增强虚拟）。

苹果首先指出，计算机可以将计算机生成的图像完全投影或部分叠加在用户的视野中，以提供用户可以体验的CGR环境。CGR环境可以基于不同类型的现实。

头显可以选择检测用户的真实运动并进行投影，并在CGR环境的一系列视觉图像或视频中模拟这些运动。

通过在CGR环境中投影或模拟的这些运动，用户可以与CGR环境中的对象进行交互。

Apple的专利涵盖了在CGR环境中提供虚拟对象有形可视化的技术，其中CGR环境为用户提供了与CGR环境进行交互的逼真的体验。

因为这种体验是现实和身临其境的，所以用户可以轻松地将CGR环境中的虚拟（因此是无形的）对象混淆为存在于CGR环境之外的真实的有形对象。

因此，该专利所描述的技术通过使用户能够快速且容易地在视觉上识别CGR环境内的对象是非有形的虚拟对象还是对应于真实环境中的真实物体（因此是有形物体），在用户与CGR环境交互时，增强了用户的便利性并进一步为用户提供了增强的安全性。

该技术不仅限于为特定类型的CGR环境提供有形的可视化，而是可以在任何类型的CGR环境中实现。这些环境包括基于混合现实的CGR环境和基于虚拟现实的CGR环境。

虚拟现实（VR）环境（或虚拟环境）是指被设计为完全基于计算机生成的一种或多种感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，计算机生成的树木图像，建筑物和代表人的化身，就是虚拟对象的示例。一个人可以通过模拟人在计算机生成的环境中的存在和/或通过模拟人在计算机生成的环境中的身体运动的子集来感知和/或与VR环境中的虚拟对象进行交互。

混合现实（MR）环境是指模拟环境，旨在将来自物理环境的感官输入并入其中。在虚拟连续性上，混合现实环境介于完全真实的物理环境和虚拟现实环境之间。

混合现实的示例包括增强现实和增强虚拟。

增强现实（AR）环境是指一种模拟环境，其中一个或多个虚拟对象叠加在物理环境中。例如，用于呈现AR环境的电子系统可以具有透明或半透明的显示器，通过该显示器，人可以直接查看物理环境。该系统可以被配置为在透明或半透明的显示器上呈现虚拟对象，使得使用该系统的人感知叠加在物理环境上的虚拟对象。

增强虚拟（AV）环境是指一种模拟环境，其中虚拟或计算机生成的环境合并了来自物理环境的一个或多个感官输入。感觉输入可以是物理环境的一个或多个特征的表示。例如，一个AV园区可能有虚拟的树木和虚拟的建筑物，但是其中的人有着真实人物拍摄的照片中的人脸。另一个示例是，虚拟物体可以采用由一个或多个成像传感器成像的物理物品的形状或颜色。或者还可以这样示例，虚拟物体可以采用与太阳在物理环境中的位置一致的阴影。

有许多不同类型的电子系统，使人们能够感知和/或与各种CGR环境进行交互。包括头戴式系统，基于投影的系统，平视显示器（HUD），具有集成显示功能的车辆挡风玻璃，具有集成显示功能的窗户，放置在人眼上的镜片状的显示器（类似于隐形眼镜）。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。

头戴式系统可以具有透明或半透明的显示器，而不是不透明的显示器。透明或半透明的显示器可以具备一种介质，代表图像的光通过该介质被引导到人的眼睛。

显示器可以利用数字光投射、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。该介质可以是光波导、全息介质、光组合器、光反射器或其任意组合。在一个示例中，透明或半透明显示器可以被配置为选择性地变得不透明。

基于投影的系统可以采用视网膜投影技术，该技术将图形图像投影到人的视网膜上。投影系统还可以被配置为将虚拟对象投影到物理环境中，例如，显示为全息图或显示在物理表面上。

在一些示例中，系统＃100包括设备100a。设备100a包括各种组件，例如处理器102，RF电路104，存储器106，图像传感器108，方向传感器110，麦克风112，位置传感器（多个）。一个或多个116，扬声器118，显示器120和触敏表面122。这些组件可选地在设备100a的通信总线150上通信。

在一些示例中，系统＃100的元件在基站设备（例如，诸如远程服务器，移动设备或膝上型计算机的计算设备）中实现，并且系统＃100的其他元件在头戴式设备中实现。显示（HMD）设备供用户佩戴，其中HMD设备与基站设备通信。

在一些示例中，系统＃100包括两个（或多个）通信中的设备，例如通过有线连接或无线连接（HMD +MacBook或iPhone或iPad）进行通信。

美国专利局今天发布的苹果专利申请已于2019年第二季度提交，其工作可追溯至2018年第二季度。考虑到这是专利申请，因此目前尚不知道这种产品上市的时间。

最初发布于2019年11月4日

原文链接：https://www.patentlyapple.com/patently-apple/2019/11/apple-patent-describes-tangibility-visualization-of-virtual-objects-within-various-headset-environments.html

使命已完成 基于手机的VR已成为过去

移动虚拟现实头显帮助数以百万计的人体验了VR，但从近日开始，它们似乎已经完全成为过去。

Oculus首席技术官John Carmack上个月对手机驱动的Gear VR移动头显表示了“悼念”，他说属于这种形态的头显的时代已经过去了。并且Google刚刚透露，除了从最新的Pixel 4系列手机中取消对Daydream的支持之外，还将停止使用Daydream View移动头显。该应用程序仍可在旧手机上运行，但Google现在已经放弃了这个曾经被描绘成Android不可或缺的一部分的平台。

Daydream是在2016年亮相的，它是Google推出的更为简单的由手机驱动的Cardboard头显的后续产品。当时，Google预计在未来两年内，与Daydream兼容的手机将拥有“数亿用户”。但是，在2019年，没有哪一款新手机支持它。一位Google发言人表示，“它没有像我们希望的那样被广泛的消费者或开发人员所采用，而且随着时间的推移，我们已经看到Daydream View头显的使用量正在减少。”

出现这种现象并不奇怪。Cardboard提供了简单且可用的VR体验。《纽约时报》免费向其订阅用户提供了100万个头显。但这是一种超级便宜的一次性产品，旨在提供短暂的体验。但想要成为消费类头显则非常困难。“我们看到了智能手机VR的巨大潜力-能够随处使用随身携带的智能手机来提供身临其境的移动体验。但是随着时间的流逝，我们注意到一些明显的局限性限制了智能手机VR成为可行的长期解决方案。”

Google表示，人们不喜欢失去使用手机的能力，因为Daydream实际上需要进入独立的应用生态系统才能使用。这不是基于电话的VR的唯一问题。Carmack指出，身临其境的3D应用程序消耗了宝贵的电池，尤其是Gear VR令人讨厌的设置。“我认为最大的问题只是进入体验时的一些小麻烦，”Carmack说。

从数据上看，Gear VR受到了极大欢迎。三星在销售该设备的第一年就售出了至少500万台这种由Oculus提供技术支持的设备，而像Oculus Rift这样的高端头显则只卖出了数十万台。但是Carmack表示，它无法保留用户，因为“如果您必须将手机从手机壳中取出并放入头显中，你可能只会使用它两次。”三星尚未正式宣布停止Gear VR的生产。但是，这款头显似乎无法（至少在美国）通过三星商店或以第一方产品的形式从亚马逊和百思买等零售商处获得。

Daydream面临的问题虽然不像Gear VR这样繁琐，但是它还有另一个大问题：手机制造商不支持它。Google最初宣布了几个合作伙伴，包括三星，LG和HTC。不过，大多数厂商在添加对Daydream的支持方面都落后了，部分原因是许多手机的显示屏不符合Daydream的标准。

基于手机的VR头显也无法提供与Oculus Rift，HTC Vive或PlayStation VR相同的强烈物理体验。随着开发人员开始深入VR内容的开发，这种差距变得越来越明显。移动VR头显非常适合播放虚拟现实视频，但是VR视频很难制作，也很难变现，像Jaunt和Inside之类的早期VR电影公司正逐渐将注意力转向增强现实。Google曾收购了一些著名的VR应用程序，包括最受欢迎的绘画工具Tilt Brush，但大多数需要高端头显才能运行。

同时，独立式头显变得更便宜，功能更全面，增加了手持控制器和inside-out的跟踪功能。Oculus用Oculus Go移动头显填补了原本属于Gear VR的空间，现在它正在吸引用户使用Oculus Quest，这是一种更贵一些但功能也更强大的设备。当您可以以200美元的价格购买独立的Oculus Go或以400美元的价格购买Quest时，Gear VR这种100美元的塑料外壳似乎并不划算。

Google并未真正尝试赶上独立VR的潮流。它最初与HTC和Lenovo合作开发了两套独立的Daydream头显，但HTC 退出了交易，联想的Mirage Solo实际上只是一个开发工具包。在今年的I/O会议之前，Google虚拟现实和增强现实负责人Clay Bavor表示，该团队正在进行VR硬件的“深度研发”，“构建我们需要的Lego积木，以便将它们拼凑在一起，并制作出一些真正引人入胜的体验。”Google发言人还强调了该公司在移动搜索和地图的AR功能方面的工作。

Google发言人Michael Marconi拒绝评论Google独立式Daydream头显的计划。“拥有Lenovo Mirage Solo的人没有改变。他们将继续使用头显及下载的应用程序，并可以从Google Play商店下载新的应用程序。”他说。如果Google确实回到了虚拟现实，那么独立头显（或通过无线网络连接到手机的头显，如果未来的技术可以做到这一点）似乎仍然是最明确的选择。

简单的移动头显实际上只是一个装有镜头的盒子，基本的VR应用也不难制作。因此，移动VR可能不会完全消失。Marconi确认Google仍在其商店中提供第一方Cardboard头显以及来自Homido和Mattel等第三方销售商的设备。但是，随着Google和三星放弃Daydream和Gear VR，基于手机的成熟VR平台的梦想似乎已经结束。

最初发布于2019年10月21日

原文链接：https://www.theverge.com/2019/10/16/20915791/google-daydream-samsung-oculus-gear-vr-mobile-vr-platforms-dead

​曾经的Oculus联合创始人 如今正在为美国建造虚拟边境墙

在7月下旬的一个星期五下午，一群技术人员、军人和一些平民聚集在国防科技初创公司Anduril Industries位于加利福尼亚州欧文的新总部，在品着木槿玛格丽塔鸡尾酒的同时，欣赏着正在展示中的传感器塔和碳纤维无人机。Dave Brubeck检查了音响系统，他的着装倾向于办公室休闲和柔和的风格，但却被印有“Make America Great Again”的鲜红色帽子抢了风头。

在到场嘉宾们围绕着监控设备进行了一个小时的交流之后，该公司26岁的亿万富翁创始人Palmer Luckey参加了剪彩仪式。Luckey原本想使用与该公司同名的剑来剪彩(Anduril是《指环王》中的英雄Aragorn所使用的传奇武器)。这件电影道具的复制品挂在办公室的墙上，并且用紫色的灯进行了装饰。但是Luckey刚从他的蜜月回来，还没有时间磨砺它。

他拿着一把大号的剪刀，穿着标志性的夏威夷衬衫、工装短裤和人字拖鞋，同时，还在用一些来自《指环王》中的梗与大家交谈。

“Anduril，”他用长长的精灵语说道，“意味着西方的火焰。而且我认为这就是我们想要的。我们正在努力成为一家不仅代表西方民主所能提供的最佳技术的公司，而且还代表着最好的道德，最好的民主，以及我们都珍视的最好的价值观。”

在美墨边境处的偏远地区，以及世界各地军事基地的周边，Luckey的愿景正在成为现实。海关和边境保护局正在利用Anduril的高科技监控网络作为连接太阳能哨塔的“虚拟墙”，可以提醒代理商注意边境的可疑活动，该公司已与美国和英国军事机构签署了类似协议。

这些行动是否代表了最好的西方价值观，是硅谷最大的科技公司们目前正在争论的问题。在谷歌、亚马逊、微软和Salesforce等领先的软件公司，员工们大声谴责他们所在的公司参与军事相关研究。这一争议甚至影响到了在线家具零售商Wayfair，这家公司的员工们举行罢工，抗议公司向边境营地出售床铺。

Luckey已经成为科技行业最直言不讳的右翼人物之一，他对这样的行动表示欢迎。在他的旗帜下，Anduril成为了一家获得风险资本支持的初创企业，并且自豪地加入了军工企业的行列。

就像Peter Thiel，他的Founders Fund向该公司投资总计5850万美元，Luckey是特朗普总统的公开支持者，并且拥有自由主义倾向。就像去年夏天的华盛顿邮报专栏文章中提到的那样，Luckey和Trae Stephens(Founders Fund的合伙人和Anduril的总裁)，他们让美国科技公司与政府更紧密地合作，以保持对俄罗斯和中国的优势。因为他们认为俄罗斯和中国是美国在21世纪的军事统治的主要竞争对手。

在7月早些时候的一次会议上，曾在2016年特朗普过渡团队中任职的Thiel甚至提出，建议中央情报局和联邦调查局调查谷歌的叛国行为，因为它可能会帮助中国军队，同时摒弃美国国防部。

但是，Luckey拥抱美国军队并不只是因为意识形态，美国军队在2019年有7300亿美元的预算。Anduril希望跟随其他两家Founders Fund投资的公司的脚步，打入长久以来由波音、雷神和洛克希德马丁等大公司主导的国防工业。这两家公司分别是由Thiel参与创立的向情报、执法机构和私营企业销售分析软件的软件公司Palantir，以及Elon Musk的火箭公司SpaceX，该公司已经与军队签订了发射卫星的合同。

到目前为止，这一策略正在发挥作用。自2016年开业以来，Anduril已聘请了100多名员工，并签署了多份供应商合同。该公司拒绝透露其与海关和边境保护试点项目合作的金额，但移民权利倡导组织Mijente最近发现的合同显示，Anduril通过两家中间承包商获得了500多万美元的项目，名为Govplace和Impres Technology Solutions。

该组织还发现，Anduril来自武装部队的客户越来越多。在本周早些时候，美国海军陆战队宣布与Anduril签订一份价值1350万美元的合同，为全球四个军事基地建立类似的周边监视系统，其中一个军事基地位于亚利桑那州尤马市，靠近美国南部边境。英国皇家海军陆战队也在考虑Anduril的服务，根据Intercept在3月发布的一份报告，Anduril已被加入了英国国防部的Project Maven项目，该项目旨在将先进的机器学习技术应用到战场上。(谷歌的员工曾专门抗议公司参与该计划，迫使公司退出了竞标过程。)

Anduril诞生于争议之中。2014年，Luckey以20亿美元的价格将他的第一家公司，即虚拟现实初创公司Oculus出售给了Facebook。当他还在校园里时，他放在停车场的沙漠色悍马配备了机枪支架和玩具枪，因而被人熟知。据报道，Luckey曾向一个名为Nimble America的政治团体捐款，后者在2016年美国总统大选前购买了反希拉里克林顿的的广告牌，而Luckey因此在2017年离开了社交媒体巨头Facebook。

据估计，他持有的Oculus股份价值超过7亿美元，他可以自由地做任何他喜欢的事情。但他选择不只驾驶他的军用车辆，而是要制造军用装备。

Anduril的核心产品是Lattice软件系统，该系统从任意数量的传感器(比如摄像机、激光雷达扫描仪、卫星图像)获取数据，然后使用机器学习，使其对人类操作员清晰可读。该公司声称，通过足够的培训，该系统可以分辨出进入视野中的比较远的牛群和车辆之间的区别，并且只有当潜在的风险出现时，才会提醒监视基地入侵者的边境巡逻人员或海军陆战队员。

一旦发出警报，Lattice的用户就可以戴上一副VR头显，以鸟瞰的角度观察是什么触发了警报，或在每个传感器的流之间切换。该系统的目标是为用户提供一种本地的“无所不知 ”，即对每个角落和每个山丘后面的东西完美的态势感知。

将核心放在软件中而不是硬件中，使Anduril可以使用相对便宜的商用级传感器构建系统，并将其快速部署。这是一种已经在卫星领域取得了成功的方法，诸如Planet Labs等公司向太空发射了数百个相对便宜的小型卫星，并依靠先进的软件将图像拼接在一起。

Anduril公司还制造自己的传感器塔和无人机，以供Lattice系统使用，并与前《流言终结者》主持人Jamie Hyneman签订合同，设计消防坦克原型，作为在未来使用Anduril的系统对抗野火的第一步。Luckey也并没有拒绝制造武器，但目前该公司专注于完善“全视之眼”。

在推动高级军事项目方面，谷歌、亚马逊和微软等公司的员工认为，这种强大的系统将不可避免地被滥用。Luckey认为这是落后的想法，某些不太道德的国家已经在尝试建立强大的军用人工智能和机器人系统，所以美国需要建立强大的系统来抵御灾难。

“我们必须认识到，像中国这样的国家正在武器化人工智能，并且不仅是为了建立极权主义警察国家，同时也为了将这种技术出口到其他想要用它来建立自己的极权主义警察国家的政府，”Luckey在剪彩时说。“当你给政府提供真正先进的技术，并且没有任何保障措施可以约束你使用它，而且也没有任何关于它的道德规范的想法时，你最终会建立一个警察国家。美国是一个非常不同的地方。”

他表示，这给了美国及他的科技公司一种特殊的责任，使美国能避免过度自我鞭挞。

“我们的整个历史都表明，我们是有道德地、负责任地使用技术的领导者，”Luckey继续说道。“我们必须继续领导，就像我们领导核武器竞争那样，我们能够确定使用它们的方式，因为我们是这个领域的领导者。”

Anduril的批评者们并不同意Luckey对美国力量的积极看法。移民权利倡导组织Mijente在周三发表声明，同时详细介绍了Anduril与海关和边境保护局以及海军陆战队签订的合同，称其为“一种监控设备的一部分，在这种设备中训练算法以实施种族主义和仇外政策”。

“Anduril的商业模式基于针对移民社区的合同，但我们知道在边境发生的事情很快就会进入美国内部。在这个国家，任何关心人权的人都应该和我们一起呼吁结束这种危险的监视，“Mijente高级活动组织者Jacinta Gonzalez在一份声明中说道。

Palantir公司也在面临越来越多的批评，最近有报道称其软件被用于直接促进移民和海关执法部门对工作场所的检查。

特朗普政府的移民镇压政策和对移民的严厉待遇在硅谷受到了广泛批评，但该协会并没有阻止Anduril雇用足够的人才来填补其相当大的新总部。有许多新员工来自国防或安全行业，或来自军方，也有相当数量的员工来自谷歌、暴雪、苹果和Juul等公司。

Luckey所引发的争议也没有吓跑资本。当他在舞台上剪断了缎带并且音乐重新响起时，从硅谷飞来的一群投资者开始与他和Anduril公司的高管们攀谈。他们是来自蓝筹基金的风险资本家，被Anduril吸引，希望能够加入下一轮融资。

最初发布于2019年8月16日

原文链接：https://www.latimes.com/business/story/2019-07-25/anduril-profile-palmer-luckey-border-controversy

纽约警方将虚拟现实技术用于主动射击场景训练

基于虚拟现实的培训，使纽约市警察局的警员们能够以比现实的主动射击训练场景快10倍的速度进行训练，并且还有额外的好处，可以提供有关警员表现的即时反馈。

今年4月，来自纽约警察局巡逻级别、反恐局和紧急服务部的约200名警员参加了由V-Armed开发的模拟训练内容的技术测试，该公司为执法部门和急救人员创建3D VR培训体验。在这种培训过程中，参与者会进入纽约的911国家纪念馆的虚拟版本。

“作为一名教员，很多时候你都无法进入需要进行训练的区域，尤其是那些你需要防守的极其重要的区域，”Raymond McPartland警官说。“比如，我怎么才能关闭世界贸易中心的纪念馆，让100,200人实地进行8小时的训练?这是不可能的。”

但是，通过VR技术，我们可以拥有“与实际环境同等尺寸的虚拟环境，让负责该区域的警员能够在其中进行训练，”他补充道。

纽约警察局一直在进行基于现实的主动射击训练，但它面临着现实世界的限制。比如，现实场景是静态的，教员无法增加更多人来提升场景的复杂性。

VR改变了这一点。最近在布鲁克林进行的持续一周的测试中，训练场景一开始还是空荡荡的走廊和房间，以让学员适应这项技术。McPartland说道。随着鼠标的点击，更多的障碍物和人员加入了这一场景，场景就变得越来越复杂。

他补充说，该技术还十倍提升了每组受训人员在一个场景中训练的次数，从以前的3次提升到了30次左右。

“这很重要，因为训练需要重复，需要暴露问题，这能帮助我们发现更多的问题，进行更多的批判性思考，这些都是警员们必须处理的。”McPartland说：“他们在任何时候都会不习惯于某一种场景，因为我们可以随心所欲地改变它。”

警员们戴着护目镜般的VR头显，配备了专用的枪支和身体标记点，通过Wi-Fi将数据传输到安装在60英尺×40英尺区域上方桁架上的动作捕捉摄像机。使用来自标记点的数据，V-Armed系统可以跟踪警员们的动作，并创建一个与他的身形大小和步态相匹配的逼真的化身，这样一来，“他在现实世界中所做的每一个动作都会完全一致地呈现在VR世界中，“McPartland说。

这些枪支也同样具有标记点，并能传输例如射击次数、子弹轨迹、命中、未命中和瞄准等数据。“在基于现实的训练中我无法做到这些事情，因为我无法回顾警员们的操作，“McPartland说。“而在VR中，所有内容都被记录下来，并且可以回放。”同时还有一些额外的数据，比如谁被击中了，是好人还是坏人，以及警员在场景中的移动花费了多长时间。

路易斯安那州立大学国家生物医学研究和培训中心组织了这次测试。该中心的内部运营和计划副主任Jason Krause表示，虽然V-Armed系统提前构建了模拟环境和动画内容，但仍有一位员工在现场确保系统正常运行，教员可以让这位员工添加或移除训练中的内容。

“我们不会将此作为一种体验，”Krause说。“我们不只是让警员们排队进入其中，然后将他们传送到虚拟现实场景，然后循环这一过程，而是将其整合到一个完整的8小时的课程中”，并且由国土安全部认证。该课程从一场宣讲开始，然后警员们前往训练场地，然后进入VR模拟环境中。警员们需要接受测试和评估，并在最后获得证书。

在VR培训之后，警员们会收到一份行动后报告，并与教员一起回顾训练的视频片段，讨论他们做得好的地方，以及可以改进的地方。警员们可以选择再次进入场景，来应用他们所学到的知识。

“真正的学习来自批判性思考，因为你可以为特定的训练场景改变VR中的任何东西，”McPartland说。

路易斯安那州立大学国家生物医学研究和培训中心与国土安全部和联邦紧急事务管理局的国家培训和教育部门签订了合作协议，由该中心负责培训州和地方的快速响应人员。它每年通过其执法主动射击紧急响应(Law Enforcement Active Shooter Emergency Response，简称LASER)课程进行约50次主动射击训练，其中包括课堂宣讲和基于位置的VR培训课程。

该中心本月将在华盛顿州林伍德市与西北太平洋地区的应急人员进行第二次测试。Krause表示，在此之后，中心官员将考虑明年如何提供VR模拟内容，作为LASER课程的一部分。

McPartland说，他希望再次使用这项技术，来确定警员们应用他们第一次学到的东西的水平。“我们想对其进行回顾，”他说。

最初发布于2019年7月30日

原文链接：https://gcn.com/articles/2019/07/24/vr-active-shooter-training.aspx

美国陆军正在为虚拟现实训练建立真实城市的3D数据库

美国陆军负责现代化的部门正在建立一个新的数据库，其中包含卫星图像以及来自世界各地的城市和关键地形的3D模型，这些模型有朝一日可能会用于支持士兵们的虚拟训练。

这项名为One World Terrain(OWT)的工作是美国陆军全面现代化工作的一部分，旨在创造比专门建造的训练设施更加真实的合成训练环境。

“One World Terrain基本上就是合成训练环境的数据库，”Dylan Morelle中校在近日的美国陆军未来司令部媒体活动中表示。

美国陆军官员正在与私营企业合作，以确保OWT能囊括来自商业机构、学术机构和政府机构的测绘、卫星图像和无人机拍摄数据，以便领导和士兵们能够在需要时访问它，来自美国陆军未来司令部旗下合成训练环境跨职能团队的Morelle说道。

Morelle说：“我们希望能够拥有这些信息的知识库，并能够将其提供给作战人员。”

Morelle以波士顿的三维模型为例，通过鼠标点击，展示了指挥官或小型作战单位领导如何规划城市内的路线并标记已知的敌人位置。他说，这项技术还可以显示“敌人可以看到或看不到的地方”。

OWT旨在与美国陆军的可重新配置虚拟集体训练模拟器(Reconfigurable Virtual Collective Trainer，简称RVCT)合作，后者将包括航空平台和地面平台，以及步兵集体机动训练和其他模拟枪械和任务排练能力的模拟器，Morelle说。

“它已通过一次用户评估，并正在被告知要求，”Morelle说道。并且他还补充说，美国陆军在今年6月与地理空间情报数据和软件公司Vricon签订了原型合同，根据Vricon官网的信息，该合同价值高达9470万美元。

“到2021年第四季度，该项目将可以为美国陆军提供初步的作战能力，”Morelle说。并且美国陆军希望在2023年达到全面的作战能力。

OWT还将被设计用于美国陆军的集成视觉增强系统(Integrated Visual Augmentation System，简称IVAS)，这是一个由微软开发的系统，使用增强现实技术为单个士兵创建综合训练环境，目前还仍然是一个护目镜形式的原型。该系统同样被设计用于在战斗中使用，因为它可以将使用者的武器瞄准十字线投射到战术眼镜中。

美国陆军官员表示，最终版本的IVAS计划于2021年第四季度完成。

Morrel说，负责OWT项目的官员希望利用人工智能和机器学习技术，将建筑物的蓝图转换为可供使用IVAS训练的士兵使用的真实房间模型。

“也许这是我们了解那些建筑的唯一方式，”他说。“AI可以查看该蓝图并创建它的3D模型。”

最初发布于2019年7月23日

原文链接：https://www.military.com/daily-news/2019/07/18/army-building-3d-database-real-cities-virtual-reality-training.html

为战斗机飞行员打造的AR技术 正在让科幻变成现实

科幻流行文化长期以来被增强现实(AR)的未来潜力所吸引。早在20世纪80年代，施瓦辛格的《终结者》就在利用他的机器人视觉来确定那些挡在他道路上的讨厌的人类。从那以后，电影制片人们为我们带来了各种新的科技魔法。比如汤姆克鲁斯在《少数派报告》中的数字界面中挥舞双手，比如罗伯特唐尼的钢铁侠在他具备AR技术的战甲协助下拯救世界。

实际上，早在AR技术引起大众的关注之前，军用飞机已经使用这项技术数十年之久。“它已经存在了将近60年，”BAE Systems战略增长总监Chris Colston说道，该公司为20世纪50年代末推出的强大的布莱克本“海盗”飞机制造了第一台平视显示器。“我们早在这项技术被大众了解前，就提供了AR解决方案。”

实质上，AR将数字信息与现实相结合。而今天，它不仅仅是关乎你所看到的，也关乎你所听到和感受到的。在国防工业中，它用于向战斗机飞行员提供直观的线索，包括音频、视觉和触觉线索。Chris说，这意味着他们可以通过抬头和眼动实现更高效的操作。BAE Systems的下一代头盔Striker II提供了全新的数字化功能，可以带来巨大的战术收益。

Chris解释说，战斗机飞行员在测试条件下工作。他们可能在以每小时超过1,000英里的速度飞行，在亮度过高的阳光下或在黑暗的环境中飞行到40,000英尺的高度。他们需要在身体高度紧张的情况下迅速应对威胁或做出改变，并且必须迅速处理信息。可以提供AR信息的智能头盔能够告诉他们需要知道什么，以及在什么时候需要这些信息。

为了在头盔的透明遮阳板内显示智能信息，工程师们开发出了操纵和引导光线的新方法。飞行员能看到这些有关他们自身状况的信息，并且与看现实世界时的焦距相同，从而减少了频繁重新聚焦眼睛的动作。

工程师们还在头盔中加入了夜视系统， 因此飞行员在黑暗中仍然可以使用AR，并且无需佩戴笨重的夜视镜。飞行员还可以通过3D音频听到哪里可能会出现威胁。“一旦你掌握了操纵声音和消除背景噪音的能力，你也可以增强这些现实，”Chris说。“我们可以提供给飞行员关于潜在威胁的空间感知。”

在飞行员从智能头盔接收到大部分信息时，他也会从驾驶舱内的操纵杆接收到即时的触觉反馈。“因此，飞行员控制杆，或主动感应器将提醒飞行员他们可能会超出飞机的极限，”他说。

在未来，触觉服装可以提供更多的信息，例如，用肩部的敲击以表示威胁，或用触觉手套来绘制手势。“这可以在他们最需要的时候提供直接就能看到或感受到的信息。”

Chris说，他们已经花费了很多年来改进为飞行员提供的增加现实体验，并且这些信息必须被严格控制：“如果你不小心，你可能会用大量的信息来‘轰炸’飞行员。在军事用途中，AR就是为了帮助你做得更好、更快，并且要减少工作量，而不是给他们更多需要思考的东西。”

重要的是，平视显示器只和支持它的底层系统一样智能，并且由一个庞大的战斗系统网络向飞行员提供数据：“它是一个更大的系统的一部分，而不仅仅是一个显示器。”

但现在的挑战是，如何使这种昂贵的技术适用于不同的市场，比如英国皇家海军等其他军事设施、商业航空航天、工厂车间甚至是医疗急救人员。Chris说：“困难在于如何使其便于使用，并且价格实惠。” 他认为，AR将会以更便于穿戴和使用的形式，比如眼镜，被送到军舰的舰桥上使用。

虽然军事领域率先为战场开发了AR技术，但AR技术在消费市场的发展也备受关注。目前，游戏和娱乐领域正在使用复杂的视觉效果并尝试虚拟现实。

“我们最大的收获是，技术必须帮助你做得更好、更快、更安全，才有使用的价值，”Chris总结道。

最初发布于2019年7月18日

原文链接：https://www.telegraph.co.uk/education/stem-awards/defence-technology/augmented-reality-in-the-military/

美国陆军和政府机构这样应用增强现实和虚拟现实

士兵们在被送往战场之前需要训练数月甚至数年，并且在他们返回后还要继续训练。美国陆军希望确保他们的专业知识保持敏锐，无论他们位于何处。而虚拟现实可能会有所帮助。

“在你被部署后，训练还没有结束，”美国陆军联合兵种训练中心副总指挥Maria Gervais少将说。“我们希望能够一次又一次地进行训练，同时改变一些变量，当士兵们进入第一场战斗时就非常有自信。”

美国陆军正在利用已经在商业游戏领域应用的技术来更新其沉浸式培训能力，并于去年11月向微软授予了一份价值4.8亿美元的合同，用于开发可用于培训的增强现实系统原型。“可用的技术已经出现了，”Gervais说道。

联邦机构如何使用AR和VR

增强现实和虚拟现实正在消费市场中崛起，VR头显变得越来越便宜，越来越多的公司开始寻找在平板电脑和智能手机上应用AR的新方法，只要看看《Pokémon GO》和同类游戏的受欢迎程度就知道了。

IDC Government Insights的研究主管Shawn McCarthy表示，一些联邦机构也开始利用这些技术，尤其是增强现实技术，并且领先于这一趋势。

“这真的是出于高度专业化的目的，”McCarthy说。“ 最大的用途是培训，维护是次要的。例如可以让工人在飞机腹部时访问维修记录和部件照片的AR眼镜。“

美国陆军一直在将既有的旧系统结合起来创建虚拟培训环境，但他们意识到，需要具有可重新配置选项的虚拟培训体验，这些选项可以在任何地方使用，负责美国陆军综合训练环境(Synthetic Training Environment)的 Gervais说。

她曾与科技公司会面，评估经过改装可以用于军事用途的现成产品。去年11月与微软的合同要求该公司为美国陆军的集成视觉增强系统(Integrated Visual Augmentation System，简称IVAS)提供2550个AR/VR原型设备，基于微软的HoloLens。如果原型设备满足需求，美国陆军可以购买多达10万台。

起初，由于对技术发展速度的担忧，美国陆军将最后期限设定在2025年到2030年之间。但由于游戏视觉技术的快速提升，Gervais现在希望很快就能获得满足需求的AR/VR体验。

“我们需要一个基于通用数据和架构的环境，”她说。“正如我们今天所看到的那样，我们必须能够为更加复杂和更具挑战性的环境做好准备。”

VR让用户体验历史遗迹

其他机构正在转向更具创造性的方法，以及外界的帮助，来开发增强客户体验的AR/VR内容。

美国战争纪念碑委员会(American Battle Monuments Commission，简称ABMC)开发了一个智能手机App，可以让人们虚拟地参观法国北部奥马哈海滩附近的诺曼底美军公墓，这是埋葬9387名在诺曼底登陆时阵亡的美国士兵的地点。该App还在网站上为游客提供了有关他们所看到的内容的更多信息。

ABMC的对外事务主管Tim Nosal说，这家小型机构在全球范围内维护着26个墓地和30个纪念馆，外包了该App的制作工作。

当虚拟现实内容平台TimeLooper向国家公园管理局(National Park Service，简称NPS)询问有关华盛顿纪念碑VR体验的信息时，NPS开始与这家公司合作。

在林肯纪念堂的电梯被关闭，行动不便的游客无法进入主室时，TimeLooper制作了这段VR体验，可以使用Cardboard头显帮助游客在不使用楼梯的情况下观看包含林肯塑像的房间。

NPS的发言人Paul Ollig说，该公司还在2018年在Petersen House周围创建了一个VR体验，这里是林肯总统去世的地方，当时它必须关闭，以安装灭火系统并进行其他修理工作。

“当你看着那个房间时，你会感受到当晚事件的重要性，”他说。“我们发现，在这种情况下体验虚拟现实的人会非常感谢我们能提供这种替代品。”

NPS礼品店现在销售(或偶尔免费提供)Cardboard头显，当与智能手机配合使用时，可体验各种地标(包括越战纪念碑)的3D内容。TimeLooper处理这些业务，并管理应用程序更新。Ollig说，这就是与外部供应商合作的优势。

“该技术的复杂程度可能超出了大多数政府机构的能力，”Ollig说。“当我们找到一个愿意以符合我们要求的方式与我们合作的伙伴时，我们可以向公众展示他们以前从未见过的东西。

政府机构对AR和VR的应用有望增长

McCarthy表示，尽管一些机构可能认为AR/VR技术无用，但价格较低的新解决方案可能会改变他们的想法。

“它为你提供了更多的灵活性，以便在任何地方访问信息，”他说。“我不认为这是无聊的。”

他说，联邦、州和地方政府去年在AR/VR解决方案上花费了大约3.26亿美元。IDC预计到2021年该金额将达到92亿美元，这标志着政府对AR/VR使用量的显着增长。

增强现实和虚拟现实能够向人们展示他们无法看到的东西，其面临的最大挑战可能是几乎无限数量的潜在应用场景。

“它永远不会取代公园护林员或其他的我们讲故事的传统方式，”Ollig说。“但它是我们参观这些历史遗迹的的另一种工具，并且可以帮助人们理解为什么保护它们很重要。“

哪些政府机构在使用AR/VR?

根据McCarthy的说法，美国国防部是目前在增强现实和虚拟现实领域投入最大的政府机构，其次是美国航空航天局和国土安全部。

“美国宇航局通常不是资金投入排前三的机构之一，”他说。“但由于他们所做的所有训练和尖端研究，他们长期以来一直是这个领域的重要成员。”在接下来的几年间，他预计会有更多的机构利用这项技术。

“在农业部处理单据的人现在可能不需要虚拟现实，”McCarthy说。“但如果事实证明美国农业部希望每个人都沉浸在工作中，那么它可能会变得很有必要。

最初发布于2019年5月24日

原文链接：https://fedtechmagazine.com/article/2019/05/army-nps-embrace-virtual-and-augmented-reality

科普：VR的位置跟踪系统是如何工作的?

除了具有广阔的视野外，虚拟现实头显与常规的3D显示器的区别在于它们能够被跟踪。PC VR，主机VR以及现在一些独立的头显甚至还具有位置跟踪功能，因此你可以倾斜身体，躲避甚至在VR中走动。

但是这种跟踪如何运作?在这里，我们将解释主要的位置跟踪系统及其运行方式。

背景

什么是位置跟踪(6自由度)?

Oculus Go、三星Gear VR和谷歌Daydream View等大多数移动VR头显只有旋转跟踪(3DoF)。你可以向上或向下看，向左或向右倾斜。但是如果你试图倾斜或移动你的头部的位置，则不会被跟踪。整个虚拟世界将与你同行。3DoF控制器与之类似，仅限旋转。它们基本上只能充当激光选择指针。

这对于就座体验的VR内容来说是可以接受的，但它不允许你在物理上移动虚拟世界，或者直接用手与之交互。

在PC VR和主机VR上，以及现在的高端独立VR中，头显具有位置跟踪功能(6DoF)。位置跟踪使用户可以在虚拟环境中实际移动。如果跟踪范围足够大，你甚至可以在VR中绕着整个房间走动。

当控制器也是6DoF时，你可以直接用手与虚拟对象进行交互，因为你可以通过在现实世界中的移动实现虚拟空间中的移动。

如何实现位置跟踪?

旋转跟踪(3DoF)总是使用微型机电陀螺仪实现的。但不同的公司使用不同的技术来实现位置跟踪(6DoF)。虽然某天可能存在共同的行业标准，但目前尚未形成。不同的公司对哪种技术是正确的有不同的看法。

不同的跟踪系统均可平衡成本、设置难易度、跟踪范围、控制器跟踪范围和模块化等问题。

位置跟踪的共同基础：航位推算

与普遍看法相反，下面描述的光学系统仅是真正意义上的“校正”系统。所有这些系统的主要共享跟踪方法是微型机电加速度计。这些加速度计通常以1000赫兹运行。

其工作原理是：加速度计不读取位置或速度，他们读取加速度。你可能还记得微积分，你可以随着时间的推移获得加速度的积分并获得速度。如果你随着时间的推移得到速度值的积分，你就会获得位置信息(或至少从原始位置产生的位移信息)。

使用它来确定位置的变化称为航位推算。这就是VR头显和控制器每时每刻都在跟踪自己的方法。

那为什么还需要其他跟踪手段呢?因为加速度计并不完美，会产生噪声数据。将这些数据进行两次积分意味着即使是最小的误差也会被放大，并且误差还会累积。实际上，这意味着基于加速度计的位置跟踪会在几秒钟内漂移到无限远。

VR跟踪系统的目的是通过提供参考来纠正这种漂移。每个跟踪系统都采用不同的方式，但目的是相同的。

常见的VR跟踪系统

“星座”(最初的Oculus Rift)

在设计Rift时，Oculus面临着提供与OptiTrack等数千美元的系统相同质量跟踪的挑战，但其成本却要低一个数量级。

每个被跟踪设备都有一个隐藏在外部塑料下的预定义红外LED“星座”。红外线对人眼是不可见的。

传感器基本上是带有过滤器的摄像头，只能看到红外光，通过USB线缆以60Hz的频率将帧发送到用户的PC。PC处理每个帧，识别每个红外LED的位置，从而识别每个对象的相对位置。

该软件可以轻松识别它所看到的LED，因为它知道“星座”的形状，它会记住物体在前一帧中的位置，并且知道它的加速方向(来自加速度计)及其旋转(来自陀螺仪)。每个红外LED也以特定频率闪烁以识别自身。这些创新使“星座”跟踪系统在基于标记的跟踪系统中占据了一席之地。

为了支持快速运动，Rift头显和触摸控制器每次即将发出LED脉冲时，都会与传感器中的无线芯片进行无线通信。这使得相机快门能够像LED那样准确曝光，并且曝光时间很短。

“星座”跟踪不再用于Rift S头显的跟踪，但它用于Rift S头显内置的摄像头，以跟踪控制器。

“星座”的优势：

整合成本低

高品质的跟踪

适用于大多数环境

“星座”的缺点：

每个传感器都与PC有线连接

大USB带宽会导致许多主板出现问题

传感器具有有限的垂直视野

PlayStation VR

PlayStation VR也使用相机，但与Rift不同，PSVR的跟踪功能在可见光光谱中运行。

PlayStation 4摄像头单元包含两个间隔开的相机。摄像头单元连接到PlayStation，后者使用图像数据跟踪头显上的蓝色光条和控制器上的光球。

这使得索尼可以利用2010年就已经发布的PlayStation Move控制器。

PSVR跟踪的优势：

整合成本低

利用现有的PS Move控制器

PSVR跟踪的缺点：

跟踪质量低

不支持房间规模跟踪

SteamVR“灯塔”(HTC Vive)

Valve的SteamVR“灯塔”系统是目前市场上最独特的系统。与所有其他系统不同，它根本不使用摄像头，而且PC不处理任何数据。“灯塔”从一开始就被设计为能够进行房间规模的位置跟踪，而无需将传感器连接回用户的PC。

基站(“灯塔”)位于房间的相对顶角。它们不与PC通信，也不是传感器。它们在整个房间内发射广角二维红外激光束。一次完成一个轴的发射，比如先左右方向，然后上下方向，然后再重复。在每次扫描之前，它们会发出强大的红外闪光。

每个被跟踪设备包含连接到芯片的红外光电二极管阵列。该芯片测量红外闪光和被每个轴的激光扫描到时，二者间隔的时间。由此可以确定它在房间中的位置。

“灯塔”的独特价值在于它在理论上是一个相对简单的设计。不涉及复杂的计算机视觉算法或相机读数，只涉及激光扫描之间的时间。

“灯塔”的优势：

无需将基站连接到PC(仅供电)，

高品质跟踪，

跟踪范围大。

“灯塔”的缺点：

生产/整合相对昂贵，

通常需要在墙壁上安装基站(电机会抖动)，

室内的反射表面会引发跟踪失灵。

SLAM / Inside-Out

在Oculus Rift和HTC Vive发布之后，许多VR公司开始意识到，在房间里安装传感器或基站的要求让很多潜在买家不想购买。

许多新的和即将推出的头显使用内置于头显中的摄像头，这些摄像头使用计算机视觉算法执行“由内向外”跟踪。使用的特定算法类型被称为即时定位与映射(Simultaneous Localization And Mapping，简称SLAM)。

SLAM算法通过注意房间中的独特静态特征来工作。通过比较来自加速度计和陀螺仪的旋转和加速度以及这些特征如何移动，可以确定头显的位置。

有几家公司已经发布或计划发布使用SLAM的头显：

微软：Windows MR头显

谷歌：联想Mirage Solo

HTC：Vive Focus

Facebook：Oculus Quest和Oculus Rift S

其中，谷歌称他们的跟踪算法为“WorldSense”，Facebook称他们的跟踪算法为“Oculus Insight”。

为了跟踪控制器，这些系统以与“星座”相似的方式运行，那就是使用可见光或红外光。头显上的摄像头跟踪控制器上塑料下的LED。

SLAM/Inside-out的优势：

无需外部硬件，

成本非常低，

简易的设置，

控制器的跟踪范围大，只要在你能在现实生活中看到你的手，头显就可以跟踪控制器。

SLAM/Inside-out的缺点：

无法在黑暗中工作，

当控制器在头后或背部时无法准确跟踪，

当手臂在头显和控制器之间时，无法跟踪控制器的运动。

最初发布于5月16日

原文链接：https://uploadvr.com/how-vr-tracking-works/