月度归档： 2019 年 11 月

战斗机飞行员培训新方案：增强现实模拟假想敌战机

在空战环境中训练顶级飞行员时，通常需要有飞行员驾驶作为假想敌的战斗机。而在训练中扮演敌方非常昂贵且危险。服役于英国皇家空军（RAF）的Daniel Robinson，同时也是Red 6 Aerospace公司的联合创始人兼CEO，开发了一个增强现实平台，名为机载战术增强现实系统（Airborne Tactical Augmented Reality System，简称A-TARS）。它可以为飞行员创建虚拟的对手，例如中国的J-20，用于飞行员的空中对抗训练。

Robinson说：“至关重要的是，我们的竞争对手的创新步伐是如此之快，以至于我们无法准确模拟在任何即将到来的冲突中可能被要求对抗的威胁类型。”

Robinson是第一位与美国空军一起驾驶F-22战斗机的非美国飞行员，他亲眼目睹了所谓的红军对手的需求。“简单来说，战斗机飞行员每次升空训练时，他们都需要飞机和飞行员进行对抗训练，”Robinson在最近的一次采访中说。“如何提供这些对手是一个明确的痛点，不仅对于美国空军，而且对于所有军种和盟军而言都是如此。仅就美国空军而言，这是一个每年要花费数十亿美元的问题，并且由于长期缺乏前线飞行员和机队老化而无法模拟最新的威胁，解决这一问题变得越来越困难。”

通过已获得专利的显示技术，A-TARS系统将虚拟飞机放入飞行员的头盔显示器中。当前的显示系统具有105度的视场角，并集成到了标准的HDU 55头盔系统中。它也能够在日光环境下工作。他说：“我们能够将虚拟飞机带入现实世界，带入飞行员的视线中。”并且，A-TARS还可以用于任何级别的空战飞行员培训。

Robinson受到了Red 6首席产品官Glenn Synder开发的技术的启发。该虚拟现实系统使在英国赛道上的一名赛车手能够同时与身在美国的赛车手竞赛。Robinson说：“两位赛车手都佩戴了基于虚拟现实的头盔，但是却在真实的赛道上驾驶着真正的汽车。”

“他们在这个虚拟世界中同时相遇，并在两条真实的赛道上进行比赛，即使中间隔着大西洋，”他解释说：“这是VR（虚拟现实）领域令人难以置信的首创，是非常重要的技术突破。一看到它，我就开始联想，并问他们：’我可以用飞机替换这些汽车吗？’他们说是的，尽管很复杂，但很有可能。”

Robinson认识到，虚拟现实或真实世界的完全数字化对于进行空中训练的飞行员来说是不可行的。但是增强现实，或将某些虚拟元素叠加到现实世界上，提供了新的思路。他说，Red 6必须解决在户外和高度动态化的环境中使用增强现实的问题，例如每小时飞行数百英里并执行快速机动的喷气式飞机。

Red 6开始了其研发过程，并在2018年Starburst Aerospace加速器的年度East Coast Selection Committee活动中推出了该平台。该公司在洛杉矶的Moonshots Capital领投的种子轮融资中筹集了255万美元，并获得了Austin’s Capital Factory、IronGate Capital Advisors以及其他投资机构的支持。

美国空军注意到了这家公司，特别是当Robinson向空军创新部门AFWERX和空军研究实验室（Air Force Research Laboratory，简称AFRL）提出他的想法时。在今年2月，Red 6 Aerospace对该服务进行了可行性演示，展示了在静态环境中（在停放在机库中的一架试验飞机的驾驶舱中）的增强现实平台的情况。

“我们有试飞学校、AFRL、空战司令部，空军教育训练司令部的代表，”Robinson说：“他们都来看我们的系统。他们能够坐在驾驶舱中，戴上我们设计的头盔，通过增强现实系统，我们能够看到周围的飞机，同时仍然可以看到真实世界。”

在地面演示之后，空军与Red 6公司签署了小型企业创新研究（SBIR）第一阶段合同。本月早些时候，Red 6获得了150万美元的SBIR第二阶段合同。该公司将在接下来的几周内为利益相关者进行空中演示。

“上周，我们在真实飞机和增强现实中进行了世界上首次增强现实空中加油测试，”Robinson说道。“我们飞到了模拟的空中加油机附近，并在旁边加入了模拟的F-22战斗机。我们能够实时围绕加油机进行机动，接近加油机，甚至感受到了加油杆插入我们的飞机。这对我们来说是一个非常激动人心的新世界。我们测试了空中加油训练，但它可以是任何东西，包括一架正在机动的J-20。”

Robinson表示，这家总部位于圣莫尼卡的公司预计将在2020年第一季度筹集A轮资金，以继续开发该技术。

最初发布于2019年11月21日

原文链接： https://www.afcea.org/content/flying-augmented-reality

Adobe Max大会见闻：增强现实将成为创作者的新机遇

Adobe的年度Max会议是一年一度的最大规模的创意专业人士聚会，这些人的艺术、摄影和图形设计技能可以改善我们每天看到的图像和阅读的材料。在本周的活动中，Adobe正在采取一系列的措施，将增强现实作为创作者的新机遇。尽管该技术只正在洛杉矶会议中心展览区的一个安静角落里，努力寻求人们的关注。

在活动开始之前，Adobe表示其最大的AR新闻将与Aero有关，这是一个iPad应用程序，旨在简化新手创作者开发AR体验的过程。活动中的展台引导游客使用该应用程序识别真实空间的表面，并以正确的尺寸和正确的位置放置3D模型，将其与环境无缝融合，以便可以在iPad上从多个角度查看它，就像它是真实的一样。

在Aero的主要演示中，用户看到了最基本的AR体验类型，多年来，我们已经以手持形式看到了AR体验，这在很大程度上要归功于Pokemon Go之类的游戏。尽管Adobe的目的是向创作者展示他们如何将自己开发的3D资产带到混合现实空间中，并用于营销目的。有人认为，Aero将帮助品牌创建更多应用程序，比如今年早些时候测试的Jack Daniel的AR Experience，它使用动画3D资产和画外音将这家公司的任何威士忌酒瓶变成了弹出式故事书。

幸运的是，Adobe并没有坚持完全枯燥的演示。尽管您必须在洛杉矶会议中心展览区的最深处寻找它，但该公司还利用Aero进行了一次名为Terminator Max Experience的演示，它利用了刚发行的电影Terminator：Dark Fate的资产。与会者将获得包含一系列提示的列表，然后跟随它们来体验AR场景，在这个场景中，虚拟终结者会从满是瓦砾的场景中的能量泡泡中出现。

作为驱动该体验的相机和3D合成引擎，安装了Aero的iPad将数字资产与场景中的实际人物和物体融合在一起，从而实现了这样的场景。尽管展位上没有任何内容说明最终用户将如何以这种方式使用Aero或Aero创建的应用程序，但这意味着创作者们可以为用户创建电影级的3D体验，然后将其部署到特定位置，或提供可下载的应用程序，以用于营销目的。

Adobe将一台计算机连接到运行Aero的iPad上，以录制Terminator Max Experience视频，并承诺将其通过电子邮件发送给与会者。

在展区中专门展示AR的区域实际上是3D和AR体验的共享空间，大多数演示都专注于各种早已亮相且普遍应用的3D内容，而优质的AR只是轻描淡写。例如，英伟达（Nvidia）展示了在笔记本电脑上运行的RTX Studio图形技术，说明现在即使是便携式计算机也可以在3D场景中光线追踪逼真的反射和阴影。

RTX-caliber光线追踪何时才会进入移动设备？由于渲染技术的高速处理要求，Nvidia表示，当前唯一可行的解决方案是使用GeForce Now将完全由服务器渲染的场景流式传输到移动设备的屏幕，或使用移动设备来渲染场景，同时服务器将渲染的反射流进行合成。但由于存在延迟，可能难以实时同步。

HP在展区里炫耀着Project Captis，该项目搭建于Z by HP阵列，是为创意专业人士设计的使用测光法将真实的纹理和对象转换成数字内容的预生产3D材料扫描工具。这套硬件和软件的组合目前尚未公布定价，通过将多个4K摄像机放置在一个大盒子中，可以从多个角度捕获物体的高精度细节。目前仍是创作者进行测试的试点。

Project Captis产生的扫描结果可用于将一种材料的纹理应用于另一种材料，例如制作一双具有皮革外观的3D打印太阳镜，或一双具有编织的复杂网眼纹理的运动鞋。像3D和AR展区中的许多其他演示一样，这种扫描技术具有明显的潜力，可以为未来的AR应用创建超级逼真的资产。

Max大会上发布的最有趣的产品之一（但不属于3D和AR领域）是Adobe Photoshop Camera，现已以Beta形式提供给少数用户。Adobe表示，该摄影应用程序将完全免费提供给iOS和Android用户，而无需Creative Cloud订阅或应用程序内购买。用户将能够从大量艺术家开发的Photoshop滤镜中进行选择，这些滤镜可实时应用于相机输入，并在拍摄时添加静态或动画图像。

Photoshop Camera令人印象深刻的是滤镜是如何工作的。Adobe使用基于云的Sensei AI实时扫描相机输入的某些类型的内容（例如天空，脸部或食物），然后选择性地将静止或动画滤镜应用于AI识别的对象。比如在上面的图像中，AI可以识别风景图像，将其从白天转换为夜晚（带有移动的月亮）或添加日式的朝阳覆盖层。另一个示例显示了该应用程序通过适当的调整色温和对比度，自动调整食物照片。

我并不认为我们需要另一个照片滤镜应用程序，或者Photoshop Camera将以某种方式取代Android或iOS设备内建的相机应用程序。但是，正如您看到的技术一样，使用人工智能和机器学习来实时增强摄影技术显然具有一定的吸引力。其中包含的识别技术是强大的，在正确的艺术家手中，结果可能是强大的。

Max大会明显缺少任何可穿戴的AR硬件，至少当我环顾四周时，我找不到它。尽管展厅中散布了一些VR头显，但几乎所有显示的东西都在计算机或平板电脑的屏幕上进行了展示，这表明Adobe和相关供应商仍在等待可用的AR头显。因此，3D和AR展区严格来说只是一个是2D展区。

Adobe Max是一个相当大型的展览，毫无疑问，AR既不是活动的主要的重点，也不是次要的焦点，Aero和相关内容在主题演讲和展区中只占很小的一部分。也就是说，很明显，创意人员已开始为不远的未来做准备，很快，混合现实将成为日常生活的重要组成部分，包括消费级应用程序和专业应用程序。这个阶段的挑战是要让AR从小型演示和营销过程中的小把戏变成消费者实际想要使用的实用的应用程序。我推测这将在2020年开始发生，这可能是由于价格合理的硬件和更多的开发者对其感兴趣共同推动的。

最初发布于2019年11月8日

原文链接：https://venturebeat.com/2019/11/05/at-adobe-max-augmented-reality-is-fighting-its-way-out-of-the-corner/

苹果专利：各种头显内CGR环境中虚拟对象的有形可视化

近日，美国专利商标局发布了Apple的一项专利申请，涉及计算机生成的现实（CGR）环境，更具体地说，涉及一种用于在头显内的CGR环境中提供虚拟对象的有形可视化的技术。Apple区分了将来的Apple头显（或各种头显）可能支持的CGR环境，例如VR（虚拟现实），AR（增强现实），MR（混合现实）和AV（增强虚拟）。

苹果首先指出，计算机可以将计算机生成的图像完全投影或部分叠加在用户的视野中，以提供用户可以体验的CGR环境。CGR环境可以基于不同类型的现实。

头显可以选择检测用户的真实运动并进行投影，并在CGR环境的一系列视觉图像或视频中模拟这些运动。

通过在CGR环境中投影或模拟的这些运动，用户可以与CGR环境中的对象进行交互。

Apple的专利涵盖了在CGR环境中提供虚拟对象有形可视化的技术，其中CGR环境为用户提供了与CGR环境进行交互的逼真的体验。

因为这种体验是现实和身临其境的，所以用户可以轻松地将CGR环境中的虚拟（因此是无形的）对象混淆为存在于CGR环境之外的真实的有形对象。

因此，该专利所描述的技术通过使用户能够快速且容易地在视觉上识别CGR环境内的对象是非有形的虚拟对象还是对应于真实环境中的真实物体（因此是有形物体），在用户与CGR环境交互时，增强了用户的便利性并进一步为用户提供了增强的安全性。

该技术不仅限于为特定类型的CGR环境提供有形的可视化，而是可以在任何类型的CGR环境中实现。这些环境包括基于混合现实的CGR环境和基于虚拟现实的CGR环境。

虚拟现实（VR）环境（或虚拟环境）是指被设计为完全基于计算机生成的一种或多种感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，计算机生成的树木图像，建筑物和代表人的化身，就是虚拟对象的示例。一个人可以通过模拟人在计算机生成的环境中的存在和/或通过模拟人在计算机生成的环境中的身体运动的子集来感知和/或与VR环境中的虚拟对象进行交互。

混合现实（MR）环境是指模拟环境，旨在将来自物理环境的感官输入并入其中。在虚拟连续性上，混合现实环境介于完全真实的物理环境和虚拟现实环境之间。

混合现实的示例包括增强现实和增强虚拟。

增强现实（AR）环境是指一种模拟环境，其中一个或多个虚拟对象叠加在物理环境中。例如，用于呈现AR环境的电子系统可以具有透明或半透明的显示器，通过该显示器，人可以直接查看物理环境。该系统可以被配置为在透明或半透明的显示器上呈现虚拟对象，使得使用该系统的人感知叠加在物理环境上的虚拟对象。

增强虚拟（AV）环境是指一种模拟环境，其中虚拟或计算机生成的环境合并了来自物理环境的一个或多个感官输入。感觉输入可以是物理环境的一个或多个特征的表示。例如，一个AV园区可能有虚拟的树木和虚拟的建筑物，但是其中的人有着真实人物拍摄的照片中的人脸。另一个示例是，虚拟物体可以采用由一个或多个成像传感器成像的物理物品的形状或颜色。或者还可以这样示例，虚拟物体可以采用与太阳在物理环境中的位置一致的阴影。

有许多不同类型的电子系统，使人们能够感知和/或与各种CGR环境进行交互。包括头戴式系统，基于投影的系统，平视显示器（HUD），具有集成显示功能的车辆挡风玻璃，具有集成显示功能的窗户，放置在人眼上的镜片状的显示器（类似于隐形眼镜）。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。

头戴式系统可以具有透明或半透明的显示器，而不是不透明的显示器。透明或半透明的显示器可以具备一种介质，代表图像的光通过该介质被引导到人的眼睛。

显示器可以利用数字光投射、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。该介质可以是光波导、全息介质、光组合器、光反射器或其任意组合。在一个示例中，透明或半透明显示器可以被配置为选择性地变得不透明。

基于投影的系统可以采用视网膜投影技术，该技术将图形图像投影到人的视网膜上。投影系统还可以被配置为将虚拟对象投影到物理环境中，例如，显示为全息图或显示在物理表面上。

在一些示例中，系统＃100包括设备100a。设备100a包括各种组件，例如处理器102，RF电路104，存储器106，图像传感器108，方向传感器110，麦克风112，位置传感器（多个）。一个或多个116，扬声器118，显示器120和触敏表面122。这些组件可选地在设备100a的通信总线150上通信。

在一些示例中，系统＃100的元件在基站设备（例如，诸如远程服务器，移动设备或膝上型计算机的计算设备）中实现，并且系统＃100的其他元件在头戴式设备中实现。显示（HMD）设备供用户佩戴，其中HMD设备与基站设备通信。

在一些示例中，系统＃100包括两个（或多个）通信中的设备，例如通过有线连接或无线连接（HMD +MacBook或iPhone或iPad）进行通信。

美国专利局今天发布的苹果专利申请已于2019年第二季度提交，其工作可追溯至2018年第二季度。考虑到这是专利申请，因此目前尚不知道这种产品上市的时间。

最初发布于2019年11月4日

原文链接：https://www.patentlyapple.com/patently-apple/2019/11/apple-patent-describes-tangibility-visualization-of-virtual-objects-within-various-headset-environments.html

使命已完成 基于手机的VR已成为过去

移动虚拟现实头显帮助数以百万计的人体验了VR，但从近日开始，它们似乎已经完全成为过去。

Oculus首席技术官John Carmack上个月对手机驱动的Gear VR移动头显表示了“悼念”，他说属于这种形态的头显的时代已经过去了。并且Google刚刚透露，除了从最新的Pixel 4系列手机中取消对Daydream的支持之外，还将停止使用Daydream View移动头显。该应用程序仍可在旧手机上运行，但Google现在已经放弃了这个曾经被描绘成Android不可或缺的一部分的平台。

Daydream是在2016年亮相的，它是Google推出的更为简单的由手机驱动的Cardboard头显的后续产品。当时，Google预计在未来两年内，与Daydream兼容的手机将拥有“数亿用户”。但是，在2019年，没有哪一款新手机支持它。一位Google发言人表示，“它没有像我们希望的那样被广泛的消费者或开发人员所采用，而且随着时间的推移，我们已经看到Daydream View头显的使用量正在减少。”

出现这种现象并不奇怪。Cardboard提供了简单且可用的VR体验。《纽约时报》免费向其订阅用户提供了100万个头显。但这是一种超级便宜的一次性产品，旨在提供短暂的体验。但想要成为消费类头显则非常困难。“我们看到了智能手机VR的巨大潜力-能够随处使用随身携带的智能手机来提供身临其境的移动体验。但是随着时间的流逝，我们注意到一些明显的局限性限制了智能手机VR成为可行的长期解决方案。”

Google表示，人们不喜欢失去使用手机的能力，因为Daydream实际上需要进入独立的应用生态系统才能使用。这不是基于电话的VR的唯一问题。Carmack指出，身临其境的3D应用程序消耗了宝贵的电池，尤其是Gear VR令人讨厌的设置。“我认为最大的问题只是进入体验时的一些小麻烦，”Carmack说。

从数据上看，Gear VR受到了极大欢迎。三星在销售该设备的第一年就售出了至少500万台这种由Oculus提供技术支持的设备，而像Oculus Rift这样的高端头显则只卖出了数十万台。但是Carmack表示，它无法保留用户，因为“如果您必须将手机从手机壳中取出并放入头显中，你可能只会使用它两次。”三星尚未正式宣布停止Gear VR的生产。但是，这款头显似乎无法（至少在美国）通过三星商店或以第一方产品的形式从亚马逊和百思买等零售商处获得。

Daydream面临的问题虽然不像Gear VR这样繁琐，但是它还有另一个大问题：手机制造商不支持它。Google最初宣布了几个合作伙伴，包括三星，LG和HTC。不过，大多数厂商在添加对Daydream的支持方面都落后了，部分原因是许多手机的显示屏不符合Daydream的标准。

基于手机的VR头显也无法提供与Oculus Rift，HTC Vive或PlayStation VR相同的强烈物理体验。随着开发人员开始深入VR内容的开发，这种差距变得越来越明显。移动VR头显非常适合播放虚拟现实视频，但是VR视频很难制作，也很难变现，像Jaunt和Inside之类的早期VR电影公司正逐渐将注意力转向增强现实。Google曾收购了一些著名的VR应用程序，包括最受欢迎的绘画工具Tilt Brush，但大多数需要高端头显才能运行。

同时，独立式头显变得更便宜，功能更全面，增加了手持控制器和inside-out的跟踪功能。Oculus用Oculus Go移动头显填补了原本属于Gear VR的空间，现在它正在吸引用户使用Oculus Quest，这是一种更贵一些但功能也更强大的设备。当您可以以200美元的价格购买独立的Oculus Go或以400美元的价格购买Quest时，Gear VR这种100美元的塑料外壳似乎并不划算。

Google并未真正尝试赶上独立VR的潮流。它最初与HTC和Lenovo合作开发了两套独立的Daydream头显，但HTC 退出了交易，联想的Mirage Solo实际上只是一个开发工具包。在今年的I/O会议之前，Google虚拟现实和增强现实负责人Clay Bavor表示，该团队正在进行VR硬件的“深度研发”，“构建我们需要的Lego积木，以便将它们拼凑在一起，并制作出一些真正引人入胜的体验。”Google发言人还强调了该公司在移动搜索和地图的AR功能方面的工作。

Google发言人Michael Marconi拒绝评论Google独立式Daydream头显的计划。“拥有Lenovo Mirage Solo的人没有改变。他们将继续使用头显及下载的应用程序，并可以从Google Play商店下载新的应用程序。”他说。如果Google确实回到了虚拟现实，那么独立头显（或通过无线网络连接到手机的头显，如果未来的技术可以做到这一点）似乎仍然是最明确的选择。

简单的移动头显实际上只是一个装有镜头的盒子，基本的VR应用也不难制作。因此，移动VR可能不会完全消失。Marconi确认Google仍在其商店中提供第一方Cardboard头显以及来自Homido和Mattel等第三方销售商的设备。但是，随着Google和三星放弃Daydream和Gear VR，基于手机的成熟VR平台的梦想似乎已经结束。

最初发布于2019年10月21日

原文链接：https://www.theverge.com/2019/10/16/20915791/google-daydream-samsung-oculus-gear-vr-mobile-vr-platforms-dead