Technicolor打造Genesis虚拟制作平台 将VR用于电影制作

我最近有机会来到了位于加利福尼亚州卡尔弗城的Technicolor体验中心,参观了Genesis虚拟制作平台,这是Technicolor与其视觉特效子公司Moving Picture Company(MPC)多年合作的成果。Genesis有着很高的终极目标,但目前还是被用于通过虚拟现实使传统制作团队成员有能力动手参与动画的视觉化过程。这个不断发展的工具生态系统已经被用于制作视觉特效丰富的电影,包括迪士尼的真人版《奇幻森林》(The Jungle Book)。

Genesis的核心是其实时性能,是通过利用Unity 3D游戏引擎和NVIDIA GTX 1080和RTX 2080高性能GPU实现的。通过将实时图像与Vicon动作捕捉相机、用于摄像机的实时运动控制编码器以及HTC Vive虚拟现实头显相结合,Genesis可以让工作人员预览动画和图像,指导、制作设计和虚拟地演出场景。Genesis还可以跟踪每个摄像机的移动、道具/角色/灯光的位置、场景,并存储到安全的云数据库。该系统通过Technicolor自己的Technicolor Connectivity网络运行,允许不同位置的工作人员在同一场景中虚拟地并且同步地进行交互和协作。

根据MPC工作室负责人Kerry Shea的说法,“我们希望为导演、电影摄影师和他们的工作人员提供他们习以为常的传统制作工具,并让他们更具创造性和更直接地参与前期制作过程。Genesis将主要的创意决策更多地转移到制作过程中。“

Genesis演示的第一部分展示了预制作的流程,其中包含一个虚拟的技术监视工具。MPC的艺术家创建了一个内部序列,来演示Genesis在CG工作量大的项目中的使用过程。这个名为Speakeasy的项目包含了一个时髦的CG形象,这个形象在禁酒时代的酒吧里做了几次被拒绝的尝试。整个场景中含那个时期的道具和角色,并且可以使用Vive VR头显实时导航。

根据MPC的虚拟艺术部门主管Ryan Magid的说法,“我的团队有大约一个星期的时间来为场景和角色创建所有需要的3D资产,然后只需几个小时来拍摄场景本身。在那段时间里,我们能够通过导演、电影摄影师、动作捕捉演员和整个组的工作人员的全部投入来进行数十次拍摄。

Genesis不仅能捕获原始的动作捕捉数据和相机支持的编码器数据,还能捕获每个道具、灯光、虚拟角色和相机的逐帧位置。然后,在实时捕捉期间生成的CG镜头能在回放过程中持续调整。该过程赋予创意团队在预览过程中更高的自由度和互动性,这通常是CG动画师的权限范围。

随着预制作演示的完成,我们接下来转移到一个更大的动作捕捉舞台,环绕着Arri SkyPanel S30s LED灯; 配备了巨大的LED显示屏,一台索尼F55相机连接到Genesis系统,现场渲染在前面创建的Speakeasy项目。旁边一名演员穿着由Vicon动作捕捉传感器跟踪的动捕服。工作人员为我们提供了操作三脚架的机会,通过三脚架,可以在虚拟场景中移动摄像机,或者将摄像机连接到场景内轨道上的虚拟推车上。

当演员表演他的对话线并与酒吧中的其他虚拟顾客进行交互时,我们能够操作推车并移动摄像机。当我们操作摄像机时,我们可以看到我们的动作与现场的动作捕捉演员的动作结合的效果。不一会儿,我们就创造出了一个完整的场景,可以作为预演动画进行下一步制作。根据Shea的说法,“我们的员工可以同步且安全地与世界各地的场景互动。即使是高级管理人员也可以从他们的办公室虚拟地参与其中,他们所需要的只是Genesis机架单元(配备了功能强大的PC和GPU硬件来驱动VR头显。)“

作为舞台演示的一部分,我们还目睹了Genesis的一个正在开发中的用途。MPC的虚拟制作主管Joseph Henderson解释说:“我们经常遇到的一个挑战是如何让一个CG角色与真人演员进行令人信服的互动。”在这个场景中,一个演员被F55摄像机拍下来,身后的LED屏幕上有森林的动画图像。当相机操作员在移动相机时,LED屏幕上的图像也相应地移动了视角。

当团队在改变道具、天气和灯光时,动画可以实时编辑,全部都是动态的。 “现场的图像质量还不够真实,” Henderson补充说:“随着GPU变得越来越强大,这种鸿沟正在缩小。我们已经在和NVIDIA合作,利用他们的RTX 2080下一代实时光线跟踪图形卡,看看我们能在多大程度上进一步改进工作流程。“

随着实时动作捕捉的完成,我们被邀请回来观看Vive VR头显中已完成的拍摄内容。VR头显的图像具有非常高的分辨率,具备3D图像和声音,创造出了一种高水平的沉浸感。我能够重新体验之前在舞台上演出并拍摄的内容。使用Vive手持式控制器,我可以重置道具和灯光,并从任何摄像机角度检查它。你会觉得在创造性地探索场景方面任何事都是可能的,并且会知道在调配大群工作人员花费大量时间和成本之前如何最好地拍摄它。

“Genesis有很多潜在的用途,”Genesis的开发人员的Markus Ristich说道。“我们最近在伦敦证券交易所做了一个主要序列的展示。导演知道他不能长时间关闭交易所,甚至不能进行监视。因此,我们与市政府合作,用激光雷达扫描该区域,同时使用了该区域的蓝图以及许多参考照片。然后,我们在Unity中重新创建了整个交易所,并为在Genesis中进行VR预览做好了准备。导演能够舒适地制作他的镜头,并且高效地确定他需要哪些摄像机和物品才能在真实的地方进行拍摄。我们能够将一个非常具有挑战性的任务变成更具互动性的东西。“

随着虚拟现实,混合现实和增强现实等沉浸式技术的不断成熟,我们将看到将它们融入传统电影制作的新方法和新创意。Genesis证明了VR和实时游戏引擎是导演、摄影导演、制作设计师以及习惯于更加传统的电影制作工具的其他主要创作团队可以尝试的更强大的工具。而且在虚拟现实中体验电影场景也十分有趣。

最初发布于2019年3月11日

原文链接:https://ascmag.com/articles/technicolor-genesis-virtual-production-platform

微软HoloLens中标美国陆军4.8亿美元”集成视觉增强系统”合同

根据美国陆军发布的消息,在去年11月,美国陆军与微软达成一项总值近4.8亿美元的合同,微软将会向美国陆军提供HoloLens增强现实系统原型,用于战斗任务和训练。

根据彭博社的消息,该合同最终可能导致军方购买超过10万台头显,并且旨在“通过提高在敌方之前侦查、决策和参与的能力来增强军队的杀伤力”,根据政府对该计划的描述,该系统被正式称为集成视觉增强系统(Integrated Visual Augmentation System,简称IVAS)。

“增强现实技术将为部队提供更多更好的信息来帮助做出决策。这项新工作将我们与国防部长期的、互信的关系扩展到这个新领域,“一位微软发言人在给彭博社的电子邮件声明中表示。

虚拟现实产生了一种由计算机生成的现实,用户可以与之交互(通常通过头显),而增强现实会将数字信息带入用户的视野并叠加到现实世界,通常需要通过智能手机的摄像头或头显来实现 。

HoloLens是微软的AR平台,这家软件巨头称之为“混合现实”。该公司已经将HoloLens用于工业场景,他们认为这台头显可以“让技术人员在混合现实中远程协作,并在几分钟内解决问题,而不是几天。“并且微软表示用户可以充分利用3D模型“创建易于编辑的、生活规模的布局,让您和您的利益相关者可以在物理世界或虚拟现实中体验全息图。”

据MSPoweruser称,在2018年4月,微软透露已经向客户出货了50000台HoloLens设备。正如彭博社指出的那样,该合同使得美国陆军成为微软最重要的HoloLens客户之一。

美国陆军希望微软提供的头显在几个关键方面区别于消费级同类产品。

根据彭博社的报道:在与竞标该合同的公司分享的一份文件中,美国陆军表示,它希望该产品能结合夜视和热感应,测量像呼吸这样的生命特征和“准备就绪”,监测脑震荡并提供听力保护。

微软作为中标者,预计将在两年内交付2500台头显,并展示全面生产的能力。

美国陆军的合同旨在鼓励服务部门与不是典型国防承包商的公司开展业务。AR创业公司Magic Leap是另一个竞标者,据彭博社报道,2018年8月美国陆军与25家有兴趣以某种方式参与该项目的公司举行了会议,其中包括Booz Allen Hamilton控股公司,Lockheed Martin公司和Raytheon公司。

美国陆军并不是唯一对AR技术感兴趣的国防部门。美军特种作战司令部(SOCOM)也对 “ 视觉增强系统(Visual Augmentation Systems,简称VAS)”及相关辅助技术的改进和增强表示了兴趣。这包括用于抬头显示器的AR和虚拟现实解决方案,以及如何将不同数据源的信息融合进一个共同的视觉显示单元。

美军特种作战司令部正在寻求几个不同领域的创新技术和能力,包括AI/机器学习,具备增强的光学特性的显示器,多传感器数据融合与处理、通信等。

在这些领域内,美军特种作战司令部对非常具体的技术应用感兴趣。例如,在AR/VR和AI/机器学习领域中,美军特种作战司令部对任务前的演练和定位、全息显示,游戏技术,神经形态计算和工程,远程医疗以及综合训练和操作环境等技术很感兴趣。

最初发布于2019年2月15日

原文链接:https://fedtechmagazine.com/article/2019/01/army-teams-microsoft-ar

美国海军用HoloLens进行实弹射击训练 让模拟训练更逼真

模拟训练可以帮助士兵和水手学习如何安全地使用他们的武器,但模拟器有时可能无法营造出真正的战斗中的充满压力的环境。

这就是美国海军开发出一种在HoloLens上运行的更逼真的增强现实模拟器的原因。

该系统被称为武器增强现实评分系统(Weapons Augmented Reality Scoring System,简称WARSS),通过用HoloLens在用户的视野中显示敌方部队的3D图像来模拟实弹演习。该系统还会显示一个记分牌,该记分牌可以根据射击次数与未命中次数的百分比来计算已开枪数,击中次数以及得分。

这样一来,士兵们可以向虚拟目标发射实弹,而不是向真实目标发射空包弹,以获得更真实的战场感觉。

“当你专注于模拟训练时,你对风险的评估是不同的。它可以帮助你学习如何使用武器,它可以帮助你思考环境,”美国海军的Steve Murray上校说,他是美国海军海上系统司令部水面舰艇部队的项目经理。“当你将所有的压力都加入时,你需要建立一个更逼真的环境,以确保你在实际战斗中获得你想要的结果。”

此外,WARSS还可以将士兵的视频流显示在传统显示器或笔记本电脑上,也可以通过远程网络连接来传输,让指挥人员可以远程观察训练过程。

近年来,HoloLens已经成为全球军事行动中备受欢迎的AR可穿戴设备,英国皇家海军和澳大利亚皇家空军都采用了这款来自微软的头显。

去年,微软甚至击败了Magic Leap,获得了一项4.8亿美元的合同,将向美国陆军提供AR头显。

但是,这种优势并不能永远保证,因为目前的部署仅限于指挥中心或训练演习,二者都远离战场。最终,军队的客户将寻求能够进入战场的AR硬件,在这种情况下,我们期望微软能够提供体积较小的HoloLens。

最初发布于2019年2月13日

原文链接:https://hololens.reality.news/news/us-navy-taps-microsofts-hololens-for-augmented-reality-war-games-system-0193389/

拆弹机器人领域的新探索:用VR来控制只是其中之一

拆弹机器人已经存在很长时间了,并且这项技术也经历了长足的发展。其中最新的一款,名为Taurus,可以通过虚拟现实头显来导航,提供给操作人员前所未有的操作体验。从自动化,到电池上的创新,在拆弹机器人领域,哪些趋势是最普遍的呢?

机器人被用来执行人类不想做的工作或者不能做的工作。而拆除和处置炸弹则是危险性最高的工作之一,在战场上拆除炸弹,会更复杂,更危险。所以,从上世纪70年代开始使用无人设备来执行这种任务可以说是很明智的。

对于机器人来说,拆除炸弹是其最早的实际应用场景之一,从最初应用到现在已经大概50年了,拆弹机器人也经历了巨大的转变,从一开始的用线缆来控制的履带式拆弹车,到使用虚拟现实(VR)和先进的传感反馈技术的现代化拆弹机器人。

“在刚刚过去的10到15年间,机器人领域的研发工作和人才投入获得了大幅增长,拆弹机器人也因此受益,”Ultralife Corporation的应用工程经理Jonathan DiGiacomandrea说道。

“这些机器人更新换代的步伐也在显著加快,这已经成为了一个发展非常迅速的领域。整体而言,相比以前,现在的机器人正在变得越来越精确且可信赖。”

控制方式的演进与VR的应用

或许现在的拆弹机器人和以前的老型号之间最显著的区别就是其用户控制方式了。使用线缆来控制机器人的日子已经一去不复返了,现在几乎所有的东西都可以远程控制了。比如斯坦福国际研究院(SRI International)使用的Taurus,可以让操作人员以前所未有的方式看到实际的拆弹场景。这是让拆弹专家能够最近距离执行任务,同时不用亲自身处险境的方式。

在使用VR头显之前,Taurus的操作人员不得不使用笨重的3D显示器以及特别设计的控制器,可以将操作人员手部的动作转换成机器人的抓手的动作。随着VR技术的发展,3D显示器已经被VR头显和很容易就能买到和使用的控制器取代,比如Oculus Rift。

很容易就能联想到VR游戏正在使用的技术,但二者的相似性远不止此。根据DiGiacomandrea,用来操作很多机器人的远程控制系统正在与触觉反馈设备相结合,这样就能通过震动来提示警告信息,就像游戏里那样。

“我们看到一些公司正在使用VR手套,或者至少是VR的交互界面,而不是使用手柄和操纵杆,”DiGiacomandrea说道。“在接下来的这几年,我认为VR会真正成为一种控制不同类型的机器人的方式,而拆除炸弹则是VR的一个重要用途。”

耐用的、先进的供电系统

电池和供电方面的创新也意味着拆弹设备能够被设计的更轻便,更便于携带,并且能够在无需再次充电的情况下持续运行,也就意味着在关键时刻它不会出问题。

“考虑到作业环境,电池的问题可能会带来灾难性的后果,尤其是在危险的环境中。”

“过去几年间,我们在客户身上发现,供电系统是客户在产品中提及次数最多的部件,同时,我们也希望供电系统是整个产品中最少出问题的部件。”DiGiacomandrea说道。

过去,机器人依赖于铅酸蓄电池,但最近几年间锂离子电池技术的进步意味着电池组的重量能够降低一半甚至是三分之二,这对于机器人的轻量化是极为重要的,还可以轻松获得双倍的电能密度。

当然,这些电池模组也需要尽可能的坚固耐用,考虑到作业环境,电池的问题可能会带来灾难性的后果,尤其是在危险的环境中。

目前电池方面的创新是由电动汽车领域来引领的,他们在电能密度方面的进步十分引人注目。“你将会看到供电系统方面持续的进步,这将能够让机器人设计者们在机器人身上安装更多复杂且高性能的工具,”DiGiacomandrea说道。

敏捷性和移动性的提升

虽然早期的设计可以让操作人员在远处拆除炸弹,但机器人仍然必须部署在能够看到炸弹的地方,并且要在相对平整的地方。摄像机和传感器的发展可以让拆除工作在操作人员视线之外的地方进行。但问题仍然存在,那就是,机器人必须要先到达炸弹所在地。如果炸弹位于一座建筑的三楼,进入这座建筑就会相当危险了,更别提还需要安装炸弹拆除和处置设备了。

好在刚刚过去的这几年间,我们见证了拆弹机器人在敏捷性和移动性上的显著进步。位于英国梅德韦的格林威治大学和NIC Instruments在前几年合作开发了一款机器人,可以爬台阶和开门。最新的灵巧型机器人还能打开汽车后备箱,拆除汽车炸弹。波士顿动力(Boston Dynamics)测试了能够纵身跳墙的机器人,并且现在正在被考虑用于拆除炸弹。

随着机器人变得越来越精细复杂,拆弹机器人也能够进行更为复杂的交互。“在过去的几年间,我们看到,拆弹机器人工程师们再也不会依赖过去的方法了,”DiGiacomandrea说道。

“在以前,工程师们用的是刺探或者拖曳的方法。前者是要使其爆炸或拆除炸弹,后者则是把炸弹拖到另一个地方。我们最近发现 ,人们正在转向更加复杂的拆除炸弹的方式。比如用灵活的接口来复制人的手部动作,或者使用外科手术一样的操纵器。”

最初发布于2019年1月22日

原文链接:https://www.army-technology.com/features/bomb-disposal-robots-the-new-frontier/

美军爱德华兹空军基地将VR/AR用于F-35战机维护培训

军事领域一向最先应用新技术。美国空军的技术军士Jeremy Neilson正在让一个充满创意的想法落地,他在爱德华兹空军基地的F-35集成试验部队建立了一个互动的VR/AR培训设施,进行战机维护相关的培训。

虚拟现实培训能够让操作人员完成资格培训或提升熟练度的培训,而无需使用前线的真实的设备,毕竟这些设备不仅数量有限,而且非常昂贵。

Neilson向412试验飞行中队的创新小组XCITE提出了他的想法,并且该创意也被选中获得了资助。他曾经担任项目总监的经验,使他被认证为2018年一季度412试验飞行中队的季度创新者。

VR的优势在于它能够用安全环境中的沉浸式互动体验来模拟高危险性甚至是致命的场景。在VR环境中,可以反复进行模拟高危环境中的培训,以增强受训人员做出直观反应的能力,并且不会有对受训人员造成伤害的风险。

虚拟现实培训也是很有成本效益的。比如,它能够让学生们在家中就可以进行课程学习,甚至无需前往教室。并且,在VR培训过程中,无需使用真实世界中的设备。不仅释放了更多资源,同时还避免了对昂贵的设备的损坏。

VR还能让培训更简单。初步的和纠正性的培训内容都能够通过VR设备进行培训和记录,提升熟练度的培训也可以通过VR进行,尤其是那些由于缺乏培训器材,而很少进行的培训课程。

与地面准备相关的培训也可以被重复演练,参训人员不会受到地理限制,以往这样的培训内容都需要在实地进行。

最后,VR培训环境既可以简单也可以复杂,也可以更逼真,还可以模拟出致命的场景,也就是说,VR可以模拟几乎任何培训场景。这种灵活性是传统的培训方式无法提供的。

在Neilson看来,在空军中推动一种创新的文化就是要倡导一种鼓励大家拥抱新技术的心态,来满足空军对新技术不断增长的需求。

“使用VR/AR的补充训练课程对于未来空军的‘基于经验的训练’有着非常重要的意义,我们最初在虚拟现实/增强现实上的投入已经获得了一些技术上的进展,如果能长期应用,将会逐渐淘汰我们现在的培训方式。”Neilson认为。

最初发布于2018年12月24日

原文链接:https://www.edwards.af.mil/News/Article/1719563/innovation-f-35-maintenance-virtual-realityaugmented-reality-initiative/

多感官整合 高度模块化 基于MR的军事模拟训练平台即将亮相

Kratos防务与安全公司是一家国防安全解决方案提供商,该公司宣布,将会在I/ITSEC期间展示其最新的基于混合现实(MR)的模拟训练平台。

为了应对越来越复杂的武器系统、战术和备战需求,美国国防部急需提升训练的效率,让军队可以快速部署并且提升训练内容的可接受度,同时提高真实度,改进训练内容的安全性。

混合现实(MR)是一种日渐流行的新技术,与虚拟现实(VR)和增强现实(AR)不同的是,Kratos将多种多样的先进技术进行整合,提供视觉、听觉、嗅觉、触觉和更多体验,能够在一个更安全,更经济的环境中提供高真实度的训练。

到目前为止,混合现实在军事训练中的用途还很受限,因为将如此多的感知技术进行整合是一个相当大的挑战,并且在何时何地提供混合现实训练内容也是一个难题。Kratos打破了这些界限,他们为沉浸式的训练环境提供了一个基于平台的新方法,将市面上较为成熟的产品进行整合,占地面积更小,并且能够最高效地在任何地点提供虚拟的训练。

Kratos Platform集成了现有最成熟的商用产品,比如虚拟现实头显和全景相机,并对其功能进行了集成。比如,模拟松树林的训练环境能够散发松树独有的气味,而在模拟射击训练的场景中,当受训人员扣下扳机时,会有枪口焰闪现在眼前。课程开发人员可以选择最适合训练目标的场景,无需为每个新的训练课程“重新发明轮子”。他们可以依赖预集成的平台来快速开发,并且在每次要加入新技术时无需重新设计解决方案。

换句话说,Kratos Platform不是一个开发环境或开发工具包,而是一个完整的、简单易用的训练基础方案,可以让训练人员使用最具沉浸感的混合现实技术来达成训练目标。

除了让训练课程的创建更简易之外,Kratos Platform最大的优势之一,在于它能够在任何合适的环境中提供基于混合现实的训练课程,包括正在飞行的倾转旋翼机,沙漠中的车辆座舱,安装在军校中的模拟器等等,甚至还可以在灵活的Kratos Holodeck中,这是Kratos开发的一个简易的快速交付训练环境。

Kratos Holodeck包含图像生成设备、主机、头部跟踪系统和整合了全景相机的VR头显,能够提供一个动态的视角。该系统能够很容易和快速地重新配置成全新的应用场景和课程,只需载入一个新的任务场景,或者增加或删除某种训练用的硬件,比如武器、控制器或其他设备。在I/ITSEC展会期间,Kratos将会使用Holodeck来展示基于混合现实的士兵野战战术训练课程。

Kratos防务与安全公司训练服务分部(KTS)的高级副总裁Jose Diaz说:“这种基于平台的解决方案除了能够开发出一种增强的沉浸式训练环境,还能降低投入和全生命周期的费用,因为该解决方案使用了已商用的成熟产品,占地面积更小,并且使用起来更加简单。”

最初发布于2018年12月5日

原文链接:https://www.armyrecognition.com/weapons_defence_industry_military_technology_uk/kratos_to_introduce_mixed_reality_military_training_platform_at_i/itsec.html

英国军火商积极测试 未来军舰将通过AI/VR实现远程控制?

未来的海军或许可以使用新技术让舰员们远程操控。像是人工智能和虚拟现实这样的技术能够让一些舰员们在岸上工作,甚至是在千里之外控制军舰的关键功能。这种“半自治”的军舰,需要更少的船员,也就意味着会有更少的人身处战争的险境。

外媒报道,在未来,英国皇家海军可以使用AI和VR来减少船员的规模。类似于在千里之外控制着无人机的操作员,舰员们可以远程工作,比如控制军舰上的传感器或武器。当他们在陆上的基地工作时,可以远离前方的战火。甚至军舰的舰长也可以在岸上,在陆上的基地里指挥他的战舰。

英国军火商BAE系统公司一直在向英国皇家海军推广这项技术。“与军舰上那些坐满军官的控制室不同的是,为了防止军舰受到敌方攻击时控制室也被波及,在陆上的控制室中,军官们能够在其中自由走动,”BAE的一位代表向媒体表示。

飞机将会是首个被远程操控的武器系统。通常飞机都由一位或两位飞行员进行操控,这种短程的任务不需要额外的维护工作,并且相对而言是可支配的。而军舰就不同了,通常军舰都是需要数十人来处理数百项任务,有时会在海上航行数月时间,需要大量经过训练的舰员在离岸数百英里的军舰上进行维护工作,并且很容易就会耗费数十万美元甚至更多。可以说,操纵军舰的复杂性对于使用AI和VR的舰员或陆上的控制室来说是难度最高的任务。

在岸上工作的舰员还会遇到另一个问题:海军需要保证他们的战舰被敌方围堵,或者被迫不使用雷达和通讯信号来进行操控的情况下依然可控,因为敌军将会用这些信号来定位他们。同时,军舰也可能会被敌军攻击,或者受到其他损害,使军舰的动力或通信功能失效。在最坏的情况下,如果军舰和岸上指挥部的联系中断了,那些在岸上基地中远程执行的工作将无法完成。

同时,BAE系统公司还在测试增强现实技术,可以让负责军舰安全的值班人员即使在控制室之外也能够看到战术数据和其他重要的信息。“我们将会使用微软HoloLens在明年3月25日至4月11日的皇家海军Information Warrior 19演习期间首次展示。目前,我们还在使用Striker II飞行员头盔来为皇家海军开发这一系统。”

不过,要在军舰上使用这种增强现实设备,还需要面对强光照和复杂的海面状况等问题,BAE希望对Striker II头盔技术的应用能够帮助解决这一问题。目前的测试虽然进展顺利,但却不够高效,尤其是有大量来自军舰和陆上的各种传感器的数据需要呈现给操作员。

另外,BAE系统公司还在和电脑制造商戴尔合作,来开发更安全的WiFi技术,将舰桥与控制室更好地进行连接。

“虚拟现实、增强现实,触控、手势控制,语音控制…这些都是我们目前正在探索的技术。当然这些技术并不全都适合用在皇家海军的军舰控制室,但肯定有一些是合适的,” BAE系统公司的作战系统技术总监Frank Cotton说道。

最初发布于2018年11月29日

原文链接:https://www.popularmechanics.com/military/navy-ships/a25322684/remote-warships-ai-vr/

不止培训飞行员 美国空军计划将AI/VR融入各部门日常训练

美国空军训练部门的负责人在近日表示,他们希望人工智能可以成为首选的训练技术,帮助空军人员更快和更好地进行训练。

Steven Kwast中将是美国空军教育与训练指挥部的司令官,他表示,他希望预定于明年完成的测试结果,能够表明这些先进的工具,比如AI、虚拟现实和超级计算,能够提升人脑的速度和效率。

“目前已有的测试数据结果是非常积极的,我们能够强化人的大脑,以更快、更好地学习,并且我要说,记忆效果也更好,这就意味着你会更长久更更好地记住知识,”Kwast在美国空军协会空、天网络会议期间对记者们表示。

他以如何将人工智能用于飞行模拟器为例进行了讲解。

“我们来看一下,比如,一个飞行员必须进行一个翻转动作,在飞行员进行此动作时,人工智能会进行观察。并且,当你向后拉控制杆时,人工智能会分辨出你在做什么,它会告诉你‘嘿,你向后拉的幅度太大了,’或者‘嘿,你的鼻子有点向右歪了,你需要保持目光朝前,’”Kwast说道。“也就是说人工智能在看着你。它会向你学习,并且学习你是如何学习的,然后它会给出你建议,帮助你实时适应学习内容,这样一来你就不会出错。”

随着创建逼真的3D训练环境的成本变得越来越低,AI能够调整这一环境,使其适合人们学习的方式,他说道。“AI甚至还能给出建议,比如,‘你更加适合使用视觉内容进行训练,或者更加易于接受文字内容。你最好先阅读,然后再操作。或者你最好先观看,然后再操作。’这就是人工智能正在帮助我们做的事情。”

Kwast说,测试结果将会在明年夏天完成,并且将会应用在除飞行员训练以外的更多领域。

“这其中包含了空军所需要的所有技能,”他说到。“无论你是维护人员,还是网络专家,又或者是防空兵,或者飞行员,这些都可以应用AI。这是关于人类学习工作技能的一项技术。问题在于,你是否能够以新奇的、实用的方式来使用这项技术,强化训练的效果。”

美国空军官员指出,AI能够被用于补充教官资源的不足,并且让学生们能够在任何时候接触到训练内容,且不会学到教官的坏习惯。

“我们正在寻求去除训练和教育环节中的人为因素的方法,”Jim Sears准将说道。他是美国空军教育与训练指挥部旗下计划、程序和需求部门的负责人。“同时也在寻求简化训练过程,增强训练效果并且使训练变得更好的方法。”

最初发布于2018年11月20日

原文链接:https://www.military.com/daily-news/2018/09/18/air-force-wants-use-artificial-intelligence-train-pilots.html

美国陆军的HUD 3.0计划:既可用于作战 又能用于训练的AR系统

在18个月内,美国陆军将会测试一个全新的头显系统,代号为HUD 3.0,该系统旨在帮助士兵们更好地瞄准、导航,甚至与投射到视野中的虚拟的敌人进行对抗训练。该项目将由八个高级别跨职能团队中的两个团队来牵头,进行一场彻底的变革。

将数字信息叠加到真实世界上,也就是人们所说的增强现实。与其最接近的形态可能是介于军用版的Pokémon Go和加固的Goole Glass之间的系统。但美国军队后来转向的形式,则是在喷气式战斗机上装备的抬头显示器(Head-Up DIsplay,简称HUD),这种设备会将数据投射到飞行员面前的一个透明的面板上,他们可以在观看天空中是否有威胁的同时检查战斗机的设备状态,无需低头查看刻度表或屏幕。

这种技术在作战飞机中已经很常见了,但最近的一些将其小型化,并装备步兵部队的努力宣告失败了。比如,当士兵们需要检查数字地图时,他们必须拿出设备并且低头查看,这样就无法观看周围的战场状况。现在,美国陆军认为,可以给步兵们开发一种抬头显示器,并且纠正这种问题。

从HUD 1.0直接到HUD 3.0

到今年9月,美国陆军已经完成检测,并且开始实地测试被称为HUD 1.0的系统,也就是全新的双目增强夜视镜( Enhanced Night Vision Goggles – Binocular,简称ENVG-B)。相比现有的夜视设备,ENVG-B除了能够更好地增长士兵们在黑暗里的观察能力之外,还能将战术数据叠加到士兵们的视野中。其中包括来自战术网络的信息,比如友军的位置信息。

它还包含一个数字化的十字准线(或者说是瞄准分划板),与士兵的武器进行连接,并且能够在扣动扳机时精确地显示出子弹的落点。根据陆军准将Christopher Donahue的说法,在检测过程中,它能够显著提高佩戴者的射击水平。Donahue目前是士兵杀伤力跨职能团队的负责人。

Donahue表示。该系统的下一个迭代,即HUD 3.0,是一款增强现实显示设备,能够安装到目前士兵们配备的头盔上,并且能够同时用于真实世界的作战行动和训练场景。除了来自战术网络的数据之外,HUD 3.0还能够在佩戴者的视野中叠加完全数字化的地形、障碍物,甚至是敌人,可以让一个作战单位进行更加复杂和更具挑战性的训练。

目前,在美军主要的战斗训练中心,比如加州艾文堡训练中心里,有一支经过特殊训练的假想敌部队(OPFOR),与前来训练的作战部队进行对战。但是那里的军事演习都很昂贵,一个士兵一年能够进行一次训练就已经很幸运了。有了HUD 3.0,士兵们就能够在自己所属的基地中每天都与增强现实的假想敌进行对战训练。管理着数字训练跨职能团队的Maria Gervais少将说,当你遇到一个虚拟的敌人时,HUD 3.0会在你的视野中叠加信息“an enemy soldier that looks and acts just like that soldier would.(敌方士兵的样貌和行动就如同这个士兵)”

为何没有HUD 2.0

Donahue和Gervais表示,在最初的计划中,ENVG-B和HUD 3.0之间是有一个中间型号的,但是随着跨职能团队与供应商的合作,他们发现现有的技术已经足够先进了,“能够发展地更快,并且跳过这一步,”Gervais说道。

Donahue认可Gervais在寻找合适的供应商时地挑剔的态度。“她给我们介绍了一家合作伙伴,当然,我们是不会说这家公司的名字的,但我们已经和他们达成合作,并且正在以相当快的速度开发原型,”他说道。“我们的目标是拿到一个最终的原型系统,并且在18个月的时间内对其进行测试。”

无论是从技术角度还是从战术角度,都还有大量的工作需要做。这款抬头显示器需要足够轻便、紧凑、坚固,并且更易于使用,而不是像之前声名狼藉的“陆地勇士”系统那样,严严实实地挡住士兵的一只眼,并且还很容易被损坏。最终的设备同样还需要某种设置菜单或开关,能够控制用户所看到的信息量。一个正在策划行动的排长,或者正在带领一个小队穿过森林,向目标进发的军士,相比一个正在交战的普通士兵,或许会需要更加细致的战术信息。

“我们必须把它搞出来,”Stephen Townsend将军说道,他是美国陆军训练及理论指挥部(TRADOC)的新领导。首先,他说,“有一些相当简单的信息是我最需要的,比如,我在哪儿?我的战友们在哪儿?敌人们在哪儿?然后其他的信息应该是可选的。”

最初发布于2018年11月13日

原文链接:https://breakingdefense.com/2018/03/hud-3-0-army-to-test-augmented-reality-for-infantry-in-18-months/

结合VR和AR的训练系统能够拯救士兵的生命吗

五角大楼的近战杀伤力特遣部队(Close Combat Lethality Task Force)正在寻求新一代的训练方式,比如结合VR和AR的训练系统。

外媒记者询问一位久经沙场的士官,在国防部的近战杀伤力特遣部队所关注的所有技术和策略中,在你个人看来,哪个最具有拯救生命的潜力?他的回答不是更强大的武器,也不是更先进的无人机,Jason Wilson毫不犹豫地说:“ 合成训练环境(Synthetic Training Environment)。”

这是一个全新的结合了虚拟现实和真实世界数据的系统,它能够革新陈旧的军队训练方式,Wilson将其称之为“敌人视线范围内的极端暴力”。

数十年来,美军为战斗机飞行员训练投入了大量的模拟器,以使他们在真正进行战斗之前能够一遍又一遍地进行虚拟对战,出现各种错误并且被“击落”,以保证他们不会在真实战斗中出现致命失误。在实际的战斗中,飞行员们需要通过复杂的抬头显示器(Heads-Up Display,简称HUD)来观看,抬头显示器会将数据直接投射到飞行员的视野,并且高亮显示威胁和目标。现在,计算机技术已经足够发达,曾经作为步兵的国防部长对将类似的技术应用到步兵部队相当有兴趣。正如国防部长Jim Mattis所说,这样步兵们也能够在真正上战场之前先“进行25场血腥的战斗”。

对于一位内阁大臣来说,要创建一支特遣部队并不难,而对于Wilson这样服役长达23年的老步兵来说,能够意识到新技术是真正有价值的,则是非常不一样的一件事。

“合成训练环境”意在开发一个用于步兵的抬头显示器,美国陆军希望能够在明年推出,该系统能够“革新士兵们观察、处理和理解战场空间的方式”,Wilson对记者表示,“并且能够给士兵们提供空前的战场感知优势。”但是最直接的回报是,在战争开始之前,“为我们的士兵提供逼真的训练。”

该系统有些类似军用版的Google Glass或Pokémon Go,通过将虚拟的数据叠加在真实世界的视图上,这种增强现实技术能够帮助军队进行跨区域甚至是跨国界的导航,并且提示友军或敌军的位置。在训练过程中,你可以将虚拟的敌人和障碍物叠加在真实世界里,让士兵们在基地里进行训练,就像步兵们经常做的那样,跳跃、跑动,进行战斗,同时能够模拟出士兵们在真实任务中将会遇到的各种情况。

但是,这会比将更多的军队送到美国陆军现有的战斗训练中心,或者海军陆战队的空地作战训练中心更有效吗?毕竟这些训练基地都因为其严格的训练、真实的设施和专业的假想敌部队(OPFOR)而闻名。“位于艾文堡的波尔克堡军事基地每年只能训练固定数量的士兵,”Wilson回答道,他本人曾经在波尔克堡军事基地的联合战备训练中心(Joint Readiness Training Center)服役。通过对训练任务的重复,你能更好地应对战斗任务。“但这些重复的过程不得不在各自的基地中进行,毕竟波尔克堡军事基地的容量有限。”他说道。而在这些训练的过程中,虚拟训练的价值是无法衡量的。

“虽然,无论你能够在合成训练环境中进行多少这样的训练,都无法替代士兵们真正拿着武器,在泥土中前行和战斗,”Wilson说。“但是,在他们离开这个训练环境,并且在真实场景中进行训练之前,他们确实能够在虚拟训练中进行逼真的预演。”

Wilson明确表示,让单个士兵进行训练,就像是第一人称射击游戏的体验,与和紧密团结的团队一起训练是不一样的。“一个士兵可以佩戴这些设备,并且使自己沉浸在这个环境中,一个小队也能够佩戴这些设备,并且能够共同进行训练,”他说道。“合成训练环境能够供一个排进行训练,能够供一个连队进行训练,甚至还能供旅级作战部队(Brigade Combat Team,简称BCT)进行训练。这是我们目前正在关注的,同时也是我们正在进行评估的训练方式。”

现在,一个旅会有几千名士兵,所以为他们全部配备增强现实眼镜,并且进行互动,或许已经超出的目前的技术水平(比如无线传输的带宽需求将会是超乎想象的)。但是像魔兽世界和其他的MMO游戏却能够在一个简单的、纯虚拟的环境中管理更多的成员。如何满足军队训练的多种需求,还需要进一步研究。Wilson还表示,“合成训练环境”还可以模仿旅级部队的某个要素,来单独进行增强现实训练,比如针对其中的火力支援部队进行训练。

根据美国陆军采办保障中心网站的介绍,“合成训练环境”被设计来为军队训练提供一种认知的、集体的、多层级的训练和任务预演能力。它将虚拟的、建设性的和游戏性的训练环境整合成一个单独的合成训练环境,它将会为现役军人、预备役部队甚至是平民,以及战地指挥所提供训练服务。

最初发布于2018年10月31日

原文链接:https://breakingdefense.com/2018/09/virtual-training-will-save-real-army-lives-close-combat-task-force/