为战斗机飞行员打造的AR技术 正在让科幻变成现实

科幻流行文化长期以来被增强现实(AR)的未来潜力所吸引。早在20世纪80年代,施瓦辛格的《终结者》就在利用他的机器人视觉来确定那些挡在他道路上的讨厌的人类。从那以后,电影制片人们为我们带来了各种新的科技魔法。比如汤姆克鲁斯在《少数派报告》中的数字界面中挥舞双手,比如罗伯特唐尼的钢铁侠在他具备AR技术的战甲协助下拯救世界。

实际上,早在AR技术引起大众的关注之前,军用飞机已经使用这项技术数十年之久。“它已经存在了将近60年,”BAE Systems战略增长总监Chris Colston说道,该公司为20世纪50年代末推出的强大的布莱克本“海盗”飞机制造了第一台平视显示器。“我们早在这项技术被大众了解前,就提供了AR解决方案。”

实质上,AR将数字信息与现实相结合。而今天,它不仅仅是关乎你所看到的,也关乎你所听到和感受到的。在国防工业中,它用于向战斗机飞行员提供直观的线索,包括音频、视觉和触觉线索。Chris说,这意味着他们可以通过抬头和眼动实现更高效的操作。BAE Systems的下一代头盔Striker II提供了全新的数字化功能,可以带来巨大的战术收益。

Chris解释说,战斗机飞行员在测试条件下工作。他们可能在以每小时超过1,000英里的速度飞行,在亮度过高的阳光下或在黑暗的环境中飞行到40,000英尺的高度。他们需要在身体高度紧张的情况下迅速应对威胁或做出改变,并且必须迅速处理信息。可以提供AR信息的智能头盔能够告诉他们需要知道什么,以及在什么时候需要这些信息。

为了在头盔的透明遮阳板内显示智能信息,工程师们开发出了操纵和引导光线的新方法。飞行员能看到这些有关他们自身状况的信息,并且与看现实世界时的焦距相同,从而减少了频繁重新聚焦眼睛的动作。

工程师们还在头盔中加入了夜视系统, 因此飞行员在黑暗中仍然可以使用AR,并且无需佩戴笨重的夜视镜。飞行员还可以通过3D音频听到哪里可能会出现威胁。“一旦你掌握了操纵声音和消除背景噪音的能力,你也可以增强这些现实,”Chris说。“我们可以提供给飞行员关于潜在威胁的空间感知。”

在飞行员从智能头盔接收到大部分信息时,他也会从驾驶舱内的操纵杆接收到即时的触觉反馈。“因此,飞行员控制杆,或主动感应器将提醒飞行员他们可能会超出飞机的极限,”他说。

在未来,触觉服装可以提供更多的信息,例如,用肩部的敲击以表示威胁,或用触觉手套来绘制手势。“这可以在他们最需要的时候提供直接就能看到或感受到的信息。”

Chris说,他们已经花费了很多年来改进为飞行员提供的增加现实体验,并且这些信息必须被严格控制:“如果你不小心,你可能会用大量的信息来‘轰炸’飞行员。在军事用途中,AR就是为了帮助你做得更好、更快,并且要减少工作量,而不是给他们更多需要思考的东西。”

重要的是,平视显示器只和支持它的底层系统一样智能,并且由一个庞大的战斗系统网络向飞行员提供数据:“它是一个更大的系统的一部分,而不仅仅是一个显示器。”

但现在的挑战是,如何使这种昂贵的技术适用于不同的市场,比如英国皇家海军等其他军事设施、商业航空航天、工厂车间甚至是医疗急救人员。Chris说:“困难在于如何使其便于使用,并且价格实惠。” 他认为,AR将会以更便于穿戴和使用的形式,比如眼镜,被送到军舰的舰桥上使用。

虽然军事领域率先为战场开发了AR技术,但AR技术在消费市场的发展也备受关注。目前,游戏和娱乐领域正在使用复杂的视觉效果并尝试虚拟现实。

“我们最大的收获是,技术必须帮助你做得更好、更快、更安全,才有使用的价值,”Chris总结道。

最初发布于2019年7月18日

原文链接:https://www.telegraph.co.uk/education/stem-awards/defence-technology/augmented-reality-in-the-military/

专访米谟科技创始人向奕裴:专注全景声和3D音频的”文艺学霸”

上周,笔者参加了由清华x-lab主办的ACT TALK|艺术·创造力·科技讲座系列。在本次主题为“科技创造力之声音艺术的感觉与想象”的课堂期间,清华大学电子系教授、博士生导师窦维蓓以及清华大学97级校友、前高通音频组主力研发、现米谟科技创始人向奕裴,与清华大学的师生代表一同探讨了音频技术与声音艺术的结合。清华x-lab执行主任毛东辉老师于正式开讲前致辞。

讲座结束之后,笔者就米谟科技的主营业务,VR中的音频技术难点及突破口,以及VR行业发展现状等问题对米谟科技创始人向奕裴进行了专访。或许向奕裴与一般的VR行业从业者不同之处在于,他更推崇科技与艺术的结合。

文艺学霸出身 创办米谟科技 坚持用技术提升艺术

出生于音乐世家的向奕裴,从小学习钢琴和双簧管,在进入清华大学电子工程系之后,仍然保持着这一习惯。除了担任清华大学交响乐团首席双簧管之外,还在2011年出了一张个人专辑《To The Moments》。在音乐方面的造诣,也是其后来创业的一个基础。之后,向奕裴在美国加州大学圣迭戈分校(UCSD)跟着实时音频系统专家Miller Puckette做研究,并且顺利获得了电脑音乐和现代数字音频技术博士学位。

“那时我每天都喜欢呆在学校的各个音频实验室,一来是那里确实很安静,易于思考,二是在那里听音乐很棒,而且在一圈一圈的音箱阵列中做声音很是享受。学校的开放学术气氛、各种艺术论坛和音乐会也让我像海绵一样地去感受和学习。”向奕裴说道。

之后向奕裴顺利进入高通,专注研究音频后处理和3D音频。在此期间,他参与了大量的芯片级音频后处理工作,包括应用于几乎所有高通芯片手机的Audio+音效处理组件、HTC M9的手机立体声喇叭、实验性的8音箱环绕阵列、MPEG-H标准组的HOA算法源代码等等。

当笔者与这位“文艺学霸”谈及创办Mint Muse米谟科技的经历时,他认为,创业和做音乐一样,都是先有了想法,再仔细打磨、研究实现的方法。米谟科技团队在很早以前就开始做与声音有关的各种应用,在投入时间专心研究市场与产品后,最终确定方向:专攻空间音频的编辑与制作。

创业初期,向奕裴尝试做了一些音频相关的App,比如白噪声生成器Loopless Relax Sound,通过控制声波频度改变用户听歌体验的Binaural Beats Mint和“可记录当时环境”的水印相机Oiday等。之后注册了米谟科技,在上海和美国加州开展以3D音频和VR音频为主题的产品和内容研发。

“我们坚信,好的声音是需要设计的,软件可以把声音打磨得更美,而好的硬件也可以进一步巩固这些设计。”向奕裴这样说道。据笔者了解,目前米谟科技开发了游戏音频SDK、VR虚拟影院和首创的VR音频工作站等软件产品,以及一款可录制全景声的麦克风,同时也在多声道音箱渲染和3D内容频道方面有所布局。

针对音频编辑师痛点 开发VR版音频编辑工具

近年来,随着VR行业的火热发展,很多公司都大力投入空间音频技术研发。比如Facebook收购了著名的空间音频技术公司Two Big Ears,并发布了Facebook 360空间音频工作站。谷歌、英伟达和Valve也都为VR内容制作者提供了VR音频编辑SDK,但目前3D音频源文件的制作还存在很多限制。

首先,传统的3D音频制作需要使用“人头录音”设备,来录制可以直接使用的3D音频,但价格昂贵且操作复杂。而目前传统的影片拍摄过程中,直接实现3D录音也是不现实的。另一个限制因素在于,目前后期制作3D音频的编辑工具操作过于复杂,需要音频制作者在想象声场空间设置的基础上,手动调节每个节点的坐标数值,依赖这类软件,3D音频制作周期也会变得非常长。

针对这一问题,米谟科技研发了全球首款VR音频工作站《Sound Flare》,并且登陆了Steam平台。通过该应用,剪辑师可以佩戴HTC Vive在VR环境中直观的编辑3D音频,大大缩短3D音频制作周期。

“影片一般是通过拍摄得来,并不像游戏中那样每个物体都有各自的定位信息。为了让剪辑师可以更简单地对声音对象进行所见即所得的编辑,我们认为最好的交互方式是把剪辑师放进VR环境中,再把编辑界面置于其中。这样,对声音对象的位移变化等调整都可以直接在VR环境中操作,由头部转动引起的声音变化也可以实时地在VR环境中得到体现。”向奕裴介绍道。

根据向奕裴的介绍,内容制作者可以戴着VR头显,在所看到的软件界面上直接拖动音频文件,除了调整时长、剪接、调音量等基本功能,通过打点、拖动关键帧等方式,也可以根据发声路径改变声音的远近,让发声的人物和声音效果相符。这样一来,人物的位置信息在声音和画面上都保持了一致,VR视频将真正个人一种“能忘却所佩戴设备的真实空间感”。

“《Sound Flare》编辑器可以说是全球首款可直接在VR界面工作的音频后期处理工具。”向奕裴说,他希望《Sound Flare》不仅为VR内容制作者提供便利,更希望通过其普及,让VR内容领域有新的爆发。

VR内容爆发仍需时日 VR中的音频技术仍需探索

当笔者和向奕裴谈及对目前VR行业的看法时,向奕裴表示,VR在视觉、定位、交互和声音等领域都有极具挑战性的技术应用,最终的结果是给人们一种独特的方式,去体验一个虚拟的真实世界,或者是不可能存在于真实环境、完全被创造出来的虚拟世界,让我们从一个全新的角度去重新体验和感受。

虽然随着虚拟现实技术的发展,我们已经可以轻松拥有沉浸式的视频观看体验了,但VR的音频内容却没有跟上视频的脚步。不管VR在设备和科技上有了怎样的突破,如果音频制作一直处于滞后状态,VR在发展上仍会受到制约。也就是说,VR内容的行业格局将会在很大程度上依赖于VR音频的发展。

目前,米谟科技专注于全景声和3D音频技术的开发,以及在VR中的相关应用。我们期待着米谟科技的产品能够尽快普及,用全景声和3D音频技术为VR内容的制作和传播带来新的突破。

“VR是一个令人振奋的新行业,声音作为感官的一个重要部分,也需要更好的技术和特别的设计。”向奕裴认为。

最初发布于2017年11月8日