标签： x-lab

清华x-lab ACT TALK课堂：带你探寻科技与艺术的结合

2017年10月25日晚，由清华x-lab主办，清华大学经管学院、人文学院、美术学院等院系的教授联名发起的“ACT TALK | 艺术·创造力·科技讲座系列”在清华大学经济管理学院伟伦楼409教室举办。清华大学电子系教授窦维蓓、清华大学电子系97级校友米谟科技创始人向奕裴、清华x-lab执行主任毛东辉出席了本次讲座，与80余位清华师生一同交流探讨。

据了解，“ACT TALK |艺术·创造力·科技讲座系列”是由清华x-lab主办，来自清华大学经管学院、人文学院、美术学院等院系的教授联名发起，通过邀请各领域名人学者演讲互动，打破学术专业和产业领域界限的同时，引导学生跳出思维定式，学习并掌握艺术创造力和科技创造力的“思维平衡” 。该讲座系列重在激发学生和团队的想象力、创造力和行动力，从而创新出艺术与科技的美好结晶，最终通过商业化的推动拥有广泛社会影响力。从活动立意到形式呈现将充分体现清华x-lab学科交叉、探索未知、体验式学习与团队合作的教育理念。

清华x-lab执行主任毛东辉介绍道，清华x-lab是依托经管学院，面向全校的学生、校友和老师的关于创意、创新、创业的教育平台，致力于清华大学创新人才的培养，支持学生通过基于项目团队和行动的学习获得自我成长与提升。

清华大学电子系教授窦维蓓讲道：“声音艺术通过音频技术进行创作、表现和传播，同时音频技术的创新源动力来自声音艺术的感觉与想象。听觉感知实际上是评价音频技术的金标准，并通过听觉感知从而获得在音频技术方面的启示。”窦维蓓教授长久以来在从事交叉学科的研究，从电视专业到数字电视、数字音频、医学影像、音频压缩等领域都颇有建树。正是在这些跨学科研究的过程中，窦教授深刻认识到声音艺术和科技创新的密切关系。

窦维蓓教授认为，“声”和“音”是不一样的，声是振动的机械波，而音是一个时间序列，且这个序列能够被人听到，感受到，才称之为音。当我们能够感知到声音里面的内容和情感时，它才能被称之为艺术。声音艺术在传递的过程中，依赖于对声音的采集、存储、处理、传输和高质量的呈现。

此外，音频技术对技术有着较高要求，这些技术的评价判断也需要声音艺术和对声音的感觉。国际电信联盟给出的测试标准都是客观的评价标准，但客观评价不能作为金标准，跟人耳感觉是不一样的。主观评价才是金标准，即通过不同人群对于不同的音频素材进行试听和打分。

接下来，清华大学电子系97级校友、米谟科技创始人向奕裴向大家分享了他在声音艺术与技术相结合领域的一些探索。向奕裴首先鼓励在座的学生们参与跨学科研究，他认为，跨学科思维是随时都必须要具有的，因为跨学科思维可以带来不少启发，突破很多壁垒，这种思维方式可以让你不断获益。

之后向奕裴又谈到了XR(VR/AR/MR统称XR)的声音，目前的虚拟现实可以把画面虚拟出来，你可以在两块屏上看到一些画面，但声音也需要升级。XR的声音需要创造虚拟的声音环境，以至于用户在环境里互动或者头扭动的时候声场环境还像真的一样。沉浸式的体验加上互动，具有这两点才能成为XR的声音。

全景声的处理需要先采集声音，进行后期音乐编辑，然后再放到网上去传输，传输之后再经过解码再渲染。而米谟科技则针对整个过程进行了大量的研究。首先在渲染方面，米谟科技开发了全景声SDK，具备低延时，低功耗的特点，目前已应用于优酷的VR播放器和暴风魔镜的VR影院，另外还提供对Unity和Unreal引擎的支持。

米谟科技还开发了一款VR版的音频工作站，可以让做VR内容的人直接在VR环境中编辑声音，此外还有全景声麦克风，可以录制球面格式的音频，能够将X、Y、Z各个方向的声音拼接在一起，声场还可以用软件来调整。

最初发布于2017年11月8日

专访米谟科技创始人向奕裴：专注全景声和3D音频的”文艺学霸”

上周，笔者参加了由清华x-lab主办的ACT TALK|艺术·创造力·科技讲座系列。在本次主题为“科技创造力之声音艺术的感觉与想象”的课堂期间，清华大学电子系教授、博士生导师窦维蓓以及清华大学97级校友、前高通音频组主力研发、现米谟科技创始人向奕裴，与清华大学的师生代表一同探讨了音频技术与声音艺术的结合。清华x-lab执行主任毛东辉老师于正式开讲前致辞。

讲座结束之后，笔者就米谟科技的主营业务，VR中的音频技术难点及突破口，以及VR行业发展现状等问题对米谟科技创始人向奕裴进行了专访。或许向奕裴与一般的VR行业从业者不同之处在于，他更推崇科技与艺术的结合。

文艺学霸出身 创办米谟科技 坚持用技术提升艺术

出生于音乐世家的向奕裴，从小学习钢琴和双簧管，在进入清华大学电子工程系之后，仍然保持着这一习惯。除了担任清华大学交响乐团首席双簧管之外，还在2011年出了一张个人专辑《To The Moments》。在音乐方面的造诣，也是其后来创业的一个基础。之后，向奕裴在美国加州大学圣迭戈分校(UCSD)跟着实时音频系统专家Miller Puckette做研究，并且顺利获得了电脑音乐和现代数字音频技术博士学位。

“那时我每天都喜欢呆在学校的各个音频实验室，一来是那里确实很安静，易于思考，二是在那里听音乐很棒，而且在一圈一圈的音箱阵列中做声音很是享受。学校的开放学术气氛、各种艺术论坛和音乐会也让我像海绵一样地去感受和学习。”向奕裴说道。

之后向奕裴顺利进入高通，专注研究音频后处理和3D音频。在此期间，他参与了大量的芯片级音频后处理工作，包括应用于几乎所有高通芯片手机的Audio+音效处理组件、HTC M9的手机立体声喇叭、实验性的8音箱环绕阵列、MPEG-H标准组的HOA算法源代码等等。

当笔者与这位“文艺学霸”谈及创办Mint Muse米谟科技的经历时，他认为，创业和做音乐一样，都是先有了想法，再仔细打磨、研究实现的方法。米谟科技团队在很早以前就开始做与声音有关的各种应用，在投入时间专心研究市场与产品后，最终确定方向：专攻空间音频的编辑与制作。

创业初期，向奕裴尝试做了一些音频相关的App，比如白噪声生成器Loopless Relax Sound，通过控制声波频度改变用户听歌体验的Binaural Beats Mint和“可记录当时环境”的水印相机Oiday等。之后注册了米谟科技，在上海和美国加州开展以3D音频和VR音频为主题的产品和内容研发。

“我们坚信，好的声音是需要设计的，软件可以把声音打磨得更美，而好的硬件也可以进一步巩固这些设计。”向奕裴这样说道。据笔者了解，目前米谟科技开发了游戏音频SDK、VR虚拟影院和首创的VR音频工作站等软件产品，以及一款可录制全景声的麦克风，同时也在多声道音箱渲染和3D内容频道方面有所布局。

针对音频编辑师痛点 开发VR版音频编辑工具

近年来，随着VR行业的火热发展，很多公司都大力投入空间音频技术研发。比如Facebook收购了著名的空间音频技术公司Two Big Ears，并发布了Facebook 360空间音频工作站。谷歌、英伟达和Valve也都为VR内容制作者提供了VR音频编辑SDK，但目前3D音频源文件的制作还存在很多限制。

首先，传统的3D音频制作需要使用“人头录音”设备，来录制可以直接使用的3D音频，但价格昂贵且操作复杂。而目前传统的影片拍摄过程中，直接实现3D录音也是不现实的。另一个限制因素在于，目前后期制作3D音频的编辑工具操作过于复杂，需要音频制作者在想象声场空间设置的基础上，手动调节每个节点的坐标数值，依赖这类软件，3D音频制作周期也会变得非常长。

针对这一问题，米谟科技研发了全球首款VR音频工作站《Sound Flare》，并且登陆了Steam平台。通过该应用，剪辑师可以佩戴HTC Vive在VR环境中直观的编辑3D音频，大大缩短3D音频制作周期。

“影片一般是通过拍摄得来，并不像游戏中那样每个物体都有各自的定位信息。为了让剪辑师可以更简单地对声音对象进行所见即所得的编辑，我们认为最好的交互方式是把剪辑师放进VR环境中，再把编辑界面置于其中。这样，对声音对象的位移变化等调整都可以直接在VR环境中操作，由头部转动引起的声音变化也可以实时地在VR环境中得到体现。”向奕裴介绍道。

根据向奕裴的介绍，内容制作者可以戴着VR头显，在所看到的软件界面上直接拖动音频文件，除了调整时长、剪接、调音量等基本功能，通过打点、拖动关键帧等方式，也可以根据发声路径改变声音的远近，让发声的人物和声音效果相符。这样一来，人物的位置信息在声音和画面上都保持了一致，VR视频将真正个人一种“能忘却所佩戴设备的真实空间感”。

“《Sound Flare》编辑器可以说是全球首款可直接在VR界面工作的音频后期处理工具。”向奕裴说，他希望《Sound Flare》不仅为VR内容制作者提供便利，更希望通过其普及，让VR内容领域有新的爆发。

VR内容爆发仍需时日 VR中的音频技术仍需探索

当笔者和向奕裴谈及对目前VR行业的看法时，向奕裴表示，VR在视觉、定位、交互和声音等领域都有极具挑战性的技术应用，最终的结果是给人们一种独特的方式，去体验一个虚拟的真实世界，或者是不可能存在于真实环境、完全被创造出来的虚拟世界，让我们从一个全新的角度去重新体验和感受。

虽然随着虚拟现实技术的发展，我们已经可以轻松拥有沉浸式的视频观看体验了，但VR的音频内容却没有跟上视频的脚步。不管VR在设备和科技上有了怎样的突破，如果音频制作一直处于滞后状态，VR在发展上仍会受到制约。也就是说，VR内容的行业格局将会在很大程度上依赖于VR音频的发展。

目前，米谟科技专注于全景声和3D音频技术的开发，以及在VR中的相关应用。我们期待着米谟科技的产品能够尽快普及，用全景声和3D音频技术为VR内容的制作和传播带来新的突破。

“VR是一个令人振奋的新行业，声音作为感官的一个重要部分，也需要更好的技术和特别的设计。”向奕裴认为。

最初发布于2017年11月8日