专访米谟科技创始人向奕裴:专注全景声和3D音频的”文艺学霸”

上周,笔者参加了由清华x-lab主办的ACT TALK|艺术·创造力·科技讲座系列。在本次主题为“科技创造力之声音艺术的感觉与想象”的课堂期间,清华大学电子系教授、博士生导师窦维蓓以及清华大学97级校友、前高通音频组主力研发、现米谟科技创始人向奕裴,与清华大学的师生代表一同探讨了音频技术与声音艺术的结合。清华x-lab执行主任毛东辉老师于正式开讲前致辞。

讲座结束之后,笔者就米谟科技的主营业务,VR中的音频技术难点及突破口,以及VR行业发展现状等问题对米谟科技创始人向奕裴进行了专访。或许向奕裴与一般的VR行业从业者不同之处在于,他更推崇科技与艺术的结合。

文艺学霸出身 创办米谟科技 坚持用技术提升艺术

出生于音乐世家的向奕裴,从小学习钢琴和双簧管,在进入清华大学电子工程系之后,仍然保持着这一习惯。除了担任清华大学交响乐团首席双簧管之外,还在2011年出了一张个人专辑《To The Moments》。在音乐方面的造诣,也是其后来创业的一个基础。之后,向奕裴在美国加州大学圣迭戈分校(UCSD)跟着实时音频系统专家Miller Puckette做研究,并且顺利获得了电脑音乐和现代数字音频技术博士学位。

“那时我每天都喜欢呆在学校的各个音频实验室,一来是那里确实很安静,易于思考,二是在那里听音乐很棒,而且在一圈一圈的音箱阵列中做声音很是享受。学校的开放学术气氛、各种艺术论坛和音乐会也让我像海绵一样地去感受和学习。”向奕裴说道。

之后向奕裴顺利进入高通,专注研究音频后处理和3D音频。在此期间,他参与了大量的芯片级音频后处理工作,包括应用于几乎所有高通芯片手机的Audio+音效处理组件、HTC M9的手机立体声喇叭、实验性的8音箱环绕阵列、MPEG-H标准组的HOA算法源代码等等。

当笔者与这位“文艺学霸”谈及创办Mint Muse米谟科技的经历时,他认为,创业和做音乐一样,都是先有了想法,再仔细打磨、研究实现的方法。米谟科技团队在很早以前就开始做与声音有关的各种应用,在投入时间专心研究市场与产品后,最终确定方向:专攻空间音频的编辑与制作。

创业初期,向奕裴尝试做了一些音频相关的App,比如白噪声生成器Loopless Relax Sound,通过控制声波频度改变用户听歌体验的Binaural Beats Mint和“可记录当时环境”的水印相机Oiday等。之后注册了米谟科技,在上海和美国加州开展以3D音频和VR音频为主题的产品和内容研发。

“我们坚信,好的声音是需要设计的,软件可以把声音打磨得更美,而好的硬件也可以进一步巩固这些设计。”向奕裴这样说道。据笔者了解,目前米谟科技开发了游戏音频SDK、VR虚拟影院和首创的VR音频工作站等软件产品,以及一款可录制全景声的麦克风,同时也在多声道音箱渲染和3D内容频道方面有所布局。

针对音频编辑师痛点 开发VR版音频编辑工具

近年来,随着VR行业的火热发展,很多公司都大力投入空间音频技术研发。比如Facebook收购了著名的空间音频技术公司Two Big Ears,并发布了Facebook 360空间音频工作站。谷歌、英伟达和Valve也都为VR内容制作者提供了VR音频编辑SDK,但目前3D音频源文件的制作还存在很多限制。

首先,传统的3D音频制作需要使用“人头录音”设备,来录制可以直接使用的3D音频,但价格昂贵且操作复杂。而目前传统的影片拍摄过程中,直接实现3D录音也是不现实的。另一个限制因素在于,目前后期制作3D音频的编辑工具操作过于复杂,需要音频制作者在想象声场空间设置的基础上,手动调节每个节点的坐标数值,依赖这类软件,3D音频制作周期也会变得非常长。

针对这一问题,米谟科技研发了全球首款VR音频工作站《Sound Flare》,并且登陆了Steam平台。通过该应用,剪辑师可以佩戴HTC Vive在VR环境中直观的编辑3D音频,大大缩短3D音频制作周期。

“影片一般是通过拍摄得来,并不像游戏中那样每个物体都有各自的定位信息。为了让剪辑师可以更简单地对声音对象进行所见即所得的编辑,我们认为最好的交互方式是把剪辑师放进VR环境中,再把编辑界面置于其中。这样,对声音对象的位移变化等调整都可以直接在VR环境中操作,由头部转动引起的声音变化也可以实时地在VR环境中得到体现。”向奕裴介绍道。

根据向奕裴的介绍,内容制作者可以戴着VR头显,在所看到的软件界面上直接拖动音频文件,除了调整时长、剪接、调音量等基本功能,通过打点、拖动关键帧等方式,也可以根据发声路径改变声音的远近,让发声的人物和声音效果相符。这样一来,人物的位置信息在声音和画面上都保持了一致,VR视频将真正个人一种“能忘却所佩戴设备的真实空间感”。

“《Sound Flare》编辑器可以说是全球首款可直接在VR界面工作的音频后期处理工具。”向奕裴说,他希望《Sound Flare》不仅为VR内容制作者提供便利,更希望通过其普及,让VR内容领域有新的爆发。

VR内容爆发仍需时日 VR中的音频技术仍需探索

当笔者和向奕裴谈及对目前VR行业的看法时,向奕裴表示,VR在视觉、定位、交互和声音等领域都有极具挑战性的技术应用,最终的结果是给人们一种独特的方式,去体验一个虚拟的真实世界,或者是不可能存在于真实环境、完全被创造出来的虚拟世界,让我们从一个全新的角度去重新体验和感受。

虽然随着虚拟现实技术的发展,我们已经可以轻松拥有沉浸式的视频观看体验了,但VR的音频内容却没有跟上视频的脚步。不管VR在设备和科技上有了怎样的突破,如果音频制作一直处于滞后状态,VR在发展上仍会受到制约。也就是说,VR内容的行业格局将会在很大程度上依赖于VR音频的发展。

目前,米谟科技专注于全景声和3D音频技术的开发,以及在VR中的相关应用。我们期待着米谟科技的产品能够尽快普及,用全景声和3D音频技术为VR内容的制作和传播带来新的突破。

“VR是一个令人振奋的新行业,声音作为感官的一个重要部分,也需要更好的技术和特别的设计。”向奕裴认为。

最初发布于2017年11月8日

专访VR电影《窗》导演邵晴:用VR技术表达人文关怀

前段时间,世界四大电影节之一的威尼斯电影节公布了主竞赛单元入围名单。在2016年全面“缺席”威尼斯之后,华语电影今年以VR作品的形式重回主竞赛单元。包括《窗》在内的多部华语VR电影作品入围,一时之间“VR电影”成为了成为了热搜词汇。但与其他入围作品不同是,《窗》这部作品一直没有登陆线上VR内容平台,其导演邵晴和主创团队也很少见诸报端。

笔者近日在线下VR影院中观看了《窗》,并且在观看之后,见到了导演邵晴。借着这次机会,笔者和他谈了谈这部作品的创作过程,以及接下来的发展规划。

《窗》的主创团队来自于上海魏唐影视传播有限公司,这个团队目前只有三名成员,且邵晴本人凭借在影视行业的从业经验,包揽了百分之七八十的工作。令人惊讶的是,在将近一年的时间里,邵晴从来没有融过资。清瘦的邵晴对笔者说,自己最忙的时候一天只睡三四个小时,而在交谈过程中笔者更是了解到,为了其中的一个图书馆的镜头,邵晴花费了大半年的时间来反复打磨。

本着“宁缺毋滥”的原则打造,且成功入围威尼斯电影节的作品讲述了怎样的故事呢?

用VR技术表达人文关怀

通过观看可以了解到,《窗》主要讲述了一个关于弱势群体的故事,倡导大家关爱残疾人和自闭症儿童。在这部时长6分钟左右的VR电影中,可以看到一个小男孩在梦幻奇境中遨游,他经过狭长的甬道,目睹巨大的鲸鱼,置身壮观的图书馆,直到抵达一片静谧旷野。而在画面淡出之后会发现,小男孩原来是一个画中人物,画他的正是一个双腿残疾的小女孩。她坐在轮椅上,头戴VR设备,靠画笔和科技的力量翱翔在窗外世界。

与其他的VR电影作品大多采用纯动画的形式不同,《窗》的制作过程采用了真人绿幕实拍与CG相结合的技术。邵晴表示,这部电影的制作并没有使用Unity或UE4引擎,而是采用了传统的三维制作软件,结合绿幕实拍,将两个人物角色融入场景中。

“我还是比较喜欢这种风格,场景是抽象的,但是材质是写实的,看上去是一个又真实又虚拟的世界,而不是一个纯动画片的场景。并且由于它的主题是关爱残疾人与自闭症儿童,所以我想让他尽量有眼神和表情,让肢体的动作更真实。”邵晴说道。

影片时间虽然不长,但其中触动心灵的配乐,缓慢推进的画面,以及精心营造的些许失重感,无处不体现着制作者想要表达的人文关怀。可以说《窗》是一个主题非常温暖的作品。据邵晴介绍,在威尼斯电影节进行展映时,不少观众在观看之后自发鼓掌,充分证明了对这部作品及其主旨的认可。

笔者在观看之后感觉有些意犹未尽,但遗憾的是,这个Demo性质的版本可能并不会被打造成完整版。说到这里邵晴有些无奈,毕竟无论是从资金还是从人力方面来说,制作《窗》的完整版都是一个可能承受不起的负担。甚至在威尼斯电影节前,邵晴都没有足够的精力为其制作预告片。

“因为这部片子其实并不是那么讨巧,是实打实的CG+实拍做出来的,如果后期要扩展的话成本还是相对比较高的。“邵晴向笔者坦言。

除了《窗》之外,笔者还更关注邵晴的下一部作品。在《窗》获得成功之后,邵晴希望能够打造一部有关信仰的作品。剧透一下,第二部作品的主题可能会是“从前有座山,山上有座庙,庙里有个老和尚和小和尚“。另外,邵晴还透露了他的另一个创意,比如主题是银行抢劫的VR电影,整部作品中观众的视角始终是在劫匪的包里,观众会被人提着走,然后塞到一个东西里面,然后又被拽出来,又被塞到一个另东西里面,在这部作品中,声效可能会占一个蛮大的比重。

至于拍摄和制作方式,邵晴还是更加倾向于普通电影的制作方法,比如实拍+CG,或者尝试动捕+CG等方式。

当谈及VR影视中的互动元素时,邵晴认为,VR影视作品中可以尝试加入一些“被动互动”。“被动互动这个概念是我自己造的,大概意思是说,观众与影片的互动需发生在自然而然之中,用户的动作完全是在不自觉之中流露出来的。这样才能保证观众全程沉浸其中。如果在影视内容中加入一些提示,甚至是需要用手柄去操作的内容,很容易破坏掉观影的沉浸感。”

“我觉得比较好的互动是,比如我们五个人看一部关于银行抢劫的片子,每个人都有不一样的视角。到最后看完片子,我们跟其他人去交换信息,我觉得这种互动是比较好的。”邵晴说。

VR影视变现要大家共同努力

很明显,目前这个阶段还不能指望C端用户能够为VR影视内容付费,毕竟在大家在影院中观影的习惯也是用了这么多年的时间才逐渐养成的,而且绝大多数的VR内容平台也都是免费的。那么VR影视内容如何变现,就成了一个十分紧迫的问题。在笔者问及这一问题时,邵晴提到了目前主要的几个变现途径:线下门票分成,线上运营分成,或者内容平台/影院购买内容。

“我们毕竟是从事内容制作的公司,先要做好自己擅长的事,把内容做好。至于变现这个问题,当然大家都着急,但这需要大家共同努力,不是一个小团队可以左右的。”邵晴说。

据笔者了解,到今年年底,会有十余家VR影院陆续在上海、南京、成都、长沙、西安、郑州等城市开放,通过对传统放映厅或点播式影厅的改造,也可以吸引一些观众前来观看,新奇的观看体验,配合优质的VR影视内容以及一些营销活动,来慢慢培养用户的VR观影习惯和为VR内容付费的习惯。

至于融资,邵晴表示,其实在去年的确很需要融资,但后来逐渐有了转变。

“首先,我们在没有融资的情况下,靠自己对VR行业的热爱和坚持,也成功闯入了威尼斯电影节,这也是业界权威赛事对我们的一种肯定。其次,现在有些资方对影视这块,包括对VR影视这块怎么发行和变现,其实是挺困惑的。他们会让你先提供一些数据的东西,因而大多会去投资一些平台型的企业。现在要谈变现或者大面积推广可能都需要一些时间,VR这东西需要一个生态,需要慢慢孵化。”

“不过,不管他们是投还是不投,我还是坚持做内容,我相信VR终于会有普及的一天。”邵晴坚定地说。

专业人才稀缺 但“宁缺毋滥”

当问及《窗》的制作成本时,邵晴苦笑道:“实际投入的成本最多的,应该就是我的体力了,我每天就睡三四个小时,一直在做这个作品。”

邵晴认为,如果要跟Baobab Studios这样的国外VR影视团队相比,《窗》的制作成本上可能会是其作品的几十分之一甚至更低。与之相比,国外的VR影视团队普遍有一个比较正规的流程,基本上是制作电影的一般流程,只是在其中加入一些VR相关的流程。可能这也是国内的VR影视作品很难企及国外作品的一个原因。

除了流程之外, 人才储备也是一个制约因素。目前邵晴的团队只有三个人,在制作过程中还需要找一些朋友帮忙做一些前期的原画,或者偶尔做两个特效。甚至在入围威尼斯电影节之后,很多回复邮件之类的文员工作都是要自己去做。“我们需要人,各个环节的人都需要。”邵晴说,“但是目前市面上我们雇得起的、技术又能过关的人太少了。而我的想法是,宁缺毋滥。”

“我们的人才储备可能艺术上占了大部分,技术占了很小一部分。在国外要做CG是需要学编程的,而国内的话可能是艺术类学生去从事CG的工作。但VR的确太需要会编程的人才。在《窗》的制作过程中,很多镜头就受了很多限制,比如在图书馆的镜头断断续续花了我大半年的时间,换了四五个渲染师才完成。其实《窗》本来打算做到十分钟左右,但在过程中遇到了很多问题,这些问题需要资金,需要专业人才来解决,因而最终的作品只有六分钟左右。”

不过,让邵晴颇感欣慰的是,最终《窗》这部作品闯入了威尼斯电影节,在电影节现场,也获得了观众们由衷的称赞和掌声。

“宁缺毋滥”是笔者与邵晴交谈过程中出现频率颇高的一个词汇,正是秉持这样的态度,邵晴打造了这样一部美感和深度俱佳的作品,我们期待着更多观众能够看到这部优秀作品,也期待着他的新作能够尽快面世。

最初发布于2017年10月19日

深耕文化遗产+VR 这群VR行业老炮儿用匠心推动文化传承

8月底,在第十五届北京国际图书节数字互动体验展区中,一家公司的展品吸引了大量关注。体验者只需戴上VR头显,拿起手柄进行简单的操作,就能亲自进入西安兵马俑一号坑中,近距离观看兵马俑,还可以参与兵马俑的复原工作,甚至旁边观看的人还能在屏幕上看到体验者在一号坑中的画面。

这已经不是VR兵马俑的首次公开亮相,在今年6月底,由国务院新闻办公室、中国驻芬兰共和国大使馆主办的“感知中国芬兰行-触摸中国VR互动体验展”期间,在场的观众可以亲自体验VR版的中国文化嘉年华。其中就包括兵马俑VR体验,让外国友人大开眼界,不出国门即可亲身感知中国璀璨的历史。

这家公司就是笔者本次专访的虚实空间,据其CEO赵洋透露,在10月初,虚实空间将出席在加拿大渥太华举办的“北京文化周”活动,并且在“中关村科技创新主题日”活动中着重向当地各界人士展示“VR兵马俑”和“VR长城”等精彩纷呈的虚拟现实体验。

在虚实空间这个创业团队的手中,兵马俑、圆明园、长城,一个个传统文化的象征在VR中得以重现,体验者得以沉浸在虚拟环境中,感受中国古代灿烂的文化。笔者在近日专访了虚实空间CEO赵洋,和他聊了聊VR作品开发中的那些事。

深耕文化遗产+VR 以匠心打造优质VR内容

“我们选的是VR+文化,就是为了让大家都可以在VR中对世界文化遗产有一个具体的认知。从教育上来说,家长很希望让孩子真正学一些知识,而在技术上,目前VR的沉浸式交互体验是不可替代的,并且政府也在积极推动。”这些原因正是虚实空间深耕文化遗产+VR的动力所在。目前,虚实空间已经制作了兵马俑、金山岭长城、圆明园海晏堂等VR内容作品,赵洋认为,相比游戏和影视来说,文化遗产相关的VR内容更加有价值,有意义,可持续发展。这些文化遗产永远都不会消失,通过新的方式对其进行展现,可以获得在现实生活中无法获得的体验。

笔者曾经多次体验上文介绍的兵马俑VR版,虚实空间使用虚幻4引擎打造了精细的画面,以及一些操作交互功能,体验者能够很快掌握互动方式,对兵马俑进行修复和复原,在不知不觉中,对兵马俑形成一个较为具体的认知,并且还能走进一号坑,享受一把外国元首的待遇,近距离观察兵马俑的神态。这一产品在今年6月随国务院新闻办公室前往芬兰进行展出,其代表性和重要意义可见一斑。

在长城项目中,虚实空间在VR中复原了明朝的金山岭长城和戚继光的军营。体验者可以站在金山岭长城的最高点,感受长城的雄浑气魄和金山岭的秀丽风光。还可以进入戚继光的军营,体验“戚家三绝”,指挥鸳鸯阵变阵,配合旗语,士兵们会展示各种阵型变化,另外还可以亲手射箭,射火铳,充分感受明朝所达到的军事技术高峰。据笔者了解,虚实空间还专门邀请了明史专家前来讲解历史场景,开发团队将明史中的传统文化元素与VR技术结合,打造了这样的一部作品。而圆明园海晏堂项目,是虚实空间团队参考史实资料,从模型到材质,从贴图到程序,本着工匠精神开发完成的,体验者可以游历在VR场景中,伴随着悠扬的小提琴曲,感受圆明园最辉煌时期的盛景,同时还能够了解到与十二生肖和时辰相关的文化知识。

以上这些备受赞誉的VR作品,证明了虚实空间团队强大的VR内容开发实力。赵洋向笔者透露,在11月份,虚实空间团队打造的乐山大佛VR体验将会面世。而当我们谈到团队时,正在与我们严肃探讨技术细节的赵洋的兴奋溢于言表。

据赵洋介绍,虚实空间的核心团队都是拥有多年的VR行业从业经验的80、70后,比如两位联合创始人,其艺术总监李志斌有着十多年的3D创作和虚拟现实内容开发经验,而CTO崔磊曾参与2008年北京奥运会和2010年上海世博会期间多个大型展示馆的人机交互项目,在VR和新媒体艺术领域也有着十余年的从业经验。

一群虚拟现实行业老炮儿,聚在一起成立了虚实空间这家公司,他们对虚拟现实行业有着独特的理解,更在技术和项目资源方面有足够的积累。另外,团队成员对文化遗产+VR这种产品意义的认同,更提升了团队凝聚力。“跟我时间最长的员工有十年了,我觉得,在一个公司里面跟一个老板混十年很不容易,这是一种信任,我也挺自豪的。“赵洋说道。

为团队造血的B端项目 也要用工匠精神去打磨

笔者注意到,在虚实空间的公司官网上,除了圆明园、长城、兵马俑这些VR内容之外,还有一些汽车展示、工业培训和营销类的VR内容,也就是我们通常所说的B端项目,在谈及这一问题时,赵洋明确表示了自己的看法。

在赵洋看来,目前这个阶段还不能直接面向C端用户,一些B端项目是维持公司日常运转所必需的。其原因也是多方面的,首先目前的VR硬件不完善,使用中的问题很多,体验也不是很好。第二就是价格太贵,动辄几千块钱,老百姓是买不起的。第三就是内容有限。要解决团队的生存问题,肯定要从B端开始。

不过,B端项目的开发也并非易事。为了打磨出足够优秀的产品,首先需要团队对产品的内容有足够的了解。其次,既然是要在VR中高度还原,就要注重品质,要用一种“工匠精神”去打磨,不是为了完成任务而完成任务。

”为了生存接一些B端项目,解决造血问题,这是必须的。但是主流方向不能偏。“很明显,虚实空间的主流方向就是文化遗产+VR。赵洋透露,在乐山大佛VR内容完成之后,虚实空间可能会选郑和下西洋这个题材,与之相关的“一带一路”沿线的内容也都要继续开发,目前正在筹备资料和邀请专家团队。“符合文化遗产保护主题的内容,只要文化价值足够高,我们就会去做。”赵洋说道。

未来规划明晰 继续为传承传统文化而努力

当问及未来的发展规划时,赵洋表示,今后虚实空间仍会专注于文化遗产+VR这一领域。目前这几款作品仍然是以服务线下为主,比如进入博物馆、科技馆这些地方进行展示,或者在景区中设置VR体验区,以分成的形式获利。目前为公司带来盈利的仍然是B端项目,由于虚实空间开发的VR内容质量较高,B端项目资源丰富,可以说是目前VR行业中少见的盈利的公司。

在融资方面,赵洋坦言,虚实空间希望同有文化资源或渠道的资方进行合作沟通,深度嵌入现有的文化产业链条中,从而为产业的生态增加更多科技、趣味和价值。

我们可以看到,这家公司是真正想要持续做文化遗产传承这件有意义、有价值的事。在虚实空间打造的VR作品中,传统文化元素与沉浸式体验的有机结合,为体验者们带来了游戏和影视所无法获得的价值感。秉持工匠精神,对每个作品进行精细打磨,成就了这家创业团队,更是VR行业发展初期值得我们学习的创业典范。

最初发布于2017年9月14日

专访蚁视CEO覃政:B端C端两手抓 用差异化与行业巨头竞争

在刚刚过去的ChinaJoy 2017大展期间,国内较早从事VR头显硬件研发的蚁视科技推出了2C和2S两款VR头显,以及全新的大空间多人交互方案。但笔者发现,这两款产品相比之前的2代头盔,在硬件参数上并没有太大的提升,而是将原有的蚁视2代头盔产品线进行了细分。除此之外,他们还提出了一个与众不同的大空间多人交互方案。

那么,这家公司是出于什么样的考虑,要对产品线做出这样的调整?其大空间多人交互方案相比目前市面上常见的大空间方案有何优势?笔者就这些问题,对蚁视CEO覃政进行了专访。

让笔者感到惊讶的是,已经完成B轮融资的蚁视仍然保持着创业者的热情,在喧闹的展会上,刚刚和员工们一起吃完盒饭的覃政顾不上休息,就在展区中的一个洽谈室内,和笔者畅谈了此次发布的新产品和新思路。

房间级VR+沙发级VR 进军C端的两把利器

首先当然要谈一谈这次发布的新产品。覃政表示,蚁视一直在改善房间级VR体验。比如,本次发布的蚁视2S对红外追踪摄像头进行了升级,从而使手柄的追踪范围获得了大幅提升,解决了游戏体验过程中体感手柄偶尔会丢失的问题。视场角提升为近圆的110°,增大了用户的视野面积。去掉了原有手柄的连接线,并且还将与电脑相连的线材进行了升级,使用更加方便。在使用过程中可以发现,无论是定位精度、稳定性还是佩戴舒适度方面都有了很明显的提升。

更让笔者感兴趣的是,覃政在此次发布会上提出了“沙发级VR体验”这一新概念。他认为,能够让玩家坐着玩,而且能够玩很长时间去体验游戏的情节和玩法,而不是简单的体验一个视觉冲击感,才是目前VR行业要做的事。未来在C端,玩家还是会回到沙发去玩游戏,那在这种状态下怎么让玩家玩的更爽,能让玩家体验到更多的真实感,是必须要解决的问题。因此,蚁视2C头盔便应运而生。

蚁视在2C上提出了创造性的Xbox手柄玩法,来解决上述问题。玩家可以坐在舒适的沙发上,用Xbox手柄,通过蚁视大厅畅玩更多Steam平台的VR游戏。

覃政认为,目前市场上采用双手柄加位置跟踪的设备,比如HTC Vive和Oculus Rift,其实在C端市场上卖的并不是特别好。而目前为止最成功的VR游戏,也就是PSVR平台的《生化危机7》其实是一款坐在原地玩的游戏,并且可以用PlayStation的DualShock手柄来玩,也是很轻度的体验方式。

基于这些原因,蚁视2C头盔去掉了红外定位摄像头、液晶光阀、内置耳机这三项略显奢侈的功能,进一步降低了成本,在售价方面更具竞争力。并且通过辅助软件,可以让Xbox手柄模拟原有的体感手柄的操作方式,玩家能够体验到的VR游戏数量也大幅增加。

覃政亲自向笔者进行了演示,并且笔者通过实际上手也发现,熟悉Xbox手柄的用户能够很容易地进行操作,甚至是射箭这样的需要两个Vive手柄配合的操作,都可以通过一个Xbox手柄轻松完成,即使是很少使用Xbox手柄的玩家,也可以轻松地掌握操作方法。

在笔者看来,蚁视2S和2C是两款定位截然不同的VR头盔。轻度的沙发级VR体验和完整的房间级VR体验各有其消费群体,但在VR行业发展初期,或许价格方面更容易让玩家接受,使用习惯上也更容易迁移的蚁视2C,才是更加适合普通玩家的产品。细思极恐,这是要霸占整个C端市场的节奏啊。

大举进军B端 为载具客户提供更具性价比的选择

除了用两款VR头盔新品进一步抢占C端市场之外,作为B端市场的重要组成部分,蚁视还要在大型载具市场分一杯羹。

在发布会期间,覃政表示,蚁视2C可搭配驾具、骑具、行走平台、动感平台,实现不同的情景模拟,与教育、旅游、体育、设计建筑等行业充分融合,丰富产业形态及用户体验。目前此产品已经与玛雅电竞显示器、AOC、某摩托车品牌和一些载具厂家达成了合作,即将全面落地,运营实施。

根据笔者的了解,目前主要的载具设备使用的头显分为以下三类:较为高端的使用HTC Vive/Oculus Rift,中端的设备使用大朋E2/E3,部分低端设备还在使用老旧的星轮VR头盔,甚至还有一些使用3Glasses D2的载具存在。虽然略显复杂,但这一领域的市场已经基本成型,那么蚁视靠什么抢占市场份额呢?

覃政向笔者坦言,之前确实没有考虑过进入载具市场。蚁视2代头盔刚刚推出时,主打的是带位置追踪的版本。但目前的载具市场大多是不需要定位功能的,去掉了定位功能的蚁视2C显然更加适合这一市场。

与目前载具市场上主流的头盔相比,蚁视2C可以做到价格更低,并且是少数采用两块OLED屏幕,且刷新率达到90Hz的产品,显示效果也是其加分项。与之相比,HTC Vive价格过高,并且全套设备中还包含定位基站和控制器,并不适合用在载具设备上。而大朋E2等头显则在分辨率、刷新率等参数方面逊于蚁视2C。综合来看,蚁视2C的性价比更高。

在ChinaJoy展会现场,蚁视展出了与影动力等厂家合作的载具设备,如同下文要说的大空间方案一样,想要体验的玩家排着长长的队伍。

超低成本大空间多人交互方案

除了大型载具之外,最近还有一种备受青睐的方案越来越多的出现在了VR体验店中,那就是大空间多人交互方案。而蚁视也在ChinaJoy期间的发布会上正式推出了自己的大空间多人交互方案。

具体来说,这一方案使用了蚁视2S头盔和背包电脑,配合地面上铺设的大面积的绿色定位地毯,使用头盔上的摄像头对地毯上的标记进行识别,从而实现定位,在保证定位精度和灵敏度的同时,成本上的优势可以说是极为明显的。

据覃政介绍,蚁视的方案中,每增加一平米的成本仅有100元,而其他厂商所推出的使用光学定位摄像头的outside-in方案除了穿戴上的不便之外,随着场地面积的扩大,每增加一个摄像头都要花费数千甚至上万的资金。蚁视的方案由于使用了inside-out定位方式,只需要头盔上的一颗摄像头,即可实现对外界空间的定位,安装调试方面也节省了大量的人力。

“光学动捕的成本太高,几乎没有办法商用,你现在拿它赚钱是不可能的,至少三年都回不了本。如果你就是想砸钱去做项目,做样板工程当然是没问题的,但如果你想拿它去赚钱是不可能的。”覃政表示。

在体验形式上,蚁视的方案和其他厂商的方案也有一些不同点,比如同一片区域中的玩家既可以进行联机游戏,也可以体验单机游戏,互不干扰。这样一来就可以避免玩家之间的互相等待。此外,在体验店中还会把不同类型的体验分开,既有大面积的体验,也有房间级的体验,还有一些轻度体验适合想尝鲜的玩家,这样对于提高体验店的“翻台率”也有很大的帮助。

在游戏内容方面,覃政向笔者透露,目前基本上不会定制专属的游戏,除非客户有特殊需求。目前所有的大面积的游戏都是在现有VR游戏的基础上改造的,这种游戏可能本身并不适合大面积体验,但是游戏场景本身是大面积的。比如有些游戏中的运动是通过瞬移完成的,可以去掉其中的瞬移机制,改用直接用行走的模式。这种开发过程省时省力,成本也较低,自然价格也会更加便宜。目前已经有四款此类游戏,后续还会不断有新游戏上线,除了传统的射击游戏之外,还有密室逃脱等适合大空间体验的游戏类型。

在发布会上,覃政向大家介绍了蚁视在北京西单设立的“红巢危机——蚁视VR主题公园”。其经营策略也是一个值得关注的点。覃政介绍,为了在现阶段提升人气,需要提高单店的滞留时间,蚁视采取的策略是使用全天通票机制,不限次数。500平米的自由行走体验区最多可以容纳二十个玩家,在体验过程中可以实现多人联机互动,也可以同时玩不同的游戏。蚁视开设这家店的目的是进行商业模式和业务模式的探索,今后会把解决方案打包销售给合作伙伴。

我们可以看到,蚁视提出的大空间多人交互方案,优势在于成本较低,B端用户回本周期快,客户复购率高。相比传统的VR体验店体验项目,能极大提升用户的体验效果,促进VR在广大用户中的普及。

用差异化、性价比与行业巨头竞争

相比目前主流的PC VR头显,蚁视此次推出的新品可以说是“不走寻常路”。当问及如何与HTC和Oculus这样的行业巨头竞争时,覃政这样回答:

“我们一贯的策略就是尽量避开与巨头的正面竞争,差异化发展。包括我们的定位技术就是差异化的,我们的定位技术是用单摄像头和inside-out,所以能够很便宜,能够用3000多块钱的价格买到房间级的VR体验。而outside-in方案的话,一个摄像头只能做到小面积的VR体验,做不到房间级,我们可以一个摄像头做房间级,这就是一个优势。这种优势不仅体现在价格,也体现在大面积扩展的时候,我们的系统更加简单实用。”

在较为低端的产品方面,覃政也有自己的打算。他向笔者介绍说,很多的客户都反映说想跟HTC合作,但HTC做不了定制化,而蚁视可以为客户做所有的定制化,客户提出需求,只要有量,都可以定制化。与行业巨头相比,创业公司的灵活性比较强,而且研发成本也会比较低,所以能够很好的为一些行业公司服务。

从覃政的身上,我们丝毫看不出来这是一家已经拿到B轮融资的公司,反而充满了创业者的激情。无论是在新品上的性能突破,还是在B端行业的模式探索,都象征着创业者在VR产业在发展进程中的重要实践。正是有了许许多多像覃政这样的创业者,VR行业才有持续前进的动力。我们期待着蚁视能够在B端和C端市场闯出自己的一片天地。

让我们一起,向创业者致敬。

最初发布于2017年8月4日

Unite 2018 | 育碧蒙特利尔工作室游戏开发总监访谈录

在近日举行的Unite Beijing 2018开发者大会期间,来自育碧蒙特利尔工作室的游戏开发总监Olivier Palmieri接受了媒体群访。

据笔者了解,Olivier Palmieri曾在育碧担任《刺客信条2》主策划和《孤岛惊魂4》游戏总监,参与过《火影忍者》系列和《雷曼》系列的制作,也曾作为育碧的设计培训师,培训了6000余名游戏策划。

在本次Unite开发者大会的技术专场环节,Olivier Palmieri做了题为《在VR中全速飞行:Eagle Flight背后的研发》的主题演讲。

VR带来了浸入式的游戏体验。但作为一种新媒体,VR也面临着新的挑战。其中之一就是虚拟运动带来的潜在不适感。与其他VR游戏大多采用瞬移机制不同,育碧开始了一项寻找在VR中能够进行舒适的高速运动的解决方案的研究。Olivier在本次技术分享中描述育碧在该方面的研究以及他们寻找到的解决方案,他们也在寻找不但舒适,而且非常直观和准确的控制因虚拟运动产生不适的方法。

以下为本次媒体群访期间的重点问题:

记者:育碧发布的《Eagle Flight》VR体验,可以让人以鹰的视角模拟在空中飞行。当育碧在做这种体验的时候,是怎样考虑人在空中移动时的场景?在技术方面是怎样解决晕动症的?

Olivier Palmieri:《Eagle Flight》的开发考虑到用户的头部作为控制器,并且人的眼睛和内耳之间也有关联性,这是我们在设计这款游戏考虑主要考虑的。通过这样一个设计,使所有玩家在都有一个好的体验。需要注意的是,确保玩家视野中的物体在游戏当中不要忽然停下来,这样会容易导致玩家出现眩晕情况,我们要确保游戏是流畅的不断向前推进的,这是很基础性的事情。

记者:有开发者称在游戏中完全模拟一个匀速运动是很难做到的,您知道这是为什么吗?您对这个说法有什么样的看法?

Olivier Palmieri:在VR游戏开发过程中会遇到诸多挑战,因为要确保每秒90帧的速度。要展现移动物体是很困难的。在VR游戏当中最大问题是要避免玩家在游戏过程中的眩晕状态,怎样既能展现移动,又让玩家感觉舒适,这是最困难的。现在很多游戏为了避免这种问题,采用瞬移的方式,直接从一个位置跳到另一个位置,中间没有移动。但是我们觉得应该在VR当中解决这个问题,能够让玩家看到这个物体是在移动的,同时玩家感受也是非常舒适的。这是一个挑战,但是我们还是非常希望能够解决这个挑战。目前有很多开发团队在着力解决这一问题。

记者:VR在叙事方面有很多创新,比如在交互上,VR玩家的视野是360度全景的,在这种情况下怎么让玩家保持关注度,将关注点保持在主线剧情上?是否需要在其中添加一些可交互内容,还是纯粹观看式的体验?

Olivier Palmieri:在VR行业当中大家需要做的就是不断的学习,这也是我个人体验,我从事了主机游戏和PC游戏20多年之后,还是觉得这个行业非常有意思。确实,在VR游戏当中要去抓住玩家关注点有很多技巧。其中一个技巧就是声音,把玩家注意力吸引到某一个场景当中。还有采用用户界面方式,把玩家注意力吸引到某一个游戏场景当中。可以用的技巧是很多的,主要是用360度声音和人物来吸引玩家注意力。比如我们会在游戏当中设置一个人物,这个人物在说话的时候,如果玩家注意力没有看到他的话,他可能就不说话,或者他就会说“看我这里,看我这里”,等到玩家注意力被吸引到这个人物的时候,这个人物才会说接下来要说的话。这也是我们用来吸引玩家的方法。在这方面有很多技巧可以使用的。

记者:育碧旗下有很大的IP,为什么育碧会选择先做一款纯体验的VR内容?之后在大IP作品上面有什么计划?现在已经推了一个《Star Trek:Bridge Crew》,之后还会推出什么大作吗?

Olivier Palmieri:我们之所以选择做《Eagle Flight》,主要想开发一款具有代表性的VR作品,同时给玩家非常舒适的移动感觉。当时我们想要做这样一款游戏,要让这个游戏当中有飞行体验,因为有飞行才有移动的感觉。所以我们曾经想过宇宙题材,但是我们又觉得宇宙有很多图案和复杂的细节内容,会让玩家在体验游戏的时候有可能会有不太舒适的感觉。所以我们决定开发《Eagle Flight》。关于未来的打算,现在我们已经有一些大的品牌开始做VR游戏,比如《Star Trek:Bridge Crew》,以宇宙为背景,给用户新的VR体验。市场未来关注点主要集中于基于位置的VR游戏(用于线下体验店或说VR Arcade),我们会主打这方面的游戏,除此以外也会针对整体市场开发很多VR游戏,比如在法国开发出了一些针对整个全市场的游戏。在这些游戏中,我们也会极力避免让玩家遇到眩晕的问题,仍然侧重于提供舒适的VR体验。

记者:育碧的游戏覆盖了所有平台,从传统主机PC平台到VR平台,和之前从主机PC平台到移动平台的迁移开发有哪些不同?

Olivier Palmieri:不同平台要考虑各个平台有什么优势,比如移动平台就要考虑屏幕对游戏体验有什么影响。这与主机游戏和PC游戏会有区别。除此之外,大家在玩儿移动端游戏的时候时间会比较短,所以我们会考虑5分钟左右的游戏时长。在开发的时候会考虑游戏本身以及在什么样的设备上使用。在PC和主机上比较成功的游戏,不一定放到移动端就会成为成功的游戏。在考虑不同平台的时候我们会特别侧重考虑不同平台的优势。

记者:我们看到《Eagle Flight》上线了多人对战的模式,育碧在多人互动玩法中有什么探索?多人互动VR游戏的开发有何难度?

Olivier Palmieri:实际上《Eagle Flight》上线多人模式,是想要证明一点,我们觉得VR游戏还是非常具有社交性的。因为在前两年,大家都说VR游戏是不具有社交属性的,大家都是彼此之间不互动,所以我们推出了《Eagle Flight》。除此之外我们还有一款游戏,玩家会在游戏中逛巴黎,然后可以和不同玩家探索巴黎这个城市,讨论巴黎的艺术,探索巴黎这个城市带给你的各种体验。我们通过开发这个游戏,意在向大家证明VR游戏可以具有社交性,甚至社交性比普通游戏更好,因为你可以看到很多其他的玩家有什么样的体验。这可能比主机游戏和其他社交游戏社交性更强。

再说说多人游戏遇到的的挑战,实际在VR当中多人互动游戏更加复杂。之前说过了,VR游戏对速度的要求非常高,每秒90帧的要求,普通游戏也就每秒60帧的水平。所以VR当中多人互动更加复杂。比如在《Eagle Flight》游戏当中,屏幕当中都是玩家在飞行,飞行速度很快,要考虑其他玩家都在什么位置上,还有VR当中涉及到视图,你要让玩家知道其他这些玩家是在他周围的什么样的位置,这也是很大的挑战。所以我们需要用声音等技巧来向其他玩家展示,让玩家知道其他玩家在他周围什么样的位置。这里面有很多事情需要做,有很多需要学习,才能给到大家舒适的体验。

《Eagle Flight》是一款由育碧蒙特利尔工作室开发的VR游戏,于2016年年底上线Steam平台。这款游戏可以让玩家从鸟的视角来探索巴黎,体验飞行的自由。《Eagle Flight》最多可容纳6名玩家的同时进行游戏,玩家在游戏中可以化身一只雄鹰,飞过巴黎的地标建筑,例如埃菲尔铁塔和巴黎圣母院,并穿过狭窄的街道,打败对手,保护自己的领土。目前,除《Eagle Flight》之外,育碧还推出了《Werewolves Within》和《Star Trek:Bridge Crew》两款VR游戏作品。

5月11日至13日,Unite Beijing 2018在北京国家会议中心举行。在本次Unite Beijing 2018大会期间,Unity邀请了来自全球的Unity技术达人和行业精英,为大家带来了超过80场主题多元的技术课程,包括让开发者上手实操的Training Day,聚焦Unity次世代技术发展的重磅Keynote,以及干货十足的五大技术分会场。

最初发布于2018年5月14日

品牌升级、服务升级、体验升级 VeeR致力打造环球VR内容社区

如今,打开各家应用市场,搜索“VR视频”,你能看到各式各样的VR视频应用,但经过对比体验,你会发现这些应用有着严重的同质化倾向。除了美女、恐怖等题材,很少出现“接地气”或者说比较生活化的内容。但有一款名为VeeR的应用可谓独树一帜。在这里,你不仅可以看到屡获大奖的VR影视作品,还有大量用户自行拍摄制作的生活记录,更有用户之间的交流、评论、点赞等丰富的互动功能。

可以说,与其他VR视频应用相比,这里更贴近生活,更具有社区氛围。

“我们不只是VR视频平台,更是一个VR内容社区。”VeeR的联合创始人陈婧姝这样对笔者说道。从与她的交谈中,我们可以发现让VeeR脱颖而出的与众不同的运营思路。

致力打造环球VR内容社区

陈婧姝介绍说:“其他的VR视频平台可能只是发布和观看内容,但在我们看来,基于这些VR内容可以产生更多的交互。所以除了平台,我们还强调社区这个概念。我们不只是想做一个内容创作工具或者播放器,而是想通过VeeR,把全球的创作者聚集起来。”

目前,由于受设备、制作技术和网络等因素的制约,VR内容创作者数量仍然较少。他们迫切需要相互交流,需要社区的氛围,来共同探索和交流心得,来自不同国家的创作者们也是如此。创作者希望能够有一个平台,认识更多其他创作者,去相互交流,或者碰撞出一些合作的可能性。

基于这种对行业的理解,VeeR致力于打造“环球VR内容社区”,这也是VeeR与其他平台不太一样的地方。

目前,VeeR平台上的创作者不仅囊括了从小朋友们到到老爷爷的各个年龄段,更有从个人到小的工作室,再到大的公司,甚至有一些其他的平台来入驻。包括UtoVR、Jaunt、美联社、华纳兄弟、Baobab Studios、Pinta Studios等等,甚至比尔盖茨也在前段时间入驻了VeeR,并上传了多段反映贫困地区生活问题的VR视频。

通过一段时间的体验可以发现,VeeR平台上的内容类型十分丰富,除了旅游、美女、极限运动等较为常见的题材之外,还有一些使用VR相机记录自己的生活的Vloger,比如用VR视频记录自己和女儿的生活,这种有爱的题材也颇受欢迎。

“我们相信每个人都有可能做出来好的内容,所以我们会鼓励和支持每个创作者,让创作者们不管是小咖还是大咖,都有机会去曝光自己的作品,都有机会与其他创作者交流。”陈婧姝说。

品牌升级 服务升级 体验升级

笔者了解到,在本次专访之前,VeeR刚刚进行了品牌升级,可能在外人看来只是App logo的变化,但VeeR的品牌升级不仅限于此。

陈婧姝介绍说,这次品牌升级最核心的是对VeeR定位上的升级,从VR视频社区升级到VR内容社区。“刚开始我们是想做VR视频社区,那时只支持VR视频内容,但是过了一年多的时间,我们对VR内容有了一些新的认识,也听到很多创作者的反馈。很多创作者既做VR视频,也拍全景照片,也做互动体验。其实这些都是VR内容,或者说都是沉浸式媒体。“陈婧姝说道。”另外根据我们对一些用户的调研,很多用户并不是说一定要看VR视频,或者要看图片,他们更关注的是在VR中能获得什么样的体验。这些VR视频、照片或者互动性的元素,都能组成互动体验。“

通过这些这些多种形式的内容,我们可以看到,VeeR想传达的还是坚持做更开放更多元的社区的理念。

与此同时,VeeR还推出了新的品牌形象。新logo看上去很像一个传送门,而VeeR正是希望自己就像一个传送门一样,让大家去体验各种各样的东西,打通虚拟与现实之间的界限。”我们的品牌有几个关键词,一个是无限的可能性;二个为创作者赋能,支持创作者去创作更多的东西;三是创造力,VR开启了一个发挥大家创造力的大门;四是年轻好玩,正如我们团队和产品的调性。同时采用了渐变的色调,产品整体也采用了更清爽的配色设计风格,就是为了让它变得更年轻更好玩一些。“

除了品牌定位升级之外,VeeR的一系列产品也进行了升级。比如移动端升级到了2.0的版本,在UI界面上进行了大幅优化和调整。而在VR端,由之前只能看VR视频,到现在除了VR视频还有图片和互动体验,还加入了一些简单的交互,比如可以点赞、收藏,或者关注创作者。陈婧姝表示,接下来VeeR会在VR端中加入更多的功能,使其体验更加完善。

此外,为了更好地服务创作者,这次升级还打通了网页端、移动端和VR端的账号系统,创作者们在一个平台上传之后,可以同时在手机端、VR端、网页端看到自己的作品。据笔者了解,目前VeeR的VR端已适配HTC Vive、Oculus Rift、Gear VR、Daydream、小米VR、Windows MR系列头显等设备和平台。

为创作者提供的不只是便利

为平台带来内容的创作者,是一个VR内容平台的重要资源。因此,与创作者的关系就显得尤为重要。陈婧姝介绍说,VeeR与核心的创作者们保持着很紧密的关系,很多功能是否会提上日程,都会先与创作者们交流,收集他们的需求和反馈。至于新版本或新功能的测试,也会先邀请核心创作者来参与,之后再慢慢开放给更多人。这些创作者们会有很强的参与感,他们的反馈也会帮助VeeR做出功能和体验更好的产品。

另外,简化VR内容的编辑制作,是VeeR一直在做的一件事。以手机端的VeeR编辑器为例,在去年年底,这个能让编辑过程变得更简单的工具正式上线。这款编辑器针对消费级相机用户,比如Insta360、Gear 360,拍完之后跟手机连在一起,就可以直接在手机上编辑和上传。从拍摄到编辑到上传和分享,整个过程都在手机上完成,并且既支持VR视频也支持全景图片,对创作者们来说十分方便。

正所谓工欲善其事,必先利其器。“从制作到编辑到分发,这个过程一定要简单好用,这也是我们现在正不断优化的东西。而且创作者不仅是要创作,也需要数据,收集反馈,为此我们做了热点图,来帮大家收集反馈,更好的做下一次的创作。”陈婧姝这样介绍道。

除了为创作者们提供内容编辑上的便利之外,VeeR还在做其他提升VR内容质量和创作者水平的工作,比如最近正在做的VeeR学院,组织一些国内国外的优秀创作者制作教程,来引导大家制作更具创意,更高质量的内容。

而在现在这个VR行业较为冷淡的阶段,怎样帮创作者变现,是各个平台都在面临的一个问题。有了更好的工具和拍摄制作技巧,VeeR还在帮创作者对接商业机会,比如之前跟大众点评合作,把拍摄黑珍珠餐厅的工作对接给不同地区创作者,这种商业机会的对接,也是VeeR一直在做的一件事。

探索更具交互性的VR内容

笔者注意到,针对上文提到的互动体验,VeeR官网也在重点推荐。所谓“互动体验”,是指通过在图片、视频等素材中添加热点,可以实现虚拟场景的任意切换,让观看者享受自由探索的乐趣。透过这种高度交互的VR内容,可以让作品的信息传达更具故事性及体验性。

VeeR特别开发了互动体验编辑工具,创作者们可以在网页端轻松编辑并嵌入热点和音频,创作自由切换于VR视频和照片间的深度个性化互动体验,并且实现了创作及上传一步到位。

陈婧姝介绍说,VeeR从去年下半年开始支持全景照片,今年随着品牌升级,开始支持互动式体验。“我们觉得,视频和照片都可以称之为VR内容,交互性在其中是很重要的一个因素,VeeR最近在做交互体验的公测,也是希望能和创作者们一起探索VR内容还有哪些可能性。”

另外还有一个原因是,目前的网络状况限制了VR视频的质量,基于现在的网络条件,VeeR推出的全景照片或者由照片组成的互动体验,加载速度会比视频更快。并且加上音频和互动元素之后其体验质量也很不错,甚至对于旅游景区或者博物馆来说,这种体验比视频可能更好,因为观看者可以自己控制其节奏,想往哪儿看往哪儿看,对什么感兴趣还可以再点进去看,这些媒体形式都可以给观众带来不错的体验。

除了支持图片形式的互动体验,VeeR很快也会开始支持视频的互动体验,用户可以在不同形式的媒介进行切换。而对于创作者来说,可以通过多样的展现形式,去制作符合他们需求的丰富内容,让VR内容创作及展示更加多元且丰富。

目前,VeeR平台的互动体验制作功能正在Beta阶段,欢迎创作者们参与测试。

写在最后

在本次专访最后,陈婧姝也表达了自己对未来的期待和畅想:“我觉得VR/AR肯定是下一代的交互平台,从电脑到手机再到VR/AR这种沉浸式的交互,或者叫Spatial Computing,一定是未来的趋势。而对于现在的VeeR来说,我们希望能够帮助大家去创作和分享VR内容,任何一个媒体都会有它创作和分享的平台,会形成内容社区,VeeR要在沉浸式媒体方面为大家打造真正的内容社区。”

“VeeR的Mission是:Empower everyone to create and share,给大家赋能,去创作和分享下一代的媒体。VeeR愿与创作者们共同探索。”

最初发布于2018年5月14日

浙江大学CAD&CG国家重点实验室主任周昆:计算机图形学2.0时代即将到来

4月8日下午,第十三届图像图形技术与应用学术会议(IGTA2018)的高峰论坛环节在北京航空航天大学新主楼会议厅举行。笔者参与了本次活动。本次学术会议由北京图象图形学学会主办,历时三天。大会包括特邀报告、论文报告、学术论坛、参观展览等部分,展示图像图形技术的最新研究成果和产品,共同促进图像图形技术的发展和应用。

浙江大学计算机辅助设计与图形学(CAD&CG)国家重点实验室主任周昆做了题为《Computer Graphics 2.0:towards end-user-generated 3D contents》的报告。据笔者了解,周昆教授是教育部长江学者特聘教授,国家杰出青年科学基金获得者,国际电气电子工程师协会会士(IEEE Fellow),现任浙江大学计算机辅助设计与图形学国家重点实验室主任。周昆教授的研究领域包括计算机图形学、人机交互、虚拟现实和并行计算。

在周昆教授看来,计算机生成的图形是无处不在的,例如我们所熟知的动画电影、视频游戏、移动APP等,然而,只有很少数的人能用计算机制作图形内容。这是因为传统的图形软件都是为专业用户设计,而且通常只有由专业用户来使用。在海量互联网数据、传感器技术、以及VR/AR和3D打印等新兴应用的推动下,计算机图形学研究正在进入一个新的时代:让每一个人在日常生活中创作属于自己的视觉内容,不仅是在数字世界,而且在物理世界。周昆教授团队近期开展的一些工作,包括肖像建模、人脸跟踪与动画以及可计算制造等,都反映了这一发展趋势,促进了图形学、视觉和数字制造技术的交叉融合。

笔者为大家整理周昆教授报告的重点内容如下:

在以往,用户都是使用搜索功能来获取图形,由艺术家创作的和电脑生成、渲染的图形能够被用户获取到。而在Computer Graphics 2.0时代,用户将可以自行生成图形,与由电脑建模、动画、渲染的图形一起构成更加庞大的图形库。

在这方面,周昆教授的团队主要进行了三方面的研究工作,分别是数字化身(Digital Avatar)、基于RGBD图形(结合了深度信息的RGB图形)的建模(RGBD image based modeling),以及可计算制造(Computational Fabrication)。

在数字化身方面,以往,通过面部动作捕捉和CG等技术,可以生成较为真实的数字化身,并且在电影中是很常见的。但是在可互动的应用中则很少见到动作自然且细节丰富的数字化身。浙江大学CAD&CG国家重点实验室在这方面进行了一系列的研究,比如通过普通的RGB摄像头就可以进行面部表情的精细捕捉。除表情之外,还可以通过一张照片,来对头发进行完全自动化的建模,甚至是很短的卷发,也可以实现精细化的建模。在头发的动画部分,通过对300根头发的分析,就可以得出45ms/帧的精细化头发动画。将面部表情和头发动画结合,就可以生成同时具有逼真的表情和流畅的头发动画的数字化身。

在基于RGBD图形的建模方面,现在,通过消费级的带有深度信息的RGBD摄像头,每个人都可以对日常生活的场景进行数字化。但这种场景缺乏语义信息,并不适合用在需要语义信息的应用场景中。浙江大学CAD&CG国家重点实验室进行了室内场景建模的研究,通过对RGBD图形进行分割、模型匹配和重建,只需三张带有深度信息的照片,在约两分钟的时间内就能生成带有语义信息的图形。在对较大空间进行测试时,周昆教授的实验室面积大概100平方米,使用了70分钟时间完成了全部工作。在物体建模方面,也已经实现了在一张带有深度信息的图形基础上,通过结构分析和基本形状的生成,进行精细化建模。

在可计算制造方面,该技术意在将数字模型转换为真实物体,在这里也结合了3D打印等多种技术。目前的彩色3D打印技术虽然能够支持复杂的形状,但却无法控制不同颜色的分布,并且设备价格昂贵,能够使用的打印材料也局限在塑料和石膏粉。传统的3D物体上色方法并不能用于复杂的形状,也不是普通用户能够掌握的。浙江大学CAD&CG国家重点实验室提出的解决方案将目前已经较为成熟的水转印技术和计算机图形学技术结合,在计算机中预先进行模拟,制作用于复杂图形的水转印膜,再进行水转印操作,并且可以对同一个物体进行不同角度的水转印,实现足够精细的图案重合。

在介绍完浙江大学CAD&CG国家重点实验室的部分研究成果之后,周昆教授分享了他对图形学未来发展趋势的看法。在他看来,图形学研究将会呈现如下趋势:计算机图形学、计算机视觉和数字制造技术将实现交叉融合,电影、游戏、App、VR/AR、3D打印等应用场景必将受益于该技术的进步。

此外,在当天下午的高峰论坛期间,西北工业大学计算机学院院长张艳宁、微软亚洲研究院首席研究员童欣、中科院自动化所研究员王亮等嘉宾分别就高分辨率智能图像处理技术、从交互图形学到智能图形学、视觉大数据分析等话题进行了专题报告。

最初发布于2018年4月9日

这家成立于1995年的老牌CG公司,正在VR领域奋力前行

最终幻想13、最终幻想15:王者之剑、ST红白搜查档案、20世纪少年系列、冰上的尤里、DAYS、起司猫….

打开Dynamo Pictures官网,你会发现,你所熟悉的热门动漫,有一大批出自这家公司。除了CG技术上取得的成就之外,Dynamo Pictures还利用成熟的光学动捕技术,参与制作了怪物猎人物语、怪物猎人世界、生化危机:复仇、忍者龙剑传等备受热捧的游戏作品。

近日,笔者来到了位于日本东京千代田区的Dynamo Pictures,探访了这家成立于1995年的老牌CG公司。出乎我们意料的是,这家公司旗下的Dynamo Amusement部门也正在VR领域发力,推出了一系列的优秀VR体验内容,并在VR等新技术与线下娱乐业态的结合上进行了大量的探索。

Dynamo Pictures的社长Hiroshi Hirokawa(日文名:广川 ひろし,以下简称广川社长)向笔者介绍道,Dynamo Pictures现有的业务包括电影中的CG内容、动漫类CG内容、虚拟偶像内容制作等等,近年来随着VR技术的发展,也开始涉足线下VR游乐内容的制作。Dynamo Amusement主要是开发和销售用于游乐园、主题公园和各种活动的娱乐体验,并提供各种娱乐服务,如VR体验和互动游戏等,除了直接提供产品给客户之外,还参与产品的规划设计与开发。

笔者在其公司内体验了名为MX4D的体感座椅,包含一台四座体感座椅,配合三星Gear VR头显,以及安装在座椅上和体验者面前的风扇等设备,组成了一套完整的VR体感设备方案。体验的VR内容由公司自行开发,是一段惊险刺激的游乐设备体验。虽然体验时长仅有四分钟左右,但内容的流畅度与独特的创意,内容与座椅动作的紧密配合,还是让笔者获得了与国内类似设备截然不同的体验。

根据广川社长提供的资料,这套方案还包含气味、水幕等多感官体验,不过由于现场空间较小,并未启动这些设备。广川社长介绍说,目前,这一方案已经落地东京新宿区某商场,每天有600余人次前来体验,可以说是相当火爆。除了笔者体验的内容之外,还有多款VR内容能够用于这一方案,只需对座椅的动作进行适配即可。

除了VR体验内容,Dynamo Amusement还开发了一些互动投影、AR体验类内容,题材更是涵盖了恐怖、冒险、解谜、益智等多种类型,也已经在日本多家主题乐园和商超中落地。

在交谈过程中,广川社长也表达了对中国市场的浓厚兴趣。中国广阔的市场以及在硬件设备领域众多的潜在合作伙伴,正是Dynamo Pictures和Dynamo Amusement所需要的。

最初发布于2018年4月10日

Vuze即将进入中国市场 打造消费者用得起的专业3D VR相机

近日,笔者采访到了以色列VR相机开发商human·eyes公司CEO Shahar Bin-Nun与该公司的中国区市场总监。经过交谈,我们对该公司的产品有了更加全面的了解。

提起human·eyes,可能大家会比较陌生,但提到由其打造的Vuze系列VR相机,相信大家都会有一些了解。那么除了颇为吸引人的扁平造型之外,其功能和市场定位,是笔者最为关注的。

据Shahar Bin-Nun介绍,Vuze系列并不是一款简单的VR相机,而是包含8个摄像头,能够拍摄4K分辨率3D VR视频的“专业级”VR相机。新款的Vuze+甚至提供了实时拼接和对直播的支持。

在性能和价格中间取得平衡点

众所周知,目前VR视频类内容仍然较为缺乏,尤其是质量较高的3D VR视频。究其原因,高质量的VR视频内容需要高端的拍摄设备和复杂的后期处理过程,而高端拍摄设备的价格居高不下,正是其阻碍因素之一。

目前市面上的专业级VR相机,比如Jaunt One、Yi Halo、OZO等设备的售价均为上万美金甚至更高,但很明显,消费者不会购买这种昂贵的设备。另一方面,价格较低的产品,比如三星和理光的相机,只能拍摄全景视频,但没有3D立体效果,观看体验差强人意。

而Shahar Bin-Nun表示,他们要做的,就是消费者用得起的专业级3D VR相机,在价格和性能中间取得一个平衡点。

在他看来,让消费者创建3D VR视频内容,而非使用电脑制作VR内容,是丰富目前VR内容的一个重要途径。毕竟用电脑制作内容很吃力,成本也很高。Vuze相机就是为此而生的。

专业的产品,亲民的价格

据Shahar Bin-Nun介绍,目前公司已推出了两款产品,分别是售价为799美元的Vuze,和售价为1195美元的Vuze+。这两款产品均包含8个摄像头,能够拍摄4K分辨率的3D VR视频。不同之处在于Vuze+可以实时拼接,支持直播,并且具备IP65级别的防水能力。

另外,仔细观察可以发现,Vuze系列相机与其他VR相机不同的是产品表面并没有散热孔。human·eyes的中国区市场总监表示,Vuze系列相机具备独特的散热系统,虽然没有散热孔,但其内部产生的热量能够快速导出,不会因过热影响设备工作。

最近,Vuze被美国国家地理和NASA选中,即将进入国际空间站,参与“One Strange Rock”项目的拍摄工作,也彰显了其产品的高品质。

“专业的技术,亲民的价格”用这句话来概括Vuze系列相机,可以说是恰如其分。

提供视频分享平台服务

为了鼓励用户拍摄和分享优质的VR视频内容,除了生产相机,human·eyes还提供了一个名为human·eyes Zone的平台。

据了解,无论是使用何种相机拍摄的VR视频,都可以通过简单的几步,在该平台上创建一个VR视频分享网站,个人用户可以用做VR视频资料的发布和分享平台,甚至是直播平台。

目前,human·eyes Zone平台提供两个月的免费试用。另外,还有一些优秀的3D VR视频可以在网站上直接下载,便于用户的体验。

写在最后

在这次交谈的最后,Shahar Bin-Nun在现场为我们演示了Vuze+相机配合其软件Vuze Studio进行实时拼接的过程。操作步骤简单且很容易调节VR视频的方向和视场角,并且无论是拼接速度还是质量,与其他专业级3D VR相机相比也并不逊色。

据human·eyes的中国区市场总监表示,Vuze系列3D VR相机也即将进入中国这个更为广大的市场,但考虑关税等因素,其价格可能会稍高于在国外的售价。

最初发布于2018年3月14日

Unite 2018 | 小米VR/AR产品总监马杰思访谈录

在近日举行的Unite Beijing 2018开发者大会期间,小米VR/AR产品总监马杰思接受了媒体群访。

据笔者了解,马杰思在小米VR/AR任产品总监,负责小米VR/AR软硬件的产品及技术管理、产品运营、内容生态。曾先后在虚拟现实、计算机视觉、人工智能、内容分发等领域从事产品工作。对VR/AR行业格局和趋势、产品设计与管理、技术原理和边界等问题均有深入了解与经验。曾在美国George Mason University攻读博士,并拥有北大硕士和北航本科学位。

在本次Unite开发者大会的技术专场环节,马杰思做了题为《小米VR一体机与Oculus Go应用深度开发指南》的主题演讲。

小米VR一体机与Oculus Go是小米和Oculus联合推出的全新VR一体机产品。这次演讲为VR开发者介绍了在该硬件平台上打造应用和游戏的最佳实践与技术解析,包括全新的性能优化Features,如固定注视点渲染(Fixed Foveated Rendering),动态节流(Dynamic Throttling) 和72Hz模式等。此外本演讲还介绍了小米Unity SDK和Oculus Mobile Unity SDK、小米VR平台SDK全新的社交功能、VR内支付功能、内容数据管理和推广方式等,帮助VR开发者更好获取用户和用户价值。

记者:根据您的演讲内容可以了解到,小米VR一体机是一款定位C端市场的产品。在您看来,小米为什么在这样的阶段,推出这样一款想打入C端的产品?

马杰思:小米是一家聚焦在消费电子产品的公司,不会去做to B的事情。其实VR这块跟公司大的目标宗旨是一致的。所以,我们做VR,也是用做C端消费电子产品的思路来做的。

记者:我们都知道,Oculus一直在力推VR社交,小米是否会延续他们的理念,在中国推广VR社交?

马杰思:从移动VR应用场景来看,尤其是2C端的VR应用场景来看,社交一定是非常重要的环节。比如说VR游戏,VR游戏大家都能想到接下来的发展有几个趋势;视频相对来说来说也是比较成熟,在VR领域能够做的相对比较创新的事情,就是怎么把游戏、视频与社交融合起来。所以,在to C的打法上,我们认为VR社交是比较显而易见的一个方向。

记者:您怎样看VRChat这款产品近期的表现?其实这款VR社交应用的主要用户是在PC和移动端,VR端的用户可能不到十分之一。

马杰思:在这款VR社交应用中,VR端的用户小于其他终端的用户。但是VR里面的用户,相当于大V。很多玩法只有用VR才能呈现出来,比如说手部6DOF的交互,用键盘鼠标是玩不到的。所以你会看很多海外热门的直播主,包括YouTube上受欢迎的作品,主要都是VR端的人在玩。这会起到一个反作用,让没有VR的人看到主播,或者说是大V都是在用VR来玩,可能会想着购买VR设备。这种反向带动的作用,我觉得是对的。

记者:在内容方面,小米VR会如何吸引国内的内容,会给开发者提供怎样的帮助?

马杰思:我们会为开发者提供以下几个层面的帮助。

第一个层面,我们与国内开发者一直以来合作都非常紧密,基本上我们都是有技术支持人员贴身与国内开发人员一起工作,包括他们提出的开发当中的问题,平台中的存在的问题,都是有人以非常close的方式帮助他们解决。我觉得这是我们给国内提供非常好的一点帮助。而海外开发者,由于他们不用微信,很多时候不能这么直接地给他们提供服务。所以,我们会持续在这一点做好,让开发者在接入平台时,从我们这边获得足够多的技术以及接入方面的支持。

第二个层面,就像我刚才说的,我们会非常专注于to C,我们会帮助优秀的第三方应用在小米的渠道上进行推广。大家知道小米的这些渠道,都是比较有影响力的。所以,能够让开发者通过我们的宣传渠道进行推广,对开发者引入新的流量,获得新的用户,增加日活,都是非常有帮助。比如我们在2017年双旦时与一起来VR有一个联合的推广活动,效果非常明显的。他们在推广期间用户数量是成10倍地增长的,用户的使用时长也翻倍提升,每天用户活跃程度,也比之前增加了很多。

还有,我们这款产品会有一些优化方案,比如说固定注视点渲染、动态频率等,我们在可以帮助国内开发者来充分利用这些性能优化。可能过去他们去上海外的平台,从那边得到支持难度的比较大,比较间接。但我们有本地化的优势,可以更方便地帮助开发者。

记者:是否可以详细介绍下小米VR一体机的VR内支付功能?

马杰思:在2017年年中,我们与支付宝一起联合推出了VR支付的功能。当时还是基于手机VR设备,只要用户安装了当时最新版本的支付宝,在VR里面绑定,当用户绑定支付宝之后,无需摘下头盔,就可以使用应用内支付。比如说第三方VR应用可以设置一些宝箱、抽卡等传统游戏中的营收方式,在VR中点一下,会跳到支付宝VR版界面,一键付款。之前已经绑定支付宝账号,并且免密与安全措施都已经做好,但是检测到有风险时是不会让你一键支付的。在正常情况下会一键支付,回到游戏时会提示支付成功。以前这种支付在VR里面没法做,因为取下头盔之后,再回到游戏就中断了。所以,我们现在跟支付宝一起做,可以无缝的在第三方应用内实现VR支付。

记者:关于VR内容付费怎么样设计,您有什么建议吗?

马杰思:当前来说,来做VR应用内支付,会有很多挑战。一般而言,做应用内支付,首先要有比较广的用户量,在此基础上再做应用内支付,往往才会起到效果。在VR当前用户没有那么大的量的情况下,做应用内支付确实有挑战。之前有一些国内和海外的CP做过这些方面的尝试。我认为大家目前还是在尝试,没有特别明确的结论,什么样的应用内支付方式最好,或者应用内支付和付费下载该选哪个。可能有VR社交等多人的应用,来做应用内支付,会比其他形态好很多。

记者:小米VR一体机与Gear VR类的设备想不,除了不需要插入手机,整体性能提升之外,在游戏体验与交互上,有什么改变?在我看来,现在比较低端的VR一体机不太吸引人,也是因为其中一些游戏没有比较好的交互,不足以吸引用户。

马杰思:我觉得不止是交互的问题,不好玩有很多方面的原因。比如说画面的完成度,在VR当中非常重要。如果是玩手游的话,一些画面简单的游戏,也让人感觉很有趣。但VR是把人沉浸在其中,一旦VR中的画面做的很low,你会觉得整个体验特别不好。这就要求开发者把握好整个VR画面与设备性能方面的平衡。当前在Oculus Go平台上有很多比较高质量的内容,后续我们会引入到国内,能够提升国内在移动端VR内容的整体质量。还有画面、创意、游戏性能、游玩时长等等方面都是很重要的。我觉得可以期待一下。

记者:现在一些VR一体机品牌在做6DOF的产品,小米是否会推出此类产品?

马杰思:我觉得6DOF肯定是VR头显的一个发展方向,这是毋庸置疑的。但主要的问题是在于什么时候,当前市面上已经推出的6DOF的VR一体机,价格普遍较高,而推出此类设备的公司,很大一部分是用来打B端市场,不是主打C端市场。在当前6DOF的VR一体机,硬件品质尤其是内容方面,很难让普通消费者愿意购买这么高价的产品。所以,我觉得6DOF肯定是一个大方向,只要做VR的公司肯定都会认同。但是当前6DOF的VR一体机,我个人感觉对C端用户还是为时尚早,还需要一些时间。

记者:大家对小米VR一体机都抱着很大的希望,希望通过小米的渠道能力,能够把真正面向C端的产品,把整个VR市场带起来。小米内部对于外界的期待,会有怎样的想法?

马杰思:很简单,玩命的干!

在今年年初的CES展会期间,小米与Oculus联合宣布双方将联合推出VR一体机产品:小米VR一体机和Oculus Go。

其中,小米VR一体机是在中国发售的产品版本,2017年10月首次发布的Oculus Go是在中国以外国家发售的产品版本。这两款VR一体机均与高通公司合作,搭载骁龙821芯片。

小米VR一体机和Oculus Go的核心硬件配置完全相同。两款一体机均使用了Fast-Switch屏幕(分辨率为2560*1440)、新一代的光学透镜和全景声近场耳机,屏幕刷新率为72Hz,搭配3DOF手柄(头显也是3DOF)。小米VR一体机采用了Oculus研发的全景声音频技术,一体机直接集成了一对近场耳机,同时配有3.5毫米的耳机插孔。

基于Oculus的底层软件技术,小米VR一体机同时支持小米VR SDK和Oculus Mobile SDK,同时兼容小米VR内容及Oculus平台的VR内容,易于国内和海外开发者将内容带到小米VR一体机上。小米会将Oculus应用商店的热门游戏、视频和应用引入中国,让中国消费者体验到高水准的移动VR精品内容。

5月11日至13日,Unite Beijing 2018在北京国家会议中心举行。在本次Unite Beijing 2018大会期间,Unity邀请了来自全球的Unity技术达人和行业精英,为大家带来了超过80场主题多元的技术课程,包括让开发者上手实操的Training Day,聚焦Unity次世代技术发展的重磅Keynote,以及干货十足的五大技术分会场。

最初发布于2018年5月15日