清华x-lab ACT TALK课堂:带你探寻科技与艺术的结合

2017年10月25日晚,由清华x-lab主办,清华大学经管学院、人文学院、美术学院等院系的教授联名发起的“ACT TALK | 艺术·创造力·科技讲座系列”在清华大学经济管理学院伟伦楼409教室举办。清华大学电子系教授窦维蓓、清华大学电子系97级校友米谟科技创始人向奕裴、清华x-lab执行主任毛东辉出席了本次讲座,与80余位清华师生一同交流探讨。

据了解,“ACT TALK |艺术·创造力·科技讲座系列”是由清华x-lab主办,来自清华大学经管学院、人文学院、美术学院等院系的教授联名发起,通过邀请各领域名人学者演讲互动,打破学术专业和产业领域界限的同时,引导学生跳出思维定式,学习并掌握艺术创造力和科技创造力的“思维平衡” 。该讲座系列重在激发学生和团队的想象力、创造力和行动力,从而创新出艺术与科技的美好结晶,最终通过商业化的推动拥有广泛社会影响力。从活动立意到形式呈现将充分体现清华x-lab学科交叉、探索未知、体验式学习与团队合作的教育理念。

清华x-lab执行主任毛东辉介绍道,清华x-lab是依托经管学院,面向全校的学生、校友和老师的关于创意、创新、创业的教育平台,致力于清华大学创新人才的培养,支持学生通过基于项目团队和行动的学习获得自我成长与提升。

清华大学电子系教授窦维蓓讲道:“声音艺术通过音频技术进行创作、表现和传播,同时音频技术的创新源动力来自声音艺术的感觉与想象。听觉感知实际上是评价音频技术的金标准,并通过听觉感知从而获得在音频技术方面的启示。”窦维蓓教授长久以来在从事交叉学科的研究,从电视专业到数字电视、数字音频、医学影像、音频压缩等领域都颇有建树。正是在这些跨学科研究的过程中,窦教授深刻认识到声音艺术和科技创新的密切关系。

窦维蓓教授认为,“声”和“音”是不一样的,声是振动的机械波,而音是一个时间序列,且这个序列能够被人听到,感受到,才称之为音。当我们能够感知到声音里面的内容和情感时,它才能被称之为艺术。声音艺术在传递的过程中,依赖于对声音的采集、存储、处理、传输和高质量的呈现。

此外,音频技术对技术有着较高要求,这些技术的评价判断也需要声音艺术和对声音的感觉。国际电信联盟给出的测试标准都是客观的评价标准,但客观评价不能作为金标准,跟人耳感觉是不一样的。主观评价才是金标准,即通过不同人群对于不同的音频素材进行试听和打分。

接下来,清华大学电子系97级校友、米谟科技创始人向奕裴向大家分享了他在声音艺术与技术相结合领域的一些探索。向奕裴首先鼓励在座的学生们参与跨学科研究,他认为,跨学科思维是随时都必须要具有的,因为跨学科思维可以带来不少启发,突破很多壁垒,这种思维方式可以让你不断获益。

之后向奕裴又谈到了XR(VR/AR/MR统称XR)的声音,目前的虚拟现实可以把画面虚拟出来,你可以在两块屏上看到一些画面,但声音也需要升级。XR的声音需要创造虚拟的声音环境,以至于用户在环境里互动或者头扭动的时候声场环境还像真的一样。沉浸式的体验加上互动,具有这两点才能成为XR的声音。

全景声的处理需要先采集声音,进行后期音乐编辑,然后再放到网上去传输,传输之后再经过解码再渲染。而米谟科技则针对整个过程进行了大量的研究。首先在渲染方面,米谟科技开发了全景声SDK,具备低延时,低功耗的特点,目前已应用于优酷的VR播放器和暴风魔镜的VR影院,另外还提供对Unity和Unreal引擎的支持。

米谟科技还开发了一款VR版的音频工作站,可以让做VR内容的人直接在VR环境中编辑声音,此外还有全景声麦克风,可以录制球面格式的音频,能够将X、Y、Z各个方向的声音拼接在一起,声场还可以用软件来调整。

最初发布于2017年11月8日

朗迪锋科技正式发布MakeReal3D V3.0虚拟仿真平台 服务于工业产品全生命周期

4月10日上午,2018朗迪锋新品发布会北京站在北京万方苑国际酒店举办。笔者到场参与了本次发布会,见证了朗迪锋科技MakeReal3D V3.0工业产品全生命周期虚拟现实仿真平台的正式亮相。

中国软件行业协会副秘书长付晓宇表示,中国软件行业协会当前正在积极地推动软件开发的工程化、软件产品的商品化和集成化,以及软件的服务化等一系列新技术、新模式和新业态。朗迪锋科技是一家很有代表性的公司,立足于高端制造、能源、军工和汽车行业,为客户打造专业的、全流程的、量身定制的虚拟与现实综合解决方案,其产品在业界可谓是独树一帜。希望通过这次活动,使虚拟现实技术在工业领域的应用得以提升,不断的创新发展,为中国制造2025做出重要贡献。

Epic Games商务总监谢添敏介绍了虚幻引擎的企业应用。他表示,虚幻引擎从最初的版本到最新的4.19,版本迭代一直在进行,已经成为商业化游戏开发引擎中的头部产品。游戏引擎并不仅仅是渲染工具,而是建立在渲染工具上的一整套工具链集合,包括编辑器和各种配合周边环境的开发工具的一整套体系。虚幻引擎具备实时性、交互性、沉浸感、协同工作等特性,使其能够服务于于企业用户。

朗迪锋科技技术总监宋涛对MakeReal3D V3.0工业产品全生命周期虚拟现实仿真平台进行了详细介绍。宋涛认为,目前,虚拟现实仿真领域存在的三个问题:虚拟现实仿真应用各自为战、虚拟验证及体验手段亟待创新、虚拟现实技术工程化程度不够。

针对上述问题,朗迪锋科技推出了MakeReal3D V3.0工业产品全生命周期虚拟现实仿真平台。该产品专注于虚拟现实仿真技术在产品设计、制造、营销、使用、维护等生命周期各环节的应用与开发,从而帮助工业客户提高工作效率及产品体验。

MakeReal3D V3.0平台包含了一系列的工具,其中包括快捷的交互式数字样机协同评审工具EzStyle、专业的人机工程仿真分析工具SoErgo、专业的维修性设计分析与验证评估工具VMPro、多学科工程数据后处理可视化工具、三维工艺及数字化工厂仿真工具。

MakeReal3D V3.0具备平台化、体验化、工程化三大特点:

平台化:包含模块化设计、多种业务需求支持、扩展开发接口,三维接口重用等。

体验化:包含沉浸式体验、照片级实时渲染、三维模型轻量化、可视化编程、多维度协同、一键酷渲等。

工程化:包含精确测量与装配、专业分析工具、实时物理仿真、主流CAD软件接口、工程数据管理、异构融合等。

此外,MakeReal3D V3.0采用了模块化设计,包含三维模型本地导入接口、数字样机评审、交互式虚拟装配、三维模型在线导入、多通道立体显示、通用VR外设接口、刚体物理仿真、动画编辑器、约束管理器、场景管理器、材质管理器、柔体物理仿真、可视化编程、照片级实时渲染、VR协同编辑器、人机工程仿真等模块。

在发布会最后,朗迪锋科技销售总监孙田介绍了朗迪锋科技能够为合作伙伴提供的服务,包含产品研发和增值服务、市场开拓支持、产品售前技术服务、技术培训及售后技术支持等等。

在发布会现场,朗迪锋科技提供了部分功能的演示供与会者体验。其中包含使用MakeReal3d V3.0制作的柯尼塞格跑车虚拟现实仿真体验。如下图:

该体验使用了由合作伙伴利亚德提供的小间距LED作为展示屏幕,体验者需佩戴带有Vive Tracker的安全帽,使用HTC Vive的定位基站和手柄作为交互手段,在体验者和观看者所佩戴的3D眼镜中即可体验由MakeReal3D V3.0制作的内容。

MakeReal3D V3.0基于领先的虚拟现实开发平台,结合工业客户的具体应用场景,旨在构建工业虚拟现实仿真应用基础环境,创造全新的客户体验,使虚拟现实技术实现工业化落地。

最初发布于2018年4月10日

虚拟现实将为高压人群的培训带来一场空前的革命

消防部门接到的电话数量每年都在增长,但实际上大部分都是医疗类的紧急情况。实际上,根据美国消防协会(National Fire Protection Association)的数据,真正的火警数量在过去的十年间已经有所下降了。今天,美国的27000家消防局每年平均会面临少于50场火灾。

这些火警大部分都是住宅遭遇火灾–这就意味着消防员们有越来越少的机会来练习对抗大型的火灾或面临生死攸关的紧急情况–比如高层建筑的火灾,或者存在爆炸物的工业建筑,或者是遭遇火灾的医院的紧急疏散。

传统的烟熏室训练手段面对这一问题时明显力不从心。它们只能模拟出小规模的紧急情况–并且在环保方面的规定也限制了它的使用频率。

这时就需要使用VR技术了。美国佛罗里达州的橘子郡消防局,是美国最大的消防局之一。该消防局正在转向使用VR技术来改善消防局中尉管理火情的培训工作。在联邦紧急事务管理署(FEMA)的授权支持下,这个消防局与中佛罗里达大学的模拟和训练机构(IST)合作,开发了一个全新的紧急事件指挥训练系统。

不过你别多想,在这个项目中,消防员可不会去疯玩那些新鲜的游戏。消防局的领导们最初的确想过要使用他们能找到的最高端的VR头显,但承包方的合伙人Eileen Smith拒绝了这种想法。作为IST的E2i Creative Studio的总监,她认为最新技术的采用通常会引发“惊奇和赞叹”,无论它是否能够真正的改善培训。

主要的挑战在于,消防局的中尉们有着不同等级的经验。那些年长的橘子郡消防员领队现在已经有60来岁了,在被提拔为中尉时,差不多已经接触了100场火灾,而那些年轻的中尉基本上只对抗过三场火灾,甚至有些人无法分辨烟雾。

现有的训练方法是无法胜任的:一组无趣的演讲幻灯片,以及成堆的指导图书。最终的测试是一个仅有一些受限制的互动内容的基于视频的模拟器。真正需要的,是更高的强度和更多的压迫感,这样,中尉们才能够真正学到在面对工作中可能会出现的压力时该如何应对。他们需要进入一个实时的场景,通过视觉线索和来自其他参与者的实时的声音线索–并且看到他们的行动会引发的结果。在这样的模拟训练中,中尉做出的每个决定–或者没有及时决定–都会得到反馈。并且模拟训练还可以被暂停,以修正过程中的错误。

Smith的团队并没有使用VR头显,而是选择了一个10*18米的屏幕,让参与者穿戴上能够测量紧张感的呼吸面罩。“我会把你放进一个3D环境中,虽然是在屏幕上,但你可以与他互动,并且这取决于你自己,”Smith解释道。“在我们的场景中,除了火还在继续燃烧之外,所有的内容都可以停止,直到你做出决定。在一个场景中,你甚至可以共同创作体验内容,你必须要参与其中。”

Mark Nesselrode是一位退休的海军上尉,现在担任General Dynamics Information Technology(GDIT)的全球服务分部的系统架构师,他曾经测试过水手的承压能力,使用的方法是让水手佩戴防毒面具,并且加入化学烟雾。那些无法面对幽闭恐惧症体验的人会首先摘下防毒面具。

现在,Nesselrode也开始模拟训练城市中的火灾场景,他利用声音、黑暗、写实感强的火焰和烟雾,以及触感反馈来进行实验–就是无生气的物体的模拟反馈–能够给水手带来真正的紧张感。

“灭火工作是非常,非常困难的,”他说道。除了视觉、气味和触觉元素之外,“还要有大量的物理效果存在,”包括了解在真实的火灾现场的热量转换的多种模式,由于冷却而引起的颗粒物与表面的互动和湍流。通过使用基于真实效果的游戏引擎,开发出贴近真实的可感知的火场体验,Nesselrode表示,“可以让我们看到潜在任务的‘可组合性’,然后我们就可以评估开发所需的时间、花费和工作流。”

他还补充道,除了消防,甚至还可以应用到其他的服务行业分支,以及供电、重工业、机场和市政部门。

当然,沉浸式的模拟训练并不是一直有必要的。Nesselrode和GDIT已经取得了显著的成就,他们开发了模拟的船上工程项目,使用传统的显示技术,而非VR。

想要打造成功的模拟训练项目的终极方法是,任何的训练方法都需要改善对项目的了解,并帮助做好充足的准备。在消防、短兵相接的战场和紧急的医疗情况中尤其明显,在这些情况下,训练项目可以帮助受训人员在紧张的情况下,甚至面对一些恐怖的场景时也能保持冷静。

美国陆军模拟、训练和设备执行办公室的副主任Rob Parrish认为,VR已经展示出了显著增进知识获取的能力,相比其他没有使用VR技术的训练手段,能够显著提升战场上救助伤员的能力。

在空间感非常重要的训练项目中,VR是特别有效的。Courtney McNamara是一位计算机科学家,他与奥兰多的美国海军空战中心训练分部的Advanced Gaming Interactive Learning Environment(AEILE)团队合作,以航空母舰的飞行甲板举例阐述了这一观点。

“在甲板上有飞机在移动和起飞,还有大量的大型装备,”McNamara说道。“因为这些设备的引擎都在运行中,”发动机喷口的风量和废气可以把水手吹飞…在这些事情发生时,飞行甲板上就像跳芭蕾舞一样–哪里是安全的,哪里是不安全的–你必须可以360°地观看四周,因为这些危险情况可能会发生在每一个方向。

你无法使用传统的相机和监视器来模拟出这样的环境,McNamara解释道。但是“如果你把一个人戴上VR头显,让他进入模拟环境中,并且可以四处移动看到周围的场景,”这时训练过程就会变得非常有效且有教育意义。当受训人员接近不安全的区域时,训练系统可以警告他们,或者训练过程的指导人员可以“暂停模拟项目,告诉他们向右看,那里来了一架喷气机。”

确实,VR模拟训练能够很好地把受训人员传送到训练环境中,并且帮助他们学习正确的反应,以面对那些容易产生紧张感的刺激物。已经有研究人员开始在临床上使用VR技术。圣迭戈的虚拟现实医疗中心使用VR技术来治疗各种焦虑症和恐惧症,以及退伍军人的创伤后应激障碍。这家研究中心使用包含VR模拟器的暴露疗法,带病人回到引发心理创伤的场景,以帮助病人克服这些问题。其中的秘诀在于移除病人的遇到的破坏性的心理障碍。“我们在非常努力的克服这一问题,”该医疗中心的CEO Mark Wiederhold博士说道。“我们并不称其为治疗,而是称其为训练。病人们会来这里,参与一些训练。我们有更高的耐受度。”

医生们会测量病患的心率和皮肤传导性,这能够帮助确定他们的情感状况,并且可以帮助确定Wiederhold博士所说的“暴露速率”。他还从圣迭戈的艺术中心招募了一些老兵来设计VR环境。这些额外的逼真场景确实起到了很大帮助。他说,该医疗中心的成功率在80%左右,而退伍军人管理局的治疗成功率仅为46%。

Wiederhold博士表示,VR是“如果能够明智并且正确的应用的话,VR会是我们能够使用的最强大的技术之一。”

不过,并不是所有的VR都需要使用头显。Gregory Welch是中佛罗里达护理大学的计算机科学教授,他正在开发被他称之为“真实-虚拟病患模拟器”–这是一个先进的,可互动的人体模型。长期以来都是使用传统的人体模型来教会学生静脉注射和插管。但Welch意在让人体模型获得一个全新的真实度。

Welch开发的基于电脑的、半透明的人体模型是由电脑来控制的,并且可以通过透明的皮肤可视化地模拟出毛细血管的反应。甚至还可以修改模型的脉搏,模拟出体温和呼吸频率的变化。种族和性别也可以快速切换。如果需要的话,这个人体模型还可以移动,甚至交流。Welch的团队目前正在专注于如何美化其面部特征,比如嘴唇和眼皮的下垂动作,因为这些是预示着中风的警告信号。

Welch表示想要让这些技术广泛采用的话,还有很多工作要做。但是他很看好这项技术的未来,在未来,该技术会与传统的培训手段一起应用,而不是替代传统手段。“在我看来,这些只是附加的手段,”他说道。“这些方法可以给医护专业的学生不同的体验。”

人们需要能够满足特殊需求的训练工具,不仅是对于不同的用户,而且可以应用到每个领域。确实,开发这种技术的一个期望就是随着用户群体越来越大,成本也能够降低。美国海军计划在2017年的早些时候开始减少一半的核反应堆原型训练的成本,无论是书本还是模拟器。Nesselrode说道。

“不用阅读技术手册或查阅单行本或图解,你就能够进入虚拟的引擎室,看到整个反应堆,并且随着技术的进步,还可以肚子操作设备,或者作为观察组的一员来观摩,”Nesselrode说道。“这就是训练过程的一场革命。”

最初发布于2017年3月20日

原文链接:https://www.govtechworks.com/virtual-reality-revolutionizes-high-stress-training/

VR将为心理健康领域带来变革!牛津大学临床心理学教授如是说

我们离提供给每个需要心理治疗的患者及时的帮助还有很长的距离,但是通过使用VR技术,我们或许即将迎来一场变革。

在目前的科技界,没有几个话题的热度能够超过VR。虽然这一技术已经存在数十年,但直到现在,VR才通过Oculus Rift、HTC Vive和可以连接手机的移动VR头显进入消费电子产品领域。但是VR不只是技术领域的游戏改变着,它还将改变我们解决心理健康问题的方法。

在不久之前,谈论心理问题还是一个禁忌,而目前这些问题的存在已经不是秘密。比如,我们知道每四个人中就有一个会在生命过程中的某个阶段经历心理健康问题。这个病痛的分支不是只有少数人才有的,其在社会经济学方面的影响也是非常深远的。在英国,处于工作年龄的成年人存在健康问题的,有一半是心理方面的问题。每年,英国用在心理疾病方面的财政支出能够达到2800万英镑–这还不包括英国全民医疗服务的支出。

既然问题如此严重,我们是如何应对的呢?以研究基金为例,心理健康问题研究仅使用了5%的医疗研究基金,13%的英国全民医疗服务基金。虽然从2007年开始,在Improving Access to Psychological Therapies项目的帮助下,治疗手段正在逐渐增多,但我们距离给每个需要治疗的人及时的治疗,还有很长的路要走。

并且这种治疗方法是非常关键的。在某种程度上,心理咨询和辅导是更加高效的,但是只有在呈现给患者引发心理问题的场景,并且让他们直接去学习、感受和表现的更具建设性时,才能产生最强大的改变。这就意味着患者走出心理咨询室,进入了真正的世界,而治疗过程更像是一个私人的治疗师,或者说一个教练。但不幸的是,这种情形还很少出现:即使咨询师们能够意识到这种强烈的需求,他们的时间也是非常贵的。

现实情况是非常不乐观的,这是一个重要的公共健康问题,并且无法提供给这些心理疾病患者最佳的治疗。终于,借助已经出现了近半个世纪的技术,我们处在了一次重大突破的边缘。

MIT在上世纪60年代就最先研究了VR技术,并且其中的基础元素到现在也没有太大改变–一台电脑生成一张图片,一个显示系统呈现出感知信息,以及一个跟踪器能够反馈用户的位置和方向,以对图像进行更新–但最新的内容是复杂性和新技术的易得性。

由于像Facebook这样的大公司对VR技术的大量投入(他们在2014年以20亿美元收购了Oculus),这项技术已经在游戏领域崭露头角。那么这项技术能够给心理健康领域带来什么呢?

答案在于,VR在创作强大的模拟环境时有着非凡的力量,比如模拟出引发心理问题的环境。这样一来,我们就不需要心理治疗师来协助病患回到特定的环境,比如喧闹的商场,或者爬上一栋高楼。那些基本不可能为了治疗心理问题就搭建的环境也可以通过点击鼠标来完成,比如飞行,或者是引发创伤后应激障碍的事件。对于许多心理问题来说非常有效的现场咨询,也可以直接传送到咨询室中,模拟环境可以调节难度,还可以根据需要进行重复。

VR还有另外一个巨大的优势。这是很容易理解的,面对一个难以接受的场景–虽然是治疗过程的一部分–对于很多人来说都是不愉快的。但由于VR并不是真实的,它会逐渐消失。我们可以在VR中做我们在日常生活中不情愿的事。并且,虽然由电脑生成的环境是人工的,我们的思想和身体也会给出真实的反应,就像它们是真的一样。这就意味着我们在VR中学到的东西会转换到真实世界中。

那么,VR和心理治疗到底如何结合呢?我们已经见到了使用VR去评估、理解和面对心理问题的一些研究。最早的案例出现在大约25年前,那时,设备的造价和复杂程度以及编程难度意味着这项研究仅仅属于非常小的专家团体和研究中心。之后发布了285项研究内容,这些研究内容中大部分都聚焦于使用VR来治疗焦虑症,以及特定的恐惧症、社交恐惧症和创伤后应激障碍。治疗结果是非常鼓舞人心的–VR是一个经过验证的提供迅速且持久的改善的治疗方法。

那么,其他类型的心理失调呢?目前还只能说有潜力。我们目前对于精神病中经常出现的被害妄想症的研究也提到,VR有着巨大的价值,但是我们还需要更多的研究。只有两个试点研究项目使用VR来检测抑郁症,当然这也是最常见的心理疾病之一。我们都知道,这项技术在触发酗酒和烟瘾时非常有效,但是没有人真正在一次VR治疗中进行测试。类似的,因为VR能够改变我们了解自己身体的方式,它能够极大地帮助治疗进食障碍问题(比如曾有这样一项研究,让厌食症病人用很短的时间去体验一个身体质量系数正常的人的身体,在此之后,厌食症病人就会较少的过高评价自己的体重)。但截至目前,针对进食障碍的系统化的VR治疗研究还没有出现。

焦虑症除外,在早期就已经使用VR对其进行了研究。我们可以看到,这项研究的潜力是巨大的,不仅是用于治疗,还需要用于评估。这样一来就无需依赖于病患能够回忆的想法和感受,VR还可以让临床医生们进行大规模的测试。而且,或许很快我们就可以在自己舒适又安全的家中使用VR来改善我们的心理健康状况。目前的VR治疗手段需要经过培训的医师来主导,未来的VR治疗手段或许能够由一个虚拟的医师来提供,让数量远超现在的病患能够获得最佳的心理治疗。

想要达到这种程度的话,需要有效的战略引导和投入。在硬件方面,VR在心理治疗中或许比脑部扫描仪更加重要。目前,位于牛津大学的心理健康研究团队是英国唯一具有完整的VR治疗手段的团队。

不仅虚拟治疗的心理学部分要适当,VR体验内容也必须要达到标准。很多所谓的VR距离革命性的沉浸式技术还有好几条街的距离。当VR被适当运用时,它对于用户来说将会是一个惊人的体验。虚拟的治疗手段就会像是目前最棒的电脑游戏那样激动人心,如果它们还能让我们回来寻求更多内容的话。

我们绝不能忘记VR极少会让我们模拟现实场景–它允许我们创建在真实世界中可能不会发生的场景。我们在几年前曾经做过这样的事,我们在一个VR环境中改变了人的可感知的高度,并且跟踪了这对他们的自负感的影响。VR治疗手段必须专注于开发这项技术难以置信的强大能力。

当然,更稀松平常但却依然非常重要的是,VR治疗手段必须经过严格的临床测试。

我们还需要进行更多的研究,但是最终的益处会是惊人的。很多人都说VR是一项正在寻找目标的技术。但在心理健康领域,它已经找到了用武之地。

最初发布于2017年3月24日

原文链接:https://www.theguardian.com/science/blog/2017/mar/22/why-virtual-reality-could-be-a-mental-health-gamechanger

虚拟现实技术有效助力肢体康复训练 但我们还需要谨慎些

技术的进步正在持续改变着医学领域的未来,但是曾经被认为是游戏玩家专属的VR设备,是否会成为肢体康复领域的下一个前沿呢?

Rohan O’Reilly是南威尔士纽卡斯尔的一位运动康复治疗师,他已经在尝试选择性的使用一些包含VR设备的治疗手段,来帮助他的病人们做肢体康复训练。

“听他们讲述自己遭遇大面积创伤的经过,以及他们从遭遇事故到治疗的过程中遇到的事,让我有了很多思考,”O’Reilly说道。

“他们其中的大部分人都认为治疗过程是非常乏味的,并且非常不舒适,也没有任何的激励性。所以我们认为,我们需要让治疗过程感觉好一点。”

“现在,激动人心的新技术正在不断涌现,但却不是所有人都知晓。很幸运我们能生活在这样一个年代。虚拟现实就是这样的一种技术,毫无疑问它将会改变游戏行业。这是一个现象级的技术,VR作为一个平台,可以把人们放进他们想要进入的环境中。”

虚拟现实让治疗过程更有趣

O’Reilly表示,虚拟现实可以用一种非传统的方法来帮助病人进行肢体康复训练。

“治疗过程是融入情感的,”他说道。“如果你的康复训练刚好遇到这样一种情景,比如你需要捡起一个无生命的物体,你和这个物体也没有任何的情感联系,然后不断重复….对于大多数人来说,他们会认为这没有问题,我可以重复一会儿这样的动作,但是,他们很快就会感觉枯燥。”

“但如果你把一个人放进虚拟现实中,其中所有的画面都会让他们联想到自己喜欢的事物,他们就会接受这种治疗。”

“我们只是简单的创作出一种环境,病人们可以在其中探索自己的能力。”

病人们会发现自己健康状况大有好转

在大概四年前,Angus McConnell遭遇了一场事故,彻底改变了他的生活。他在顺着纽卡斯尔的一条山路向下骑行时遭遇了车祸。

“我撞在了挡风玻璃上,倒在了路上,最后导致我脊椎损伤–这是C7级的完全残疾,”McConnell说道。

“这种伤痛一直在纠缠着我。”McConnell也曾在传统的医院进行了康复训练,但他还在寻求其他的治疗手段。

“随着伤痛的延续,你会想要确定是否应该忽略这些无法工作的肢体部位,或者是否要让他们恢复正常,”他说道。

McConnell说,他在经过肢体康复训练之后,已经有了大幅的改善。

“最初我们从增强肌肉开始,希望神经信号也能够恢复正常,”他说道。“我可以感觉出来身体的变化,电极刺激身体的部位时,神经也会有明显反应。”

“在电极刺激的帮助下,我现在已经能够站起来了,在两年前,这是我不敢想象的。”

学术研究称VR是有效的,但是人们应该谨慎对待

纽斯卡尔大学的中风研究者Coralie English副教授认为,人们应该以一种谨慎的态度对待肢体康复训练。

“有相当多的证据证明,虚拟现实在恢复中风病人的肢体功能上是有效的,”她说道。

“这种康复手段对于那些已经有过活动的病人来说是有用的。但目前没有任何证据证明,如果你根本不能动,在VR中尝试运动的话会引起任何功能的恢复。”

“必须要确保的是,病人正在锻炼他们需要恢复的功能,并且这还需要由医疗方面的专家进行严格而透彻的评估。”

最初发布于2017年4月5日

原文链接:

一家之言:目前的移动VR阻碍了虚拟现实行业的发展

当现在的VR设备首次出现时,我们希望移动VR能够以非常快的速度取得进步。然而现状却是,移动VR的改变非常小,在某种程度上,这种缓慢的进步会拖慢VR在整体上成为主流的步伐。

为了证明我们的观点,我们只需要看看三星Gear VR和它唯一的真正的竞争对手,谷歌Daydream View。这两款头显是目前移动VR领域的代表性产品,虽然我们在一开始的确有几个理由对其感到兴奋,但这些设备的缺陷和缓慢的步伐让我们的热情逐渐冷却。

我们先从Gear VR开始谈起。这是三星和Oculus合作打造的VR头显。Oculus(在2014年被Facebook收购)正是PC VR头显Rift的开发商,这或许是世界上最著名的VR头显了。在CES 2015期间,Oculus的产品副总裁Nate Mitchell告诉我们,可以期待一场Rift和Gear VR之间的游戏,Gear VR不久就会跟上Oculus Rift原型产品的步伐。

即使我们是按照字面意思来理解这句话,这一预言也言之过早了。直到现在我们才迎来第三个消费者版本的Gear VR,虽然增加了一个控制器(提示:毫无疑问地与Daydream的控制器基本一样),我们还是看到了和最初发售的版本几乎一致的Gear VR体验。除了在视场角、连接方式和颜色方面的小变化之外,基本上没有什么大变化。

同样的问题还存在于内容库的整体质量方面。虽然在过去的几年间一些好的作品已经添加到了内容库中,我们看到的Oculus Store中增加的大多数内容质量还是很低的,其中的移动版和街机类游戏也基本没有用到VR这个新媒介的能力和特性。许多我们非常喜爱的体验自从发售之初就已经存在,或者有些是设备发售之后很快就已经上线了。

当然了,开发者们为移动VR开发游戏时,必须要面对消费者们的期待:Oculus Rift的用户在面对价格为30-40美元的游戏时也不会退缩,但是大部分人不会为移动VR游戏花这么多钱。不过,我们认为这一障碍能够被真正惊艳的移动VR头显克服掉。

再来看谷歌Daydream平台的内容库,无论是数量还是质量都可以用“贫乏”来概括。这款头显完全不用考虑去兼容那么多的安卓手机,目前只有六款手机能够支持Daydream平台:Pixel、Pixel XL、Moto Z、华硕ZenFone AR、华为Mate 9和中兴Axon 7。并且很明显,移动VR对于大多数手机厂商来说也不是优先的方向。

我们的确很欣赏Daydream View的一些小细节,比如柔软的表面材质,和易于安装手机的特性。而然,它的控制器–以及三星Gear VR的控制器–突出了移动VR的不足之处,而不是尝试着去靠近PC VR头显的控制器。

例如,为什么只有一个运动控制器?想要真正在游戏中模拟双手,你需要两个控制器(比如Oculus Touch)。所以,现在的设备被限制只能提供Wii一样的游戏体验,也就是指向某处并点击。这对于最近推出的头显上设有的触摸板来说是一个进步,但距离类似Oculus Rift和HTC Vive这样的在游戏中“有一双手”的体验还有非常大的差距。

并且,我们会在最近的某个时间在移动VR设备上看到位置跟踪(头显能够跟踪你在空间中的动作,而非仅仅转动头部)吗?如果没有这种技术,当你移动时,虚拟世界也会跟着你移动,而非在虚拟世界中移动–这并不是向新用户介绍VR的最具沉浸感的方式。

除了不能留给人们深刻印象的硬件和软件开发之外,移动VR还有一个让人很烦恼的问题:即使你有一台移动VR头显,并且你找到了一款你喜欢的游戏,长时间佩戴引发的不适和固定视角的显示也会让你想要远离它。这可能是位置跟踪技术能够解决的最大的问题。

这种中等质量的体验的长期问题在于,他们无法让消费者们对高端VR体验产生兴趣。移动VR设备的定位是负担得起的入门级的产品,以探索VR的可能性。但是我们被逼迫着让移动VR体验足够吸引人,以鼓励人们花费上千美元去购买基于PC的VR设备。目前甚至连手机行业都缺乏这种激情,因为目前还极少有旗舰手机急于让自己的产品支持Daydream平台。

移动VR目前距离PC VR体验还很远,甚至这二者极少有关联。如果移动VR想要进入大众消费市场,它们需要取得长足的进步。否则,它们会吓退那些想要探索VR技术潜能的消费者。

最初发布于2017年4月1日

原文链接:http://newatlas.com/mobile-vr-not-good-enough/48703/

新款三星Gear 360相机上手体验:VR内容需要先上量?

近日三星在纽约举办了新品发布会,在本次发布会期间,三星发布了一系列新产品,包括Galaxy S8和S8+手机,以及全新的Gear VR头显和Gear 360相机。实际上,在发布会期间,三星给每一位与会嘉宾一台Gear 360相机,并在同一时间记录下了新品发布的场面。

在此之前,有关这款相机的传言已经满天飞了,并且现在看来,这些传言也基本都是真的。去年发布的旧款Gear 360是三星首次尝试360°相机产品,由于产品问题过多,基本上无法用“成功”来形容旧款相机。然而,这个全新的Gear 360看起来能够减少人们对上一代产品的抱怨。

首先,新款Gear 360比老款要更小巧。由于镜头更加靠近,让拼接效果也变得更好了,并且也更便于携带。新款Gear 360的外形相比上一代产品,在工效学设计上也更加科学。不再需要三脚架来支撑,这样一来在拍摄时底部被遮挡的画面也更小。老款相机虽然能够借助三脚架自行站立,但会遮挡大片的下方内容。新款Gear 360也有内置的电池,但不再是可拆卸的。然后,用于充电的USB端口也被移动到了侧方,由Micro-USB换成了USB Type-C。新款相机还把录制按钮从相机顶部移到了相机底部,这是用户通常手持的地方。从我们的经验来看,这可能会引起一些误触,不过相比把录制按钮放在相机顶部,已经不那么让人恼火了。有了这种新的设计,你可以使用任何的三脚架来支撑Gear 360,并且几乎任何的安装方式都可以。

用户对于旧款Gear 360最大的抱怨在于,它仅仅支持三星最新的手机产品。而这次发布的新版本则基本上脱离了三星的设备,允许你使用其他安卓设备,甚至是iOS设备,因为它是通过蓝牙和Wi-Fi来连接的。新款相机支持蓝牙4.1标准和802.11 a/b/g/n/ac Wi-Fi,并且最大支持256GB的MicroSD存储卡,双倍于旧款相机,这应该足够使用了。三星在发布会现场提供了一张32GB的存储卡,可以支持拍摄超过2小时的4K画质视频、1万张1500万像素的照片,三小时的1/2缩时摄影,三小时的五分钟视频循环,或者是超过1万张HDR照片。

同时,视频的分辨率也从3840*1920/30FPS提升到了4096*2048/24FPS,这也表明我们不会看到图像质量上太大的提升。谈到图像质量,新款Gear 360只能以1500万像素的分辨率捕捉360°照片,而非3000万像素。这可能暗示着较小的840万像素的传感器与上一代产品的1500万像素传感器截然不同。视频的拍摄格式为MP4格式,使用了H.265编码,基本与上一代产品相同。

新款的Gear 360支持的视频拍摄格式:4096*2048/24FPS、2880*1440/30FPS、2560*1280/60FPS、1920*960/30FPS、1440*720/120FPS。

三星还把电池容量从1350mAh降到了1160mAh,这也是为什么新的相机尺寸更小的原因之一,并且由于使用了较小的传感器,也降低了电量消耗。

总之,新款Gear 360使用起来更加舒适,并且解决了老款相机最大的问题,那就是兼容性。三星已经意识到,他们需要用户生产尽量多的内容来让人们产生对VR和360°内容的需求。如果没有足够的内容,VR是无法继续存活的,并且我们认为,2017款的Gear 360是三星走出的正确的一步。

我们现在仍然在等待官方定价,但我真诚的希望,价格能够低于299美元。因为像是Insta360 Air这样的产品价格仅为129美元,而Insta360 Nano则只需199美元。必须承认,这些产品并不能拍摄4K画质的内容,但是价格上占据很大优势。价格对于市场普及来说是一个重要因素,花费349美元来购买一台仅支持三星手机的相机,是会让很多人心生厌恶的。至于支持新款Gear 360的APP,目前还处在公测阶段,旧版的APP也不支持新款的Gear 360(是的,我们已经试过了)。

最初发布于2017年4月1日

原文链接:https://uploadvr.com/samsung-gear-360-2017-first-impressions/

福布斯:增强现实将会改变音乐行业的四种方式

在2016年,流媒体被认为是音乐行业的拯救者。在经过了差不多20年之后,音乐行业第一次看到了收益的增长,这要感谢像是Apple Music和Spotify这样的服务。是的,流媒体已经让音乐变得从未如此容易接触到,但是如果我们真的想要“拯救”这个行业的话,我们需要使用数字技术手段提供给音乐迷们迷人而又感人的体验。这里就要提到增强现实技术了。

我们已经了解了一些统计数据,证明千禧一代更喜欢体验性质的内容,比如根据Harris提供的调查报告,78%接受调查的人表示他们更希望花钱去体验或者参加活动,这一意愿更甚于获得一件具体的物品。另外还有72%接受调查的人表示他们会接下来的一年话更多钱在体验上,而非实际的物品。这可不只是带来回忆,或者自拍的照片。“体验”需要有真实的价值。

作为对比,我们可以看看娱乐行业的另一个大板块:电影。电影工作室们在3D技术上下了大赌注,以期将音乐迷们拉回电影院。虽然重要的大制作都获得了不菲的收益,但根据每个美国人购买的电影票来计算,2016年仍然是从上世纪20年代以来最差的年份。越来越少的人在支付更多的钱来购买通货膨胀般的电影票。3D技术的新鲜感正在逐渐消退,因为这种体验并不能称得上是具有变革性的。

现在,我们必须要面对音乐行业的现状。唱片公司和营销公司在面对数字时代的年轻人时也十分头疼,他们缺乏吸引这些人的方法。而AR,是一种把数字信息叠加到真实世界中的技术,并且大多通过移动设备进行。虚拟现实与之不同,它是完全沉浸式的。AR就有着真实的价值–苹果的CEO Tim Cook认为,它的潜力就像iPhone一样大。

最为流行和最主流的AR应用案例应该是《Pokemon Go》和Snapchat。前者掀起了千禧一代的怀旧风,在顶峰时期每天都能带来1000万美元的营收。而Snap Inc.则跟随了不幸的Google Glass的脚步,发布了Snapchat Spectacles。这是一款太阳镜与相机的组合产品,CNet将其描述为“世界上最火热的AR的推动者”。

音乐行业有着与增强现实技术牵手的潜力。在经过十余年的数字音乐营销和发行之后,我从我的经验中总结道,这种机会不会经常出现。音乐迷们对这种技术已经有了足够的准备和熟悉程度,我们只需要确保自己不错过这个机会。

以下是AR技术将会永久改变音乐行业的四种方式。

音乐视频

在2010年,Rihanna和David Guetta与百事立体脆合作,为其作品《Who’s That Chick》的MV创作了一段AR体验。YouTube在2016年向音乐行业支付了10亿美元之巨,吸引音乐迷去观看音乐视频从来没有像现在这么有价值过。AR技术可以赋予音乐家们把音乐视频带给音乐迷们的能力,甚至可以让音乐迷成为MV的一部分。想象一下这样一个世界,用户在观看MV时虽然在使用手机或者特殊的眼镜,但艺术家就仿佛在音乐迷面前表演一样。

音乐营销

AR在营销领域已经有了被证实的成功案例。举个例子,一家位于纽约的餐厅通过策略性地利用《Pokemon Go》,营收增加了75%。Inc.com曾经指出,AR可以为人和虚拟世界搭建桥梁。虽然从技术角度来说是非常吸引人的,但对于音乐迷来说是很难与虚拟世界产生联系的。设想一下这样的场景,粉丝们可以从一位艺术家即将发布的专辑中“猎取”到独家的内容,就像玩《Pokemon Go》一样。创意不仅具有口碑价值,还有公共关系方面的价值。如果你是第一个这么干的,那人们都会讨论这件事。

音乐教育

培训和教育下一代音乐知识也会深受增强现实的影响。实际上,这种影响已经在发生了:一家日本的公司已经开发了一款全息应用,可以教用户学习弹钢琴。AR是一个工具,可以帮助音乐行业有意义并且有感情地连接年轻的音乐迷。音乐行业最有影响力的人物能够成为最大的教育者,通过体验和把强化转换为参与,来传授其经验。比如Elton John就在通过全息来教上百万的学生弹钢琴,歌手Sia也曾以这种形式展示了歌曲创作过程,就呈现在你的面前。

音乐体验

AR技术改变真实的音乐体验,比如演唱会和其他活动方面的潜力是无限的。正如我之前提到的那样,AR有着把演唱会带到粉丝们自己的环境中的潜力。或者更好的是,想象一下如果全部的音乐迷都能够使用AR技术,来体验一个AR版的全新的演唱会的场景。想象一下歌词在空中飞舞,或者在歌手现场演唱时,自己就置身于最喜爱的MV之中,将会是怎样一种体验?

最终,没有任何一种技术能够“拯救”音乐行业。然而,增强现实有着革新音乐行业的潜力。歌曲识别应用Shazam刚刚发布了全球首个增强现实品牌营销解决方案。作为一个技术开发者和数字音乐营销从业人士,我还是能够分辨什么是趋势,什么能从根本上改变粉丝与艺术家联系的方式。

增强现实不会只是一时热闹。我们需要开始理解,如何使用AR技术来创作出这样的体验,能够给予音乐迷们想要的东西,而不仅仅是用怎样的标签才能卖出更多的唱片。

最初发布于2017年4月11日

原文链接:https://www.forbes.com/sites/forbesagencycouncil/2017/03/30/four-ways-augmented-reality-could-change-the-music-industry/

Meta 2 AR头显上手体验 视场角和分辨率哪个更重要?

上次我体验Meta的AR头显还是在一次非公开的活动中,并且不允许拍照。在SVVR期间,当我再次体验时才允许拍照。这是与上次体验的产品不同的新产品,Meta的技术在这段时间取得了大幅进步。

根据展位工作人员的介绍,这次我体验的产品是Meta 2的最终版,并且将会以945美元的价格对外销售。

这次展示的版本与原型机最大的区别在于其跟踪技术。这款头显使用了inside-out位置跟踪方案,而非依赖外置的第三方摄像头。跟踪方案曾是Meta 2最大的弱点,所以在本次体验中我也特别关心这一问题是否得到了解决,简而言之,Meta解决了这个问题。

不过,Meta 2并不能完美地进行跟踪。当你在移动面前渲染出的虚拟物体时,偶尔会有间断、抖动或者失灵的情况发生。而当你尝试进行手部的互动时,这些问题会更加明显。在我体验期间,我有机会用手与一系列的物体进行互动,包括具有可塑性的方块、汽车模型、地球和大脑。在上次体验这款设备时,我已经见到了这些内容,因而可以明显看到交互效果的改善。但这个经过改进的设备的位置跟踪和近感探测仍然不够完美。

AR应用领域虽然还很年轻,但微软HoloLens已经在其中占据一席之地。任何一款想要进入这一领域的头显都会面临这样的问题“它与微软HoloLens相比有哪些优势/劣势/不同之处”。Meta 2也不例外,我们来看一下。

Meta 2拥有比HoloLens更大的视场角。这在很大程度上归功于显示技术的不同。而更大视场角的代价,则是相比HoloLens要更低一些的图像分辨率。分辨率上的差异还是很明显的,但就目前的AR体验而言,我个人更倾向于选择更大的视场角,而非分辨率的提升。

HoloLens的inside-out跟踪技术被视为是行业的标准。Meta 2虽然也使用了这一技术,但与HoloLens相比却缺乏稳定性。

最后,或许最重要的是,Meta 2是一款仍然需要通过线缆连接的头显,与之相比,微软HoloLens是完全无线的。而Meta 2的用户则需要连接一台高端PC。这条线缆或许可以帮助Meta 2达成更大的视场角,但却为符合人们需求的AR应用场景增加了障碍。

虽然目前Meta 2已经面向消费者开放预订,但Meta仍然表示这款AR头显主要面向开发者,就像当年的Oculus DK1一样。目前Meta 2已经开始出货,Meta希望能在年底前能够满足所有的订单。

最初发布于2017年4月11日

原文链接:https://uploadvr.com/meta-2-hands-ar-svvr/

变革VR行业?谷歌Chrome浏览器能否胜任

谷歌在上周发布了最新版本的Chrome浏览器,作为备受欢迎的网页浏览器,将会支持在网页中运行VR内容,让用户在任何设备上观看VR内容,并且是跨平台的。

为了达成更具沉浸感的体验,用户可以使用Daydream-ready设备来观看WebVR内容,比如谷歌的Pixel手机。如果手上没有Daydream头显或者兼容的设备,也可以观看这些内容,不过是以360度的形式,就像谷歌街景一样。

从目前来看,仅有少数几个网站提供VR内容,然而,谷歌正在和开发者们合作来扩充这一数量。这家公司还宣布他将会把WebVR开放给其他VR头显,比如Cardboard和Oculus Rift。

WebVR在最近获得了大量的关注,因为Facebook旗下的Oculus和三星Gear VR在最近几个月内都增加了WebVR支持。这是因为WebVR有多平台优势,不仅是对于消费者,对于开发者们也是一件好事,这会对平台起到极大帮助。

WebVR也让消费者们更加容易接受VR。WebVR相比那些价格高昂的PC VR头显和主机驱动的VR头显来说要更易得,比如HTC Vive和PSVR。这种VR体验在网页和头显中都能够获得,这样一来也扩大了内容基数。

WebVR还可以刺激更多的开发者来创作更多的VR内容。比如对浏览器APP的支持可以引导开发者们,他们对于这一领域“一开始是拒绝的”。直到他们对这项技术的演化进行评估之后才会进入这一领域。随着不同的VR平台之间竞争日渐激烈,想要吸引最佳的VR体验,其关键就在于有越来越多的开发者来创建内容。

网页应用还有一个优势,会让潜在的用户更加简单地接触新的VR内容,而无需下载和存储在手机上。由于VR内容的复杂性,它对于手机存储和电量都会造成较大损耗。而通过网络接触这些内容,至少会解决这两个问题,用户可以从网上将这些内容串流到手机上。

更广泛的VR内容被接收可以让这项技术吸引更多的企业,来开发的新的方法以接触用户。目前,VR可能最适合游戏和观看视频,但是,它同样有大量的机会来进入其他移动应用领域。比如教育、会议和医疗等等。并且, 虽然这项技术目前还相当不成熟,早期的研究已经表明,VR视频内容天生的沉浸感会带来更好的参与感以及情感反馈,这对于其中展示的广告来说也是很有效的。随着用户群体逐渐扩大,想要接触到目标消费者的话,结合VR视频会使其营销策略更完整。

虚拟现实市场在2016年获得了显著的进步。

像是Oculus Rift和HTC Vive这样的新VR头衔来到市场,并且已经获得了大量的消费群体,同时VR内容也在不断更近,比如像《Batman: Arkham VR》和《Chair In A Room 》这样的作品也在不断扩大用户群体。

同时,行业内的会议和展会也将更多的开发者、投资者和内容生产商聚到一起,进一步促进了这一新领域的发展。

谷歌将会凭借Chrome浏览器数以亿计的用户群体,让更多的用户接触到VR这个对于大多数人来说还太新的概念,结合其他VR技术厂商的加入,WebVR将带给人们更多的惊喜。

最初发布于2017年2月15日

原文链接:http://www.businessinsider.com/google-chrome-webvr-2017-2