微软全新Kinect传感器Azure Kinect DK上手

微软昨天在巴塞罗那举行的MWC 2019大会上举办的HoloLens 2新闻发布会期间宣布了全新的Kinect传感器,这家软件巨头推出的新Kinect是一款售价为399美元的PC外围设备,可以像开发人员使用Kinect for Windows甚至最初的Xbox 360 Kinect一样用作传感器。微软设计这款新的Kinect的主要用途在于Azure,这是该公司基于云的服务,用于计算机视觉和语音模型。

外媒记者在MWC大会上仔细研究了Azure Kinect DK,并惊讶于它与Kinect for Windows传感器相比要小得多,而且也更轻,Azure Kinect DK仅重440克,而Kinect for Windows则重达970克,并且由于一系列的硬件升级变得更加强大。与之前的Kinect中的4麦克风阵列相比,Azure Kinect DK内置7个麦克风阵列,以及能够支持3840*2160分辨率图像的经过升级的RGB相机。其中的深度传感器与HoloLens 2上的深度传感器相同,因而具有一致的分辨率和帧率。

微软计划为这款新的Azure Kinect DK发布一系列SDK,由于以前基于Kinect for Windows的应用程序无法直接用于这个新的Kinect,开发人员需要将现有的Kinect for Windows应用程序移植到这个新平台上。Azure Kinect DK有一个新的传感器SDK、身体跟踪SDK、视觉API和语音服务SDK。微软尚未发布所有这些SDK,但这款399美元的Kinect已经开始预定,预计将于6月底向开发者发货。

微软提供了一系列示例,来说明开发人员能够如何在零售、制造甚至医疗保健领域中使用Azure Kinect DK。比如在零售商店中,开发者可以使用这款新的Kinect来跟踪产品和管理库存,并且鉴于Azure Kinect DK具备对身体跟踪的支持,它甚至可以用于无人商店。与最初的Kinect非常相似,其用例将取决于创意开发人员如何使用它。

但这个新的Kinect传感器不会取代Kinect for Xbox,它不是为与Xbox一起使用而设计的,并且开发人员可以在有或没有Azure的情况下使用它。外媒记者在现场尝试了一下新Kinect的身体跟踪功能的简短演示,可以使用新的SDK来测量跳的多高,当这款设备在6月下旬出货时,身体跟踪SDK也将可以使用。它让我想起了很多早期的Kinect演示,但新的传感器外形更小,并且有了明确的用途。它不再是游戏外围设备,它是该公司用HoloLens构建的“第三个计算时代”的重要组成部分,同时也将助力微软的Azure云服务。

最初发布于2019年2月26日

原文链接:https://www.theverge.com/2019/2/25/18239860/microsoft-kinect-azure-dk-hands-on-mwc-2019

在高等教育中使用VR/AR/MR 提升的不只是教学效果

虽然很多大学都标榜自己是技术领域的先锋,但当在其核心业务中应用新技术时,他们已经落后于潮流。

虚拟教学环境现在正被广泛应用,虽然沉浸式技术(包含虚拟现实、增强现实和混合现实)相关的应用正在快速增长,但高等教育在这一领域只有极低的参与度。

大多数的大学在使用这些技术创新方面明显缺乏战略导向。新技术要想被广泛应用,还需要很长的时间,而研究VR/AR/MR则需要用户熟悉沉浸式内容的创作。

但是,没能及早投入到VR/AR/MR,意味着对机会的浪费。这项技术在学术界的高效和广泛的实用性已经被公开的研究所证实。这些研究成果还需要更加广泛地在大学的领导层和学术界进行宣传,并令人信服。

无论是在教学过程中沟通关键的概念,还是展示研究成果,沉浸式技术都是一个非常高效的方式,尤其是对来自不同学科的人而言。VR/AR/MR可以被看做是大学的传播策略的一部分,可以用来向专业学者和学生们推广和宣传他们最具创新性的研究和教育成果。随着在高等教育领域对社交媒体的应用逐渐成为常态,这将会为公众的在线参与增加一个全新的可互动的维度。

VR/AR/MR内容也可以作为对传统的学术出版物的补充信息被更广泛地应用。比如展示那些研究图表、课本或学术期刊无法呈现的内容。确实,沉浸式内容不仅能够成为补充材料,如果出版商们允许的话,尤其是如果这种内容能够被学术机构认可,并且为混合媒体制定标准的话,将会为传统的学术领域带来大量新内容,并鼓励新内容的创作。

高等教育机构应该提供培训,以确保他们的学者们和学生们理解VR/AR/MR与他们的工作的关系,并且具备基本的知识来使用和创作沉浸式内容,有专用的空间来研究VR/AR/MR,并且促进有规律的训练工作,来掌握如何使用VR/AR/MR技术。

外部的团队也可以通过与学者和学生们合作创作沉浸式的材料,在该过程中扮演重要的角色。因为通过廉价的消费级设备,可以很容易地接触到VR/AR/MR,为普通大众创作沉浸式体验也可以提升大学的影响力。考虑到VR/AR/MR在学校中的应用正日渐增加,它还能让未来的学生们参与其中。

但这不仅仅是关乎公众参与度。VR/AR/MR能够帮助改变研究和教学二者整合的方式。

在基于研究的教学框架内,学生们被鼓励向内部和外部的观众们展示其学术成果。他们能够被支持来创作沉浸式的“展示档案”,甚至可以将其作为大学课程的一部分来提交。

这不仅非常符合公众参与策略,同时还能帮助学生们根据他们的学术研究来创作跨学科的内容。比如,他们可以使用增强现实来为自己的研究成果创作可互动的评论专栏。

教育领域的VR/AR/MR技术用户的数量正在不断增长。根据Goldman Sachs的报告,到2025年,这一数据将会达到1500万。尤其是VR应用,其在高等教育领域的应用会快速增长。根据Gartner的预测,到2021年,60%的美国高等教育机构将会使用这项技术来创作模拟器和沉浸式学习环境。

目前,已经有一些机构在拥抱这些具有变革力的工具。下面是高等学校能够通过使用VR/AR/MR来获益的四种方式:

1、提供沉浸式的学习机会

用在课堂中的沉浸式技术应用种类繁多,有些高等教育机构正在使用这些技术来提升犯罪学、医疗、农业和美术方面的教学水平。比如,在加利福尼亚州健康科学西部大学中,有一个虚拟现实学习中心,其中有一个虚拟的解剖图谱,可以让学生们通过移动虚拟器官的图层来学习解剖学知识。他们可以看到超过300个可视化的解剖图,而这些解剖图是通过对真实患者和尸体的扫描来制作的。

为了帮助学生掌握地球科学方面的知识,东密歇根大学的教授使用微软的XBOX Kinect摄像头、数字投影仪、电脑和可视化软件开发了一个AR沙盒。学生们通过操作一个投射到沙盒上的数字地图,能够创作出山脉、火山、河道、冰川或虚拟的雨。

2、培训未来的教师来利用VR技术工具

理海大学正在培训未来的教育者在教室中使用沉浸式技术。在该大学的教学创新中心,Scott Garrigan教授正在使用两套HTC Vive来培训学生和全体教员。除了增加上手经验之外,Scott Garrigan教授还说,这些体验可以帮助学生思考如何使用教育工具,帮助他们掌握知识。

3、让学生们为新的VR行业做准备

VR在高等教育中应用的增长已经不仅仅是用这项技术来提供革命性的学习体验。高等教育机构还发现,他们需要让学生掌握技能来从事这个生机勃勃的行业,无论是开发内容,还是帮助提升这些技术,因为VR/AR/MR技术正在逐步走向主流。

在这方面,像是查普曼大学和华盛顿大学这样的高等教育机构正在开发全新的专业、课程和研究实验室,来促进开发和知识的分享。

4、吸引和招募新的学生

现在的学生们并不是唯一受益于VR和AR的群体。一些高等教育机构已经在他们招募新生的策略中加入了这些技术,并且获得了不错的效果。在2015年,萨凡纳艺术与设计学院向其30000名提交申请的学生寄送了Google Cardboard,让他们可以先行探索该学校位于亚特兰大和萨凡纳、香港、和法国拉科斯特的校园。在使用该项目12个月的时间里,萨凡纳艺术与设计学院的招生成功率提升了26%。

将学生、学者、研究和教育紧密联系在一起,是一个非常强大的重塑高等教育的方式。我们相信,为在学术界应用VR/AR/MR技术创建一个有效力的闭环是有可能的,这个闭环会为学生、学者、市场营销人员和普通大众带来效益。

最初发布于2018年5月15日

原文链接:https://www.timeshighereducation.com/opinion/universities-should-immerse-themselves-virtual-reality#survey-answer

[盘点]以色列的VR/AR公司在医疗方面的成果超乎你的想象

来自以色列的科技公司正在使用充满未来感的技术,比如VR和AR,来简化复杂的手术过程、促进患者的康复、减少病痛、安抚自闭症儿童等等。

脊柱和心脏手术可以通过增强现实(AR)技术来简化原本复杂的过程。自闭症儿童也能通过虚拟现实(VR)系统,从感官超载中获得解脱。

这些都已经由以色列的创新型公司变成了现实,他们正在挖掘VR和AR在疾病治疗和康复过程中的无限潜力。

“以色列处在VR/AR技术中某些领域的最前沿,”以色列艾瑞尔大学的理疗学教授Orit Elion说道。他曾经在去年举办了一场研讨会,来加强VR/AR开发者和医疗保健领域的研究者之间的协作。

Elion帮助特拉维夫特哈休莫医院Chaim Sheba医疗中心开发了一个基于VR的远程康复服务,现在已经遍布以色列各地,该服务可以被用来监看家庭休养状况,或者在医疗保健中心对在其他地方的病患进行临床治疗的指导。

“目前,全世界还没有多少地方能实现这种医疗服务,这是没有地理局限的,”Elion教授说道。

目前,她正在研究VR能够如何帮助老年人维持肢体平衡并防止跌倒。“VR对于这一领域来说是非常梦幻的,因为你可以使用各种各样的视觉元素对其中的环境进行控制,”她说道。

接下来,笔者为大家盘点一些以色列的VR/AR公司在医疗健康领域的研究进展。

神经外科

Surgical Theater开发了一个VR工具包,外科医生们可以在其中培训复杂的手术过程,就像这家公司的创始人以前培训以色列空军时那样。

那些大医院的神经外科医生们和美国的学术机构,以及其他的一些地方,正在使用Surgical Theater开发的VR医疗可视化平台,来进行手术的设计和导航、医患沟通和培训外科住院医生。

这家由前以色列空军人员组建的公司成立于2010年,在2015年和2016年获得了HTC的两轮融资。

心脏手术

在2018年一季度,RealView Imaging将会发布其备受期待的HOLOSCOPE-i,该设备可以在介入性心脏手术过程中提供实时的、浮在空中的3D全息视觉辅助功能。

HOLOSCOPE-i使用了英特尔RealSense SR-300系列摄像头,基于RealView专利的数字光学成形技术,这是首个实现商用的系统,可以让临床医生们完全地、实时地引导并控制3D图像。医生们可以对漂浮在空中的全息图像进行旋转、缩放、切割、标记和测量。

在此之后,RealView Imaging还将推出HOLOSCOPE-x,让医生们可以在介入性肿瘤手术中看到患者体内的全息图像。此外还有一款为非医学专业应用而开发的全息头显。

脊柱外科手术

Augmedics创建于2014年,因其正在研发中的ViZOR外科手术可视化解决方案而屡获大奖。最初,该产品旨在辅助脊柱微创手术。ViZOR使用了AR光学技术,将患者的脊柱CT图像的三维模型以及外科手术工具或移植物,实时地直接投射到医生的视网膜。

Augmedics目前位于以色列Yokne’am的TerraLab孵化器,在最近获得了830万美元的A轮融资,但目前其产品还没有经过临床测试。

“我们完成了可行性测试和概念论证,现在正在开发原型机,”Augmedics的联合创始人Nissan Elimelech说道。他是一位生物医学工程师、发明家、医疗设备企业家,他在Medtronic公司脊柱手术部门工作时发现了对这种设备的需求。

Augmedics其他的合伙人包括牛津大学的物理学家Nessi Benishti,他为医学影像开发算法,以及霍隆市Wolfson医疗中心的脊柱外科高级医师Raphael Lotan博士。

感觉调节

通过使用VR眼镜,Calma系统可以把自闭症儿童沉浸在一个模拟的水下场景中,其中有各色珊瑚、色彩斑斓的鱼、气泡和潜水员。

“有自闭症的孩子们通常都会有感觉适应障碍的问题,传统的治疗方法都是把他们放在一个‘空屋子’里,然后逐渐给他们引入不同的物体。这种疗法不仅昂贵,而且并不容易做到。我们首创了这种在VR中模拟空房子的体验,”Dan Kohen-Vacs说道。他是霍隆理工学院(HIT)的计算机科学高级研究员,而Calma正是在去年诞生于这个学院。

Calma提供了一个控制面板,可以让医师根据自闭症儿童的反应,实时的对环境做出调整,比如增加、修改或移除刺激物(包括声音)。其目标在于训练孩子的感觉调节系统,以更好地掌控其接触到的听觉和视觉刺激物,达到感觉上的平衡。

“我们即将完成首个概念验证版本,并且将在耶路撒冷的Dekalim学校中对其进行测试,“Kohen-Vacs说道。HIT的技术转化公司将会开发该系统的商业化产品。

”我们的计划是将其推向其他地区。甚至让患者在家中使用它也是有可能的。你只需要一台智能手机和类似谷歌Cardboard的设备,就可以使用它,“Kohen-Vacs说。

位于德卡里姆的职业治疗师Amit Bar-Tov认为,Calma系统融合了”学生们对于情绪调节和感觉调节的极大的热情,对于技能的学习和与环境之间联系的建立,将会是一个巨大的提升。“

烧伤康复

Josef Haik博士是Sheba医学中心烧伤科的总监,他将VR用作安抚重度烧伤患者的工具已经有了超过十年的时间。

”主要是用于早期的活动和康复,以及重获日常生活中所需的技能,“Haik说道。

在2004年,Sheba安装了一套大型的计算机辅助康复环境系统(CAREN),这一开创性的举措旨在探索VR在治疗和康复过程中的应用。烧伤患者无法被移动到CAREN治疗室,Haik想到了一个成本较低的可移动的选择,他使用了EyeToy,也就是曾经用于PlayStation的摄像头。而现在,他在使用Kinect配合为残疾患者开发的游戏。

VR游戏疗法有一些独特优势,Haik列举道:游戏可以分散患者的注意力,也就减少了他们感觉到的病痛;可以让患者通过屏幕逐渐适应观看并接受身体的烧伤区域;通过一些奖励,比如积分,来继续治疗过程。更重要的是,患者无需佩戴或触摸任何东西,避免了交叉感染的风险。

Haik在2006年的一项研究中报告了这种疗法,并且将其成果提交到了美国烧伤协会以及世界上的其他机构。

中风和外伤性脑损伤

SeeMe VR康复系统是由位于佩塔提克瓦的Beit Rivka老年康复医院的物理治疗师与波兰的Brontes Processing联合研发的。该系统用于中风或外伤性脑损伤患者,2009年就已经上市,使其成为首个用于此类患者的商用VR系统。

SeeMe的技术是通过Kinect控制器或标准的网络摄像头将图像传输到患者的电脑,并且将患者沉浸到一个定制的电脑游戏中,在这个游戏中,患者需要完成由医生制定的练习项目。

医生可以使用该系统来评估患者的力量、耐力、运动范围、姿势控制、反应时间、本体感受、运动质量、知觉、分配性注意和记忆力等等。

帕金森病和多发性硬化

以色列理工大学、特拉维夫医疗中心和特拉维夫大学的科学家们在过去几十年间的研究成果显示,在步态训练中加入VR头显,可以改善患有多发性硬化患者的行走能力,并且降低了帕金森患者跌倒的风险。

去年9月份发布在《神经病学》杂志上的最新研究发现,VR训练确实改变了帕金森患者的脑激活模式。

姿势训练和疼痛缓解

位于凯撒利亚的Motorika Medical公司开发的ReoAmbulator机器人步行训练设备可以帮助成年人和儿童改善步行、平衡性、协调性、姿势和耐力,当他们在完成VR中的任务时,可以改善其运动机能和认知功能,包括记忆力和选择注意。而将这些任务整合在一起,则意味着会提升挑战的程度,并且会导致更好的训练结果。从2014年上市到现在,ReoAmbulator已经应用于两个亚洲国家、五个欧洲国家和美国,目前已有超过30套的安装量。

另外,在特拉维夫和波士顿办公的VRHealth正在与Oculus、HTC、微软这样的头显厂商合作,推出其首个跨平台的VR医疗康复应用。

“我们认为,我们是唯一的将沉浸式头显用作经过认证的医疗软件的医疗设备公司,”VRHealth的创始人Eran Orr说道。“之所以称其为医疗设备,取决于你如何保证数据加密,如何整合电子的医疗记录,以及是否有可计费的医疗代码,以保证让医师使用。我们开发的每个App都有质量保证。”

VRHealth的旗舰产品VRPhysio应用软件(两款颈部治疗应用,一款肩关节治疗应用)已经获得了FDA认证,并且首先用在了斯波尔丁康复医院和波士顿的Beth Israel Deaconess医疗中心,其在欧洲的CE认证也即将完成。

VRHealth计划在一年内发布四款新的产品,分别是:VRCoordi,该产品会与VRPhysio一起,改善患者的协调能力,首先是有发展协调障碍和各种不同水平的自闭症的孩子们;VRCogni,来改善中风患者、老年痴呆症患者、脑震荡患者、帕金森病患者的认知功能;VRReliever,通过分散注意力来管理慢性和剧烈的疼痛;VRPsyc,增强精神障碍的治疗效果,包括常见的紧张、恐惧症、焦虑症、进食障碍和创伤后应激障碍(PTSD)。

“我希望我们公司能够在整个医疗健康领域做出一些不一样的东西,每家医院、诊所和赡养院都会使用,因为VR能够为每个领域带来巨大变革,”Orr说道。

“我认为,以色列在这项技术上有巨大的潜力,因为这里的工程师和开发者的品质决定了我们能够快速开发产品,并且抢先将其推向市场。这也是我们将研发工作放在以色列的原因。”

最初发布于2018年2月1日

原文链接:https://www.israel21c.org/8-ways-augmented-and-virtual-reality-are-changing-medicine/