苹果专利:各种头显内CGR环境中虚拟对象的有形可视化

近日,美国专利商标局发布了Apple的一项专利申请,涉及计算机生成的现实(CGR)环境,更具体地说,涉及一种用于在头显内的CGR环境中提供虚拟对象的有形可视化的技术。Apple区分了将来的Apple头显(或各种头显)可能支持的CGR环境,例如VR(虚拟现实),AR(增强现实),MR(混合现实)和AV(增强虚拟)。

苹果首先指出,计算机可以将计算机生成的图像完全投影或部分叠加在用户的视野中,以提供用户可以体验的CGR环境。CGR环境可以基于不同类型的现实。

头显可以选择检测用户的真实运动并进行投影,并在CGR环境的一系列视觉图像或视频中模拟这些运动。

通过在CGR环境中投影或模拟的这些运动,用户可以与CGR环境中的对象进行交互。

Apple的专利涵盖了在CGR环境中提供虚拟对象有形可视化的技术,其中CGR环境为用户提供了与CGR环境进行交互的逼真的体验。

因为这种体验是现实和身临其境的,所以用户可以轻松地将CGR环境中的虚拟(因此是无形的)对象混淆为存在于CGR环境之外的真实的有形对象。

因此,该专利所描述的技术通过使用户能够快速且容易地在视觉上识别CGR环境内的对象是非有形的虚拟对象还是对应于真实环境中的真实物体(因此是有形物体),在用户与CGR环境交互时,增强了用户的便利性并进一步为用户提供了增强的安全性。

该技术不仅限于为特定类型的CGR环境提供有形的可视化,而是可以在任何类型的CGR环境中实现。这些环境包括基于混合现实的CGR环境和基于虚拟现实的CGR环境。

虚拟现实(VR)环境(或虚拟环境)是指被设计为完全基于计算机生成的一种或多种感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,计算机生成的树木图像,建筑物和代表人的化身,就是虚拟对象的示例。一个人可以通过模拟人在计算机生成的环境中的存在和/或通过模拟人在计算机生成的环境中的身体运动的子集来感知和/或与VR环境中的虚拟对象进行交互。

混合现实(MR)环境是指模拟环境,旨在将来自物理环境的感官输入并入其中。在虚拟连续性上,混合现实环境介于完全真实的物理环境和虚拟现实环境之间。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指一种模拟环境,其中一个或多个虚拟对象叠加在物理环境中。例如,用于呈现AR环境的电子系统可以具有透明或半透明的显示器,通过该显示器,人可以直接查看物理环境。该系统可以被配置为在透明或半透明的显示器上呈现虚拟对象,使得使用该系统的人感知叠加在物理环境上的虚拟对象。

增强虚拟(AV)环境是指一种模拟环境,其中虚拟或计算机生成的环境合并了来自物理环境的一个或多个感官输入。感觉输入可以是物理环境的一个或多个特征的表示。例如,一个AV园区可能有虚拟的树木和虚拟的建筑物,但是其中的人有着真实人物拍摄的照片中的人脸。另一个示例是,虚拟物体可以采用由一个或多个成像传感器成像的物理物品的形状或颜色。或者还可以这样示例,虚拟物体可以采用与太阳在物理环境中的位置一致的阴影。

有许多不同类型的电子系统,使人们能够感知和/或与各种CGR环境进行交互。包括头戴式系统,基于投影的系统,平视显示器(HUD),具有集成显示功能的车辆挡风玻璃,具有集成显示功能的窗户,放置在人眼上的镜片状的显示器(类似于隐形眼镜)。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。

头戴式系统可以具有透明或半透明的显示器,而不是不透明的显示器。透明或半透明的显示器可以具备一种介质,代表图像的光通过该介质被引导到人的眼睛。

显示器可以利用数字光投射、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。该介质可以是光波导、全息介质、光组合器、光反射器或其任意组合。在一个示例中,透明或半透明显示器可以被配置为选择性地变得不透明。

基于投影的系统可以采用视网膜投影技术,该技术将图形图像投影到人的视网膜上。投影系统还可以被配置为将虚拟对象投影到物理环境中,例如,显示为全息图或显示在物理表面上。

在一些示例中,系统#100包括设备100a。设备100a包括各种组件,例如处理器102,RF电路104,存储器106,图像传感器108,方向传感器110,麦克风112,位置传感器(多个)。一个或多个116,扬声器118,显示器120和触敏表面122。这些组件可选地在设备100a的通信总线150上通信。

在一些示例中,系统#100的元件在基站设备(例如,诸如远程服务器,移动设备或膝上型计算机的计算设备)中实现,并且系统#100的其他元件在头戴式设备中实现。显示(HMD)设备供用户佩戴,其中HMD设备与基站设备通信。

在一些示例中,系统#100包括两个(或多个)通信中的设备,例如通过有线连接或无线连接(HMD +MacBook或iPhone或iPad)进行通信。

美国专利局今天发布的苹果专利申请已于2019年第二季度提交,其工作可追溯至2018年第二季度。考虑到这是专利申请,因此目前尚不知道这种产品上市的时间。

最初发布于2019年11月4日

原文链接:https://www.patentlyapple.com/patently-apple/2019/11/apple-patent-describes-tangibility-visualization-of-virtual-objects-within-various-headset-environments.html

使命已完成 基于手机的VR已成为过去

移动虚拟现实头显帮助数以百万计的人体验了VR,但从近日开始,它们似乎已经完全成为过去。

Oculus首席技术官John Carmack上个月对手机驱动的Gear VR移动头显表示了“悼念”,他说属于这种形态的头显的时代已经过去了。并且Google刚刚透露,除了从最新的Pixel 4系列手机中取消对Daydream的支持之外,还将停止使用Daydream View移动头显。该应用程序仍可在旧手机上运行,但Google现在已经放弃了这个曾经被描绘成Android不可或缺的一部分的平台。

Daydream是在2016年亮相的,它是Google推出的更为简单的由手机驱动的Cardboard头显的后续产品。当时,Google预计在未来两年内,与Daydream兼容的手机将拥有“数亿用户”。但是,在2019年,没有哪一款新手机支持它。一位Google发言人表示,“它没有像我们希望的那样被广泛的消费者或开发人员所采用,而且随着时间的推移,我们已经看到Daydream View头显的使用量正在减少。”

出现这种现象并不奇怪。Cardboard提供了简单且可用的VR体验。《纽约时报》免费向其订阅用户提供了100万个头显。但这是一种超级便宜的一次性产品,旨在提供短暂的体验。但想要成为消费类头显则非常困难。“我们看到了智能手机VR的巨大潜力-能够随处使用随身携带的智能手机来提供身临其境的移动体验。但是随着时间的流逝,我们注意到一些明显的局限性限制了智能手机VR成为可行的长期解决方案。”

Google表示,人们不喜欢失去使用手机的能力,因为Daydream实际上需要进入独立的应用生态系统才能使用。这不是基于电话的VR的唯一问题。Carmack指出,身临其境的3D应用程序消耗了宝贵的电池,尤其是Gear VR令人讨厌的设置。“我认为最大的问题只是进入体验时的一些小麻烦,”Carmack说。

从数据上看,Gear VR受到了极大欢迎。三星在销售该设备的第一年就售出了至少500万台这种由Oculus提供技术支持的设备,而像Oculus Rift这样的高端头显则只卖出了数十万台。但是Carmack表示,它无法保留用户,因为“如果您必须将手机从手机壳中取出并放入头显中,你可能只会使用它两次。”三星尚未正式宣布停止Gear VR的生产。但是,这款头显似乎无法(至少在美国)通过三星商店或以第一方产品的形式从亚马逊和百思买等零售商处获得。

Daydream面临的问题虽然不像Gear VR这样繁琐,但是它还有另一个大问题:手机制造商不支持它。Google最初宣布了几个合作伙伴,包括三星,LG和HTC。不过,大多数厂商在添加对Daydream的支持方面都落后了,部分原因是许多手机的显示屏不符合Daydream的标准。

基于手机的VR头显也无法提供与Oculus Rift,HTC Vive或PlayStation VR相同的强烈物理体验。随着开发人员开始深入VR内容的开发,这种差距变得越来越明显。移动VR头显非常适合播放虚拟现实视频,但是VR视频很难制作,也很难变现,像Jaunt和Inside之类的早期VR电影公司正逐渐将注意力转向增强现实。Google曾收购了一些著名的VR应用程序,包括最受欢迎的绘画工具Tilt Brush,但大多数需要高端头显才能运行。

同时,独立式头显变得更便宜,功能更全面,增加了手持控制器和inside-out的跟踪功能。Oculus用Oculus Go移动头显填补了原本属于Gear VR的空间,现在它正在吸引用户使用Oculus Quest,这是一种更贵一些但功能也更强大的设备。当您可以以200美元的价格购买独立的Oculus Go或以400美元的价格购买Quest时,Gear VR这种100美元的塑料外壳似乎并不划算。

Google并未真正尝试赶上独立VR的潮流。它最初与HTC和Lenovo合作开发了两套独立的Daydream头显,但HTC 退出了交易,联想的Mirage Solo实际上只是一个开发工具包。在今年的I/O会议之前,Google虚拟现实和增强现实负责人Clay Bavor表示,该团队正在进行VR硬件的“深度研发”,“构建我们需要的Lego积木,以便将它们拼凑在一起,并制作出一些真正引人入胜的体验。”Google发言人还强调了该公司在移动搜索和地图的AR功能方面的工作。

Google发言人Michael Marconi拒绝评论Google独立式Daydream头显的计划。“拥有Lenovo Mirage Solo的人没有改变。他们将继续使用头显及下载的应用程序,并可以从Google Play商店下载新的应用程序。”他说。如果Google确实回到了虚拟现实,那么独立头显(或通过无线网络连接到手机的头显,如果未来的技术可以做到这一点)似乎仍然是最明确的选择。

简单的移动头显实际上只是一个装有镜头的盒子,基本的VR应用也不难制作。因此,移动VR可能不会完全消失。Marconi确认Google仍在其商店中提供第一方Cardboard头显以及来自Homido和Mattel等第三方销售商的设备。但是,随着Google和三星放弃Daydream和Gear VR,基于手机的成熟VR平台的梦想似乎已经结束。

最初发布于2019年10月21日

原文链接:https://www.theverge.com/2019/10/16/20915791/google-daydream-samsung-oculus-gear-vr-mobile-vr-platforms-dead