苹果专利:各种头显内CGR环境中虚拟对象的有形可视化

近日,美国专利商标局发布了Apple的一项专利申请,涉及计算机生成的现实(CGR)环境,更具体地说,涉及一种用于在头显内的CGR环境中提供虚拟对象的有形可视化的技术。Apple区分了将来的Apple头显(或各种头显)可能支持的CGR环境,例如VR(虚拟现实),AR(增强现实),MR(混合现实)和AV(增强虚拟)。

苹果首先指出,计算机可以将计算机生成的图像完全投影或部分叠加在用户的视野中,以提供用户可以体验的CGR环境。CGR环境可以基于不同类型的现实。

头显可以选择检测用户的真实运动并进行投影,并在CGR环境的一系列视觉图像或视频中模拟这些运动。

通过在CGR环境中投影或模拟的这些运动,用户可以与CGR环境中的对象进行交互。

Apple的专利涵盖了在CGR环境中提供虚拟对象有形可视化的技术,其中CGR环境为用户提供了与CGR环境进行交互的逼真的体验。

因为这种体验是现实和身临其境的,所以用户可以轻松地将CGR环境中的虚拟(因此是无形的)对象混淆为存在于CGR环境之外的真实的有形对象。

因此,该专利所描述的技术通过使用户能够快速且容易地在视觉上识别CGR环境内的对象是非有形的虚拟对象还是对应于真实环境中的真实物体(因此是有形物体),在用户与CGR环境交互时,增强了用户的便利性并进一步为用户提供了增强的安全性。

该技术不仅限于为特定类型的CGR环境提供有形的可视化,而是可以在任何类型的CGR环境中实现。这些环境包括基于混合现实的CGR环境和基于虚拟现实的CGR环境。

虚拟现实(VR)环境(或虚拟环境)是指被设计为完全基于计算机生成的一种或多种感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,计算机生成的树木图像,建筑物和代表人的化身,就是虚拟对象的示例。一个人可以通过模拟人在计算机生成的环境中的存在和/或通过模拟人在计算机生成的环境中的身体运动的子集来感知和/或与VR环境中的虚拟对象进行交互。

混合现实(MR)环境是指模拟环境,旨在将来自物理环境的感官输入并入其中。在虚拟连续性上,混合现实环境介于完全真实的物理环境和虚拟现实环境之间。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指一种模拟环境,其中一个或多个虚拟对象叠加在物理环境中。例如,用于呈现AR环境的电子系统可以具有透明或半透明的显示器,通过该显示器,人可以直接查看物理环境。该系统可以被配置为在透明或半透明的显示器上呈现虚拟对象,使得使用该系统的人感知叠加在物理环境上的虚拟对象。

增强虚拟(AV)环境是指一种模拟环境,其中虚拟或计算机生成的环境合并了来自物理环境的一个或多个感官输入。感觉输入可以是物理环境的一个或多个特征的表示。例如,一个AV园区可能有虚拟的树木和虚拟的建筑物,但是其中的人有着真实人物拍摄的照片中的人脸。另一个示例是,虚拟物体可以采用由一个或多个成像传感器成像的物理物品的形状或颜色。或者还可以这样示例,虚拟物体可以采用与太阳在物理环境中的位置一致的阴影。

有许多不同类型的电子系统,使人们能够感知和/或与各种CGR环境进行交互。包括头戴式系统,基于投影的系统,平视显示器(HUD),具有集成显示功能的车辆挡风玻璃,具有集成显示功能的窗户,放置在人眼上的镜片状的显示器(类似于隐形眼镜)。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。

头戴式系统可以具有透明或半透明的显示器,而不是不透明的显示器。透明或半透明的显示器可以具备一种介质,代表图像的光通过该介质被引导到人的眼睛。

显示器可以利用数字光投射、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。该介质可以是光波导、全息介质、光组合器、光反射器或其任意组合。在一个示例中,透明或半透明显示器可以被配置为选择性地变得不透明。

基于投影的系统可以采用视网膜投影技术,该技术将图形图像投影到人的视网膜上。投影系统还可以被配置为将虚拟对象投影到物理环境中,例如,显示为全息图或显示在物理表面上。

在一些示例中,系统#100包括设备100a。设备100a包括各种组件,例如处理器102,RF电路104,存储器106,图像传感器108,方向传感器110,麦克风112,位置传感器(多个)。一个或多个116,扬声器118,显示器120和触敏表面122。这些组件可选地在设备100a的通信总线150上通信。

在一些示例中,系统#100的元件在基站设备(例如,诸如远程服务器,移动设备或膝上型计算机的计算设备)中实现,并且系统#100的其他元件在头戴式设备中实现。显示(HMD)设备供用户佩戴,其中HMD设备与基站设备通信。

在一些示例中,系统#100包括两个(或多个)通信中的设备,例如通过有线连接或无线连接(HMD +MacBook或iPhone或iPad)进行通信。

美国专利局今天发布的苹果专利申请已于2019年第二季度提交,其工作可追溯至2018年第二季度。考虑到这是专利申请,因此目前尚不知道这种产品上市的时间。

最初发布于2019年11月4日

原文链接:https://www.patentlyapple.com/patently-apple/2019/11/apple-patent-describes-tangibility-visualization-of-virtual-objects-within-various-headset-environments.html

我们第一时间体验了淘宝造物节”AR直播” 一起来解(吐)析(槽)吧

今天(7月8日)开始,2017淘宝造物节在杭州国际博览中心开启,持续至7月12日。与去年的淘宝造物节主打VR购物体验不同的是,今年的淘宝造物节增加了“AR直播”这一新奇的产品,根据之前笔者获得的消息,淘宝AR直播将通过3D空间重建、物体跟踪与检测等技术,打造现实虚拟叠空间,将真实的物理世界变成万物皆商品的世界。

听起来很流弊有木有?

并且根据官方提供的信息,此次淘宝AR直播还具有如下三个特点:

融合真实世界和虚拟世界

淘宝AR直播将完美融合真实世界和虚拟世界。淘宝将通过大数据计算到你的商品偏好,并以此来改变物理环境中的相关信息。

实时和真实世界产生互动-万物皆商品

通过淘宝AR直播,你将可以和真实的世界产生交互。AR镜头下,所有物体都将成为一件携带信息的商品,你随时可以了解这个空间里的任何物品和人,并与之发生互动。

行人检测和实时处理

利用行人检测和交互式视频流,淘宝AR直播将首次实现在直播画面中实时融合人物因素。通过AR直播,行人能够精准的被识别出来,每个消费者在每个场景下都可以精准的被识别出,并且可以任意摆放在其他的地方,你的偶像可能随时空降到你身边。

今天(7月8日)上午十点,AR直播正式开始了,笔者早已更新了手机淘宝APP,进入AR直播场景。

接下来是笔者对此次AR直播的解(吐)析(槽):

首先,直播中的画面应该是场馆中的一条通道,通道两侧是几家参展商,说好的根据大数据计算我的商品偏好呢?没有见到这条街里出现我曾经购买过的商品啊?其实我根本看不出来旁边的店是卖啥的。

其次,点击不断落下的俄罗斯方块,就算是与真实世界产生交互了?笔者试过了各种可能会产生交互的地方,除了传统平面直播具有的关注、喜欢、送礼物等功能之外,并没有任何与众不同的交互方式。那么,我该怎样看商品的信息呢?只让我看这条街,想买东西都无处剁手有木有?

还有,行人检测和实时处理的确是做到了,比如有时近处的路人头顶会有俄罗斯方块,当场景中出现奥特曼时,近处路人的头会变成奥特曼的头像。但是为啥场景中的人背对镜头时也给贴了个奥特曼头像?而且更要命的问题是画面抖动严重,定位跑偏很常见,尤其在近处路人较多时问题更加明显。

并且,这些问题在安卓手机和苹果手机上都存在,是的,笔者用一台安卓一台苹果同时观看AR直播,效果没有任何区别。

随着游人逐渐增多,上面提到的这些问题越来越严重了,实在是看不下去了,退了退了,晚点再看有没有改善吧。

这次淘宝AR直播虽然场景做的很炫酷,直播过程也很流畅,但距离“万物皆商品”的目标还很远。在笔者看来,技术提供方首先要解决画面抖动和定位精度问题,再来谈结合电商。毕竟用户体验是第一位的,牺牲用户体验的前提下,用再先进的技术都是白搭。

不过,对于电商行业来说,这仍然是一次有益的尝试,起码从构思来说是很不错的。如果能够解决上述的问题,加入一些真正的交互内容,比如点击店铺的招牌进入展区内部,查看商品信息并跳转到下单支付页面,的确可以在一定程度上提高转化率。与VR购物那种还需要佩戴VR头显才能体验的产品相比,AR+直播+电商对于消费者来说要更加实际,使用起来也更加便捷。

截至发文,画面抖动和定位不准的问题仍然没有得到解决。即使如此,笔者仍然希望这种场景化电商能够尽快实现。AR技术并不是仅仅能够用于游戏或者工业领域,其实是可以更加贴近生活的,有了阿里这样的巨头带路,相信VR/AR等先进技术的应用场景还会不断得以拓展。

最初发布于2017年7月8日