混合现实XR

XR扩展现实的简要分析

什么是XR?

扩展现实(Extended Reality),简称XR,是指真实与虚拟环境以及人机交互设备和技术相结合,通过计算机技术和可穿戴设备进行实时计算,其中X为变量,可以是现在或者是未来的空间计算技术。 扩展现实(Extended Reality)包括增强现实(Augmented Reality-AR)、虚拟现实(Virtual Reality-VR)和混合现实(Mixed Reality-MR)。

1.png/

1994年,Paul Milgram和Fumio Kishino在论文[1]中提出了混合现实的定义,并用虚拟连续体(Virtuality Continuum)坐标的形式来说明三者之间的关系,以及从现实世界到现实世界的转变过程。完全虚拟化的环境,即现实与虚拟的融合过程。

2.png/

简而言之,扩展现实(XR)不仅是VR、AR和MR的集合,而且是三者的融合,但VR、AR和MR又有所不同。

3.png/

01 虚拟现实-VR

所谓虚拟现实(VR),从理论上讲,是一种可以创建和体验虚拟世界的计算机模拟系统。 它使用计算机生成模拟环境并使用户沉浸在该环境中。 因为这种环境不是我们能直接看到的,而是通过计算机技术模拟出来的真实世界,所以被称为虚拟现实。

4.png/

1957年,电影摄影师Morton Heiling发明了一种名为Sensorama的模拟模拟器,它使用三面显示器来营造空间感。 用户坐在椅子上并将头探入设备中即可体验沉浸感[2]。

5.png/

1968年,美国计算机图形学之父、图灵奖获得者伊万·萨瑟兰(Ivan Sutherland)开发了第一个计算机图形驱动的头盔显示器“达摩克利斯之剑”,这也是虚拟现实的雏形。

6.png/

如今,VR已经发展成为更加多元化的技术,尤其是技术日趋成熟,应用领域迅速扩大。 作为游戏玩家沉浸在游戏主机驱动的独特体验中的一种方式,VR游戏已经成为目前虚拟现实最大的应用领域。 同时,基于VR逼真的视觉效果和出色的沉浸感,VR技术广泛应用于虚拟训练、虚拟展示等领域。

02 增强现实-AR

增强现实技术是一种将虚拟信息与现实世界巧妙融合的技术。 它广泛采用多媒体、三维建模、实时跟踪注册、智能交互、传感等技术手段,结合计算机生成的文本、图像、三维模型、音乐、视频等虚拟信息后,虚拟内容通过技术手段(显示器、眼镜等)融入到人眼看到的真实场景中。 两类信息相辅相成,从而实现现实生活世界的“增强”。

7.png/

AR概念由波音公司研究员Tom Caudell于1990年提出。增强现实通过在平面显示器(电脑、电视、手机)上叠加真实图像和虚拟物品而进入公众视野。 1998年,AR首次被用来直播足球比赛的进攻黄线,而带来革命的是第一个增强现实SDK ARToolkit的发布,作为第一个AR开源框架。

8.png/

AR现在支持手机应用程序的开发,让AR走进我们的日常生活。 与此同时,人们并没有放弃沉浸感更高的可穿戴设备的AR实现。 谷歌于2012年6月推出谷歌眼镜,但其成熟度并不高。 近年来,它逐渐被MR设备取代。

9.png/

大多数人都熟悉的 AR 示例是“Pokémon Go”,这是一款允许用户通过智能手机捕捉特定生物并在现实世界中看到它们的应用程序。 自从Pokémon Go出现以来,AR更加频繁地出现在我们的生活中。

03 混合现实-MR

MR是AR的一种高级形式,它结合了VR技术,将虚拟元素融入到物理场景中。 目的是提供一个虚拟与现实结合的场景,即这些元素是真实场景的一部分。 在MR场景中,大多数虚拟内容是基于现实理解生成的,因此在体验上比纯虚拟化场景更加真实。

微软是这样区分VR、AR和MR之间的关系的:将图形叠加在物理世界的视频流上的体验就是“增强现实(AR)”。 遮挡视线来呈现数字图像的体验就是“虚拟现实(VR)”。 增强现实和虚拟现实之间实现的体验形成“混合现实(MR)”。

10.png/

目前,混合现实还处于探索阶段。 微软开发了Hololens第一代和第二代MR集成头带设备,向我们展示了MR应用在日常生活和工业中的多种可能性。 借助Hololens设备,我们可以与同事实时交互,或者与产品的数字孪生模型交互,实现快速诊断和分析。

11.png/

04 XR关键技术

目前,XR相关技术和产品仍处于开发阶段。 中国信息通信研究院在其发布的《虚拟(增强)现实白皮书》中提出了“五横两纵”的技术架构[3]。 “五横”是指近眼显示、感知交互、网络传输、渲染处理和内容制作五个主要技术领域。 “两纵”是指支撑虚拟现实发展的关键器件/设备和内容开发工具/平台。

12.png/

横向技术维度可细分为三层体系。 第一级由五类技术领域组成,每个领域又可以进一步细分为子领域和技术点。

13.jpg/

许多流行的XR技术正处于爬坡阶段,技术供需面临多重挑战。 据虚拟现实产业促进会(VRPC)行业分析与体验优化平台统计,用户体验痛点是缺乏优质热门内容; 高性能终端有一定的价格门槛; 外观不够美观,佩戴不够轻便; 分辨率、视场角等影响画面视觉质量的因素受到限制; 头部运动反应延迟,收敛调节冲突[2]。

14.jpg/

为了衡量XR的发展阶段,参考国际上对自动驾驶汽车智能化水平的分类,中国信息通信研究院将XR技术的发展分为以下五个阶段。

15.png/

XR应用场景

(1) 虚拟展览/会议

后疫情时代未来展览新常态在商务展览领域,国家大力倡导“云展览”,通过“云展示、云连接、云洽谈、云签约”实现远程多方协作,唤醒企业运营活力。 2020年11月,国务院《关于促进对外贸易创新发展的实施意见》指出,要利用5G、VR/AR等现代信息技术开拓市场,推动展览模式创新,探索线上线下同步互动、有机融合的办展新机遇。 模型。

16.png/

(2)工业应用

在《中国制造2025》重点领域技术路线图的重大政策文件中,虚拟现实被列为智能制造核心信息装备领域的关键技术之一。 基于工业互联网/物联网平台的扩展现实(XR)已成为实现数字孪生的核心技术之一。 通过工业仿真软件对产品或流程进行数字化映射,形成数字孪生图像,在虚拟空间中构建与物理世界完全等效的数字模型。 基于采集,虚拟现实解决方案实现数据信息与真实物理环境的交互,成为阶段性数据验证和业务流程参考的重要支撑。

17.jpg/

(3)军事应用

据报道,美国陆军在2021年与微软签署了价值219亿美元的合同。根据这份订单,微软将在未来十年内向美军提供总计12万顶HoloLens头盔以及相关技术支持。 这款MR头盔基于微软Azure的云计算和人工智能,通过MR头盔将图像叠加到佩戴者的真实视野中,提供3D地图显示、即时热成像夜视等信息,增强佩戴者的感知能力。

18.png/

(四)教育培训领域

XR在教育领域有很多应用场景。 一方面是培训,比如医疗培训,还有飞行员、驾驶员、宇航员的模拟培训等。NASA一直热衷于尝试各种VR技术。 在其喷气推进实验室,你可以看到各个VR厂商的最新甚至未发布的头显,包括Valve、HTC、微软、索尼、Oculus、三星等。

19.png/

(五)游戏娱乐领域

XR在游戏中的应用将成为行业发展的重要驱动力。 尤其是VR视频游戏,根据Steam游戏平台官方数据,2022年1月VR设备连接数将突破340万(2021年5月为298万)。

20.png/

XR 和虚拟宇宙

2021年被称为元宇宙元年,这一年元宇宙的概念一直在流行。 元宇宙一词最早由美国科幻小说家尼尔·斯蒂芬森在其1992年的著作《雪崩》中提出。 小说中,斯蒂芬森创造了一个与当时想象不同的互联网——“元宇宙(Metaverse)”,这是一个与社会紧密相连、与现实世界平行、在地理上相互隔离的三维数字空间。现实世界中的人们可以通过各自的“化身”进行交流和娱乐。

按照“元宇宙第一公司”Roblox的说法,真正的元宇宙产品应该具备八个要素,分别是:身份、朋友、沉浸感、低延迟、多元化、任意地点、经济体系、文明。

21.png/

可以说,XR是连接现实世界和虚拟世界的桥梁。 通过XR技术,元宇宙的概念可以建立在现实世界的基础上,同时也可以影响和反馈现实世界。 XR将创造一个虚拟与现实完全融合的世界。 XR技术既基于现实又超越现实,承载了更多的想象力和创造力。 在未来的元宇宙生态中,XR将带来更多的技术积累和突破,实现虚拟世界与现实世界的高度融合。

参考:

[1]Milgram P, Kishino F. 混合现实视觉显示的分类[J]. IEICE 信息和系统交易,1994,77(12):1321-1329。

[2] VR/AR/MR/XR概念解析,Mobile Labs公众号

[3] 虚拟(增强)现实白皮书(2021)中国信息通信研究院

[4]XR关键技术分析,Mobile Labs公众号

[5]微软《混合现实文档》

[6]扩展现实 XR 的移动未来,Qualcomm Technologies, Inc.

[7]虚拟与现实的交汇,XR如何打通元宇宙? 元宇宙新闻,