虚拟现实VR

虚拟现实技术未来的发展将面临哪些挑战

无论是虚拟现实还是混合现实,要为任何“现实”开发内容,您需要的不仅仅是一个出色的开发平台。 对于熟悉开发传统屏幕 3D 环境的开发人员来说,VR 和 MR 在性能、用户体验、热和电池寿命管理以及调试方面提出了独特的挑战。 在今天的高通博客文章中,我们将探讨这一系列挑战,以帮助您进入沉浸式 VR 开发的世界。 以下为英伟网具体安排:

1.渲染和性能。 如果在 VR 设备上渲染虚拟世界听起来令人生畏,那么您可以放心,因为您可以利用大部分现有的 3D 渲染知识。 几何和对象剔除、网格简化以及通过深度缓冲和模板缓冲等机制避免过度绘制只是可应用于 VR 的一些基本 3D 渲染技术。

VR和3D渲染之间的主要区别在于设备本身。 例如,VR头显需要比传统平板屏幕承担更多的责任。 它需要检测用户运动(并启用眼球追踪)、执行渲染并协调两者以提供真实的虚拟视图,反映与现实世界相同的细节和响应水平。 VR 设备基本上在用户眼睛周围创建一个视口,具有相对较小的视图,可以在正确的位置提供正确的细节级别。

最好的方法是为眼睛的不同部位渲染不同层次的细节,这一过程称为注视点渲染。 注视点渲染可以是静态的,即注视点每个区域的细节级别保持固定,也可以是动态的,即细节级别发生变化。 在某些系统上,这种优化可以将渲染性能提高高达 20%,而对于某些 API,这一切只需几行代码即可实现。

2.用户体验设计。 高质量的沉浸式 VR 对于用户和系统来说都是非常“密集”的。 一般来说,您应该追求简短的、“一口大小”的体验,一些开发人员认为 5 分钟是理想的长度。 对性能要求较高的场景通常需要您在较重的负载下运行,而要求较低的场景则允许设备和用户放松一点。 为了适应这一点,游戏/应用程序设计师应该围绕较短的持续时间体验来规划内容、故事情节和虚拟环境。

另一个主要考虑因素是将大型虚拟空间映射到可用的物理空间。 目前的VR需要用户在可能比虚拟空间更小的物理空间中移动,系统主要通过各种运动传感器和动作捕捉设备来捕捉用户的动作。 对于包含旋转和平移的六自由度运动,建议您首先在游戏或应用程序中预先警告用户此类物理空间限制。

处理映射的选项还有很多,但一种简单的方法是计算可用的物理空间,然后当用户在导航过程中接近边界时淡入黑色。 您还可以显示一个屏幕元素(例如消息),指示用户已到达边界。

最后一个考虑因素涉及晕动病,当渲染的视图与用户的操作不同步时,用户可能会遇到晕动病。 因此,为了保证用户的舒适度,渲染性能在VR开发中至关重要,建议您将渲染性能提升至90FPS以上。 围绕上述“小规模”体验构建开发也能有所帮助。

3. 设备加热和电源管理。 功耗以及渲染和计算操作产生的热量是所有移动和可穿戴设备面临的问题,尤其是佩戴在用户脸上的 VR 耳机。 因此,在游戏/应用程序的整个开发周期中监控这一方面至关重要。 您可以使用各种工具来分析热数据和其他资源,例如 GPU 和 CPU 电源频率。

4. 调试。 在 VR 耳机等设备上调试游戏/应用程序可能会影响您查看 PC 屏幕和通过键盘调用调试命令的能力。 为了克服这个问题,您需要在项目早期进行一些创造性的规划。 以下想法可能会给您一些启发: (1) 将调试信息添加到视口中。 但请注意,VR 耳机的“屏幕空间”非常小,因此覆盖层可能难以阅读。 然而,像 FPS 计数器和温度这样的简单指标应该没问题。

(2) 使用Snapdragon Profiler的实时捕获功能可以记录游戏/应用程序中的指标。 (3) 请咨询设备的第三方/OEM制造商,了解他们提供的调试工具。 (4) 建立替代的移动机制,例如在开发过程中使用游戏手柄。 (5) 为可以在 PC 上查看的游戏/应用程序构建一个附加视口(类似于耳机视图)。 然后,您可以使用替代游戏机制,或要求其他开发人员在您专注于调试时使用耳机。 (6) 添加“秘籍”,例如传送到另一个虚拟空间,以便您可以在开发过程中快速导航到环境的不同部分。