如何自己测量VR视觉清晰度?

2024-03-11

如何自己测量VR视觉清晰度? VR视觉清晰度的现状与未来。

Github

大家好,我会尝试在这里讲清楚VR视觉清晰度这个话题。希望能让更多人了解到VR视觉清晰度的现状与未来。

电脑显示器和VR头显一样都使用了像素显示屏。

显示器的屏幕分辨率决定了它能呈现的图像分辨率上限。

当渲染分辨率超过屏幕分辨率时,我们称之为下采样,反之则为上采样。

在4K显示器上播放4K视频时,图像的每一个像素点都能与屏幕的物理像素点一一对应,从而达到最优的显示效果。

因此,在4K屏幕上播放8K视频并没有太大的意义,因为一旦渲染分辨率超过屏幕分辨率,视觉清晰度就不会有进一步的提升。

这也是为什么电脑系统的渲染分辨率通常与屏幕分辨率相等。

对于电脑屏幕来说,理解这些概念并不困难。

然而在VR头显下,图像的像素点与屏幕的物理像素点并非一一对应。

为了用更大的视场角提高沉浸感,VR头显的渲染管线会使用畸变算法对高分辨率的原始图像进行扭曲,以便将更大的视野压缩进有限的图像大小内。

然后,通过光学系统对图像进行反畸变处理,将其解压,最终传递给人眼。

因此,VR下的视觉清晰度还受到了光学系统的影响。

VR头显的透镜并不能实现100%的图像质量传递,透镜边缘的清晰度通常小于中心区域,所以非中心区域的图像质量会有所下降。

VR下并不存在单纯的上采样和下采样,两者是混合存在的。

因为畸变算法本身就在非中心区域进行压缩时,引入了下采样。

所以渲染分辨率通常大于屏幕分辨率。这一点因为比较反直觉所以经常被忽略和误解。

为了更好的展示这一点,我设计了基于验光字体的标准图像,OBSI。

与显示器最大的不同在于,在VR下,4K屏幕上显示的可能是经过扭曲和压缩的8K图像。

图像扭曲和光学反畸变过程,都会导致非中心区域的视觉清晰度损失。

此外,如果在VR串流时压缩了画质,也会造成额外的视觉清晰度损失。这点和在线视频的画质损失是类似的。

一般的显示器通常使用像素密度PPI(Pixels Per Inch)作为衡量屏幕分辨率的指标。

PPI表示的是每平方英寸的像素数量,数值越大,显示效果越精细。

然而,在VR环境中,我们更常用角像素密度PPD(Pixels Per Degree),而不是PPI。

这是因为PPI是物理性质的测量,而PPD是视觉性质的测量。

在VR下,由于屏幕与人眼的距离非常近,并且受到光学系统的影响,PPI与实际视觉清晰度的关系并不大。

因此,PPD是更适合衡量VR分辨率性能的指标。

PPD考虑到了屏幕的分辨率、实际尺寸、屏幕到人眼的距离,以及光学系统的清晰度等多个因素。

光学系统的性能通常由调制传递函数MTF来精确衡量。

MTF是一个综合了分辨率、对比度和清晰度等影响因素的指标,它决定了光学系统能够传递的细节程度。MTF值越高,图像的细节就越精细。

PPD实际上也是一个综合了光学系统性能的复合指标,因此,它并不像PPI一样是一个单一的数值。

对于一般的显示器,PPI在屏幕的各个部分都是相同的。

然而,PPD通常在中心最高,并且会在边缘逐渐降低。

听到这里你是不是觉得PPD很不错,但是如果你尝试去搜索PPD,就会发现根本不是这么一回事。

尽管我们可以通过屏幕分辨率和视场角大小来粗略估算PPD,但是视场角大小通常也只是一个估算值。

拿一个估算值去估算另一个值,精度可想而知。

此外,这种估算方法无法反映出光学系统的性能。

因为它只是一个中心PPD的估算值,无法提供非中心区域的PPD值。

VR厂商通常不会主动公布PPD,除非他们认为自己的产品在PPD值和光学系统性能上达到了行业领先的水平。

在这种情况下,视觉清晰度成为了他们的卖点,因此他们会愿意公布。

即便如此,他们也只会公布一小部分,而非全部的数值。

比如公布了部分PPD性能的Varjo VR-3和Pimax Crystal,还有公布了部分PPD和MTF性能的Quest Pro和Quest 2。

另外,也有一些公司生产和销售专门测试准确PPD和MTF等性能指标的设备。

但是,这些公司主要面向企业市场,其设备的价格通常极高且并未公开,因此普通消费者不太可能为了了解VR设备的视觉清晰度而购买这些昂贵的专业设备。

这使得PPD的实际应用情况颇为尴尬:VR厂商只报喜不报忧,只选择公布对他们有利的数据;而消费者却没有低成本的精确测量方法。

这些因素导致VR的PPD指标在大众认知中名存实亡。

人眼的正常视力大致相当于60PPD,而人类视力的上限大约是128PPD。

对于VR设备来说,达到三位数的PPD依然是一个遥不可及的目标。

不过是有部分设备比如Varjo VR-3的中心区域PPD是大于60的。这也是为什么Varjo乐意公布部分PPD值。

然而对于达不到60PPD的设备,VR厂商难道就理所当然选择不公开数值吗?

这种做法导致了公众对VR视觉清晰度认知的缺失,因为他们找不到简单有效的视觉清晰度测量指标。

这也间接导致了不精确的PPD估算方法的流行。

具体指标的缺失,也阻碍了VR视觉清晰度相关的科研工作。

当研究者想在论文里提及VR设备的PPD时,他们在网上不仅查不到具体的官方数值,还会看到一堆不一样的第三方估算数值。在这种情况下,他们只能选择忽视PPD。

以上的讨论主要集中在屏幕分辨率的视觉性能上,回想一下开头提到的屏幕分辨率和渲染分辨率的对比。

你会发现,PPD和MTF无法解释渲染分辨率对视觉清晰度的影响。

由于性能和续航的限制,VR一体机的默认渲染分辨率通常远小于串流模式。

在PC VR和串流下,用户可以自己设置渲染分辨率的大小。

不过目前没有一个简单的方法可以衡量渲染分辨率对视觉清晰度的影响。

既然现在VR厂商都在追求达到人眼正常视力的60PPD,那我们为何不直接将眼科的视力表应用到VR环境下,来测量从虚拟环境到人眼的端到端视觉清晰度呢?

这样做不仅可以避开不透明的PPD和MTF,还可以解释渲染分辨率对视觉清晰度的影响。

而且成本很低,从VR厂商到普通VR用户都可以用它来测量视觉清晰度。

一个很简单的事实是,人眼会转动,单纯在中心区域达到60PPD并不能满足人眼的正常视力。

VR下正常视觉的标准应该是所有区域都达到60PPD,目前没有设备可以做到这一点。

但我们可以通过测视力的方法,了解当前VR设备距离全方向的正常虚拟视力还有多远。

然而,现实生活中的视力表只能测量视野正前方的视力,因此在VR环境下,我们需要一个新的视力表来测量全方向的视力。

我在最近一篇论文里提出了一种新的指标,全向虚拟视力(OVVA),用于评估和量化VR 头显的视觉清晰度。

OVVA的测试方法基于现实中的视力测试,采用了特定的验光字体(optotype)作为识别目标,通过用户对这些字体的识别能力来评估头显的视觉清晰度。

OVVA的测试过程分为两个阶段,第一阶段测量中心虚拟视力(CVVA)来评估视野中心的视觉清晰度,第二阶段测量CVVA在视野中心之外的衰减,来评估头显的整体视觉清晰度分布。

在实验中,我们测试了三种VR头显设备,并在每种设备下设置了四种不同的渲染分辨率条件。

我们招募了30名参与者,他们被等分为三组,来测试不同头显下的OVVA数据。

为了更好地进行比较,我们把CVVA数值转换成了logMAR格式。

logMAR是一种视力的测量方式,它表示的是最小可辨识视角的对数值。

其本质是在测量视力的损失。

在logMAR中,0表示正常视力 (小数格式的正常视力为1.0)。

正数logMAR值(比如0.2)表示视力低于正常值,而负数logMAR值(比如-0.2)表示视力高于正常值。

在所有测试条件下,OVVA的第一阶段测量结果(即CVVA值)与渲染分辨率的像素大小(Megapixels)表现出强烈的相关性。

因此,我们对logMAR结果进行了线性回归分析。

结果显示,大多数测试条件下的R方值约为0.9。

这意味着我们的回归模型能非常准确地解释logMAR的大部分变异性,并且可以用于预测不同渲染分辨率下的CVVA值。

OVVA的第二阶段结果显示,视场角与验光字体的识别准确率有直接关系。

在非中心区域,Quest Pro的性能超过了其他头显,而在中心区域,其性能与Quest 2相似。

手机屏幕截图 描述已自动生成

Quest 2和Quest Pro有官方的中心PPD以及部分MTF数值。

OVVA结果与官方参数相符。

理想的VR头显应该能保障正常的中心虚拟视力,并在非中心区域无衰减,视场角应接近人眼。

OVVA是一个无需任何专门设备的两分钟快速测试,可以量化当前VR设备与理想VR设备之间的视觉清晰度差距。

用户、开发者和VR厂商都可以借助OVVA来测量VR环境中的端到端视觉清晰度。

此外,用户还可以利用OVVA轻松地衡量和理解不同条件下的视觉清晰度差异,例如对比VR串流和一体机模式。

最后,我们来探讨一下未来理想VR设备的形态。

首先,轻便的重量是长时间使用的必要条件。

目前,大多数VR一体机的重量都在500克上下。

随着技术进步,未来VR设备的重量应该能和当前的轻型OST头显看齐。

VR头带的设计并不像头盔那样能均匀分散压力,大部分的重量都压在脸部,这会对颈椎产生负担,长时间佩戴会感到不适。此外,与虚拟物体的交互也会增加手臂的负担,比使用电脑更容易疲劳。

对于需要依赖正常视力的场景,例如VR阅读、虚拟显示器以及需要精细操作的VR手术等,正常视力是必不可少的。

虚拟视力的损失可能是阻碍VR广泛应用的主要原因之一。

过低的虚拟视力还会加重由VR引起的眩晕症状。

如果你的视力是正常的,那么当前的VR头显可以近似看作是模拟近视眼的加重眼镜。

如果你本身就需要戴眼镜,那么你可以想象一下不戴眼镜生活的困扰。

Passthrough,也就是所谓的VST,现在也越来越普及。

VST的视觉清晰度构成更复杂,与相机质量关系密切。

网上有一些戴着VR设备开启passthrough功能出门散步或者开车的视频。

这就好比近视的人不戴眼镜,很危险,也会带来不适感。

而且VST本身还有延迟,低光环境下的噪点和过曝等问题,实际体验会更差。

在VST下开车,约等于是酒驾、近视不戴眼镜并且夜盲,头部还有额外的负重,所以很危险。

实际上,近视的人如果没有进行视力矫正,是无法通过驾照考试体检的。

VR是元宇宙的重要组成部分。

如果元宇宙能成为未来人们生活的一部分,那么人们肯定不希望体验到VR带来的视力损失,反应时间延迟和夜盲。

人们在现实生活中已经习惯了正常视力或者经过矫正的视力。

所以虚拟视力的不正常会带来很多不便,就像得了近视却不戴眼镜一样。

使用手机时,如果看不清细节,可以放大内容或者把手机拿近一些。

然而在VR环境下,如果看不清细节,唯一的选择就是把头靠近去看。

因为在VR环境下,屏幕到人眼的距离不会变,视场角也不会变。

如果想要理解我们距离完美的VR视觉清晰度还有多远,无需参考估算的PPD数值,也无需从VR厂商铺天盖地的宣传里大海捞针。

只需要花两分钟时间测一下OVVA,就能得出结果。

在VR环境下模拟正常视力,是未来VR视觉清晰度的一个重要里程碑。