七鑫易維實現眼控VR全視場角追蹤技術或是

2019-05-02 05:45:36 来源: 汕尾信息港

摘要:VR設備上眼球追蹤的實現便與電腦裝備上實現眼球追蹤有很大的不同,在VR裝備上受使用條件和結構的限制,光學設計和追蹤算法都要更加精細和復雜。由于在玩家使用VR設備時,和人眼距離很近,瞳孔和虹膜與眼球并不在攝像頭的正面,而且還會被眼瞼和睫毛遮擋,通過傳統的算法很難準確定位眼球,此時傳統追蹤方式獲取的人眼模型會凸顯出來,這時人眼轉動就會對圖像產生非常大的影響,同樣的轉角造成的運動模糊也會變大,加大圖像處理方面的難度。

实现眼控VR全视场角追踪,算是VR领域的一个遗憾,国际范围内的SMI、Tobii等眼球追踪技术公司也尚未对外公布这一方面的成果,近国内眼球追踪技术公司也许有望实现突破。近日,七鑫易维对雷锋透露:眼控VR已研发成功,带有眼球追踪技术的VR头显已经进入测试阶段,已可以实现眼控交互和局部渲染。

从技术实现上讲,VR装备上眼球追踪的实现便与电脑设备上实现眼球追踪有很大的不同,在VR设备上受使用条件和结构的限制,光学设计和追踪算法都要更加精细和复杂。因为在玩家使用VR装备时,和人眼距离很近,瞳孔和虹膜与眼球并不在摄像头的正面,而且还会被眼睑和睫毛遮挡,通过传统的算法很难准确定位眼球,此时传统追踪方式获取的人眼模型会凸显出来,这时人眼转动就会对图像产生非常大的影响,同样的转角造成的运动模糊也会变大,加大图像处理方面的难度。

为了解决这一难题,可以采用特殊的光学装置,又针对VR设备优化追踪算法,这样便可以很好的捕捉人眼的特点点又不影响VR的体验。

眼控VR能够带来什么?

全视场角追踪

在VR设备上的眼球追踪需要追踪的范围非常大,几乎到达人眼的转动极限:垂直30°,水平50°,完全可以覆盖FOV大于110°的主流VR设备。按照人类眼动的极限来设计追踪方案,这样追踪范围广,可无死角覆盖全部VR显示屏幕。

高精度低延迟

除了追踪范围,另一个非常重要的元素便是追踪精度,尤其是在VR游戏当中,对操作的实时性和度要求非常高。要让玩家感觉不到延迟的存在,需要在眼动数据获取速度下功夫,而眼球追踪技术可以弥补这方面的缺憾。

防抖追踪算法

由于VR设备的使用时需要佩戴在头上,而且大部分VR应用都必须头部动作的配合,此时头动进程中便会造成VR装备与头部的位移变化,在这种运动状态下获取准确的眼球数据,无疑是对硬件和算法的挑战。所以可针对VR设备的眼控方案特别加入了防抖算法,这样玩家在使用过程中即便头动也不会影响眼球追踪的精度。

眼控VR将会为VR带来全新的玩法,在射击类游戏中可以由眼睛控制光标锁定,当用户闭上一只眼时自动调出瞄准镜等,还可以根据玩家在游戏场景中注视点不同触发不同的剧情,当玩家注视路口时,会自动出现地图导航,当注视NPC不同部位触发不同的剧情等。

除此之外眼控的交互方式还可以应用于游戏菜单,不需要使用的菜单会自动隐藏,使用时通过眼控触发,使VR界面更加干净。

这款眼控VR市场如何?

正因为眼控交互可以给VR带来诸多的方便和玩法,很多VR厂商都非常重视眼控VR的研发。七鑫易维目前正在测试的这款眼控VR,算法追踪速度为240Hz,延迟低于5ms,可实现全视场角追踪。其中对saccade处理,即快速眼动跟踪主要是通过眼跳基于高速追踪时,对眼球转动矢量进行处理得到,高于某个阈值就认为是眼跳。

在VR业内人士看来,视线跟踪是非常关键的技术,但重要的方向不见得在于控制,而在于显示优化和社交,视线的捕捉和重建直接会影响情感表达的效果。更有人认为眼球追踪会是下一代VR头显的标配,尽管在交互上还需要更多的内容支持,但相信以虚拟现实的发展来看,这并没有甚么问题,七鑫易维也更侧重于交互应用。

Oculus的老东家Facebook高管曾与七鑫易维洽谈,希望将眼球追踪技术应用到Oculus二代产品中,而国内公司也希望能将眼球追踪技术引入到下一代产品中,为其加入有竞争力的筹码。

目前VR正处在一个发展的高速期,虚拟现实在游戏和互动娱乐的前景已经很清晰了,但是整个行业仍处于襁褓期——我们不知道什么样的体验才是的,如何为虚拟现实寻觅更多的落地方式,除了像Oculus这样的虚拟现实老大哥外,国内外在专注技术研发的创新公司也在促进VR的发展。

诚然,眼球追踪和控制并非全新的技术产物,它早已在霍金和成千上万的残疾人士身上发挥出自己的作用,而运用于VR行业,也是一种新的尝试。一名VR行业内人士告诉雷锋:

“将这一技术应用到VR行业中来,结合NVIDIA的Gameworks VR来做多分辨率的视口渲染(眼球聚焦的区域采用高分辨率,其它区域采用低分辨率),也的确是一种可行的优化策略;亦或是将它作为一种结合头盔的新奇互动方式,用在未来的VR游戏中也未尝不可。不过这些构想恐怕都并不是直击行业的痛点,而是更接近当年的Leap Motion或者Myo那样,也许将引发一个有趣的话题,却难免后继乏力,无法真正普及到一般使用者中间。”

诸如此类的技术如何落地,如何真正的成为行业必需品或者某个应用领域的敲门砖,我们拭目以待。

滦县百日推进落实到位
我市实施出租汽车运价与成品油价格联动机制
路北区文化路街道健康楼社区举行表彰大会
本文标签: