图像处理方法、装置、AR设备以及存储介质与流程

本申请涉及增强现实，更具体地，涉及一种图像处理方法、装置、ar设备以及存储介质。

背景技术：

1、眼动追踪技术被广泛应用在头戴式增强现实装置中，其可以实现眼动交互、眼动渲染等功能。

2、相关技术提供的眼动追踪技术具体如下：头戴式显示装置的指定表面设置有红外光源，当用户佩戴头戴式显示装置时，红外光源处于发光状态，此时头戴显示装置中的近眼相机采集包含红外亮斑的人眼图像，准确确定红外光源与红外亮斑的对应关系，即可求解眼球视线。

3、其中，确定红外光源与红外亮斑的对应关系的方案如下：ar设备通过亮斑提取算法提取人眼图像中的亮斑，之后以最亮的亮斑为起点，假设多种红外光源与亮斑的映射关系，最后通过贝叶斯模型求解假设出来的映射关系的概率，将概率最大的假设出来的映射关系确定为用于求解眼球视线的映射关系。

4、上述确定红外光源与红外亮斑的对应关系的方案存在如下缺陷：假设多种红外光源与亮斑的映射关系需要穷尽所有可能性，导致确定的效率较低。

技术实现思路

1、本申请实施例提供一种图像处理方法、装置、ar设备以及存储介质。

2、第一方面，本申请实施例提供一种一种图像处理方法，应用于ar设备，ar设备设有多个光源，方法包括：获取目标图像，目标图像是在多个光源处于发光状态的情况下对佩戴ar设备的用户的眼睛采集得到的图像：基于目标图像和预先训练的神经网络模型获取至少两组候选光源亮斑映射关系，候选光源亮斑映射关系包括目标图像中的亮斑与ar设备中的光源的映射关系；分别确定每组候选光源亮斑映射关系的概率，候选光源亮斑映射关系的概率表征候选光源亮斑映射关系的准确程度；基于每组候选光源亮斑映射关系的概率，确定目标光源亮斑映射关系，目标光源光斑映射关系用于确定用户的注视区域。

3、第二方面，本申请实施例提供一种图像处理装置，装置包括：图像获取模块，用于获取目标图像，目标图像是在多个光源处于发光状态的情况下对佩戴ar设备的用户的眼睛采集得到的图像；映射关系获取模块，用于基于目标图像和预先训练的神经网络模型获取至少两组候选光源亮斑映射关系，候选光源亮斑映射关系包括目标图像中的亮斑与ar设备中的光源的映射关系；概率获取模块，用于分别确定每组候选光源亮斑映射关系的概率，候选光源亮斑映射关系的概率表征候选光源亮斑映射关系的准确程度；确定模块，用于基于每组候选光源亮斑映射关系的概率，确定目标光源亮斑映射关系，目标光源光斑映射关系用于确定用户的注视区域。

4、第三方面，本申请实施例提供一种ar设备，ar设备包括处理器以及存储器，存储器存储有计算机程序指令，计算机程序指令被处理器调用执行如第一方面的方法。

5、第四方面，本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有程序代码，在程序代码被处理器运行时执行如第一方面的方法。

6、第五方面，本申请还提供一种计算机程序产品，该计算机产品被执行时实现如第一方面的方法。

7、本申请实施例提供一种图像处理方法，通过预设的神经网络模型来获取多组候选的光源亮斑映射关系，之后分别计算候选的光源亮斑映射关系的概率，将概率最大的候选映射关系确定为用于求解眼球视线的目标候选映射关系，由于通过预先训练的神经网络模型来进行预先筛选可能性较大的候选光源亮斑映射关系，无需穷尽所有可能性来进行列举，因此可以减小后续概率计算的计算量，提高目标光源亮斑映射关系的确定效率。

技术特征：

1.一种图像处理方法，其特征在于，应用于增强现实ar设备，所述ar设备设有多个光源，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述预先训练的神经网络模型包括特征点定位模型，所述基于所述目标图像和预先训练的神经网络模型获取至少两组候选光源亮斑映射关系，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述亮斑的位置信息和多个所述区域，确定至少两组所述候选光源亮斑映射关系，包括：

4.根据权利要求2所述的方法，其特征在于，所述眼睛关键点包括眼角、眼睑、瞳孔；所述方法还包括：

5.根据权利要求2-4任一项所述的方法，其特征在于，所述特征点定位模型的训练过程如下：

6.根据权利要求1所述的方法，其特征在于，所述预先训练的神经网络模型包括图像处理模型，所述图像处理模型是采用第二样本图像对第二初始模型进行训练得到的模型，所述第二样本图像包括标注光源亮斑映射关系；所述基于所述目标图像和预先训练的神经网络模型获取至少两组候选光源亮斑映射关系，包括：

7.根据权利要求6所述的方法，其特征在于，所述图像处理模型的训练过程如下：

8.根据权利要求1至4任一项所述的方法，其特征在于，每组所述候选光源亮斑映射关系包括多个亮斑光源对，每个亮斑光源对包括亮斑以及所述亮斑对应的光源；所述分别获取每组所述候选光源亮斑映射关系的概率，包括：

9.一种图像处理装置，其特征在于，所述装置包括：

10.一种增强现实ar设备，其特征在于，所述ar设备包括处理器以及存储器，所述存储器存储有计算机程序指令，所述计算机程序指令被所述处理器调用执行如权利要求1-8任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码被处理器调用执行如权利要求1-8任一项所述的方法。

技术总结
本申请实施例提供一种图像处理方法、装置、AR设备以及存储介质。该方法包括：获取目标图像，目标图像是在多个光源处于发光状态的情况下对佩戴AR设备的用户的眼睛采集得到的图像：基于目标图像和预先训练的神经网络模型获取至少两组候选光源亮斑映射关系；分别获取每组候选光源亮斑映射关系的概率；基于每组候选光源亮斑映射关系的概率，确定目标光源亮斑映射关系。本申请实施例提供的技术方案，由于通过预先训练的神经网络模型来进行预先筛选可能性较大的候选光源亮斑映射关系，无需穷尽所有可能性来进行列举，因此可以减小后续概率计算的计算量，提高目标光源亮斑映射关系的确定效率。

技术研发人员：弓殷强,高飞,郭俊佳,李屹
受保护的技术使用者：深圳光峰科技股份有限公司
技术研发日：
技术公布日：2024/1/22