一种基于非线性偏差校准的视线估计方法及装置与流程

本发明涉及人机交互，尤其涉及一种基于非线性偏差校准的视线估计方法及装置。

背景技术：

1、视线估计作为眼动跟踪的重要任务之一，具有非常广泛的应用场景，如人机交互、智能驾驶、情感分析、意图识别等等。随着深度学习方法的发展，基于外观的视线估计方法越来越受到研究者的关注。基于外观的视线估计方法，通常只需要借助简单的设备，如网络摄像头。该方法主要通过学习摄像头获取的人脸信息与注视视线的映射关系，实现视线估计功能。

2、然而模型的估计结果往往与真实结果存在偏差。由于人体眼球结构的差异，视轴与光轴之间存在角度偏差，且该偏差无法通过图像信息学习得到，导致学习到的模型无法适用于所有人，在应用过程中往往需要通过个性化校准来提高视线估计的精度。常用的个性化校准方法包括模型微调、偏差估计等方法。模型微调的方法，通常需要比较多的用户数据，且校准过程比较耗时；偏差估计的方法，速度较快，但当前基于偏差估计的方法没有考虑到不同外形输入偏差不同的问题，且对于整体的偏差估计通常是线性的，在校准过程中，对于每一个新用户来说，只是计算得到一个固定的偏差估计值，即该方法最终的输出结果只是对模型的输出结果进行了线性变换。不同的视线会有不同的偏差，固定的偏差估计没法很好地适用于真实场景。同时，当前的方法没有考虑到不同外形输入偏差不同的问题。

技术实现思路

1、本发明公开了一种基于非线性偏差校准的视线估计方法及装置，提高视线估计的精准度。

2、为了实现上述目的，本发明提供了一种基于非线性偏差校准的视线估计方法，包括：

3、通过在屏幕上随机显示预设的视觉标志物，收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据；

4、通过预先训练好的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据分别对应的第一视线估计值及偏差估计值的第一系数；

5、根据所述第一视线估计值、偏差估计值的第一系数及所述视线落点数据，通过预设的目标函数，获得所述偏差估计值的第二系数；

6、根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值。

7、本发明公开了一种基于非线性偏差校准的视线估计方法，首先收集测试者对应的原始人脸图像及所述原始人脸图像对应的视线落点数据，接着根据预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据，便于后续根据所述人脸图像数据及所述人眼图像数据进行处理，接着通过预设的偏差校准模型对所述人脸图像数据及所述人眼图像数据进行识别处理，获得与人无关的第一视线估计值和所述人脸图像及所述人眼图像分别对应的偏差估计值的第一系数，接着根据所述第一系数、第一视线估计值及所述收集到的所述视线落点，通过预设的目标函数获得与人有关的第二系数，根据所述第一系数及所述第二系数，通过预设的非线性偏差函数及所述视线估计函数获得所述测试者对应的原始人脸图像对应的视线估计值，本发明根据预设的偏差校准模型获得与人无关的第一视线估计值及第一系数，并通过偏差校准模型得到校准数据的第一系数和第一视线估计值，及利用预设的目标函数获取与人有关的第二系数，考虑到了不同外形输入偏差不同的问题，同时，基于所述获得的第一系数及所述第二系数，根据预设的非线性偏差函数进而获得视线估计值，更好的适用不同的应用场景，提高了视线估计的精准度。

8、作为优选例子，在所述收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，具体包括：

9、通过在预设的视线采集装置的屏幕上的不同位置随机显示所述预设的视觉标志物，收集所述测试者在注视不同位置出现的所述视觉标志物时对应的原始人脸图像及所述原始人脸图像对应的视线落点数据。

10、本发明在进行视线估计之前，根据预设的视线采集装置在不同的位置显示视觉标志物，收集不同的用户在所述视觉标志物出现在不同的位置时对应的视线落点数据，以使得后续根据所述视线落点数据获得偏差值。

11、作为优选例子，在所述通过预设的人脸检测方式对所述原始人脸图像进行处理，具体包括：

12、根据预设的人脸检测模型及人脸关键点检测模型分别对所述原始人脸图像进行处理，获得人脸检测框及人脸关键点；

13、根据所述人脸检测框对所述原始人脸图像进行裁剪，获得人脸图像数据及通过所述人脸关键点对所述原始人脸图像进行裁剪，获得所述人眼图像数据；所述人眼图像数据包括左眼图像及右眼图像。

14、本发明根据预设的人脸检测模型及人脸关键点检测模型对所述原始人脸图像数据进行处理，以使得根据所述原始人脸图像数据获取对应的人脸图像数据及人眼图像数据，一方面剔除原始人脸图像中的无关数据，提高计算的效率，一方面通过分别获得用户的人脸及人眼图像，用于后续提取与用户有关的特征，提高视线估计的精度。

15、作为优选例子，在所述通过预设的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，具体包括：

16、根据所述偏差校准模型中预设的网络结构，提取所述人脸图像数据及所述人眼图像数据的特征，获得所述人脸图像数据对应的第一特征数据及所述人眼图像数据对应的第二特征数据，并融合所述第一特征数据及所述第二特征数据，获得第三特征数据；

17、通过所述偏差校准模型中预设的全连接层分别对所述第一特征数据、第二特征数据及所述第三特征数据进行学习，获得所述偏差估计值的第一系数及所述第三特征数据对应的第一视线估计值；所述第一系数包括所述第一特征数据对应的第一偏差系数及所述第二特征数据对应的第二偏差系数。

18、本发明根据预设的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据对应的偏差估计值的系数，同时基于所述人脸图像数据及所述人眼图像数据的特征提取，所述偏差校准模型输出与人无关的第一视线估计值，便于后续进行最终视线估计。

19、作为优选例子，在所述通过预设的目标函数，获得所述偏差估计值的第二系数，具体包括：

20、根据预设的目标函数对所述人脸图像数据及所述人眼图像数据对应的第一视线估计值、偏差估计值的第一系数及所述视线落点数据进行处理，获得所述偏差估计值的第二偏差系数；

21、通过预设的数值优化函数对所述第二偏差系数不断进行优化，获得所述偏差估计值的第二系数。

22、本发明根据预设的目标函数对所述人脸图像数据及所述人眼图像数据对应的第一视线估计值、偏差估计值的第一系数及所述视线落点数据进行处理，获得与人有关的第二偏差系数，并根据预设的数值优化函数对所述第二偏差系数进行优化处理，提高了所述第二系数的准确度，同时本发明基于所述目标函数获得的与人有关的第二系数，考虑到了外形不同而造成的偏差不同的问题，提高了视线估计的精准度。

23、作为优选例子，在所述通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值，具体包括：

24、根据所述预先训练好的偏差校准模型获得的所述第一系数及所述偏差估计值的第二系数，通过预设的非线性偏差函数，获得所述测试者的原始人脸图像对应的视线偏差值；

25、根据所述视线偏差值及所述预先训练好的偏差校准模型获得的所述第一视线估计值，通过预设的视线估计函数获得所述测试者的原始人脸图像对应的视线估计值。

26、本发明根据所述获得的第一系数及第二系数，通过预设的非线性偏差函数获得偏差估计值，既考虑到了与人无关的对偏差估计造成的影响，又考虑到了与人有关的对偏差估计造成的影响，提高了偏差估计的精准度，同时，本发明采用非线性偏差函数，能计算不同角度视线的偏差估计值，能更好的适用不同的环境，提高该方法的普遍性。

27、作为优选例子，在所述偏差校准模型的训练过程，包括：

28、基于预设的深度神经网络结构构建初始模型，并在所述初始模型中引入两个深度神经网络结构分支，获得初始偏差校准模型；

29、通过预设的人脸检测模型及人脸关键点检测模型分别对获得的原始人脸图像进行处理，获得人脸图像数据及人眼图像数据；

30、根据所述人脸图像数据及所述人眼图像数据，不断地更新所述初始偏差校准模型的模型参数，同时根据预设的非线性偏差函数及预设的视线估计函数获取视线估计值，并采用均方误差损失函数计算视线估计值和真实值的损失值，采用梯度下降的优化方法获得所述偏差校准模型。

31、本发明基于预设的resnet18构建初始模型，同时引入两条resnet18网络结构分支分别对所述人脸图像及所述人眼图像进行处理，能够提取更加精准的特征，同时每个测试对象引入偏差估计的第二系数，可以让模型同时学习到与人无关的偏差系数以及与人相关的偏差系数，进而可以在不同的外形特征下得到更加精准的视线估计值。

32、另一方面，本发明提供了一种基于非线性偏差校准的视线估计装置，包括数据预处理模块、模型处理模块、偏差系数估计模块及视线估计模块；

33、所述数据预处理模块用于通过在屏幕上随机显示预设的视觉标志物，收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据；

34、所述模型处理模块用于通过预先训练好的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据分别对应的第一视线估计值及偏差估计值的第一系数；

35、所述偏差系数估计模块用于根据所述第一视线估计值、偏差估计值的第一系数及所述视线落点数据，通过预设的目标函数，获得所述偏差估计值的第二系数；

36、所述视线估计模块用于根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值。

37、本发明公开了一种基于非线性偏差校准的视线估计装置，首先收集获得的原始人脸图像对应的视线落点数据，接着根据预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据，便于后续根据所述人脸图像数据及所述人眼图像数据进行处理，接着通过预先训练好的偏差校准模型对所述人脸图像数据及所述人眼图像数据进行识别处理，获得与人无关的第一视线估计值和所述人脸图像及所述人眼图像分别对应的偏差估计值的第一系数，接着根据所述第一系数、第一视线估计值及所述收集到的所述视线落点，通过预设的目标函数获得与人有关的第二系数，根据所述第一系数及所述第二系数，通过预设的非线性偏差函数及所述视线估计函数获得所述原始人脸图像对应的视线估计值，本发明根据预设的偏差校准模型获得与人无关的第一视线估计值及第一系数，并通过预设的目标函数对所述第一系数及所述获得视线落点数据进行处理，获得与人有关的第二系数，考虑到了不同外形输入偏差不同的问题，同时，基于所述获得的第一系数及所述第二系数，根据预设的非线性偏差函数进而获得视线估计值，更好的适用不同的应用场景，提高了视线估计的精准度。

38、作为优选例子，在所述数据预处理模块包括数据采集单元、数据处理单元及裁剪单元；

39、所述数据采集单元用于通过在预设的视线采集装置的屏幕上的不同位置随机显示所述预设的视觉标志物，收集所述测试者在注视不同位置出现的所述视觉标志物时对应的原始人脸图像及所述原始人脸图像对应的视线落点数据；

40、所述数据处理单元用于根据预设的人脸检测模型及人脸关键点检测模型分别对所述原始人脸图像进行处理，获得人脸检测框及人脸关键点；

41、所述裁剪单元用于根据所述人脸检测框对所述原始人脸图像进行裁剪，获得人脸图像数据及通过所述人脸关键点对所述原始人脸图像进行裁剪，获得所述人眼图像数据；所述人眼图像数据包括左眼图像及右眼图像。

42、本发明根据预设的人脸检测模型及人脸关键点检测模型对所述原始人脸图像数据进行处理，以使得根据所述原始人脸图像数据获取对应的人脸图像数据及人眼图像数据，一方面剔除原始人脸图像中的无关数据，提高计算的效率，一方面通过分别获得用户的人脸及人眼图像，用于后续提取与用户有关的特征，提高视线估计的精度。

43、作为优选例子，在所述模型处理模块包括特征提取单元及第一视线估计单元；

44、所述特征提取单元用于根据所述偏差校准模型中预设的网络结构，提取所述人脸图像数据及所述人眼图像数据的特征，获得所述人脸图像数据对应的第一特征数据及所述人眼图像数据对应的第二特征数据，并融合所述第一特征数据及所述第二特征数据，获得第三特征数据；

45、所述第一视线估计单元用于通过所述偏差校准模型中预设的全连接层分别对所述第一特征数据、第二特征数据及所述第三特征数据进行学习，获得所述偏差估计值的第一系数及所述第三特征数据对应的第一视线估计值；所述第一系数包括所述第一特征数据对应的第一偏差系数及所述第二特征数据对应的第二偏差系数。

46、本发明根据预设的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据对应的偏差估计值的系数，同时基于所述人脸图像数据及所述人眼图像数据的特征提取，所述偏差校准模型输出与人无关的第一视线估计值，便于后续进行最终视线估计。