一种三维人眼视线标注方法

本发明属于计算机视觉，具体是一种三维人眼视线标注方法。

背景技术：

1、作为计算机视觉和人机交互领域的重要研究方向，人眼视线估计受到越来越多研究者的关注。人眼视线估计旨在模拟和理解人类视觉行为，通过图像分析技术推断个体注视的位置和方向等信息。

2、基于深度学习的视线估计技术能够准确预测个体视线方向，在人机交互、辅助驾驶和智能医疗等领域有着广泛的应用前景。而用于深度学习的训练数据是使计算机视觉系统能够识别、获取、表征和解释结果的主要先决条件，视线估计模型预测结果的准确性取决于训练数据的质量，因此有必要构建高质量的训练数据，训练数据由若干张标注的人脸图像组成。

3、目前，三维人眼视线难以通过人工标注，往往需要一些专业且昂贵的设备以及对应的复杂流程进行标注，且对人脸图像的采集环境要求苛刻，这就使得人眼视线标注非常困难，导致三维人眼视线数据集非常短缺，进而限制了视线评估模型的性能。针对前述问题，本发明提出一种三维人眼视线标注方法。

技术实现思路

1、针对现有技术的不足，本发明拟解决的技术问题是，提供一种三维人眼视线标注方法。

2、本发明解决所述技术问题采用如下的技术方案：

3、一种三维人眼视线标注方法，其特征在于，该方法包括如下步骤：

4、第一步，将带有相机的上位机部署在能够完整采集人脸图像的位置，获取上位机屏幕的分辨率和尺寸、相机到上位机屏幕任意角点q的距离以及相机和上位机屏幕角点q的连线与上位机屏幕长度方向之间的夹角；

5、步骤二，对相机进行参数标定，得到相机的内参矩阵和畸变系数；

6、步骤三，令人眼注视上位机屏幕上的目标观测点，利用相机采集人脸图像；获取目标观测点在像素坐标下的位置坐标，通过式(5)将目标观测点在像素坐标系下的位置坐标转换到屏幕坐标系下；

7、

8、式中，(x0,y0,z0)、(xmm,ymm,zmm)分别为目标观测点在像素坐标系和屏幕坐标系下的位置坐标，a、b为上位机屏幕的横向和纵向分辨率，w、h为上位机屏幕的宽度和高度；

9、根据相机到上位机屏幕角点q的距离以及相机和上位机屏幕角点q的连线与上位机屏幕长度方向之间的夹角，得到相机到屏幕坐标系各轴之间的距离δx、δy以及δz；根据式(6)，得到目标观测点在相机坐标系下的三维位置坐标(xw,yw,zw)；

10、

11、步骤四，对人脸图像进行特征点检测，提取左、右嘴角以及双眼的左、右眼角作为人脸特征点，获取各人脸特征点在图像坐标系下的二维坐标；

12、步骤五，将各人脸特征点与标准三维人脸模型的关键点进行匹配，根据n点透视位姿求解，得到相机坐标系与世界坐标系之间的绝对旋转矩阵和绝对平移向量；根据绝对旋转矩阵和绝对平移向量，将各人脸特征点在标准三维人脸模型中的三维坐标转换到相机坐标系下，得到各人脸特征点在相机坐标系下的三维坐标；将左、右眼角在相机坐标系下的三维坐标进行加权平均，得到人眼视线出发点的三维坐标；将人眼注视点的三维坐标与人眼视线出发点的三维坐标相减，即可得到人眼视线方向。

13、进一步的，所述屏幕坐标系的原点位于上位机屏幕的角点q处，屏幕坐标系的x轴指向屏幕长度方向，y轴指向屏幕宽度方向，z轴遵循右手定则。

14、进一步的，所述上位机屏幕包含四个角点，分别为左上角点、左下角点、右上角点和右下角点。

15、进一步的，所述上位机为笔记本电脑、平板电脑或台式电脑。

16、与现有技术相比，本发明的有益效果为：

17、本发明针对现有的三维人眼视线标注方法所需要的设备往往比较昂贵，且操作复杂，使得该领域的研究者难以制作符合自己应用场景的专有数据集这一问题，提出了一种对硬件设备要求低、后处理流程简单、对人脸图像采集环境无约束的三维人眼视线标注方法。

18、通过坐标变换将目标观测点在屏幕坐标系下的位置坐标转换到相机坐标系下，得到人眼注视点的三维坐标；从人脸图像中提取人脸特征点并与标准三维人脸模型的关键点进行匹配，通过透视位姿求解，得到相机坐标系与世界坐标系之间的绝对位姿关系；根据绝对位姿关系将人脸特征点在三维人脸模型中的三维坐标转换至相机坐标系下，对左、右眼角在相机坐标系下的三维坐标进行加权平均，得到人眼视线出发点的三维坐标；将人眼注视点的三维坐标与人眼视线出发点的三维坐标进行相减，即可得到人眼视线方向。

19、本发明使用普通的rgb相机，例如笔记本电脑自带的相机、常见的车载红外相机(用于辅助驾驶的dms相机)以及普通计算机(包括屏幕、鼠标)等硬件，解决了现有三维人眼视线标注所需设备要求高、价格昂贵等问题。

20、本发明方法对图像采集环境要求低，适用于不同环境下的人眼视线标注，更加容易推广和应用。标注流程简单，提高了标注效率。

技术特征：

1.一种三维人眼视线标注方法，其特征在于，该方法包括如下步骤：

2.根据权利要求1所述的三维人眼视线标注方法，其特征在于，所述屏幕坐标系的原点位于上位机屏幕的角点q处，屏幕坐标系的x轴指向屏幕长度方向，y轴指向屏幕宽度方向，z轴遵循右手定则。

3.根据权利要求1所述的三维人眼视线标注方法，其特征在于，所述上位机屏幕包含四个角点，分别为左上角点、左下角点、右上角点和右下角点。

4.根据权利要求1～3任一所述的三维人眼视线标注方法，其特征在于，所述上位机为笔记本电脑、平板电脑或台式电脑。

技术总结
本发明公开了一种三维人眼视线标注方法，首先获取屏幕的分辨率和尺寸、相机到屏幕任意角点Q的距离以及相机和角点Q的连线与屏幕长度方向之间的夹角；对相机参数进行标定；然后，令人眼注视屏幕上的目标观测点，采集人脸图像；获取目标观测点在像素坐标下的位置坐标，并将目标观测点在像素坐标系下的位置坐标转换到屏幕坐标系下，同时得到目标观测点在相机坐标系下的位置坐标；最后，提取左、右嘴角以及双眼的左、右眼角作为人脸特征点，将各人脸特征点与标准三维人脸模型进行关键点匹配，根据N点透视位姿求解，得到相机坐标系与世界坐标系之间的绝对位姿关系，根据绝对位姿关系得到人脸特征点在相机坐标系下的三维坐标；将左、右眼角在相机坐标系下的三维坐标进行加权平均，得到人眼视线出发点的三维坐标；将人眼注视点与人眼视线出发点的三维坐标相减，得到人眼视线方向。该方法标注流程简单，对环境无约束。

技术研发人员：丁三波,黄岩,刘教,王利魁
受保护的技术使用者：河北工业大学
技术研发日：
技术公布日：2024/8/1