一种图像特征提取方法、装置、设备及存储介质与流程

本公开涉及图像处理，具体而言，涉及一种图像特征提取方法、装置、设备及存储介质。

背景技术：

1、眼睛被称为人类心灵的窗户，其含有很多独特并且唯一的信息，逐渐成为人们生活、工作、学习中用于身份验证、信息验证的一种重要方式，例如虹膜识别，虹膜是位于黑色瞳孔和白色巩膜之间的圆环状部分，其包含有很多相互交错的斑点、细丝、冠状、条纹、隐窝等的细节特征。而且虹膜在胎儿发育阶段形成后，在整个生命历程中将是保持不变的。这些特征决定了虹膜特征的唯一性，同时也决定了身份识别的唯一性。因此，可以将眼睛的虹膜特征作为每个人的身份识别对象。

2、为了更好的能够识别眼睛信息，大多是使用红外相机配合其他光源(例如红外光源、可见光光源等)或者其他相机(例如双目相机)来获取图像，然后识别眼睛的特征，例如实现虹膜识别、瞳距调节、眼睛朝向的估计等基于眼球模型的相关功能，但是无论是搭配何种光源，均会红外相机拍摄的红外图像中存在干扰，而使用双目相机的方案中，由于眼睛是实时移动的，眼睛和各相机之间的位置和角度等是变化的，导致存在图像对位困难和对位不准确的问题。

技术实现思路

1、本公开实施例至少提供一种图像特征提取方法、装置、设备及存储介质。

2、本公开实施例提供了一种图像特征提取方法，应用于设置有红外拍摄装置和可见光拍摄装置的终端设备，所述方法包括：

3、通过所述红外拍摄装置和所述可见光拍摄装置的、标定后的装置参数，将所述可见光拍摄装置拍摄目标眼睛的第一图像和所述红外拍摄装置拍摄所述目标眼睛的第二图像进行初步对齐处理；

4、从所述第一图像的眼球区域中提取出多段第一边缘线段，所述第一边缘线段为单像素宽度的线段，且每个像素点的梯度值大于预设梯度阈值，所述第一边缘线段的线段长度大于预设长度阈值；

5、从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，每个所述线段集包括一个所述第一边缘线段和与所述第一边缘线段对应的第二边缘线段；

6、使用所述多个线段集中梯度特征相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再对齐；

7、从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征。

8、这样，通过拍摄装置标定后的参数将可见光图像和红外图像进行初步对齐，再通过梯度信息提取图像中的强信息特征，可以精确的将红外图像和可见光图像进行再次对齐，图像间对齐的准确率高，过程简单直接，方便有效，计算量小，对于设备计算资源的依赖性低，通过精确的图像对齐，使用对齐的图像进行眼球特征提取，可以有效实现对被遮挡点图像处信息的融合和补充，全面且准确的提取到所需的眼球信息。

9、一种可选的实施方式中，所述从所述第一图像的眼球区域中提取出多段第一边缘线段，包括：

10、从所述第一图像中识别出眼球区域图像；

11、对所述眼球区域图像进行边缘梯度特征提取处理，得到多段候选单像素边缘曲线段每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；

12、将得到的多段候选单像素边缘曲线段中线段长度大于设定长度阈值的曲线段作为提取出的第一边缘线段。

13、这样，从第一图像的眼球区域图像中，提取梯度值和长度均满足要求的、单像素的第一边缘线段，有效利用第一图像中存在的纹理的高梯度信息，实现有效和明确的特征信息提取，信息提取准确有效，提取效率高，而且从眼球区域中提取特征，可以有效减少数据处理量，加快特征处理速度和特征提取效率。

14、一种可选的实施方式中，所述从所述第一图像的眼球区域中提取出多段第一边缘线段，包括：

15、确定所述第一图像中每个像素的梯度值；

16、基于每个像素的梯度值，对所述第一图像进行边缘特征提取处理，得到多段候选单像素边缘曲线段，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；

17、基于线段长度和线段位置，对得到的多段候选单像素边缘曲线段进行聚类，得到位于所述第一图像的眼球区域中的多段第一边缘线段。

18、这样，识别第一图像中每个像素的梯度值，再通过边缘特征提取和聚类，可以保证梯度信息识别的全面性，利用第一图像中存在的纹理的高梯度信息，实现有效和明确的特征信息提取，信息提取准确有效，提取效率高。

19、一种可选的实施方式中，所述从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，包括：

20、针对每段所述第一边缘线段，在所述第一图像中划定出包含所述第一边缘线段的第一划分区域；

21、从所述第二图像中确定出与所述第一划分区域对应的第二划分区域，所述第一划分区域与所述第二划分区域在同一坐标系下的坐标相同；

22、针对所述第二划分区域中的图像进行边缘梯度特征提取处理，得到所述第一边缘线段对应的第二边缘线段，并得到对应的线段集。

23、这样，通过在两个图像中划分坐标相同的两个区域，可以通过位置有效进行信息对标，以识别出分别属于两个图像的两段边缘线段，对位精准，简单直接，快捷有效。

24、一种可选的实施方式中，所述使用所述多个线段集中梯度相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再次对齐，包括：

25、针对每个线段集，确定所述线段集中的第一边缘线段和第二边缘线段之间的梯度特征相似度；

26、筛选出梯度特征相似度大于设定相似度阈值的目标线段集；

27、基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵；

28、使用所述单应性矩阵对所述第一图像和所述第二图像进行再次对齐。

29、这样，通过使用梯度特征相似度高的第一边缘线段和第二边缘线段，可以精准的计算出两个图像之间进行变换的单应性矩阵，矩阵计算精准可靠，有利于对图像进行精细对齐。

30、一种可选的实施方式中，所述确定所述线段集中第一边缘线段和第二边缘线段之间的梯度特征相似度，包括：

31、从所述第一边缘线段中确定出连续排列的至少三个第一像素点，以及从所述第二边缘线段中确定出连续排列的至少三个第二像素点，所述至少三个第一像素点包括所述第一边缘线段中梯度值最大的像素点，所述至少三个第二像素点包括所述第二边缘线段中梯度值最大的像素点；

32、通过各个第一像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第一边缘线段的第一梯度特征向量；

33、通过各个第二像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第二边缘线段的第二梯度特征向量；

34、使用所述第一梯度特征向量和所述第二梯度特征向量，计算所述第一边缘线段和第二边缘线段之间的梯度特征相似度。

35、这样，借助梯度值和梯度方向计算梯度特征相似度，可以有效结合梯度和方向信息，实现两个图像间特征的精准匹配。

36、一种可选的实施方式中，所述基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵，包括：

37、从每个所述目标线段集中确定出一个像素点对，所述像素点对包括所述目标线段集中第一边缘线段上梯度值最大的第一目标像素点和第二边缘线段上梯度值最大的第二目标像素点；

38、若确定出的各个第一目标像素点中存在任意三个第一目标像素点位于同一条直线上，去除所述任意三个第一目标像素点中的一个，得到筛选后的目标像素点对，所述目标像素点对包括筛选后的第一目标像素点和该第一目标像素点对应的第二目标像素点；

39、使用得到的各个目标像素点对，计算所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵。

40、这样，通过筛选不共线的像素点对计算单应性矩阵，准确率高，可以有效帮助图像实现精准对齐。

41、一种可选的实施方式中，所述从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征，包括：

42、识别出所述第二图像的眼球区域中被光斑遮挡的遮挡像素点；

43、从所述第二图像的眼球区域中提取出除所述遮挡像素点之外的各个眼球像素点的特征信息；

44、从所述第一图像的眼球区域中提取出与所述遮挡像素点对应的补充像素点的特征信息，所述遮挡像素点和所述补充像素点对应眼球上的同一点；

45、将所述补充像素点的特征信息添加至各个眼球像素点的特征信息中，得到眼球特征。

46、一种可选的实施方式中，所述眼球特征包括瞳孔边缘特征，所述从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征，包括：

47、从所述第二图像中提取出瞳孔边缘的多个特征点；

48、按照所述多个特征点沿瞳孔边缘的排列信息，确定出两个间隔特征点，两个所述间隔特征点之间不相邻，两个所述间隔特征点之间不存在任一特征点；

49、分别在所述第一图像中确定出与两个所述间隔特征点分别对应的第一信息点和第二信息点；

50、从所述第一图像的瞳孔边缘提取出位于所述第一信息点和所述第二信息点中之间的信息点；

51、按照所述信息点的位置信息，将所述信息点添加至所述多个特征点中，得到瞳孔特征的特征点集。

52、本公开实施例还提供一种终端设备，所述终端设备设置有红外拍摄装置和可见光拍摄装置，所述终端设备包括：

53、第一图像对齐模块，用于通过所述红外拍摄装置和所述可见光拍摄装置的、标定后的装置参数，将所述可见光拍摄装置拍摄目标眼睛的第一图像和所述红外拍摄装置拍摄所述目标眼睛的第二图像进行初步对齐处理；

54、第一线段提取模块，用于从所述第一图像的眼球区域中提取出多段第一边缘线段，所述第一边缘线段为单像素宽度的线段，且每个像素点的梯度值大于预设梯度阈值，所述第一边缘线段的线段长度大于预设长度阈值；

55、第二线段提取模块，用于从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，每个所述线段集包括一个所述第一边缘线段和与所述第一边缘线段对应的第二边缘线段；

56、第二图像对齐模块，用于使用所述多个线段集中梯度特征相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再对齐；

57、眼球特征提取模块，用于从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征。

58、一种可选的实施方式中，所述第一线段提取模块具体用于：

59、从所述第一图像中识别出眼球区域图像；

60、对所述眼球区域图像进行边缘梯度特征提取处理，得到多段候选单像素边缘曲线段每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；

61、将得到的多段候选单像素边缘曲线段中线段长度大于设定长度阈值的曲线段作为提取出的第一边缘线段。

62、一种可选的实施方式中，所述第一线段提取模块具体用于：

63、确定所述第一图像中每个像素的梯度值；

64、基于每个像素的梯度值，对所述第一图像进行边缘特征提取处理，得到多段候选单像素边缘曲线段，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；

65、基于线段长度和线段位置，对得到的多段候选单像素边缘曲线段进行聚类，得到位于所述第一图像的眼球区域中的多段第一边缘线段。

66、一种可选的实施方式中，所述第二线段提取模块具体用于：

67、针对每段所述第一边缘线段，在所述第一图像中划定出包含所述第一边缘线段的第一划分区域；

68、从所述第二图像中确定出与所述第一划分区域对应的第二划分区域，所述第一划分区域与所述第二划分区域在同一坐标系下的坐标相同；

69、针对所述第二划分区域中的图像进行边缘梯度特征提取处理，得到所述第一边缘线段对应的第二边缘线段，并得到对应的线段集。

70、一种可选的实施方式中，所述第二图像对齐模块具体用于：

71、针对每个线段集，确定所述线段集中的第一边缘线段和第二边缘线段之间的梯度特征相似度；

72、筛选出梯度特征相似度大于设定相似度阈值的目标线段集；

73、基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵；

74、使用所述单应性矩阵对所述第一图像和所述第二图像进行再次对齐。

75、一种可选的实施方式中，所述第二图像对齐模块在用于确定所述线段集中第一边缘线段和第二边缘线段之间的梯度特征相似度时，具体用于：

76、从所述第一边缘线段中确定出连续排列的至少三个第一像素点，以及从所述第二边缘线段中确定出连续排列的至少三个第二像素点，所述至少三个第一像素点包括所述第一边缘线段中梯度值最大的像素点，所述至少三个第二像素点包括所述第二边缘线段中梯度值最大的像素点；

77、通过各个第一像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第一边缘线段的第一梯度特征向量；

78、通过各个第二像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第二边缘线段的第二梯度特征向量；

79、使用所述第一梯度特征向量和所述第二梯度特征向量，计算所述第一边缘线段和第二边缘线段之间的梯度特征相似度。

80、一种可选的实施方式中，所述第二图像对齐模块在用于基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵时，具体用于：

81、从每个所述目标线段集中确定出一个像素点对，所述像素点对包括所述目标线段集中第一边缘线段上梯度值最大的第一目标像素点和第二边缘线段上梯度值最大的第二目标像素点；

82、若确定出的各个第一目标像素点中存在任意三个第一目标像素点位于同一条直线上，去除所述任意三个第一目标像素点中的一个，得到筛选后的目标像素点对，所述目标像素点对包括筛选后的第一目标像素点和该第一目标像素点对应的第二目标像素点；

83、使用得到的各个目标像素点对，计算所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵。

84、一种可选的实施方式中，所述眼球特征提取模块具体用于：

85、识别出所述第二图像的眼球区域中被光斑遮挡的遮挡像素点；

86、从所述第二图像的眼球区域中提取出除所述遮挡像素点之外的各个眼球像素点的特征信息；

87、从所述第一图像的眼球区域中提取出与所述遮挡像素点对应的补充像素点的特征信息，所述遮挡像素点和所述补充像素点对应眼球上的同一点；

88、将所述补充像素点的特征信息添加至各个眼球像素点的特征信息中，得到眼球特征。

89、一种可选的实施方式中，所述眼球特征包括瞳孔边缘特征，所述眼球特征提取模块具体用于：

90、从所述第二图像中提取出瞳孔边缘的多个特征点；

91、按照所述多个特征点沿瞳孔边缘的排列信息，确定出两个间隔特征点，两个所述间隔特征点之间不相邻，两个所述间隔特征点之间不存在任一特征点；

92、分别在所述第一图像中确定出与两个所述间隔特征点分别对应的第一信息点和第二信息点；

93、从所述第一图像的瞳孔边缘提取出位于所述第一信息点和所述第二信息点中之间的信息点；

94、按照所述信息点的位置信息，将所述信息点添加至所述多个特征点中，得到瞳孔特征的特征点集。

95、本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述图像特征提取方法中任一种可选的实施方式中的步骤。

96、本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述图像特征提取方法中任一种可选的实施方式中的步骤。

97、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。

98、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。