图像分类方法及装置与流程

1.本技术涉及机器学习技术领域，具体而言，涉及一种图像分类方法及装置。


背景技术：

2.随着现代社会环境、生活方式的影响，越来越多的人由于不当的工作习惯和生活姿态以及过量的颈部运动，导致颈椎的慢性劳损，从而引发颈椎病状态，而颈椎病恰恰是影响人类健康和安全的重要因素。
3.通常，人们会通过辅助检查以及经验深厚的中医专家进行判断颈椎病，但这种方法往往不能准确地发现和预估颈椎问题，从而导致颈椎状态引发各种疾病。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种图像分类方法及装置，以至少解决相关技术中无法高效且准确地识别颈椎异常的人脸图像的技术问题。
6.根据本技术实施例的一个方面，提供了一种图像分类方法，包括：获取待分类人脸图像；提取待分类人脸图像中的目标区域特征，其中，目标区域特征至少包括眉毛区域特征和眼睛区域特征；将目标区域特征输入预训练的图像分类模型，得到图像分类模型输出的图像分类结果，其中，图像分类模型用于对目标区域特征进行主成分分析，并基于分析结果确定待分类人脸图像的图像类型，图像类型包括以下之一：颈椎正常的人脸图像，颈椎异常的人脸图像。
7.可选地，图像分类模型为二分类模型，图像分类模型包括：预设数量的主成分分析子模型和目标分类器，目标分类器为基于径向基函数的支持向量机。
8.可选地，图像分类模型的训练过程包括：获取第一样本图像集合，其中，第一样本图像集合包括第一样本图像子集和第二样本图像子集，第一样本图像子集中的图像均为颈椎正常的人脸图像，第二样本图像子集中的图像均为颈椎异常的人脸图像；对第一样本图像集合中的每个图像进行预处理，得到第二样本图像集合，其中，预处理包括：截取每个图像中的目标区域，目标区域至少包括眉毛区域和眼睛区域；提取第二样本图像集合中的每个图像中的多个第一特征，其中，第一特征至少包括眉毛区域特征和眼睛区域特征；基于主成分分析子模型对多个第一特征进行主成分分析，得到多个第二特征；基于多个第二特征对目标分类器进行迭代训练，调整目标分类器的模型参数，得到图像分类模型。
9.可选地，获取第一样本图像集合，包括：获取多张人脸图像；对于每张人脸图像，获取针对人脸头像的人工投票结果，并在人工投票结果指示人脸图像为颈椎正常的人脸图像时，将人脸图像划分至第一样本图像子集，在人工投票结果指示人脸图像为颈椎异常的人脸图像时，将人脸图像划分至第二样本图像子集。
10.可选地，提取第二样本图像集合中的每个图像中的多个第一特征，包括：对于第二样本图像集合中的每个图像，基于预设的三原色权重将图像转换为灰度图像；基于预设的
单元尺寸对灰度图像进行局部二值模式算法处理，提取灰度图像中的多个第一特征，其中，多个第一特征包括：第一数量的眉毛区域特征和第二数量的眼睛区域特征。
11.可选地，在基于主成分分析子模型对多个第一特征进行主成分分析，得到多个第二特征之后，方法还包括：基于第一样本图像子集中的图像的第二特征和第二样本图像子集中的图像的第二特征进行t检验，得到每个第二特征的p值；在任一第二特征的p值大于预设阈值时，删除第二特征。
12.可选地，基于多个第二特征对目标分类器进行迭代训练，调整目标分类器的模型参数，包括：利用交叉验证方法，将多个第二特征依次输入目标分类器，得到多个预测结果；分别从灵敏性、特异性、精度和马修斯相关系数四个维度对多个预测结果进行计算，根据计算结果调整目标分类器的gamma值和c值。
13.根据本技术实施例的另一方面，还提供了一种图像分类装置，包括：获取模块，用于获取待分类人脸图像；提取模块，用于提取待分类人脸图像中的目标区域特征，其中，目标区域特征至少包括眉毛区域特征和眼睛区域特征；分类模块，用于将目标区域特征输入预训练的图像分类模型，得到图像分类模型输出的图像分类结果，其中，图像分类模型用于对目标区域特征进行主成分分析，并基于分析结果确定待分类人脸图像的图像类型，图像类型包括以下之一：颈椎正常的人脸图像，颈椎异常的人脸图像。
14.根据本技术实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，非易失性存储介质所在设备通过运行该程序执行上述的图像分类方法。
15.根据本技术实施例的另一方面，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行上述的图像分类方法。
16.在本技术实施例中，获取待分类人脸图像；提取待分类人脸图像中的目标区域特征，其中，目标区域特征至少包括眉毛区域特征和眼睛区域特征；将目标区域特征输入预训练的图像分类模型，得到图像分类模型输出的图像分类结果，其中，图像分类模型用于对目标区域特征进行主成分分析，并基于分析结果确定待分类人脸图像的图像类型，图像类型包括以下之一：颈椎正常的人脸图像，颈椎异常的人脸图像。其中，依据人脸图像对检测颈椎病的图像分类模型进行训练，从而可以实时对颈椎病进行准确检测和及时预警，进而解决了相关技术中无法高效且准确地识别颈椎异常的人脸图像的技术问题。
附图说明
17.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
18.图1是根据本技术实施例的一种可选的图像分类方法的流程示意图；
19.图2是根据本技术实施例的一种可选的眉毛高低不平的示意图；
20.图3是根据本技术实施例的一种可选的眉毛异常脱落的示意图；
21.图4是根据本技术实施例的一种可选的眉毛长痘的示意图；
22.图5是根据本技术实施例的一种可选的眉毛下垂的示意图；
23.图6a是根据本技术实施例的一种可选的眼球血丝划分的示意图；
24.图6b是根据本技术实施例的一种可选的眼球血丝对应病症的示意图；
25.图7是根据本技术实施例的一种可选的分类器的评价指标图
26.图8是根据本技术实施例的一种可选的图像分类装置的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
28.需要说明的是，本技术的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.实施例1
30.由于传统中医无法通过人脸图像准确地检测颈椎病问题，使得人们的颈椎状态引发各种疾病。为此，本技术实施例提供了一种图像分类方法，下面将结合具体实施例对图像分类方法进行说明。
31.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
32.图1是根据本技术实施例的一种可选的图像分类方法的流程示意图，如图1所示，该方法至少包括步骤s102-s106，其中：
33.步骤s102，获取待分类人脸图像。
34.由于当前没有颈椎病确诊患者的视觉图像和视频的公共数据库，因此本技术实施例中可以通过招集志愿者录制视频，建立了颈椎病问题检测的视频数据库，并从视频数据库中获取待分类人脸图像。
35.步骤s104，提取待分类人脸图像中的目标区域特征，其中，目标区域特征至少包括眉毛区域特征和眼睛区域特征。
36.通过中医上对颈椎病的认识，其主要是由于局部的痹症引起的，也就是通则不痛，痛则不通。常常是由于外伤、气虚、血虚，以及感受风寒、湿邪所致，从而容易出现头昏、目眩、耳鸣等问题。同时，在中医理论中，人的面部眉毛、眼球血管血丝与脊椎健康有密切联系，因此，本技术实施例中需要提取待分类人脸图像中的目标区域特征。
37.而颈椎状态的病征通常分为眉心毛孔粗大、眉毛高低不平、眉毛异常脱落、眉毛长痘痘、眉毛下垂、血丝分布等，因此可以将颈椎状态的辩证识别定义如下：
38.由于眉心是第七节颈椎的压力点，因此，眉心的黑头、粉刺特别粗大，这可能是因
rbf。
50.作为一种可选的实施方式，图像分类模型的训练过程可以分为如下步骤s1061-s1065，其中：
51.步骤s1061，获取第一样本图像集合，其中，第一样本图像集合包括第一样本图像子集和第二样本图像子集，第一样本图像子集中的图像均为颈椎正常的人脸图像，第二样本图像子集中的图像均为颈椎异常的人脸图像。
52.可选地，获取多张人脸图像；对于每张人脸图像，获取针对人脸头像的人工投票结果，并在人工投票结果指示人脸图像为颈椎正常的人脸图像时，将人脸图像划分至第一样本图像子集，在人工投票结果指示人脸图像为颈椎异常的人脸图像时，将人脸图像划分至第二样本图像子集。
53.因此，通过上述方法可以将第一样本图像集合s划分为第一样本图像子集(也即正样本)表示为：p＝{p1，p2，p3，...pn}，将第二样本图像子集(也即负样本)表示为：n＝{n1，n2，n3，...nm}。
54.例如，分别招募了7名男性志愿者和7名女性志愿者，每位志愿者的详细信息包括性别、年龄以及是否佩戴眼镜。需要说明的是，颈椎病问题检测的视频都是在所有志愿者都没有影响神经认知能力的睡眠隐碍，也没有服用影响神经认知系统的食物、饮料、药物等前提下进行录制的。
55.本技术实施例中，分别拍摄志愿者在非颈椎病状态和颈椎病状态下的视频，所有志愿者在第一天进行正常饮食和完全休息，并在此状态下的第二天的上午8:00进行一次录像，得到非颈椎病状态的视频。而志愿者连续18小时没有休息，并在此状态下的第三天的次晨3:00进行一次录像，得到颈椎病状态下的视频。
56.其中，所有拍摄视频均由macbook pro(13英寸屏幕)中的cmos 500万像素摄像头拍摄，视频分辨率为1280x720像素，捕获频率为每秒30帧，每个视频录制时长为5分钟,共有9000(＝5x60x30)个图像。
57.由于每个志愿者录制了在非颈椎病状态和颈椎病状态下的两个视频，当从每个视频中随机提取300张图像，因此，总共得到8400张图像，并组成第一样本图像集合s。通过人工标注的方式进行投票，多数评审原则通过后将各图像标记为是否患颈椎病，从而得到第一样本图像子集(正样本)p和第二样本图像子集(负样本)n，完成第一样本图像集合的划分。
58.步骤s1062，对第一样本图像集合中的每个图像进行预处理，得到第二样本图像集合，其中，预处理包括：截取每个图像中的目标区域，目标区域至少包括眉毛区域和眼睛区域。
59.根据中医理论对颈椎病辩证识别的定义，使得颈椎病状态可以通过眼球血丝和眉部区域的形态模式确定。因此，我们通过第一样本图像集合中的每个图像中是否包含眼球和眉部的区域，对第一样本图像集合中的每个图像进行预处理。
60.步骤s1063，提取第二样本图像集合中的每个图像中的多个第一特征，其中，第一特征至少包括眉毛区域特征和眼睛区域特征。
61.可选地，对于第二样本图像集合中的每个图像，基于预设的三原色权重将图像转换为灰度图像；基于预设的单元尺寸对灰度图像进行局部二值模式算法处理，提取灰度图
像中的多个第一特征，其中，多个第一特征包括：第一数量的眉毛区域特征和第二数量的眼睛区域特征。
62.例如，首先通过grayscale＝0.299*r+0.587*g+0.114*b将第二样本图像集合中的每个彩色图像转换为灰度图像，其中，r/g/b是红色/绿色/蓝色通道的像素值，且可以opencv库的函数imread()提供。
63.另外，还可以采用y＝2.2的伽马校正对光变化进行归一化处理，设定maxv为伽马校正后的图像矩阵m的最大灰度像素值，因此，最终图像矩阵计算为m'＝m/(maxv*255)。
64.接着，将眼球血丝和眉部区域的图像分别按比例缩放为320*320、64*32和64*64，再采用dxhoseye(local binary patterns，局部二值模式)算法提取灰度图像中的多个第一特征。
65.由于局部二值模式算法具有width和height两个值，可以采用参数单元尺寸pcellsize表示width*height，用于确定一个合适的参数指标，达到最佳分类准确度，其中，分类器svm-rbf在width固定为16或32，分类器svm-rbf在heigh等于32时表现最佳；width固定为8，分类器svm-rbf在heigh等于32时比heigh等于64时的分类准确度提高1.01％；而在width固定为16或32，分类器svm-rbf在heigh等于32时表现最佳；若width固定为8，则分类器svm-rbf在heigh等于32时比heigh等于64时的分类准确度提高1.01％。因此，分类器svm-rbf在pcellsize＝32*32，可以达到最佳分类准确度为90.60％。
66.因此，在本技术实施例中，局部二值模式算法的参数pcellsize设置为32x32，故一只眼睛图像可以有512个第一特征，一张嘴图像可以有1024个第一特征，故对于每个图像来说，共有2048个第一特征。
67.步骤s1064，基于主成分分析子模型对多个第一特征进行主成分分析，得到多个第二特征。
68.例如，对于第二样本图像集合中的每个图像来说，需要计算每个第一特征的pca(也即主成分分析)值，将pca值较大的前20个作为第二特征。
69.可选地，通过局部二值模式算法提取的特征并不具有检测颈椎病样本的判别能力，因此，在本技术实施例中，于主成分分析子模型对多个第一特征进行主成分分析，得到多个第二特征之后，还可以基于第一样本图像子集中的图像的第二特征和第二样本图像子集中的图像的第二特征进行t检验，得到每个第二特征的p值；在任一第二特征的p值大于预设阈值时，说明这些第二特征不具备检测能力，删除第二特征。
70.步骤s1065基于多个第二特征对目标分类器进行迭代训练，调整目标分类器的模型参数，得到图像分类模型。
71.进一步地，利用交叉验证方法，将多个第二特征依次输入目标分类器，得到多个预测结果；分别从灵敏性、特异性、精度和马修斯相关系数四个维度对多个预测结果进行计算，根据计算结果调整目标分类器的gamma值和c值。
72.例如，采用10倍交叉验证算法，将多个第二特征依次输入分类器svm-rbf，得到多个预测结果，再分别从灵敏性sn、特异性sp、精度acc和马修斯mcc等四个维度对多预测结果进行进一步计算，从而调整目标分类器的模型参数，得到分类结果更准确的图像分类模型。
73.在本技术实施例中，获取待分类人脸图像；提取待分类人脸图像中的目标区域特征，其中，目标区域特征至少包括眉毛区域特征和眼睛区域特征；将目标区域特征输入预训
练的图像分类模型，得到图像分类模型输出的图像分类结果，其中，图像分类模型用于对目标区域特征进行主成分分析，并基于分析结果确定待分类人脸图像的图像类型，图像类型包括以下之一：颈椎正常的人脸图像，颈椎异常的人脸图像。其中，依据人脸图像对检测颈椎病的图像分类模型进行训练，从而可以实时对颈椎病进行准确检测和及时预警，进而解决了相关技术中无法高效且准确地识别颈椎异常的人脸图像的技术问题。
74.实施例2
75.根据本技术实施例，还提供了一种用于实现实施例1中的图像分类方法的图像分类装置，如图8所示，该图像分类装置中至少包括获取模块81，提取模块82和分类模块83，其中：
76.获取模块81，用于获取待分类人脸图像。
77.由于当前没有颈椎病确诊患者的视觉图像和视频的公共数据库，因此，在本技术实施例中，获取模块81可以通过招集志愿者录制视频，建立了颈椎病问题检测的视频数据库，并从视频数据库中获取待分类人脸图像。
78.提取模块82，用于提取待分类人脸图像中的目标区域特征，其中，目标区域特征至少包括眉毛区域特征和眼睛区域特征。
79.通过中医上对颈椎病的认识，其主要是由于局部的痹症引起的，也就是通则不痛，痛则不通。常常是由于外伤、气虚、血虚，以及感受风寒、湿邪所致，从而容易出现头昏、目眩、耳鸣等问题。同时，在中医理论中，人的面部眉毛、眼球血管血丝与脊椎健康有密切联系。因此，在本技术实施例中，通过提取模块82提取待分类人脸图像中的目标区域特征。
80.其中，图像分类模型为二分类模型，图像分类模型包括：预设数量的主成分分析子模型和目标分类器，目标分类器为基于径向基函数的支持向量机。
81.分类模块83，用于将目标区域特征输入预训练的图像分类模型，得到图像分类模型输出的图像分类结果，其中，图像分类模型用于对目标区域特征进行主成分分析，并基于分析结果确定待分类人脸图像的图像类型，图像类型包括以下之一：颈椎正常的人脸图像，颈椎异常的人脸图像。
82.作为一种可选的实施方式，可以通过步骤s1-s5完成对图像分类模型的训练：
83.步骤s1，获取第一样本图像集合，其中，第一样本图像集合包括第一样本图像子集和第二样本图像子集，第一样本图像子集中的图像均为颈椎正常的人脸图像，第二样本图像子集中的图像均为颈椎异常的人脸图像。
84.具体地，可以通过如下方式获取第一样本图像集合：首先获取多张人脸图像；接着对于每张人脸图像，获取针对人脸头像的人工投票结果，并在人工投票结果指示人脸图像为颈椎正常的人脸图像时，将人脸图像划分至第一样本图像子集，在人工投票结果指示人脸图像为颈椎异常的人脸图像时，将人脸图像划分至第二样本图像子集。
85.步骤s2，对第一样本图像集合中的每个图像进行预处理，得到第二样本图像集合，其中，预处理包括：截取每个图像中的目标区域，目标区域至少包括眉毛区域和眼睛区域。
86.步骤s3，提取第二样本图像集合中的每个图像中的多个第一特征，其中，第一特征至少包括眉毛区域特征和眼睛区域特征。
87.具体地，可以通过如下方式提取多个第一特征：对于第二样本图像集合中的每个图像，基于预设的三原色权重将图像转换为灰度图像；基于预设的单元尺寸对灰度图像进
行局部二值模式算法处理，提取灰度图像中的多个第一特征，其中，多个第一特征包括：第一数量的眉毛区域特征和第二数量的眼睛区域特征。
88.步骤s4，基于主成分分析子模型对多个第一特征进行主成分分析，得到多个第二特征。
89.可选地，在基于主成分分析子模型对多个第一特征进行主成分分析，得到多个第二特征之后，还可以基于第一样本图像子集中的图像的第二特征和第二样本图像子集中的图像的第二特征进行t检验，得到每个第二特征的p值；在任一第二特征的p值大于预设阈值时，删除第二特征。
90.步骤s5，基于多个第二特征对目标分类器进行迭代训练，调整目标分类器的模型参数，得到图像分类模型。
91.进一步地，基于多个第二特征对目标分类器进行迭代训练，调整目标分类器的模型参数，包括：利用交叉验证方法，将多个第二特征依次输入目标分类器，得到多个预测结果；分别从灵敏性sn、特异性sp、精度acc和马修斯mcc四个维度对多个预测结果进行计算，根据计算结果调整目标分类器的gamma值和c值。
92.需要说明的是，本技术实施例中的图像分类装置中的各模块与实施例1中的图像分类方法的各实施步骤一一对应，由于实施例1中已经进行了详尽的描述，本实施例中部分未体现的细节可以参考实施例1，在此不再过多赘述。
93.实施例3
94.根据本技术实施例，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，非易失性存储介质所在设备通过运行该程序执行实施例1中的图像分类方法。
95.具体地，非易失性存储介质所在设备通过运行该程序执行实现以下步骤：获取待分类人脸图像；提取待分类人脸图像中的目标区域特征，其中，目标区域特征至少包括眉毛区域特征和眼睛区域特征；将目标区域特征输入预训练的图像分类模型，得到图像分类模型输出的图像分类结果，其中，图像分类模型用于对目标区域特征进行主成分分析，并基于分析结果确定待分类人脸图像的图像类型，图像类型包括以下之一：颈椎正常的人脸图像，颈椎异常的人脸图像。
96.根据本技术实施例，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行实施例1中的图像分类方法。
97.具体地，程序运行时执行实现以下步骤：获取待分类人脸图像；提取待分类人脸图像中的目标区域特征，其中，目标区域特征至少包括眉毛区域特征和眼睛区域特征；将目标区域特征输入预训练的图像分类模型，得到图像分类模型输出的图像分类结果，其中，图像分类模型用于对目标区域特征进行主成分分析，并基于分析结果确定待分类人脸图像的图像类型，图像类型包括以下之一：颈椎正常的人脸图像，颈椎异常的人脸图像。
98.根据本技术实施例，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行实施例1中的图像分类方法。
99.具体地，处理器被配置为通过计算机程序执行实现以下步骤：获取待分类人脸图像；提取待分类人脸图像中的目标区域特征，其中，目标区域特征至少包括眉毛区域特征和
眼睛区域特征；将目标区域特征输入预训练的图像分类模型，得到图像分类模型输出的图像分类结果，其中，图像分类模型用于对目标区域特征进行主成分分析，并基于分析结果确定待分类人脸图像的图像类型，图像类型包括以下之一：颈椎正常的人脸图像，颈椎异常的人脸图像。
100.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
101.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
102.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
103.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
104.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
105.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
106.以上仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。