基于面部图像的疾病检测方法、装置、设备、介质及产品与流程

本发明涉及计算机视觉，尤其涉及一种基于面部图像的疾病检测方法、装置、设备、存储介质及计算机程序产品。

背景技术：

1、在计算机视觉领域最重要的数据源之一是人脸面部信息，人脸包含多种信息，尤其是在健康评估方面，其潜在的巨大潜力还未被发现。

2、在人脸面部信息应用在健康评估方面的常规技术手段中，通常是将人脸面部信息结合神经网络来对被预测者的健康状态进行预测，但是，由于神经网络内部其较差的解释性，预测结果的可信度和准确率都较低，无法满足人工智能在医学领域的进一步应用。

3、因此，如何提高基于人脸面部图像和深度学习的健康预测的准确率已成为本领域亟待解决的技术问题。

技术实现思路

1、本发明的主要目的在于提供了一种基于面部图像的疾病检测方法、装置、设备、存储介质及计算机程序产品，旨在解决现有技术基于人脸面部图像预测的健康状态的准确率较低的技术问题。

2、为实现上述目的，本发明提供了一种基于面部图像的疾病检测方法，所述方法包括以下步骤：

3、基于输入的人脸面部图像获取所述人脸面部图像的面部特征图；

4、基于预设的划分模板将所述人脸面部图像划分为多个感兴趣区域，并基于所述面部特征图获取各所述感兴趣区域各自的基础特征向量；

5、将各所述基础特征向量输入至预设的预测模型中，以获得所述人脸面部图像对应的疾病预测结果，其中，所述预测模型是以人脸面部图像的各基础特征向量为输入、人脸面部图像对应的疾病信息为标签训练得到的。

6、可选地，所述基于输入的人脸面部图像获取所述人脸面部图像的面部特征图的步骤，包括：

7、通过预设的人脸关键点检测算法对输入的人脸面部图像进行检测，得到所述人脸面部图像的多个特征点信息；

8、通过预设的卷积神经网络对包含多个所述特征点信息的人脸面部图像进行特征提取，得到各所述特征点信息对应的特征提取结果；

9、将各所述特征提取结果进行拼接得到所述人脸面部图像的面部特征图。

10、可选地，所述基于所述面部特征图获取各所述感兴趣区域各自的基础特征向量的步骤，包括：

11、计算所述人脸面部图像与所述面部特征图之间的图像大小比例；

12、将各所述感兴趣区域按照所述图像大小比例投射至所述面部特征图，得到各所述感兴趣区域各自的基础特征向量。

13、可选地，所述将各所述基础特征向量输入至预设的预测模型中，以获得所述人脸面部图像对应的疾病预测结果的步骤，包括：

14、将各所述基础特征向量输入至所述预测模型的解码器模块中，获得各所述感兴趣区域各自与疾病类型相关的区域特征向量和区域注意力分数，其中，所述区域注意力分数用于表征所述感兴趣区域对于疾病类型预测的贡献度。

15、基于各所述区域特征向量和各所述区域注意力分数得到所述人脸面部图像对应的疾病预测结果。

16、可选地，所述将各所述基础特征向量输入至所述预测模型的解码器模块中，获得各所述感兴趣区域各自与疾病类型相关的区域特征向量和区域注意力分数的步骤，包括：

17、将各所述基础特征向量输入至所述预测模型的解码器模块中，获得各所述感兴趣区域各自与疾病类型相关的区域特征向量和区域注意力系数；

18、针对每个感兴趣区域的多个区域注意力系数，对各所述区域注意力系数求均值并进行归一化处理，得到所述感兴趣区域的区域注意力分数。

19、可选地，所述基于各所述区域特征向量和各所述区域注意力分数得到所述人脸面部图像对应的疾病预测结果的步骤，包括：

20、判断各所述区域注意力分数中是否存在大于预设值的目标区域注意力分数；

21、若存在所述目标区域注意力分数，则基于所述目标区域注意力分数对应的区域特征向量和所述预测模型的多层感知机模块得到所述人脸面部图像对应的疾病预测结果。

22、此外，为实现上述目的，本发明还提出一种基于面部图像的疾病检测装置，所述装置包括：

23、特征提取模块，用于基于输入的人脸面部图像获取所述人脸面部图像的面部特征图；

24、区域划分模块，用于基于预设的划分模板将所述人脸面部图像划分为多个感兴趣区域，并基于所述面部特征图获取各所述感兴趣区域各自的基础特征向量；

25、预测模块，用于将各所述基础特征向量输入至预设的预测模型中，以获得所述人脸面部图像对应的疾病预测结果，其中，所述预测模型是以人脸面部图像的各基础特征向量为输入、人脸面部图像对应的疾病信息为标签训练得到的。

26、此外，为实现上述目的，本发明还提出一种基于面部图像的疾病检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于面部图像的疾病检测程序，所述基于面部图像的疾病检测程序配置为实现如上文所述的基于面部图像的疾病检测方法的步骤。

27、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于面部图像的疾病检测程序，所述基于面部图像的疾病检测程序被处理器执行时实现如上文所述的基于面部图像的疾病检测方法的步骤。

28、此外，为实现上述目的，本发明还提供一种计算机程序产品，所述计算机程序产品包括基于面部图像的疾病检测程序，所述基于面部图像的疾病检测程序被处理器执行时实现如上文所述的基于面部图像的疾病检测方法的步骤。

29、本发明提出一种基于面部图像的疾病检测方法、装置、设备、存储介质及计算机程序产品，基于面部图像的疾病检测方法包括：基于输入的人脸面部图像获取所述人脸面部图像的面部特征图；基于预设的划分模板将所述人脸面部图像划分为多个感兴趣区域，并基于所述面部特征图获取各所述感兴趣区域各自的基础特征向量；将各所述基础特征向量输入至预设的预测模型中，以获得所述人脸面部图像对应的疾病预测结果，其中，所述预测模型是以人脸面部图像的各基础特征向量为输入、人脸面部图像对应的疾病信息为标签训练得到的。

30、相较于传统基于深度学习和人脸面部图像信息对健康状态进行预测的方法，本发明将人脸面部图像的面部特征图划分为多个感兴趣区域，获取各个感兴趣区域的基础特征向量，然后采用以人脸面部图像的各基础特征向量为输入、人脸面部图像对应的疾病信息为标签训练得到的预测模型，基于模型训练获取感兴趣区域与疾病信息的对应关系，再基于上述对应关系来进行疾病的检测，采用本申请提供的方法能够将人脸面部图像进行分区域的预测，这种分区域的预测方式使模型具有了可解释性，从而提高了基于人脸面部图像进行疾病预测的准确率。

技术特征：

1.一种基于面部图像的疾病检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于面部图像的疾病检测方法，其特征在于，所述基于输入的人脸面部图像获取所述人脸面部图像的面部特征图的步骤，包括：

3.根据权利要求1所述的基于面部图像的疾病检测方法，其特征在于，所述基于所述面部特征图获取各所述感兴趣区域各自的基础特征向量的步骤，包括：

4.根据权利要求1所述的基于面部图像的疾病检测方法，其特征在于，所述将各所述基础特征向量输入至预设的预测模型中，以获得所述人脸面部图像对应的疾病预测结果的步骤，包括：

5.根据权利要求4所述的基于面部图像的疾病检测方法，其特征在于，所述将各所述基础特征向量输入至所述预测模型的解码器模块中，获得各所述感兴趣区域各自与疾病类型相关的区域特征向量和区域注意力分数的步骤，包括：

6.根据权利要求4所述的基于面部图像的疾病检测方法，其特征在于，所述基于各所述区域特征向量和各所述区域注意力分数得到所述人脸面部图像对应的疾病预测结果的步骤，包括：

7.一种基于面部图像的疾病检测装置，其特征在于，所述装置包括：

8.一种基于面部图像的疾病检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于面部图像的疾病检测程序，所述基于面部图像的疾病检测程序配置为实现如权利要求1至6中任一项所述的基于面部图像的疾病检测方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有基于面部图像的疾病检测程序，所述基于面部图像的疾病检测程序被处理器执行时实现如权利要求1至6中任一项所述的基于面部图像的疾病检测方法的步骤。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括基于面部图像的疾病检测程序，所述基于面部图像的疾病检测程序被处理器执行时实现如权利要求1至6中任一项所述的基于面部图像的疾病检测方法的步骤。

技术总结
本发明公开了一种基于面部图像的疾病检测方法、装置、设备、存储介质及计算机程序产品，涉及计算机视觉技术领域，该方法基于输入的人脸面部图像获取人脸面部图像的面部特征图；基于预设的划分模板将人脸面部图像划分为多个感兴趣区域，并基于面部特征图获取各感兴趣区域各自的基础特征向量；将各基础特征向量输入至预设的预测模型中，以获得人脸面部图像对应的疾病预测结果，其中，预测模型是以人脸面部图像的各基础特征向量为输入、人脸面部图像对应的疾病信息为标签训练得到的。采用本方法能够将人脸面部图像进行分区域的预测，这种分区域的预测方式使模型具有了可解释性，从而提高了基于人脸面部图像进行疾病预测的准确率。

技术研发人员：童同,谷奇峰,王光宇,孙昊,白国涛,冯发金,刘晓鸿
受保护的技术使用者：中移动信息技术有限公司
技术研发日：
技术公布日：2024/10/14