一种基于融合特征的皮肤痤疮检测方法及系统与流程

本发明涉及痤疮检测，具体涉及一种基于融合特征的皮肤痤疮检测方法及系统。

背景技术：

1、痤疮是最常见的皮肤疾病，在青春期发病率最高，症状在成年后仍可能持续，痤疮可能会留下疤痕和色素沉着的问题，影响美观和心理。

2、中医学认为痤疮的发病多由于外感风热，侵袭肌肤；或生性阳热偏盛，血热潘灼肌肤；或嗜食辛辣刺激之品及肥甘厚味食物，胃肠积湿化热，阻于肌肤；或肾阴不足，内生虚热；或瘀血阻滞、痰湿凝结，气血郁滞客于肌肤化热而引起发病，其基本病机皆在于“热”，而红外热成像技术能将这份提示病位病性的“热”直观呈现出来。《素问》曰：“肝热病者，左颊先赤；也热病者，颜先赤；脾热病者，鼻先赤；肺热病者，右颊先赤；肾热病者，颐先赤”的论述，说明了脏腑热病可根据其病位的不同而在面部不同的区域有相应的热量改变。因此，基于痤疮与“热”分布状态的密切关系。已有研究证实采集100例痤疮患者的面部红外热像图及四诊信息，同时采集50例健康志愿者作为对照，将面部分为上、下、中、左、右五个区域，提取面部五个区域的温度及面部平均温、面部最高温、面部最低温。分析后发现痤疮的面部红外温度与中医证素具有一定的相关性，面部红外温度可作为痤疮诊断的一个客观依据。并且痤疮的面部红外温度与健康人群有明显差异，临床治疗上可将面部红外温度的改变作为疗效评价的一个指标。因此皮肤痤疮的诊断要点中除了包含皮损形态学特征以外，还应包含皮损部位温度分布信息。传统皮肤科诊疗对温度的识别不足，现有痤疮识别以可见光为主，没有加入皮肤温度特征。

3、另外，现有痤疮评价方式不统一且低效率：痤疮的皮损计数在研究中被广泛使用，但在临床工作中使用就太过耗时，较难代表整体严重程度；分级标准同样被大量地使用，有研究显示，62％的临床试验都采用分级的标准。但事实上，临床医生对于痤疮严重程度的分级判断大多依赖主观的经验，具有很大的不确定性，并且在随访患者或者评估患者疾病是否较前变化时难以量化。美国食品药品监督管理局认为应将将分级和计数同时采纳为痤疮药物试验中有效的结局指标。综上，主流观点认为临床上为求迅速诊断，应使用简单的标准，而在临床试验中，则应使用敏感度较高的标准。

技术实现思路

1、为此，本发明提供一种基于融合特征的皮肤痤疮检测方法及系统，以解决现有痤疮检测方法存在的以上技术问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、根据本发明实施例的第一方面，提出一种基于融合特征的皮肤痤疮检测方法，所述方法包括：

4、采集含有痤疮的人脸可见光图像并对痤疮进行标记，采集含有痤疮的人脸红外图像并对痤疮温度分布进行标记，构建训练集；

5、使用所述训练集对预先构建的基于改进faster rcnn网络的痤疮分类模型进行训练，所述痤疮分类模型包括特征提取模块、特征金字塔模块以及目标检测模块，所述特征提取模块用于基于resnet网络提取各层特征，所述特征金字塔模块用于对提取到的各层特征进行特征融合获得增强的高级语义特征，所述目标检测模块用于基于增强的高级语义特征输出目标候选框和分类得分；

6、采集患者面部可见光图像和红外图像并输入至训练得到的痤疮分类模型，获取人脸痤疮位置分布、面积及温度分布结果。

7、进一步地，采集含有痤疮的人脸可见光图像并对痤疮进行标记，采集含有痤疮的人脸红外图像并对痤疮温度分布进行标记，构建训练集，具体包括：

8、采集人脸正面、左侧面及右侧面的可见光图像并标记痤疮，采集人脸正面、左侧面及右侧面的红外图像并标记温度分布。

9、进一步地，所述特征提取模块基于resnet-50网络对图像标记做多尺度卷积每一层输出，resnet-50网络的输入为经过标记的人脸正面、左侧面及右侧面的可见光图像和红外图像。

10、进一步地，所述特征金字塔模块用于针对resnet每一个层级的最后一层卷积输出，通过自下而上的方式从最底层开始对每一层输出的特征做采样，并把采样得到的结果连接到上一层的特征进行像素加法，得到多尺度底层信息融合后的图像增强的高层语义特征。

11、进一步地，所述特征金字塔模块使用{c2,c3,c4,c5}表示resnet-50网络中conv2_x、conv3_x、conv4_x和conv5_x中最后一个残差结构的特征激活输出，{p2,p3,p4,p5}表示{c2,c3,c4,c5}对应的融合特征层，对应层的空间尺寸是相同的。

12、进一步地，所述目标检测模块包括感兴趣区域匹配模块、全连接层、边框回归模块和分类得分模块，通过对特征图进行候选目标区域采样和边框回归得到目标候选框和分类得分。

13、进一步地，所述方法还包括：

14、根据得到的人脸痤疮位置分布、面积及温度分布结果，结合临床经验得到的皮肤问题量化标准，对患者人脸皮肤健康程度进行评价。

15、根据本发明实施例的第二方面，提出一种基于融合特征的皮肤痤疮检测系统，所述系统包括：

16、训练集构建模块，用于采集含有痤疮的人脸可见光图像并对痤疮进行标记，采集含有痤疮的人脸红外图像并对痤疮温度分布进行标记，构建训练集；

17、分类模型训练模块，使用所述训练集对预先构建的基于改进rcnn网络的痤疮分类模型进行训练，所述痤疮分类模型包括特征提取模块、特征金字塔模块以及目标检测模块，所述特征提取模块用于基于resnet网络提取各层特征，所述特征金字塔模块用于对提取到的各层特征进行特征融合获得增强的高级语义特征，所述目标检测模块用于基于增强的高级语义特征输出目标候选框和分类得分；

18、痤疮检测模块，用于采集患者面部可见光图像和红外图像并输入至训练得到的痤疮分类模型，获取人脸痤疮位置分布、面积及温度分布结果。

19、进一步地，所述系统还包括：

20、皮肤状态评价模块，用于根据得到的人脸痤疮位置分布、面积及温度分布结果，结合临床经验得到的皮肤问题量化标准，对患者人脸皮肤健康程度进行评价。

21、根据本发明实施例的第三方面，提出一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于融合特征的皮肤痤疮检测系统执行如上任一项所述的方法。

22、本发明具有如下优点：

23、本发明提出的一种基于融合特征的皮肤痤疮检测方法及系统，采集含有痤疮的人脸可见光图像并对痤疮进行标记，采集含有痤疮的人脸红外图像并对痤疮温度分布进行标记，构建训练集；使用所述训练集对预先构建的基于改进faster rcnn网络的痤疮分类模型进行训练，所述痤疮分类模型包括特征提取模块、特征金字塔模块以及目标检测模块，所述特征提取模块用于基于resnet网络提取各层特征，所述特征金字塔模块用于对提取到的各层特征进行特征融合获得增强的高级语义特征，所述目标检测模块用于基于增强的高级语义特征输出目标候选框和分类得分；采集患者面部可见光图像和红外图像并输入至训练得到的痤疮分类模型，获取人脸痤疮位置分布、面积及温度分布结果。本发明除了采集形态学特征，还对皮肤温度特征进行采集，再通过特征融合对深度学习模型进行训练；结合外热成像技术及智能化的算法，可以通过红外图像采集的形式，快速、无创、精确地现实面部温度分布，为中医诊疗提供了重要的客观依据，为中医现代化诊疗提供了新的依据；结合人工智能技术进行痤疮的皮损类型快速识别，解决了传统评估方式式不统一，且依赖医生主观判断的问题，并一种更为客观、准确、可重复性高的评估方法。