一种基于人脸检测的脸色分析系统的制作方法

1.本发明涉及人脸识别技术领域，尤其涉及一种基于人脸检测的脸色分析系统。


背景技术：

2.传统中医学以阴阳五行作为理论基础，将人体看成是气、形、神的统一体，通过“望闻问切”四诊合参的方法，探求病因、病性、病位，分析病机及人体内五脏六腑、经络关节、气血津液的变化，判断邪正消长，进而得出病名，归纳出证型。而传统“望闻问切”的诊断由医生根据经验得出，完全依赖于个人，也多有误诊的时候，难以给看病者足够的信任，这也是中医走向衰落的一大原因。人的脸色反映了不同的身体状态或是疾病，而“望”脸色属于基础而又关键的一步，随着科技不断发展，人脸识别技术不断应用到各个领域。但目前人脸识别在中医面诊方面还有很大的探索空间，还有着较大的空白。


技术实现要素：

3.本发明提供一种基于人脸检测的脸色分析系统，解决的技术问题在于：如何结合人脸识别技术分析脸色，进而与病症相相结合推断出患病的概率分布。
4.为解决以上技术问题，本发明提供一种基于人脸检测的脸色分析系统，包括面部图像提取模块、多维异构数据整合模块、颜色占比计算模块和概率输出模块；
5.所述面部图像提取模块用于对患者图片去背景化，得到面部图像；
6.所述多维异构数据整合模块对所述面部图像采用中文ner模型进行整合并归一化为神经网络处理分布，得到多维异构数据；
7.所述颜色占比计算模块用于对所述多维异构数据进行颜色分析，得到每张面部图像中各个颜色的颜色占比；
8.所述概率计算模块用于根据所述颜色占比结合中医五色主病的病症推理每张面部图像所对应的患病概率。
9.具体的，所述颜色占比计算模块包括像素质获取单元、hsw转化单元、颜色判定单元和颜色占比计算单元；
10.所述像素质获取单元用于获取所述多维异构数据中面部图像的像素质；
11.所述hsw转化单元用于将每个像素质转化为对应的hsv值；
12.所述颜色判定单元用于将处于对应颜色范围的像素记为该颜色；
13.所述颜色占比计算单元用于计算患者面部各种颜色的颜色占比。
14.具体的，所述颜色占比计算单元根据青、黄、红、白、黑五个颜色的像素点在所有像素中的占比从而计算出这五色各自的颜色占比。
15.具体的，所述颜色判定单元标记为青色的hsv值范围为{h＝[78,99],s＝[43,255],v＝[46,255]}，标记为黄色的hsv值范围为{h＝[26,34],s＝[43,255],v＝[46,255]}，标记为红色的hsv值范围为{h＝[0,10]∪[156,180],s＝[43,255],v＝[46,255]}，标记为白色的hsv值范围为{h＝[0,180],s＝[0,30]，v＝[221,255]}，标记为黑色的hsv值
范围为{h＝[0,180],s＝[0,255],v＝[0,46]}。
[0016]
具体的，所述多维异构数据整合模块采用z
‑
score标准化方法进行归一化分布。
[0017]
具体的，所述面部图像提取模块采用mtcnn模型对人脸照片去背景。
[0018]
具体的，所述中文ner模型为lex
‑
bert模型。
[0019]
具体的，所述颜色占比计算模块和所述概率计算模块基于opencv工作。
[0020]
本发明提供的一种基于人脸检测的脸色分析系统，通过面部图像提取模块先将每张人脸照片去背景化，通过多维异构数据整合模块将得到的去背景化病人的面部图像进行整合，然后通过颜色占比计算模块对整合后的面部图像进行颜色分析从而得到病人脸部颜色占比情况，最后通过概率计算模块结合中医五色主病的病症，并加以适当推理，将推断概率进行归一化处理之后输出最终基于面部图像颜色占比得到的患病概率。本发明主要是基于人脸检测算法和对患者脸色进行颜色分析，结合中医五色主病的病症和神经网络的相关知识，推理得到可靠的患者患病概率。
附图说明
[0021]
图1是本发明实施例提供的一种基于人脸检测的脸色分析系统的第一框架结构图；
[0022]
图2是本发明实施例提供的一种基于人脸检测的脸色分析系统的第二框架结构图；
[0023]
图3是本发明实施例提供的mtcnn模型对人脸照片去背景的流程图。
具体实施方式
[0024]
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
[0025]
本发明实施例提供一种基于人脸检测的脸色分析系统，如图1、2所示，包括面部图像提取模块、多维异构数据整合模块、颜色占比计算模块和概率输出模块。
[0026]
所述面部图像提取模块用于对患者图片去背景化，得到面部图像。
[0027]
所述多维异构数据整合模块对所述面部图像采用中文ner模型进行整合并归一化为神经网络处理分布，得到多维异构数据。
[0028]
所述颜色占比计算模块用于对所述多维异构数据进行颜色分析，得到每张面部图像中各个颜色的颜色占比。
[0029]
所述概率计算模块用于根据所述颜色占比结合中医五色主病的病症推理每张面部图像所对应的患病概率。
[0030]
具体的，所述面部图像提取模块采用mtcnn模型对人脸照片去背景，参考图3，其具体过程为：
[0031]
1)将图片传入图像金字塔，得到各自的数据形状；
[0032]
2)然后将这些图片输入pnet(pnet的作用是最终能够得到了一批人脸框)得到新的各自的形状输出；接着将这些输出进行筛选和反算，得到图片集；
[0033]
3)将图片集，经过square(正方形变换)、crop(裁剪)、resize(变形)等相关程序操
作后，传入到rnet(rnet的作用是对pnet得到的人脸框进一步打分筛选，回归人脸框)得到新的形状输出；
[0034]
4)将这些新的形状进行筛选和反算，再经过square、crop、resiz等相关程序操作后得到候选框，传入到onet(onet的作用是对rnet得到的人脸框进一步打分筛选，回归人脸框。同时在每个框上都计算特征点位置)；
[0035]
5)将这些新的结果进行筛选和反算候选框再通过nms(非极大值抑制，non
‑
maximum suppression)，得到预测框。nms抑制不是极大值的元素，用于目标检测中，就是提取置信度高的目标检测框，而抑制置信度低的误检框。一般来说，用在当解析模型输出到目标框时，目标框会非常多，具体数量由anchor数量决定，其中有很多重复的框定位到同一个目标，nms用来去除这些重复的框，获得真正的目标框。
[0036]
具体的，在将实时提取数据抛入神经网络之前，多维异构数据整合模块首先需要做的是实体命名识别。实体命名识别从文本句子中提取实体及其类型，对于捕获文本的关键信息非常重要。本例所使用的是改进的用于词典增强基于bert的ner(lex
‑
bert模型)，集成了先进的中文ner模型，从中提取相应实体，在其中添加实体的极性(“+”、
“‑”
、或“？”，分别表示“相关”、“不相关”和“不明确”)来客观地表示给定的评价表数据中是否存在所提取的实体。
[0037]
还需说明的是，所述多维异构数据整合模块采用z
‑
score标准化方法进行归一化分布，z
‑
score标准化是基于原始数据的均值和标准差进行的数据标准化。将属性a的原始数据x通过z
‑
score标准化成x
′
。z
‑
score标准化适用于属性a的最大值或者最小值未知的情况，或有超出取值范围的离散数据的情况。其标准化的公式为：
[0038][0039]
其中μ为均值，σ为标准差。
[0040]
z
‑
score标准化得到的结果是所有数据都聚集在0附近，方差为1。
[0041]
具体的，如图1所示，所述颜色占比计算模块包括像素质获取单元、hsw转化单元、颜色判定单元和颜色占比计算单元。
[0042]
所述像素质获取单元用于获取所述多维异构数据中面部图像的像素质。
[0043]
所述hsw转化单元用于将每个像素质转化为对应的hsv值。hsv(hue,saturation,value)是根据颜色的直观特性由a.r.smith在1978年创建的一种颜色空间，也称六角锥体模型(hexcone model)。这个模型中颜色的参数分别是：
[0044]
色调(hue)：用角度度量，取值范围为0
°
～360
°
，从红色开始按逆时针方向计算，红色为0
°
，绿色为120
°
，蓝色为240
°
。它们的补色是：黄色为60
°
，青色为180
°
，品红为300
°
，范围为0
‑
180。
[0045]
饱和度(s)：取值范围为0.0～1.0，范围为0
‑
255。
[0046]
亮度(v)：取值范围为0.0(黑色)～1.0(白色)，范围为0
‑
255。
[0047]
所述颜色判定单元用于将处于对应颜色范围的像素记为该颜色。
[0048]
所述颜色占比计算单元用于计算患者面部各种颜色的颜色占比。
[0049]
需要说明的是，一张图像的颜色范围如下表1所示，而所述颜色占比计算单元根据青、黄、红、白、黑五个颜色的像素点在所有像素中的占比从而计算出这五色各自的颜色占
比。本例所述颜色判定单元标记为青色的hsv值范围为{h＝[78,99],s＝[43，255],v＝[46,255]}，标记为黄色的hsv值范围为{h＝[26，34],s＝[43，255],v＝[46,255]}，标记为红色的hsv值范围为{h＝[0,10]∪[156,180],s＝[43,255]，v＝[46，255]}，标记为白色的hsv值范围为{h＝[0,180],s＝[0,30],v＝[221,255]}，标记为黑色的hsv值范围为{h＝[0,180],s＝[0,255],v＝[0,46]}。
[0050]
表1
[0051][0052]
最后概率计算模块结合中医五色主病的病症，根据人脸颜色占比情况，并加以适当推理，将推断概率进行归一化处理之后输出最终基于面部图像颜色占比得到的患病概率。
[0053]
还需说明的是，所述颜色占比计算模块和所述概率计算模块基于opencv工作。
[0054]
本例将数据集中80％的数据作为训练集训练出模型，剩余20％数据作为测试集。为验证模型的最终效果，则将训练好的模型在测试集上计算误差，可认为此误差即为泛化误差的近似，而只需让训练好的模型在测试集上的误差最小即可。综上，本发明实施例提供的一种基于人脸检测的脸色分析系统，通过面部图像提取模块先将每张人脸照片去背景化，通过多维异构数据整合模块将得到的去背景化病人的面部图像进行整合，然后通过颜色占比计算模块对整合后的面部图像进行颜色分析从而得到病人脸部颜色占比情况，最后通过概率计算模块结合中医五色主病的病症，并加以适当推理，将推断概率进行归一化处理之后输出最终基于面部图像颜色占比得到的患病概率。本发明实施例主要是基于人脸检测算法和对患者脸色进行颜色分析，结合中医五色主病的病症和神经网络的相关知识，推理得到可靠的患者患病概率，不仅可搭建成相应的医疗设备，还可搭载在app上，以对有需求的用户进行健康评估，作为参考。
[0055]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。