一种用于中医面诊辅助诊断的人脸区域分割方法、装置和存储介质与流程

1.本说明书涉及计算机软件技术领域，尤其涉及一种用于中医面诊辅助诊断的人脸区域分割方法、装置、存储介质和电子设备。


背景技术：

2.面诊就是透过面部反射区知道脏腑疾病与健康状况的诊法，从而快速治愈。这是一种简单有效的发现疾病的方法，对于医学具有非常重要的意义。中医通过望、闻、问、切四诊法来对面部整体以及面部五官进行观察，从而判断人体全身与局部的病变情况。身体的异常变化，可能发生在面部变化出现之前或之后，人体内脏功能和气血状况在面部均有相应表现，通过检查面部，可根据肌肉紧张度、弹性、收缩力的变化，还有肿胀、皱纹、结痂、缺陷、面部皮肤颜色改变以及充血等脸部特征，来了解人体的健康状态和病情变化。现在有很多面诊仪在获取中医面诊所需分区时，大多采用人脸关键点定位的方法，例如中医四诊仪，需要对人脸眼睛、鼻子等器官进行定位，提取出额头、下颏和两颧区等人脸区域，进而得到面诊结果。这种方法进行的分区精度受人脸关键点定位精度影响较大，分区效果往往欠佳，而且面诊结果大多单一片面，没有有效的数据支撑以及严谨合理的医学逻辑对应关系，诊断结果可信度不高，限制了面诊在普通大众中的广泛传播和应用。因此，人脸区域分割的准确程度是提高智能化中医面诊辅助诊疗水平的关键因素。


技术实现要素：

3.本说明书实施例的目的是针对上述问题，提供一种用于中医面诊辅助诊断的人脸区域分割方法和装置。
4.为解决上述技术问题，本说明书实施例是这样实现的：
5.第一方面，提出了一种用于中医面诊辅助诊断的人脸区域分割方法，采集人脸图像，根据中医面诊分区对人脸图像进行区域标注以用于训练人脸区域分割模型后，包括：
6.所述人脸图像通过卷积神经网络结构提取高阶图像特征形成第一特征图，所述卷积神经网络结构至少通过一次卷积层和一次池化层，所述卷积层包括扩张卷积和深度可分离卷积；
7.所述第一特征图经上采样后与所述人脸图像经所述深度可分离卷积输出的第二特征图进行融合，输出第三特征图；
8.所述第三特征图至少通过一次所述卷积层和一次所述上采样后输出人脸区域分割结果。
9.第二方面，提出了一种用于中医面诊辅助诊断的人脸区域分割装置，包括：
10.人脸图像采集模块，用于采集人脸图像；
11.模型训练模块，用于根据中医面诊分区对所述人脸图像进行区域标注以用于训练人脸区域分割模型；
12.高阶图像特征提取模块，用于将所述人脸图像通过卷积神经网络结构提取高阶图像特征形成第一特征图，所述卷积神经网络结构包括至少通过一次卷积层和一次池化层，所述卷积层包括扩张卷积和深度可分离卷积；
13.特征图融合模块，用于将所述第一特征图经上采样后与所述人脸图像经所述深度可分离卷积输出的第二特征图进行融合，输出第三特征图；
14.人脸分割结果输出模块，用于将所述第三特征图至少通过一次所述卷积层和一次所述上采样后输出人脸区域分割结果。
15.第三方面，提出了一种电子设备，包括：处理器；以及
16.被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第一方面所述的方法。
17.第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第一方面所述的方法。
18.本说明书可以达到至少以下技术效果：
19.本发明采集的可见光人脸图像经过卷积神经网络自动进行面诊区域分割后，多次通过卷积神经网络并采用深度可分离卷积和扩张卷积后，能够提取出人脸各个区域高阶图像特征，提高了计算效率，有效提升了中医面诊诊断的准确性。
附图说明
20.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
21.图1为本说明书实施例提供的用于中医面诊辅助诊断的人脸区域分割方法步骤示意图之一。
22.图2为本说明书实施例提供的用于中医面诊辅助诊断的人脸区域分割方法步骤示意图之二。
23.图3为本说明书实施例提供的用于中医面诊辅助诊断的人脸区域分割方法步骤示意图之三。
24.图4为本说明书实施例提供的用于中医面诊辅助诊断的人脸区域分割方法步骤示意图之四。
25.图5为本说明书的一个实施例提供的用于中医面诊辅助诊断的人脸区域分割装置结构示意图之一。
26.图6为本说明书的一个实施例提供的电子设备的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，
本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
28.关键术语
29.深度学习：深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：(1)基于卷积运算的神经网络系统，即卷积神经网络(cnn)；(2)基于多层神经元的自编码神经网络，包括自编码(auto encoder)以及近年来受到广泛关注的稀疏编码两类(sparse coding)；(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(dbn)。通过多层处理，逐渐将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类等学习任务。由此可将深度学习理解为进行“特征学习”(feature learning)或“表征学习”(representation learning)。
30.卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，被应用于计算机视觉、自然语言处理等领域。卷积神经网络包括输入层、隐含层和输出层。输入层可以处理多维数据，常见地，一维卷积神经网络的输入层接收一维或二维数组，其中一维数组通常为时间或频谱采样；二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；三维卷积神经网络的输入层接收四维数组。隐含层包含卷积层、池化层和全连接层3类常见结构；其中，卷积层和池化层是卷积神经网络特有的，卷积层主要用于提取图像特征，经过多次的堆叠，可以得到更高阶的图像特征，池化层主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。
31.下面通过具体的实例对本说明书所涉及的一种用于中医面诊辅助诊断的人脸区域分割方案进行详述。
32.实施例一
33.参照图1所示，为本说明书实施例提供的用于中医面诊辅助诊断的人脸区域分割方法步骤示意图。所述方法可以包括以下步骤：
34.步骤101：采集人脸图像。具体地，人脸图像的采集是中医面诊辅助诊断的基础，可通过摄像头采集可见光人脸图像作为中医面诊原始图像。
35.步骤102：根据中医面诊分区对所述人脸图像进行区域标注以用于训练人脸区域分割模型。
36.可选地，中医面诊分区包括心理压力区、脑区、肺区、心脏区、胸乳区、肝区、脾区、胆区、肾区、膀胱区、大肠区、小肠区、生殖区中的至少一种。特别地，可以对训练数据进行数据增强，增加训练样本的多样性，提高模型鲁棒性和泛化能力，避免模型过拟合；所采用的的数据增强方式有翻转，旋转，缩放，随机裁剪或补零，色彩抖动，加噪声等等。
37.步骤103：所述人脸图像通过卷积神经网络结构提取高阶图像特征形成第一特征图，所述卷积神经网络结构至少通过一次卷积层和一次池化层，所述卷积层包括扩张卷积和深度可分离卷积。
38.可选地，如图2所示，所述通过卷积神经网络结构提取高阶图像特征形成第一特征图的工作过程包括：
39.步骤121：将所述人脸图像多次经过所述卷积层和所述池化层，所述卷积层至少包
括所述深度可分离卷积。需要说明的是，卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
40.具体地，深度可分离卷积可大幅度降低模型计算量和参数量，能在不牺牲模型性能的前提下显著提高计算效率。深度可分离卷积由通道卷积和逐点卷积两部分结合起来提取图像特征，如图3所示。通道卷积在二维平面内进行，卷积核的数量与上一层的通道数相同。逐点卷积的卷积核大小为1
×
1。假设输入特征图大小为w_in
×
h_in
×
m，输出特征图大小为w_out
×
h_out
×
n，卷积核大小为d_k
×
d_k
×
m，则标准卷积的参数量为(d_k
×
d_k
×
m)
×
n，标准卷积的计算量为(d_k
×
d_k
×
m)
×
(w_out
×
h_out
×
n)，深度可分离卷积的参数量为d_k
×
d_k
×
m+m
×
n，深度可分离卷积的计算量为d_k
×
d_k
×m×
w_out
×
h_out+m
×
w_out
×
h_out
×
n，深度可分离卷积的参数量是标准卷积的
[0041][0042]
深度可分离卷积的计算量是标准卷积的
[0043][0044]
因此，可以看到深度可分离卷积进而大大减少网络参数量和计算量，当d_k取3时，使用深度可分离卷积的网络参数量是不使用深度可分离卷积的网络参数量的1/8至1/9。这里w_in、h_in、w_out、h_out分别是输入、输出的特征图宽度和高度；d_k
×
d_k是卷积核大小，m和n分别是输入、输出的通道数。
[0045]
标准卷积是各个通道上采用相同的卷积核，然后不同的卷积核用于提取不同的特征。深度可分离卷积先在各个通道上采用不同的卷积核提取不同的特征，但是这样对于某个通道来说，就只提取了一方面的特征，因此在此基础上加入逐点卷积，用1
×
1的卷积对提取特征后的特征图再次提取不同方面的特征，最终产生和标准卷积相同的输出特征图，但深度可分离卷积可以大大减少网络参数量和计算量，这样用深度可分离卷积代替标准卷积后，能在不牺牲模型性能的前提下显著提高计算效率。
[0046]
步骤122：获取人脸图像经过所述深度可分离卷积后的所述第二特征图。
[0047]
步骤123：将所述第二特征图分别输入至4个采用不同扩张率的所述扩张卷积。
[0048]
具体地，如图4所示，扩张卷积可以在不改变图像输出特征图大小的同时控制感受野，增大特征图感受野，让每个卷积输出都包含较大范围的信息，这有利于提取图像多尺度信息，感受野的值越大表示其能接触到的原始图像范围就越大，所提取的则是更为全局，语义层次更高的特征；相反，感受野值越小则表示其所包含的特征越趋向局部和细节。图像分割算法通常使用池化层和卷积层来增加感受野，但这同时也缩小了特征图的大小，然后再利用上采样还原图像尺寸，特征图缩小再放大的过程造成了精度上的损失，扩张卷积则很好的解决了这个问题。
[0049]
步骤124：将所述4个采用不同扩张率的扩张卷积输出进行融合，经过所述卷积层后输出所述第一特征图。具体地，将4个扩张卷积的输出特征图进行拼接融合，相当于增加
architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0064]
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
[0065]
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成共享资源访问控制装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
[0066]
采集人脸图像，根据中医面诊分区对所述人脸图像进行区域标注以用于训练人脸区域分割模型后，包括：
[0067]
所述人脸图像通过卷积神经网络结构提取高阶图像特征形成第一特征图，所述卷积神经网络结构至少通过一次卷积层和一次池化层，所述卷积层包括扩张卷积和深度可分离卷积；
[0068]
所述第一特征图经上采样后，与所述人脸图像经所述深度可分离卷积输出的第二特征图进行融合，输出第三特征图；
[0069]
所述第三特征图多次通过所述卷积层和所述上采样后输出人脸区域分割结果。
[0070]
上述如本说明书图1至图4所示实施例揭示的一种用于中医面诊辅助诊断的人脸区域分割方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0071]
当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
[0072]
实施例四
[0073]
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1至图4所示实施例的方法，并具体用于执行以下方法：
[0074]
采集人脸图像，根据中医面诊分区对所述人脸图像进行区域标注以用于训练人脸
区域分割模型后，包括：
[0075]
所述人脸图像通过卷积神经网络结构提取高阶图像特征形成第一特征图，所述卷积神经网络结构至少通过一次卷积层和一次池化层，所述卷积层包括扩张卷积和深度可分离卷积；
[0076]
所述第一特征图经上采样后，与所述人脸图像经所述深度可分离卷积输出的第二特征图进行融合，输出第三特征图；
[0077]
所述第三特征图多次通过所述卷积层和所述上采样后输出人脸区域分割结果。
[0078]
总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
[0079]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0080]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0081]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0082]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。