一种增强型舌诊系统的制作方法

本发明涉及一种医疗诊断技术领域，具体而言，涉及一种增强型舌诊系统，利用图像处理、人脸识别和神经网络算法通过脸色和舌头对患者进行辅助诊断。本发明还涉及上述增强型舌诊系统的面部识别和五官定位的方法，上述增强型舌诊系统的舌像获取方法。本发明还涉及利用所述增强型舌诊系统进行舌诊的方法。

背景技术：

观察患者的脸色和苔色(舌头)是中医诊断疾病的重要客观指标。脸色分为主色、客色和病色三种，不同的脸色代表不同的健康状况，人的脸色就是一面可以看出生理健康、心理状态的镜子；舌诊是中医诊断疾病的重要方法，观察舌头的色泽、形态的变化是辅助诊断及鉴别的一个简单有效的方法，为望诊重点内容之一，舌为心之苗，脾之外候，苔由胃气所生。脏腑通过经脉与舌相联系，手少阴之别系舌本，足少阴之脉挟舌本，足厥阴之脉络舌本，足太阴之脉连舌本，散舌下，故脏腑病变，可在舌质和舌苔上反映出来，舌诊主要诊察舌质和舌苔的形态、色泽、润燥等，以此判断疾病的性质、病势的浅深、气血的盛衰、津液的盈亏及脏腑的虚实等。

传统的望诊方式通常是医生用肉眼观察患者的脸色和舌头形态和色泽等特征，然后根据从医经验进行诊断。然而，由于医生的个人经验有所不同，使得舌诊的受医生的主观性影响较大。并且，等待医生看诊是一件十分麻烦和费时的事情，消耗了大量的精力。

近年来，已经公开了一些舌诊系统，该舌诊系统具有图像采集模块对舌头进行图像采集，然后医生可以根据采集的图像进行诊断，然而，通过这种系统采集的图像信息往往拍摄不够准确，并且存在有色差，使得诊断也会出现偏差。

因此，期望提供一种能够准确无误地采集脸色和舌像信息，并且能够对采集的信息进行自动化诊断的系统，以提高诊断准确性和速度，减少花费的等待时间。

技术实现要素：

本发明的目的是提供一种自动化、智能化的舌诊系统，其能够对人脸和舌部进行准确识别定位，并且能够基于采集的信息自动地进行诊断。

本发明通过以下技术方案来实现上述目的：一种增强型舌诊系统，包括光源照明模块、图像采集模块、主机模块；所述光源照明模块为面光源，足够照明患者的面部区域，为所述图像采集模块提供照明，所述图像采集模块包括相机和超低畸变镜头，用于对患者进行图像采集，所述主机模块包括面部识别模块和病症分类器，所述面部识别模块与所述图像采集模块通信连接，能够接收由所述图像采集模块传输的图像信息，并且进行识别反馈，所述病症分类器与所述面部识别模块通信，以接收识别后的图像信息进行诊断。

优选的，所述光源照明模块为LED阵列，且具有可调的照明亮度和角度。

优选的，所述图像采集模块为WIFI工业相机，具有USB存储器、信号发射器和信号接收器。

优选的，所述主机模块是还包括显示模块，所述显示模块与所述病症分类器通信，用于显示诊断结果。

根据本发明的另一个方面，本发明还提供增强型舌诊系统的舌像获取方法，包括：

1)调整光源照明模块、图像采集模块相对于人脸的位置，使所述图像采集模块清晰地采集人脸的面部特征；

2)将所述图像采集模块采集的信息传输到主机模块的面部识别模块，进行面部识别，若面部识别失败，返回步骤1)，若面部识别成功，进行下一步骤；

3)基于标准的人脸比例，进行五官定位，若五官定位失败，返回步骤1)，若五官定位成功，进行下一步骤；

4)获取脸色信息，同时限定唇部区域，提示伸出舌头，进行舌部图像；

5)获取舌部图像，并对该舌部图像进行平滑滤波处理。

根据本发明的另一个方面，本发明还提供一种利用所述增强型舌诊系统进行舌诊的方法，包括：

通过所述增强型舌诊系统的舌像获取方法获取脸色和舌像信息；

将所述脸色和舌像信息输入到所述主机模块的病症分类器；

所述病症分类器对所述脸色和舌像信息进行运算，得出病症分类。

根据本发明的一个优选实施方案，还包括将病症分类结果显示在显示模块上。

根据本发明的一个优选实施方案，所述病症分类器为基于BP神经网络的诊断模型，还包括以下步骤：

将所述脸色和舌像信息输入到所述BP神经网络的输入层；

训练所述BP神经网络诊断模型；

调整所述BP神经网络的模型参数；

获得最优的BP神经网络诊断模型。

本发明的有益效果是：本发明利用图像采集模块对人脸进行精确识别和定位，从而准确获取脸色和舌像信息，并将上述信息输入至病症分类器，融合脸色和舌像信息进行诊断，使得诊断结果更为准确和可靠。

附图说明

图1为根据本发明的一个实施方案的增强型舌诊系统的结构示意图；

图2为本发明的增强型舌诊系统的程序流程图；

图3为本发明的增强型舌诊系统面部识别流程图；

图4为本发明的增强型舌诊系统的病症分类器示意图；

图中：1—光源照明模块；2—图像采集模块；3—主机模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了根据本发明的一个实施方案的增强型舌诊系统，包括光源照明模块1、图像采集模块2、主机模块3。

所述光源照明模块1为环形光源，优选地为LED阵列光源，且具有可调的照明亮度和角度，足够照明患者的面部区域，为所述图像采集模块2提供照明。光源照明模块优选地采用高密度LED阵列，高亮度且紧凑设计有利于节省安装空间，并且光源照明模块可以根据实际拍摄环境调整特殊光源的照明亮度及角度，能够提供不同照射角度，解决照射阴影问题，提供良好、稳定的光照条件，以达到最佳拍摄效果。所述光源照明模块将感兴趣部分和其他部分的灰度值差异加大，尽量消隐不感兴趣部分，提高信噪比，保证稳定地获取高质量图像。

所述图像采集模块2包括相机和超低畸变镜头，用于对患者进行图像采集。所述图像采集模块包括高精度相机，配备有高分辨率、高明锐度、短焦距、大光圈镜头，通过调节镜头焦距长短和光圈大小，使相机获得清晰、高分辨率、超低畸变的人脸图像，并将该人脸图像传输给主机模块。所述图像采集模块2优选地为WIFI工业相机，具有USB存储器、信号发射器和信号接收器。上述的WIFI工业相机使用带有USB存储功能可以将采集的图像信息进行储存，信号发射器和信号接收器利用高稳定性、高传输能力和高抗干扰能力的WIFI来实现工业相机与主机模块之间的图像信息的交互。应领会，可以根据现场环境选择有线或无线传输方式来完成信息的交互。

所述主机模块3包括面部识别模块和病症分类器，所述面部识别模块与所述图像采集模块通信连接，能够接收由所述图像采集模块传输的图像信息，并且进行识别反馈，所述病症分类器与所述面部识别模块通信，以接收识别后的图像信息进行诊断。其中，所述面部识别模块包括面部识别、定位五官和舌部图像获取，所述面部识别模块接收由图像采集模块2发出的图像信息，然后面部识别模块对接收到的图像信息首先进行面部识别，若面部识别成功，接着定位五官，获取脸色信息，然后获取舌部图像信息；另一方面，若面部识别失败，面部识别模块将信息反馈至图像采集模块，重新进行图像采集。所述面部识别模块的工作流程将在下文中详细描述。

所述面部识别模块将获取的脸色信息和舌像信息输入到病症分类器，经病症分类器计算后输出诊断报告。所述病症分类器的算法将在下文中详细描述。

优选地，所述主机模块3是还包括显示模块，所述显示模块与所述病症分类器通信，用于显示诊断结果。所述显示模块可以是一个用程序编写的显示界面，使医生实时观察到病人诊断情况，是医师使用系统和最终显示病诊结果的交互平台。

图2示出了本发明的增强型舌诊系统的程序流程图。首先搭建系统平台，将光源照明模块、图像采集模块以及病人站立位置、主机模块调整至最佳状态；打开相机及光圈，主机模块通过有线或无线方式获取到采集的人脸图像；主机模块对人脸图像进行面部识别及五官定位，若未能成功则重新获取人脸图像进行判别；将获取的脸色信息和舌像信息传输给病症分类器，所述病症分类器融合舌部与脸色信息进行运算，输出诊断报告。应理解，将脸色信息和舌像信息二者都输入给病症分类器是一种优选的实施方案，也可以仅将脸色和舌像信息之一输入给病症分类器进行诊断运算。

在增强型舌诊系统的主机模块中包括了面部识别模块。图3示出了本发明的增强型舌诊系统的面部识别流程图。此方法基于Haar特征进行定位，Haar特征通常被广义地分为三类：点特征、线特征以及中心特征，实质就是一种由很多带条纹的矩形所构成的特征。首先训练人脸分类器，能够实现对人脸和非人脸进行区分，方法如下：

基于几个基本特征和不同的特征值进行比较可以得到弱分类器，再结合一定条件选出其中理想、最适合实际工作的弱分类器。

弱分类器数学结构如下：

其中，h(x,f,p,θ)表示最初始的弱分类器，x是由子窗口图像确定的，f是haar特征值，θ值为阈值，p的作用是控制不等号方向。

比较输入图片的特征值和弱分类器中特征，判断当输入图片的特征值小于该阈值时才判定其为人脸。训练最优弱分类器的过程实际上就是在寻找合适的分类器阈值，使该分类器对所有样本的判读误差最低。

所训练得到的弱分类器聚在一起进行了一次比较，再对根据这次比较的结果并按照这些参与比较的弱分类器各自的误判率进行加权，最后将加权求和后的结果与平均的比较结果的差距进行比较，如此进行多次比较后便能得到理想的强分类器。需要训练出多个同等级准确率的强分类器，再让这些强分类器们一层一层的按照由简至繁的顺序排列联合在一起，进行这样的操作后才能最终建立准确率极高且效率极佳的级联分类器，即人脸分类器。

如图3所示，将若干个强分类器由简单到复杂排列，多个强分类器对人脸图像逐层判断，当每一层分类器都判别成功时，才判别为面部。此方法提高强分类器检测率的同时降低误识率，在保证高检测率与低误识率的同时又显著降低了检测时间。通过训练使每个强分类器具有较高的检测率和较低的误识率，假设级联分类器由20个强分类器构成，经过训练后每个强分类器的检测率都为99％，误识率都为50％，那么这个级联分类器的检测率为0.99²⁰≈98％，误识率分别为：0.5²⁰≈0.0001％。由此可见，通过训练得到的级联分类器足以满足实际检测的需求。若人脸识别成功则进行五官定位，若人脸识别失败则向图像采集信息进行反馈，重新采集图像。

人脸分类器识别出面部后，将面部认定为ROI区域并进行五官定位。基于面部的现有知识，使用一定的规则来描述人脸特征和它们的相互关系。对于标准比例的人脸，从发际线到眉线，从眉线到鼻底线，从鼻底线到颈底线，这三部分是相等的，我们一般通过眉弓(眉线)作一条水平线，通过鼻翼下缘(鼻底线)再作一条水平线，设两条平行线间的距离为W，还将垂直方向上眼睛中心点到嘴巴中心点的距离视为W。从正面看，脸部最宽的地方为五只眼的宽度，设一只眼的宽度为L，取两眼中心点的连线,其在水平方向上的距离为2L。这是人的脸长与脸宽的一般标准比例，根据此比例分布定位五官并用适当大小矩形框出。在已识别出面部的基础上，通过此比例分布，以脸部最左侧和发际线的交点，即标准比例脸部的左上角作为坐标原点可描述定位出五官位置。若五官定位失败，则向图像采集模块进行反馈，重新进行图像采集；若五官定位成功，获得脸色信息，并且通过诸如语音装置等的提示装置提示患者进行舌部图像获取。在五官定位中已定位出嘴巴位置，因嘴唇的面积最大，在腐蚀处理之后的二值化图像中嘴唇区域不会被消除，从而定位出嘴唇位置，以两嘴角连线为一基准，垂直下拉W的距离做矩形，保留此矩形内图像，即舌像部分。采用微分运算检测舌像部分灰度级或者结构具有突变的地方得到舌头边缘，由于边缘和噪声都是灰度不连续点，在频域均为高频分量，直接采用微分运算难以克服噪声的影响，因此用微分算子检测边缘前对图像进行平滑滤波，最终得到纯净的舌像区域。

在增强型舌诊系统的主机模块中还包括了病症分类器。图4为本发明的增强型舌诊系统的病症分类器示意图。如图4所示，在本实施方案中，所述病症分类器为基于BP神经网络的诊断模型，将脸色和舌像信息输入病症分类器，进行诊断，输出病症分类。利用病症分类器进行诊断时，首先要通过输入脸色和舌像信息对病症分类器进行训练。下面对基于BP神经网络的病症分类器的构建原理进行描述。BP神经网络也称误差反向传播神经网络，它是由非线性变换单元组成的多层前馈网络，一般由输入层、输出层和隐含层三部分组成，由若干个神经元通过一定的联系来工作的。其中隐含层可以为一层或多层，在本实施方案中，出于简单实用的角度考虑，选用一层隐含层，这足以完成任意的n维到m维的映射。输入层的节点数可以根据输入量的数目选择，在本实施方案中，输入层为脸色和舌像信息，因此输入层节点数2。隐含层节点数目的选择是一个相对较复杂的问题，它与输入输出单元的多少有直接的关系。太多太少都可能影响网络的性能。太多会造成学习时间过长，而太少则造成网络的容错性能差，针对隐含层结构的一些特点，在大量实验结果的基础上，给出一个经验公式作为参考：

其中，N_hidden为隐含层节点数，N_In，N_out，N_class分别为神经网络的输入层节点数、输出层节点数和所需分的目标分类数。max为求最大值的函数。在本实施方案中，目标分类数为病症类别数。

神经元的传输函数选用非线性函数即可，而通常所使用的为Logsig型和Tansig型，分别表示如下：

运用上述原理构建出脸色和舌部诊断方法的模型，即病症分类器，简单模拟人的大脑脑神经功能来实现输入-输出的映射模型，然后通过训练病症分类器，实现通过脸色和舌部来进行诊断。

在BP神经网络中，神经元的输出值计算公式如下：

其中，x_i为神经元的输入，w_i为神经元之间的连接权值，b为神经元的阈值，或称为偏置，f为神经元的传输函数或称为激励函数，O为神经元的输出。

在本实施方案中，输入层是脸色和舌像特征信息进入病症分类器的入口，经隐含层各个神经元处理后，传向输出层得到各个病症分类。首先对储存的全部数据进行信息的正向传播，在信息正向传播时，病库数据从输入层传入，经隐含层各个神经元处理后，传向输出层得到各个病症分类器。若输出层的实际输出病症类别数与期望的输出有误差且此误差大于目标误差的时，神经网络进入误差反向传播阶段，在此阶段，主要进行的操作是修正各个神经元权值，根据误差梯度下降法依次修正四个参数：输出层的权值调整量△w_ki，输出层的阈值调整量△a_k，隐含层的权值调整量△w_ij，隐含层的阈值调整量△θ_i，调整公式如下：其中，η为学习步长参数，E为总误差。

系统对n个训练样本的总误差准则函数为：

其中，T_k表示输出层第k个神经元的期望输出，O_k表示输出层第k个神经元的实际输出。

反复进行信息的正向传播与误差的反向传播这两个过程，直到误差小于目标误差时，得到理想的病症分类器，同时病症分类器训练完成，接下来就可以利用各种脸色和舌像信息进行诊断了。

本发明提供了一种增强型舌诊系统、增强型舌诊系统的舌像获取方法以及利用舌像进行舌诊的方法，使得基于舌像的诊断更为便捷和可靠。

优选地，本发明的增强型舌诊系统还包括一个大数据平台，使得根据脸色和舌像信息获得病症分类后，可以依据该大数据平台自动获得一个治疗方案。

增强型舌诊系统诊断出舌部病症和判别脸色后，综合分析两者诊断结果，评价病人整体身体及心理状态，给出调理方案。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。