一种基于深度学习的儿童六龄牙龋齿智能筛查方法与流程

本发明涉及医药技术领域，具体涉及一种基于深度学习的儿童六龄牙龋齿智能筛查方法。

背景技术：

筛查是基层口腔卫生服务的重要内容之一，传统的龋齿诊断方法主要包括视诊、探诊、x光片和荧光成像检测等。视诊、探诊较依赖于口腔医生的视力和经验，在龋齿特征不够明显的情况下容易发生误诊。x光片和荧光成像是一种客观灵敏的龋齿检测手段，但对设备、场所等有所要求，且x光或荧光成像检测存在对牙齿造成潜在的损害，不适合长期使用。本发明通过研发一种基于深度学习的儿童六龄牙龋齿智能筛查方法，实现远程牙科诊疗(teledentistry)，让人们只要拥有一台具有高清拍摄功能的智能手机，拍摄牙齿图像并通过微信小程序上传到云端，云端采用基于深度学习的龋齿智能检测和分析算法，就可以足不出户获得龋齿初步诊断结果。

技术实现要素：

本发明所要解决的问题是：提供一种基于深度学习的儿童六龄牙龋齿智能筛查方法，能够精准地检测出六龄牙区域位置，解决拍摄的阴影和遮挡问题，提高模型检测和分类的泛化性和鲁棒性，通过人工智能技术减少人力投入及人为误差，提高筛查效率、灵敏度、特异度等。

本发明为解决上述问题所提供的技术方案为：一种基于深度学习的儿童六龄牙龋齿智能筛查方法，所述方法包括以下步骤，

s1、六龄牙图像采集；

s2、利用深度学习从不同大小和形状的六龄牙图像中提取丰富的可靠的特征；

s3、对特征进行检测：在每一层特征的每一个网格内，用k个固定比例的方框检索，依据牙齿的特性，设定预选框的尺寸比为[1,2,1/2]，这样一个大小为m*n的特征可以获得的候选框数目为k*m*n，每个方框要预测牙齿的(c+1)类的置信度和方框的坐标和尺寸4个信息，这层特征的检测结果一共有(c+1+4)*k*m*n，图片预先被设置为300*300，依据以上的网络结构，抽取第4、6、7、8、9、10层的特征检测；

s4、对检测到的龋齿进行分类：利用分类网络模型直接对输入影像的疾病进行识别后获取六龄牙位置信息，然后采用分割等手段将所有的六龄牙区域全部提取出来，再进行数据标注，分别送入分类网络进行龋齿诊断分类训练。

优选的，所述步骤s1六龄牙图像采集的具体过程为，

(1)、微信搜索小程序；

(2)、知识阅读及拍照指引；

(3)、签订知情同意书；

(4)、登记个人身份信息；

(5)、六龄牙照片采集及上传；

(6)、提交审核。

优选的，所述步骤s3还包括冗余框的去除，去除方法包括以下步骤，

1)、在检测时，算法对每个检测候选框都做了分类，并且对不同类计算置信度；

2)、nms依据各类的置信度对n个候选框排序；

3)、置信度最大的a框加入检测结果result，分别判断剩下n-1个框与a的重叠度iou是否大于阈值，其计算方式为：

4)、保留剩下重叠度小于阈值的m个候选框，并从中选择置信度最高的框，加入result；重复步骤(3)；这样，nms可以抑制那些分数低的候选框，选取置信度最大的候选框作为算法的最终六龄牙区域检测结果；为了更好地监督检测网络的精度，检测网络的目标损失函数定义如下：

其中，x代表分类，l代表置信度，g代表真实框，l代表检测候选框，n代表多个候选框；一方面lconf(x，c)利用softmaxloss计算依据每类的置信度c监督检测候选框内牙齿分类，另一方面lloc(x，l，g)利用smoothl1loss每个检测候选框l与真实框g的重叠度，来监督检测网络的定位。

优选的，所述步骤s4中的标注方法为‘0’：健康；‘1’：龋坏。

优选的，所述步骤s4中采用了类加权分类损失函数，对分类器的小类样本数据增加权值，降低大类样本的权值，从而使得分类器将重点集中在小类样本身上；在训练分类器时，若分类器将小类样本错误分类时额外增加分类器一个小类样本错分的代价，这个额外的代价可以使得分类器更加“关心”小类样本；该分类损失函数定义如下：

其中ωp代表健康样本权重，ωn代表龋坏样本权重，li代表样本真是类别，σ代表sigmoid函数，pi代表训练分类器输出的样本置信度。

与现有技术相比，本发明的优点是：本发明采用深度学习的方法作为远程牙科图像数据处理的技术，能够精准地检测出六龄牙区域位置，解决拍摄的阴影和遮挡问题，提高模型检测和分类的泛化性和鲁棒性；通过深度学习分类方法，捕捉更深层次的龋坏判别特征，构建稳定高效的诊断分类模型，进而有效地提高六龄牙健康和龋坏二分类精度，摆脱了目前研究对高端照相设备等硬件设施的依赖，通过人工智能技术减少人力投入及人为误差，提高筛查效率、灵敏度、特异度等。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明的六龄牙图像采集的流程图；

图2是本发明的第i层卷积神经层提取特征示意图；

图3是多层卷积层提取特征示意图；

图4是基于深度学习的多目标检测框架的示意图；

图5是检测候选框示意图；

图6是候选框重叠度示意图；

图7是基于深度学习的龋齿分类架构示意图；

具体实施方式

以下将配合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

一种基于深度学习的儿童六龄牙龋齿智能筛查方法，所述方法包括以下步骤，

s1、六龄牙图像采集，其具体过程如图1所示，(1)、微信搜索小程序(护牙呗)；(2)、知识阅读及拍照指引；(3)、签订知情同意书；(4)、登记个人身份信息；(5)、六龄牙照片采集及上传；(6)、提交审核。

s2、利用深度学习从不同大小和形状的六龄牙图像中提取丰富的可靠的特征；

s3、对特征进行检测：在每一层特征的每一个网格内，用k个固定比例的方框检索，依据牙齿的特性，设定预选框的尺寸比为[1,2,1/2]，这样一个大小为m*n的特征可以获得的候选框数目为k*m*n，每个方框要预测牙齿的(c+1)类的置信度和方框的坐标和尺寸4个信息，这层特征的检测结果一共有(c+1+4)*k*m*n，图片预先被设置为300*300，依据以上的网络结构，抽取第4、6、7、8、9、10层的特征检测；从图6中，可以看到检测框之间有很大的冗余，框之间存在交叉或者包含而的关系。非极大值抑制(non-maximumsuppression，nms)可以很好地去除这些冗余框。过程如下：

(1)在检测时，算法对每个检测候选框都做了分类，并且对不同类计算置信度。

(2)nms依据各类的置信度对n个候选框排序。

(3)置信度最大的a框加入检测结果result，分别判断剩下n-1个框与a的重叠度iou是否大于阈值。

(4)保留剩下重叠度小于阈值的m个候选框，并从中选择置信度最高的框，加入result。重复步骤(3)。

这样，nms可以抑制那些分数低的候选框，选取置信度最大的候选框作为算法的最终六龄牙区域检测结果。为了更好地监督检测网络的精度，检测网络的目标损失函数定义如下：

其中，x代表分类，l代表置信度，g代表真实框，l代表检测候选框，n代表多个候选框；一方面lconf(x，c)利用softmaxloss计算依据每类的置信度c监督检测候选框内牙齿分类，另一方面lloc(x，l，g)利用smoothl1loss每个检测候选框l与真实框g的重叠度，来监督检测网络的定位。

s4、对检测到的龋齿进行分类：利用分类网络模型直接对输入影像的疾病进行识别后获取六龄牙位置信息，然后采用分割等手段将所有的六龄牙区域全部提取出来，再进行数据标注，分别送入分类网络进行龋齿诊断分类训练。

深度学习提取特征时通过多组滤波来提取多个维度的特征，每一组滤波器可以提取一维特征。每个滤波的权重在学习的过程中会通过反向传播，优化每一个滤波的权重和偏。如图2所示，随着网络的不断学习，滤波会提取更高质量和稳定的特征。第i层的第j组特征的提取过程可以用以下公式表示:

为了获得更稳定高层特征，一方面深度的神经网络的感知范围卷积神经网络通过结合池化层或者多层卷积神经网络堆叠等操作，扩大滤波的感知野，从而在更广的区域里提取特征。如图3所示，我们通过池化层与卷积层的结合或者卷积层堆叠可以把一个3*3滤波感受野扩大为5*5，甚至更大。

深度学习通过多层卷积神经网络的堆叠，不仅可以在更大的范围里提取低层特征，还可以学习组合低维特征来获得更加抽象稳定的高层特征。因此利用深度学习可以从不同大小和形状的六龄牙图中提取丰富的可靠的特征。针对拍摄环境复杂，光线差别大，龋齿位置不同等问题，深度学习通过旋、翻转以及调节光线等多种手段来扩大样本量，来使得提取的特征可以应对不同环境的挑战。

在医学图像诊断领域，基于深度学习的异常识别分类研究方案主要包括端到端识别方案和基于病灶检出的方案。其中端到端研究方案试图借助深度学习网络模型直接对输入影像的疾病进行识别,这种方案对异常比较明显且异常数量占较大比例的龋坏数据来说能取得较优的结果,常用的模型结构有：alexnet、vgg、resnet、densene等。但对于那些不易察觉且发病率较小的异常，如本项目中针对六龄牙区域的龋坏异常,端到端的研究方案可能难以捕捉到龋坏判别特征，且容易受其他牙齿病变特征的干扰，因此可能无法获得令人满意的龋齿分类结果。

因此，针对于所提出的儿童六龄牙龋齿智能筛查技术，本项目首先结合上述的六龄牙区域检测模型获取六龄牙位置信息，采用分割等手段将所有的六龄牙区域全部提取出来。再由专业牙科医师进行数据标注，(‘0’：健康；‘1’：龋坏)，分别送入分类网络进行龋齿诊断分类训练，其中分类网络采用vgg16预训练网络模型，龋齿分类架构如图7所示。

显然，在我们六龄牙数据中，健康样本数量远远超过龋坏的样本，这种样本不平衡会使得我们的分类模型存在很严重的偏向性。因此，在我们分类网络模型训练过程中，我们采用了类加权分类损失函数，对分类器的小类样本数据增加权值，降低大类样本的权值，从而使得分类器将重点集中在小类样本身上。在训练分类器时，若分类器将小类样本错误分类时额外增加分类器一个小类样本错分的代价，这个额外的代价可以使得分类器更加“关心”小类样本。该分类损失函数定义如下：

其中ωp代表健康样本权重，ωn代表龋坏样本权重，li代表样本真是类别，σ代表sigmoid函数，pi代表训练分类器输出的样本置信度。

因此，结合上述的研究，本发明将构建一个实时在线儿童六龄牙龋齿筛查系统，该系统主要包含图像采集、六龄牙区域检测以及六龄牙龋齿分类三个模块。通过手机等移动设备采集儿童口腔牙齿图像，上传至服务器进行在线检测与分类。在该过程中，首先将采集到的图像送入检测网络获取六龄牙区域位置信息，再将所对应的六龄牙区域图像送入分类网络进行诊断分类，最后实时将诊断结果返回用户的移动设备。由于结合深度学习技术可以引入更加丰富的判别特征，本项目所构建的儿童六龄牙龋齿筛查系统将在识别精度和识别效率等方面比传统筛查手段有着非常明显的优势，能有效弥补传统筛查手段精度效率不足等问题。

以上仅就本发明的最佳实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化。凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明保护范围内。