基于深度学习的全景片龋病识别的方法和装置与流程

本发明涉及计算机图像处理技术领域，特别地涉及一种基于深度学习的全景片龋病识别的方法和装置。

背景技术：

口腔全景片是进行口腔诊断的主要依据，其可以清晰、完整的显示上颌骨全貌、下颌骨全貌、上下颌牙列情况、牙槽骨情况、上颌窦腔、窦壁、窦底情况以及颞颌关节情况，并对颌骨周围疾病的诊断提供准确有效的帮助。

龋病作为最常见的口腔疾病之一，可以继发牙髓炎和根尖周炎，甚至能引起牙槽骨和颌骨炎症。如不及时治疗，病变继续发展，形成龋洞，终至牙冠完全破坏消失，其发展的最终结果是牙齿丧失，所以龋病的精准快速诊断十分重要，人工诊断具有不一致性和低效性。更何况我国医疗资源较稀缺，资深医学专家数量不足，倘若完全依靠人工作业会让作业人用眼疲劳，进一步降低判断结果的准确可信程度。在这种形势下，研发自动化处理全景片龋病识别的方法和装置的需求变得迫切。

技术实现要素：

有鉴于此，本发明提供一种基于深度学习的全景片龋病识别方法及装置，以克服现有技术中的上述缺点。

本发明实施例的基于深度学习的全景片龋病识别方法，包括：基于深度学习的全景片龋病识别方法，其特征在于，包括：将全景片输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；确定所述恒牙分割结果中各颗牙齿对应的牙冠图像块；将所述牙冠图像块输入基于深度学习的龋病病灶分割模型，以得到所述龋病病灶分割结果。

可选地，所述将所述牙冠矩形框输入基于深度学习的龋病病灶分割模型，以得到所述龋病病灶分割结果的步骤之后，还包括：对所述龋病病灶分割结果进行形态学开运算处理，以得到龋病病灶分割平滑结果。

可选地，所述对所述龋病病灶分割结果进行形态学开运算处理，以得到龋病病灶分割平滑结果的步骤之后，还包括：对所述龋病病灶分割平滑结果和所述恒牙分割结果取并集，以得到龋病病灶优化结果。

可选地，所述基于深度学习的恒牙分割模型是通过如下方式得到的：(1)模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用xception网络结构，所述解码器部分采用fpn多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scse结构；(2)模型训练阶段：对恒牙分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集imagenet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的dice值来确定模型的最优参数。

可选地，所述确定所述恒牙分割结果中各颗牙齿对应的牙冠图像块的步骤包括：遍历地对恒牙分割结果中的各颗牙齿执行如下操作：获取当前牙齿的全齿贴合矩形框，根据所述全齿贴合矩形框确定牙冠所在侧边的半齿贴合矩形框，根据所述半齿贴合矩形框确定质心，以所述质心为中心点生成预设尺寸的质心采样框，根据所述质心采样框在所述全景片上裁切出所述牙冠图像块。

可选地，所述基于深度学习的龋病病灶分割模型是通过如下方式得到的：(1)模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用xception网络结构，所述解码器部分采用fpn多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scse结构；(2)模型训练阶段：对龋病病灶分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，特征提取部分的参数采用大型公开图像数据集imagenet上预训练好的参数，全连接层和输出层的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的dice值来确定模型的最优参数。

可选地，所述随机初始化的方法为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal。

可选地，所述梯度下降算法的方法为：adam，sgd，msprop或者adadelta。

本发明实施例的基于深度学习的全景片龋病识别装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明的任一所述的方法。

根据本发明的技术方案，基于人工智能技术，能够自动化地完成以往的人工作业，具有客观、快速、重复性好等优点。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明实施例的基于深度学习的全景片龋病识别的方法的流程示意图；

图2a是本发明实施例的恒牙识别结果的示意图；

图2b是本发明实施例的全齿贴合矩形框的示意图；

图2c是本发明实施例的半齿贴合矩形框的示意图；

图2d是本发明实施例的牙齿质心和质心采样框的示意图；

图2e是本分明实施例的龋病病灶分割结果的示意图。

具体实施方式

图1为本发明实施例的基于深度学习的全景片龋病识别方法的流程示意图，包括如下的步骤a至步骤c。

步骤a：将全景片输入基于深度学习的恒牙分割模型，以得到恒牙分割结果。

可选地，步骤a中的基于深度学习的恒牙分割模型是通过如下方式得到的：(1)模型设计阶段：网络结构包含编码器部分和解码器部分，编码器部分采用xception网络结构，解码器部分采用fpn多尺度融合结构，并且从编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scse结构；(2)模型训练阶段：对恒牙分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集imagenet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的dice值来确定模型的最优参数。

步骤b：确定恒牙分割结果中各颗牙齿对应的牙冠图像块。

可选地，步骤b具体包括：遍历地对恒牙分割结果中的各颗牙齿执行如下操作：获取当前牙齿的全齿贴合矩形框，根据全齿贴合矩形框确定牙冠所在侧边的半齿贴合矩形框，根据半齿贴合矩形框确定质心，以质心为中心点生成预设尺寸的质心采样框，根据质心采样框在全景片上裁切出牙冠图像块。

步骤c：将牙冠图像块输入基于深度学习的龋病病灶分割模型，以得到龋病病灶分割结果。

可选地，基于深度学习的龋病病灶分割模型是通过如下方式得到的：(1)模型设计阶段：网络结构包含编码器部分和解码器部分，编码器部分采用xception网络结构，解码器部分采用fpn多尺度融合结构，并且从编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scse结构；(2)模型训练阶段：对龋病病灶分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，特征提取部分的参数采用大型公开图像数据集imagenet上预训练好的参数，全连接层和输出层的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的dice值来确定模型的最优参数。

需要说明的是，上文中训练模型阶段中的随机初始化的方法可以为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal，最优选he_normal。上文中训练模型阶段中的梯度下降算法的方法可以为：adam，sgd，msprop或者adadelta，最优选adam。

可选地，在步骤c之后，还包括：对龋病病灶分割结果进行形态学开运算处理，以得到龋病病灶分割平滑结果。

可选地，还进一步包括如下步骤：对龋病病灶分割平滑结果和恒牙分割结果取并集，以得到龋病病灶优化结果。

本发明实施例的基于深度学习的全景片龋病识别装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得处理器实现本发明的方法。

为使本领域技术人员更好地理解，下面结合具体实施例阐述本发明实施例的基于深度学习的全景片龋病识别方法。

(一)获取基于深度学习的恒牙分割结果

设计恒牙分割网络模型结构包含encoder和decoder两部分。encoder部分使用xception网络结构，decoder部分使用fpn多尺度融合结构，从encoder部分抽取不同深度的5个卷积层做为输入，并且在decoder部分的上采样层加入scse结构。

对恒牙分割训练数据进行尺长归一化和灰度归一化。具体地，首先对原始全景片图像的采样至512×1024；然后对采样后的图像灰度值进行归一化处理。然后进行训练数据增强：通过对图像旋转(-10度至10度)和左右镜像方式，对原始数据集中的图像数据进行增加样本处理，以满足深度网络对数据量的需求。

接着进行模型训练，将训练数据(包括原有的和增强的)输入恒牙分割模型进行训练，encoder部分的参数使用在大型公开图像数据集imagenet上预训练好的参数，decoder部分的参数采用he_normal随机初始化。采用梯度下降算法adam对模型进行迭代训练，经过不断迭代，取得网络最优解。根据在验证集上的dice值来确定模型的最优参数。

将待测试的全景图下采样成图像块输入训练好的恒牙分割模型，得到恒牙分割结果mask，如图2a所示。

(二)获取牙冠图像块

遍历地对恒牙分割结果中mask的各颗牙齿执行如下操作：

首先，获取当前牙齿的全齿贴合矩形框，如图2b所示。其次，根据全齿贴合矩形框确定牙冠所在侧边的半齿贴合矩形框(对于上颌牙，取矩形框的下半部分；对于下颌牙，取矩形框的上半部分)，如图2c所示。然后，根据半齿贴合矩形框确定质心，以质心为中心点生成预设尺寸的质心采样框，根据质心采样框在全景片上裁切出224×224的牙冠图像块，如图2d所示。

(三)获取基于深度学习的龋病病灶分割结果

龋病病灶分割网络模型结构包含encoder和decoder两部分。encoder部分使用xception网络结构，decoder部分使用fpn多尺度融合结构，从encoder部分抽取不同深度的5个卷积层做为输入，并且在decoder部分的上采样层加入scse结构。

对龋病病灶分割训练数据进行尺长归一化和灰度归一化。具体地，首先对原始全景片图像的采样至512×1024；然后对采样后的图像灰度值进行归一化处理。然后进行训练数据增强：通过对图像旋转(-10度至10度)和左右镜像方式，对原始数据集中的图像数据进行增加样本处理，以满足深度网络对数据量的需求。

接着进行模型训练，将龋病病灶分割训练数据(包括原有的和增强的)输入恒牙分割模型进行训练，龋病病灶分割模型的encoder部分的参数使用在大型公开图像数据集imagenet上预训练好的参数，decoder部分的参数采用he_normal随机初始化。采用梯度下降算法adam对模型进行迭代训练，经过不断迭代，取得网络最优解。根据在验证集上的dice值来确定模型的最优参数。

将待测试的牙冠图像块输入训练好的龋病病灶分割模型，得到龋病病灶分割结果，如图2e所示。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。