多生牙自动检测方法、装置、存储介质及电子设备

本技术涉及图像识别，尤其涉及一种多生牙自动检测方法、装置、存储介质及电子设备。

背景技术：

1、超出正常牙列数目之外的牙齿被称为多生牙 （supernumerary teeth），是一种常见的牙齿发育异常，多见于上颌前牙区。其形态有圆锥型、结节型、补充型和牙瘤型。多生牙常会造成邻牙萌出异常、牙根吸收等问题，在前牙的多生牙常使牙列拥挤或出现异常牙间隙，而严重的错位、畸形还可能导致龋病、牙周病、创伤的发生。因此，多生牙的诊疗需要根据早期的临床和影像学检查进行诊断，而多生牙定位是辅助多生牙治疗的关键。

2、近年来，基于卷积神经网络的深度学习系统已被引入口腔和颌面诊断成像领域，在多生牙检测和诊断的应用研究中具有很大潜力。例如，通过几种常用深度学习模型检测曲面体层图像中上颌前牙区的多生牙的方法取得了很高的分类精度，但此方法仅限于恒牙列；为了弥补这一局限性，通过使用squeezenet、resnet-18、resnet-101和inception-resnet-v2等模型对混合牙列的多生牙进行了高精度的分类的方法可以帮助临床经验不足的临床医生进行更准确、更快速的诊断，但此方法也存在上颌前牙区区域需要通过人工标注的不足；在deeplabv3plus模型定位可能存在多生牙的感兴趣区域的方法中，通过inception-resnet-v2模型对多生牙进行分类，实现了全自动的多生牙检测流程。上述检测方法均基于二维曲面体层图像，对于某些复杂的解剖结构或病变进一步的诊断和治疗，可能无法提供足够的信息。

技术实现思路

1、本技术实施例提供一种多生牙自动检测方法、装置、存储介质及电子设备，通过三维图像提供了丰富的3d空间信息，避免了二维曲面体层片图像中口腔解剖结构空间重叠对识别的影响，能够提供更加精确的三维空间位置，并且加快多生牙的检测速度，提升分类精度。

2、本技术实施例提供了一种多生牙自动检测方法，包括：

3、获取三维图像，将所述三维图像进行预处理得到多个图像块；

4、将所述图像块输入到训练好的两阶段深度注意力网络中进行识别，得到所述三维图像中包含多生牙的概率值；

5、其中，所述两阶段深度注意力网络包括定位子网络和分类子网络；所述将所述图像块输入到训练好的两阶段深度注意力网络中进行识别，包括：将所述图像块输入到所述定位子网络中得到矩形定位框，将所述矩形定位框输入到分类子网络中得到所述图像块中包含多生牙的概率值。

6、进一步地，上述多生牙自动检测方法，其中，所述定位子网络包括编码器，所述编码器包括池化层、cgr模块和多个特征提取分支；

7、所述将所述图像块输入到所述定位子网络中得到所述矩形定位框，包括：

8、将所述图像块输入到两个cgr模块中，得到低层语义特征图；

9、将所述低层语义特征图输入到第一特征提取分支和第二特征提取分支中，得到中层语义特征图；

10、将所述中层语义特征图输入到所述第一特征提取分支和所述第二特征提取分支中，得到第一高层语义特征图；

11、将所述第一高层语义特征图输入到所述池化层和一个cgr模块中，得到低分辨率高层语义特征图。

12、进一步地，上述多生牙自动检测方法，其中，所述定位子网络还包括解码器，所述解码器包括上采样层、cgr模块和三维卷积层；

13、所述将所述图像块输入到所述定位子网络中得到所述矩形定位框，还包括：

14、将所述低分辨率高层语义特征图通过一个cgr模块和一个上采样层后与所述第一高层语义特征图进行拼接，得到小尺寸融合特征图；

15、将所述小尺寸融合特征图通过两个cgr模块和一个上采样层后与所述中层语义特征图进行拼接，得到中尺寸融合特征图；

16、将所述中尺寸融合特征图通过两个cgr模块和一个上采样层后与所述低分辨率高层语义特征图进行拼接，得到大尺寸融合特征图；

17、将所述大尺寸融合特征图输入到两个cgr模块和一个三维卷积层中，得到分割结果，基于所述分割结果得到所述矩形定位框。

18、进一步地，上述多生牙自动检测方法，其中，所述基于所述分割结果得到所述矩形定位框，包括：

19、获取所述分割结果中各像素点属于上颌前牙区的概率值，当所述概率值大于预设的概率阈值时，将对应的像素点作为感兴趣区域候选点；

20、将相邻的所述感兴趣区域候选点进行组合，得到多个三维连通域；

21、通过连通域标记算法得到每个连通域的体积和外接矩形框；

22、将所述外接矩形框作为候选检测框，筛除体积小于预设体积阈值的连通域，得到目标候选检测框；

23、将最大连通域的所述外接矩形框和近邻的所述候选检测框合并，得到矩形定位框；

24、计算所述矩形定位框在图像块中的坐标值，将坐标值作为边界范围坐标值，基于边界范围坐标值计算矩形定位框的中心点与定点位置距离。

25、进一步地，上述多生牙自动检测方法，其中，所述分类子网络包括cbr模块、最大池化层、多个残差模块、平均池化层和全连接层；

26、所述将所述矩形定位框输入到分类子网络中得到所述图像块中包含多生牙概率值，包括：

27、将所述矩形定位框输入到一个cbr模块、一个最大池化层和四个残差模块中，得到高阶特征图；

28、将所述高阶特征图输入到所述平均池化层和全连接层中，得到所述图像块中包含多生牙的概率值。

29、进一步地，上述多生牙自动检测方法，其中，所述两阶段深度注意力网络的训练过程包括：

30、采集三维图像，获取所述三维图像中上颌前牙区区域的位置标注和所述上颌前牙区区域的多生牙类别信息，形成图像数据集；

31、通过三维滑动分块算法对所述图像数据集中的图像进行预处理，得到多个图像块；

32、将预处理后的图像数据集输入到所述定位子网络中得到矩形定位框，基于所述上颌前牙区区域的位置标注、分割结果交叉熵损失函数和矩形定位框中心点与顶点位置距离的混合损失函数进行训练；

33、将所述矩形定位框输入到所述分类子网络中得到包含多生牙的概率值，基于所述上颌前牙区区域的多生牙类别信息和交叉熵损失函数进行训练。

34、进一步地，上述多生牙自动检测方法，其中，所述通过三维滑动分块算法对所述图像数据集中的图像进行预处理，包括：

35、对于所述图像数据集中尺寸为 d× w× h的三维图像，设置一个尺寸为 d× w× h的滑动窗口，所述滑动窗口移动步长为（ sd,sw,sh），根据窗口和步长生成各图像块在完整图像对应的切片范围：

36、z方向上的切片数为

37、

38、在y方向的切片数为：

39、

40、在x方向的切片数为：

41、

42、对于切片，计算每个切片的坐标范围：

43、

44、其中，整数。

45、本技术实施例还提供了一种多生牙自动检测装置，包括：

46、预处理模块，用于获取三维图像，将所述三维图像进行预处理得到多个图像块；

47、预测模块，用于将所述图像块输入到训练好的两阶段深度注意力网络中进行识别，得到所述三维图像中包含多生牙的概率值；

48、其中，所述两阶段深度注意力网络包括定位子网络和分类子网络；所述将所述图像块输入到训练好的两阶段深度注意力网络中进行识别，包括：将所述图像块输入到所述定位子网络中得到矩形定位框，将所述矩形定位框输入到分类子网络中得到所述图像块中包含多生牙的概率值。

49、本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项多生牙自动检测方法。

50、本技术实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于上述任一项所述的多生牙自动检测方法中的步骤。

51、本技术提供的多生牙自动检测方法、装置、存储介质及电子设备，本技术通过对三维图像进行检测得到多生牙的概率值，通过三维图像提供了丰富的3d空间信息，避免了二维曲面体层片图像中口腔解剖结构空间重叠对识别的影响，能够提供更加精确的三维空间位置。本发明的两阶段深度注意力网络包括定位子网络和分类子网络，通过定位子网络进行矩形定位框的分割，通过分类子网络进行多生牙的概率值的识别与计算，其中，定位子网络基于分割网络框架，与传统的检测网络相比，不需要处理大量锚点和锚框，加快了检测推理速度。分类子网络融合了原始输入信息特征，优化了特征表达效率，增强了网络泛化能力，能够提高分类精度。本技术通过对三维图像进行识别得到图像中包含多生牙的概率值，能够让用户更直观地阅读图像以及通过图像识别到的概率值，能够辅助用户对多生牙进行准确的判断。