一种基于小样本的高精度牙齿目标检测方法

1.本发明属于牙齿图像处理技术领域，涉及一种基于小样本的高精度牙齿目标检测方法。


背景技术：

2.在当今这个科技高速发展的信息时代，利用图片储存信息已经变成了一项重要的技术。。计算机图像信息处理结合人工智能，不仅可以大大提高计算机获取和表征图像的信息表达和知识泛化能力，还可以更方便、高效地进行计算机图像分析和进行目标检测。
3.目前的目标检测技术已经较为成熟，rcnn是第一个可以真正工业级应用的解决方案，之后faster-rcnn沿袭rcnn，在通过大样本训练之后，可以快速而精准的完成目标检测。然而牙齿目标检测方法仍然面临四个问题。一为需要大量样本支持，无法在小样本情况下取得较好效果，二为对牙齿的语义边缘分割的精确度低，不容易得到封闭的牙齿分割边缘，三为从牙齿整体图像中提取单个牙齿轮廓的方法不成熟，四为牙齿间轮廓差异小，只利用牙齿轮廓难以得到准确的牙齿分类结果。
4.小样本下的牙齿目标检测技术面对这四个问题一般有四类任务：任务一为应对小样本情况下样本扩增任务，现如今的样本扩增大多为随机而直接的重复，放大，缩小，翻转，镜像。虽然能够快速的将样本进行扩增，但是很多医疗图像在这样的操作后并不符合生物的特征，扩增出来的图像不具有作为训练样本的意义。任务二为对牙齿图像进行精确的语义分割任务，这种任务在小样本训练下分割效果较差，如今用于语义分割的技术大多是通过大量样本对于模型的训练，通过模型之间生成较为精确的牙齿语义分割图像。但由于牙齿x光图像上每个牙齿本身的轮廓在牙龈内的部分清晰度低，导致模型直接生成的牙齿图像的语义边缘不精准。任务三为通过牙齿语义图像提取出单个牙齿轮廓，现在对牙齿语义分割图像提取单牙齿轮廓的方法较为多样化，有的直接通过位置信息框定来得出单牙齿，有的通过牙齿语义图像进行单个牙齿提取，但目前存在的通过牙齿图像提取单牙齿轮廓的方法一般为对多种已有技术进行组合，来尽量提升准确率，存在较为复杂，耗时长的问题；或者直接对语义分割后的图像进行识别，方式较为粗陋，速度快，但准确率差。任务四为牙齿目标分类模型的训练任务，比如，将牙齿进行不同种类的区分或者上下牙的区分。这种任务往往是一张图像对应一个标签。普通牙齿分类方法会直接通过牙齿轮廓对牙齿进行分类，但牙齿之间差异较小，普通的分类方法对牙齿种类的区分准确率低。
5.中国专利公开号cn114219804a，公开了一种基于原型分割网络的小样本牙齿检测方法，利用目标检测和语义分割的各自优势，减少了牙齿分割种类错误且增加了牙齿边界精准度。在该技术方案中，利用了原型分割网络，通过对基于原型分割网络的小样本牙齿检测方法改进，提升了牙齿分割边界的精度，然而依旧不能保证语义边缘的封闭性。中国专利公开号cn113645902a，公开了牙齿目标检测方法及利用牙齿目标的影像整合方法，通过对口腔扫描影像中牙齿关注区域的抽取和利用基准点完成牙齿目标的影像整合，达到对三维口腔扫描影像的牙齿目标检测。该技术方案对于磨牙的牙齿目标检测精确度较高，但对于
密集的中间部分牙齿的目标检测精确度存在明显下降。
6.尽管目前已经有众多的辅助牙齿诊断的牙齿特征识别方法，但一种能够解决上述四个问题的小样本牙齿目标检测方法的提出仍是必要的。本发明面对目前技术对上述四个任务中的不足，提出了相应的步骤进行改进，并对改进后的步骤进行结合，提出了一种小样本牙齿目标检测方法-4unet目标检测方法。


技术实现要素：

7.本发明的目的就是提供一种基于牙齿位置信息分类的小样本、高精度牙齿目标检测方法，通过图像扩增，产生高精度的语义边缘，能准确地从牙齿语义边缘图像中分离单个牙齿轮廓。
8.本发明(4unet牙齿目标检测方法)解决其技术问题所采用的技术方案是：(1)对训练图像使用符合生物学特征的针对性扩增，提升牙齿的分割模型性能；(2)对牙齿语义边缘图像，牙齿分割图像和牙齿之间交叠部分的语义分割图像进行处理，得到高精度的牙齿语义边缘图像；(3)提出“有限联通区域”方法，通过极坐标从牙齿语义边缘图像得到单牙齿轮廓的图像；(4)加入基于位置信息的方法对单牙齿轮廓图像进行分类，输出牙齿的分类结果。
9.具体步骤如下：
10.步骤(1)、将小样本下牙齿图像扩增成大样本，包括针对语义分割模型训练集的局部区域扩增和针对牙齿分类模型的全景图像扩增。
11.具体为：控制牙齿扩增时弹性形变、旋转和缩放的程度，使牙齿扩增上符合生物学上不同人牙齿间的差距。扩增中对每个区域的图像变换即对局部的牙齿形态的变换，“模拟”了每个人牙齿之间的差异。
12.通过平移旋转能减少过拟合的风险，增加对输入图像的一些小扰动的鲁棒性，图像旋转过程如下：如果要对图像中的某个像素a进行旋转，在旋转θ后使其变成a
′
，需要将矩阵t与二维向量a相乘，得到了旋转后的向量a
′
：
13.a
→a′
；
[0014][0015][0016]
弹性形变是样本扩增的核心，依据人体组织中最常见变形，使用相应的弹性形变程度，过程如下：首先创建随机位移场来使图像变形，即δx(x，y)＝rand(-1,+1)、δy(x，y)＝rand(-1,+1),其中rand(-1,+1)是生成一个在(-1,1)之间均匀分布的随机数，然后用标准差为σ的高斯函数对δx和δy进行卷积，其中高斯卷积的过程为：
[0017]iσ
＝i*g
σ
；
[0018][0019]
通过相应的标准差σ得到经过弹性形变的位移场，σ∈[3,10]；将得到的位移场与比例因子α相乘得到最终弹性形变的位移场，其中α∈[10,34]，在标准差σ和比例因子α范围内弹性形变扩增得到有别于小样本图像的扩增图像，且不超过牙齿组织存在正常变形的程
度。最后将这个弹性形变的场作用于原图像上，得到插值后的弹性形变图像。
[0020]
步骤(2)、通过4个u-net模型生成的图像进行“位或”解决u-net模型生成牙齿的边界不精准的问题，生成高精度的牙齿边缘图像。
[0021]
利用步骤(1)中局部区域扩增后的语义分割数据集训练四个不同的语义分割网络，m1为人工标注原始图像o1的牙齿的语义边缘图像，m2为人工标注原始图像o1的牙齿的语义分割图像，m4为人工标注原始图像o1的牙齿交叠部分的语义分割图像。使用原始图像o1与语义边缘图像m1训练得到u-net a模型，使用原始图像o1与语义分割图像m2训练得到u-net b模型，使用u-net b模型生成的牙齿语义分割图像m3通道叠加原始图像o1得到新图像o2，新图像o2与语义边缘图像m1训练得到u-net c模型，使用原始图像m1与牙齿交叠部分语义分割图像m4得到u-net d模型。
[0022]
然后将牙齿的x光原始图像通过u-net a模型生成牙齿的语义分割图像mf和u-net c模型生成牙齿的强化边缘m
p
，然后通过将生成的语义边缘me和强化语义边缘m
p
进行“位或”处理，得到新的牙齿边缘m
e1
，再将这个新的牙齿边缘与u-net d模型生成的牙齿交叠部分语义边缘mj进行“位或”处理，得到了高精度的牙齿边缘图像m
e2
，强化了牙齿边缘的封闭性。
[0023]
步骤(3)、从牙齿语义边缘图像中提取单个牙齿轮廓，提出“有限连通区域”方法。首先自左到右，自上到下地扫描，由于每个牙齿轮廓的面积不会太小，所以每过多个像素选取像素点作为一个关键点扫描。每经过一个关键点就检查此处是否属于牙齿的轮廓内，在牙齿轮廓内则属于目标区域，如果是目标区域则开始生成有限连通区域，从一个点出发，向上下左右四个方向延伸直到碰触到牙齿的轮廓边缘，从目标的上下左右四个边的边界得出目标框数据，这种目标框的面积越大，越接近完全框住单个牙齿，所以使用目标检测领域内的通用方法非极大值抑制算法(nms)对目标框的面积作为首要权重排名，生成得到有限连通区域目标框数据，筛掉一些尺寸远偏离目标正常值范围的目标。
[0024]
通过前面有限连通区域的生成，通过二维坐标系统的极坐标来生成单个牙齿的轮廓，首先以每一个目标框中心点o作为极点出发，引一条射线ox作为极轴，以0
°
为起始，逐次逆时针扫描360
°
，极坐标的线段的长度为每个刻度上从中心点o出发直到牙齿的轮廓边缘的距离，得到这些刻度下每条射线的长度和端点坐标，根据每个端点来生成单个牙齿的轮廓。为了得到更加精准的单个牙齿轮廓图像，将初步得到的单个牙齿轮廓图像计算得到形心，再基于每个形心生成单个牙齿轮廓图像，循环多次后从高精度的边缘图像生成了最终的单个牙齿轮廓的图像。
[0025]
步骤(4)、加入基于位置信息的机制，将单个牙齿的轮廓生成在原图像上，标记了单目标的位置并且保留了单个牙齿的轮廓特征。修改人工标注的牙齿轮廓，然后将改进后的单个牙齿轮廓的图像进行第一步中的全景图像扩增，扩增后的大样本使用resnet模型进行训练得出分类模型；将待检测图片输入训练后的分类模型中，输出分类结果。
[0026]
本技术与现有技术相比，至少具有以下优点和效果：
[0027]
1.本发明采用了更合理扩增方式，对语义分割的样本采用了局部区域扩增，通过裁切局部区域，在扩增前就能取得多倍的牙齿语义分割图像；对分类样本采用了全景区域扩增，保留了位置信息和轮廓信息。通过控制弹性形变、旋转和缩放的参数，使得小样本扩增出的大样本都是存在人类牙齿组织变形程度内的有效样本。
[0028]
2.本发明通过四类模型生成的牙齿语义边缘，牙齿语义分割，牙齿交叠部分语义
分割和强化的牙齿语义边缘四种类型图像进行优势互补，形成高精度的牙齿语义边缘图像，使得牙齿语义边缘封闭性好，精确度高。
[0029]
3.本发明提出“有限连通区域”方法，再通过极坐标的方法在只使用语义边缘图像的情况下提取出单个牙齿的轮廓。
[0030]
4.本发明采用基于位置信息的机制解决了不同种类牙齿的轮廓间差异不够大的问题，通过牙齿轮廓与位置信息优势互补，做到快速且准确的牙齿分类。
[0031]
本发明能够提升牙齿诊断过程中牙齿目标检测效率，为实现牙齿自动化检测添砖加瓦。
附图说明
[0032]
图1为本发明的整体流程；
[0033]
图2为本发明实施例中局部区域扩增原理图；
[0034]
图3为本发明实施例中全景区域扩增原理图；
[0035]
图4为本发明从牙齿图像得出高精度牙齿边缘图像的流程图；
[0036]
图5为不同方法的分割性能指标图；
[0037]
图6为本发明从牙齿边缘图像中提取单个牙齿轮廓的流程图；
[0038]
图7为实施例中从牙齿语义边缘图像提取单个牙齿目标框示意图；
[0039]
图8为极坐标的概述图；
[0040]
图9为单个牙齿轮廓图像生成在原图像上示意图；
[0041]
图10为实施例中对人工标注的单牙齿边缘进行修改的效果图；
[0042]
图11为实施例中输入测试图像后输出的分类结果。
具体实施方式
[0043]
下面结合具体实施例对本发明进行详细说明。本发明对图像说明的注释存在英文字母大小写差异，不能视作同一字母。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进，这些都属于本发明的保护范围。
[0044]
如图1所示，一种基于小样本的高精度牙齿目标检测方法，具体步骤如下：步骤(1)为小样本下全景图像和多区域局部图像的针对性扩增，步骤(2)为使用4个u-net模型生成高精度边缘图像，步骤(3)为基于边缘的单牙齿提取，步骤(4)为基于牙齿位置信息与牙齿轮廓结合的分类。
[0045]
在本实施实例中，采用的数据集为网络上公开的牙齿ct图像，包括100张rgb图像，部分图像o1作为语义分割使用，对这些图像o1进行牙齿轮廓的标记，其余作为测试使用。
[0046]
在步骤(1)中对于用于语义分割的训练集，首先通过人工标注生成牙齿的语义边缘图像m1，牙齿的语义分割图像m2，牙齿交叠部分的语义分割图像m4，牙齿语义分割图像m2通道叠加原始图像o1得到新图像m3，单牙齿边缘高亮的图像o3(o3数量等于图像o1人工标注牙齿的数量)。
[0047]
新图像m3与语义边缘图像m1对应，原始图像o1与语义分割图像m2对应，原始图像o1与语义边缘图像m1对应，原始图像o1与牙齿交叠部分语义分割图像m4对应，使用的局部区域
扩增方法得到大样本局部区域图像的方式。
[0048]
如图2所示，局部区域扩增具体为：从长方形的牙齿灰度图像上裁切3张图像特征差别足够明显的牙齿局部区域图像。在扩增过程中，除了传统的光照变化、镜像、噪声等处理，牙齿扩增时弹性形变控制变形强度的比例因子α∈[10,34]，弹性系数σ∈[3,10]，旋转的最大左旋角度为8，最大右旋角度为8，缩放的倍率取0.2倍以下，并进行缩放、旋转，弹性形变概率性随机组合。将所有语义分割的小样本图像都扩增设定倍数得到语义分割数据集u。
[0049]
由于分类模型训练时需要位置信息，因此跳过对全景牙齿图像的裁切，如图3所示，全景图像扩增具体为：将全景牙齿图像直接进行弹性形变，旋转，缩放。在扩增过程中，牙齿扩增时弹性形变控制变形强度的比例因子α∈[10,34]，弹性系数σ∈[3,10]。旋转的最大左旋角度为8，最大右旋角度为8，缩放的倍率取0.2倍以下，并进行缩放、旋转，弹性形变概率性随机组合。将用于分类的小样本图像都扩增设定倍数得到分类数据集o3。
[0050]
在步骤(2)中，利用步骤(1)中所得到的局部区域扩增后的语义分割数据集u进行训练，本发明使用u-net模型进行训练，设置训练数据集与验证数据集的比例为8：2，训练数据集与验证数据集随机划分，训练网络采用小批量(mini-batch)梯度下降法对目标损失函数进行优化，学习率(learning rate)为0.0001，动量参数(momentum)取,0.9，权值衰减(weight_decay)设为0.0000001，本实例中目标损失函数采用交叉熵损失函数(crossentropyloss)对网络进行训练直至训练损失函数收敛(上述训练的参数可作为一个实例参考，本发明中只要训练出具有一定效果的模型即可)。m1为人工标注原始图像o1的牙齿的语义边缘图像，m2为人工标注原始图像o1的牙齿的语义分割图像。使用原始图像o1与语义边缘图像m1训练得到u-net a模型，使用原始图像o1与语义分割图像m2训练得到u-net b模型，使用u-net b模型生成的牙齿语义分割图像m3，牙齿语义分割图像m3通道叠加原始图像o1得到新图像o2，新图像o2与语义边缘图像m1训练得到u-net c模型，使用原始图像m1与牙齿交叠部分语义分割图像m4得到u-net d模型。
[0051]
如图4所示，将牙齿的x光原始图像通过u-net a模型生成牙齿的语义边缘me和u-net c模型生成牙齿的强化边缘mp，然后通过将生成的语义边缘me和强化语义边缘mp进行“位或”处理，得到新的牙齿边缘m
e1
，再将这个新的牙齿边缘与u-net d模型生成的牙齿交叠部分语义边缘进行“位或”处理，得到了高精度的牙齿边缘图像m
e2
，保证了牙齿边缘的封闭性。如图5所示，本步骤最后生成的补充分割图像m
e2
在三项评估指标上都领先直接分割较大，通过处理的补充分割封闭性明显高于直接分割，补充分割的高封闭性能使得生成的待选框更精准。
[0052]
其封闭率对比见下表：
[0053][0054]
语义分割评估指标为mean pixel accuracy(mpa)，mean intersectionover union(mlou)，单个牙齿轮廓完全封闭的概率(封闭率)
[0055]
如图6所示，在步骤(3)中，对步骤(2)生成的牙齿边缘图像m
e2
，为从牙齿语义边缘图像中提取单个牙齿轮廓，提出了“有限连通区域”方法。首先自左到右，自上到下地扫描，由于逐个像素扫描过于费时，针对每个牙齿轮廓的面积不会太小，所以每多个像素作为一个关键点扫描，每经过一个关键点就检查此处是否属于牙齿的轮廓内，在牙齿轮廓内则属于目标区域，如图7所示，如果是目标区域则开始生成有限连通区域，从一个点出发，向上下左右四个方向延伸直到碰触到牙齿的轮廓边缘，从目标的上下左右四个边的边界得出目标框数据，这种目标框的面积越大，越接近完全框住单个牙齿，所以使用目标检测领域内的通用方法非极大值抑制算法(nms)对目标框的面积作为首要权重排名，生成得到有限连通区域目标框数据，然后筛掉一些尺寸远偏离目标正常值范围的目标。
[0056]
图8为极坐标概述图，通过前面有限连通区域的生成，现在可以通过二维坐标系统的极坐标来生成单个牙齿的轮廓，首先以每一个目标框中心点o作为极点出发，引一条射线ox作为极轴，以0
°
为起始，逐次逆时针扫描360
°
，极坐标的线段的长度为每个刻度上从中心点o出发直到牙齿的轮廓边缘的距离，得到这些刻度下每条射线的长度和端点坐标，根据每个端点来生成单个牙齿的轮廓。为了得到更加精准的单个牙齿轮廓图像，将初步得到的单个牙齿轮廓图像计算得到形心，再基于每个形心生成单个牙齿轮廓图像，循环三次后从高精度的边缘图像生成了最终的单个牙齿轮廓的图像。
[0057]
如图9所示，在步骤(4)中，单牙齿轮廓高亮的方式显示在原始图像上的方式存在位置信息，如图10所示，将步骤(3)最后得到的单牙齿边缘高亮图像o4与人工标注的单牙齿边缘高亮图像o3对比，发现人工标注的单牙齿轮廓与算法生成单个牙齿的轮廓存在少量差异，考虑到这个问题，对人工标注的图像进行修改。再按照第一个步骤的全景图像扩增方法对修改后的单牙齿边缘高亮图像进行全景图像扩增，扩增一定倍数得到大样本数据图像o5。最后使用resnet模型对大样本图像o5进行训练，设置训练数据集与测试数据集的比例为8：2，训练网络采用小批量(mini-batch)梯度下降法对目标损失函数进行优化，学习率(learning rate)设置为0.1，gamma＝0.1，epoch取在[200，500]区间，每当经过10个epoch训练的验证集loss没有下降时，学习率变为原来的0.1，动量参数(momentum)取0.9，本实例中目标损失函数采用交叉熵损失函数(crossentropyloss)，迭代完所有epoch后得出本发明的分类模型re34eta(上述训练的参数可作为一个实例参考，本发明中只要训练出具有一定效果的模型即可)。
[0058]
如图11所示，将用作测试的牙齿图像传入，图像通过步骤(2)中的4个u-net网络生成高精度牙齿边缘，然后通过步骤(3)生成单牙齿轮廓高亮图像o4，这些图像经步骤(4)中的分类模型re34eta分类出每个牙齿的类别。
[0059]
本发明为了减少诊断中牙齿目标检测所花费的时间，减少人力成本并且保证精确度，将四个步骤相结合以保证更高的效率，在实际使用中，本发明也可在针对具体情况对步骤进行调整，以获得更高精确度。
[0060]
以上对本发明的具体实施例进行了描述。本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施实例和实施实例中的特征可以任意相互结合。