一种确定数字化口内扫描模型上下牙列咬合关系的方法

本发明涉及数字化医疗，尤其是涉及一种确定数字化口内扫描模型上下牙列咬合关系的方法。

背景技术：

1、口腔正畸是专注于矫正牙齿和颌面不正，涉及诊断、预防和治疗牙齿和颌面结构的各种异常，以改善患者的咬合功能、牙齿美观和口腔健康，主要适用于牙齿不齐但颌骨正常的情况。常见的上下牙列咬合关系包括正常咬合、深覆盖咬合、开颌咬合和交叉咬合等。在正畸治疗过程中，牙医一般通过临床检查、牙模或口腔印模和x射线检查等手段检查患者上下牙列的咬合关系，并根据具体情况制定相应的治疗方案。口内扫描仪是一种先进的数字化技术，可以用于获取患者口腔的三维模型数据，它可以提供详细的牙齿和颌面结构信息，但单凭口内扫描仪的模型数据，往往无法直接判断完整的咬合关系。口内扩口照片可以显示牙齿和颌骨的详细结构，包括拥挤、错位、缺失等问题。牙医可以借助这些照片来评估患者的口腔健康状况、牙齿的位置和咬合关系，确定是否需要进行正畸治疗以及适合的治疗方法。因此，亟需提出一种将口内扩口照片中的牙齿咬合信息与口内扫描仪得到的数字化上下牙列模型相结合的方法，来确定三维空间中数字化上下牙列模型的咬合关系，便于牙医进行诊断分析和后续治疗。

技术实现思路

1、本发明的目的是为了提供一种确定数字化口内扫描模型上下牙列咬合关系的方法，通过三张不同角度的口内扩口照片中的牙齿咬合信息确定口内扫描仪得到的数字化上下牙列三维模型的咬合关系，辅助正畸医师判断患者的牙齿咬合情况。

2、本发明的目的可以通过以下技术方案来实现：

3、一种确定数字化口内扫描模型上下牙列咬合关系的方法，包括以下步骤：

4、步骤1)获取三张正面、左侧和右侧不同角度的口内扩口照片；

5、步骤2)采用基于深度学习的牙齿语义分割模型对不同角度的口内扩口照片进行牙齿语义分割，提取具有牙齿编号信息的牙齿轮廓分割图；

6、步骤3)获取两个不同坐标系下的具有牙齿编号信息的数字化口内扫描模型的上、下牙列三角面片文件；

7、步骤4)初始化相机参数、上下牙列相对位置和朝向参数；

8、步骤5)基于当前的相机参数、上下牙列相对位置和朝向参数和标准的小孔相机模型，将数字化口内扫描得到的上下牙列模型根据不同角度的口内扩口照片进行投影，提取可见的具有牙齿编号信息的牙齿轮廓投影图；

9、步骤6)根据牙齿轮廓分割图和牙齿轮廓投影图进行对应点关系匹配，定义损失函数，通过计算匹配结果的损失函数值迭代优化相机参数、上下牙列相对位置和朝向参数，重复步骤5)-步骤6)直至收敛得到最优解；

10、步骤7)根据计算得到的最优的上下牙列相对位置和朝向参数确定上下牙列咬合关系，并根据最优上下牙列相对位置和朝向参数将数字化口内扫描模型中不同坐标系下的上下牙列三角面片转换到同一坐标系下，生成对应的文件。

11、所述步骤2)包括以下步骤：

12、步骤2-1)基于深度学习中的u-net3+的编码器和解码器结构、多尺度空洞空间卷积的池化金字塔模块和多任务学习的双分支结构构建牙齿语义分割模型，以口内扩口照片为输入，输出牙齿语义分割图；

13、步骤2-2)使用后处理算法对输出的牙齿语义分割图进行调整并对牙齿进行编号；

14、步骤2-3)基于上下牙列牙齿区域的相对面积关系，确定可见牙齿轮廓的提取顺序，对提取到的牙齿轮廓按照其牙齿编号进行分类，获得具有牙齿编号信息的牙齿轮廓分割图。

15、所述牙齿语义分割模型的网络结构为一个标准u-net3+的图像编码器的输出同时输入到一个标准的u-net3+的牙齿语义分割解码器和一个标准的u-net3+的牙齿二值轮廓分割解码器，两个解码器的输出堆叠后输入到一个基于多尺度空洞空间卷积池化金字塔的区域-轮廓融合模块，其中，所述区域-轮廓融合模块由三个卷积层串联一个多尺度空洞卷积模块再串联三个卷积层组成。

16、所述后处理算法对牙齿语义分割图进行如下操作：确定牙齿语义分割图的连通区域，统一同一个连通区域内的牙齿编号，提取不同牙位牙齿编号的最大连通区域，按特定顺序调整连通区域的牙齿编号，并保证同一牙齿编号下连通区域的唯一性，使用形态学算法对结果做平滑处理。

17、所述基于上下牙列牙齿区域的相对面积关系，确定可见牙齿轮廓的提取顺序具体为：

18、若上牙列牙齿区域分割面积大于下牙列，则优先提取上牙列牙齿的可见轮廓，反之则优先提取下牙列的牙齿轮廓，提取轮廓时按照从中间到左右两侧的顺序，忽略被遮挡的牙齿轮廓。

19、所述相机参数包括相机内部参数和外部参数，其中内部参数包括相机的焦距、主点坐标和像素在横轴和纵轴上的物理尺寸，外部参数包括相机在世界坐标系下的位置和朝向。

20、所述根据牙齿轮廓分割图和牙齿轮廓投影图进行对应点关系匹配的匹配关系由下式计算得到：

21、

22、其中，ciτ表示步骤2)从照片中提取到的牙位τ的牙齿轮廓线的第i个点在像素坐标系中的坐标，表示步骤5)中投影得到的对应牙位τ的可见轮廓线的第i个点在像素坐标系中的坐标，niτ表示步骤2)从照片中提取到的牙位τ的牙齿轮廓线的第i个点在像素坐标系中的平面法向量，表示步骤5)中投影得到的对应牙位τ的可见轮廓线的第i个点在像素坐标系中的平面法向量，表示向量二范数的平方，σ是一个可以调整的超参数，

23、所述损失函数包括轮廓对应点距离匹配损失和轮廓对应点法向量匹配损失，总损失函数为不同角度的照片对应的损失函数之和，每张图片对应的待优化的损失函数表示为：

24、

25、其中，lp为轮廓对应点距离匹配损失函数，ln为轮廓对应点法向量匹配损失函数，λn为超参数，

26、所述轮廓对应点距离匹配损失函数lp表示为：

27、

28、其中，n为照片中分割得到的牙齿轮廓点的总数，t为照片中分割得到的牙齿类别数，τ表示牙齿编号，nτ表示第τ颗牙齿的轮廓点数量，ciτ表示步骤2)从照片中提取到的牙位τ的牙齿轮廓线的第i个点在像素坐标系中的坐标，表示步骤5)中投影得到的对应牙位τ的可见轮廓线的第i个点在像素坐标系中的坐标，

29、所述轮廓对应点法向量匹配损失函数ln表示为：

30、

31、其中，n为照片中分割得到的牙齿轮廓点的总数，t为照片中分割得到的牙齿类别数，τ表示牙齿编号，nτ表示第τ颗牙齿的轮廓点数量，ciτ表示步骤2)从照片中提取到的牙位τ的牙齿轮廓线的第i个点在像素坐标系中的坐标，表示步骤5)中投影得到的对应牙位τ的可见轮廓线的第i个点在像素坐标系中的坐标，表示步骤5)中投影得到的对应牙位τ的可见轮廓线的第i个点在像素坐标系中的平面法向量，<·,·>表示向量内积运算。

32、与现有技术相比，本发明具有以下有益效果：

33、(1)本发明通过采用基于深度学习的牙齿语义分割模型对不同角度的口内扩口照片进行牙齿语义分割，精确的提取出了具有牙齿编号信息的牙齿轮廓分割图。

34、(2)本发明通过将数字化口内扫描模型的上下牙列根据不同角度的口内扩口照片进行投影，提取可见的具有牙齿编号信息的牙齿轮廓投影图，根据定义的轮廓间的损失函数，迭代地优化相机参数和上下牙列相对位置参数，直至收敛得到最优解，实现了计算最优的上下牙列相对位置参数，并将数字化模型中不同坐标系下的上下牙列三角面片转换到同一坐标系下预测上下牙列咬合关系，能够直观的从数字化模型中确定牙齿咬合关系，辅助牙医进行决策。