一种头颅侧位片中标志点的获取方法及系统与流程

本发明属于牙齿矫治技术领域，更确切的说涉及一种头颅侧位片中标志点的获取方法及系统、电子设备、及计算机存储介质。

背景技术：

头颅侧位片是医生用于判断患者是牙性凸还是骨性凸的判据之一，在正畸治疗过程中，医生需要根据患者的头颅侧位片来标定一些标志点，并利用这些标志点计算一些医学指标信息，从而利用这些指标信息进行诊断以及正畸制定治疗方案。

x光线投影测量分析的自动化使得牙颌面畸形的诊断、治疗设计更加准确，并大大减轻了操作者的负担。但是，标志点定位的准确与否会直接影响测量结果的可靠性，如果标志点的输入仍然停留在人工定点的水平，不仅需要大量时间，而且主观因素强，不可避免地会产生人为误差，危及测量结果的准确性从而影响矫治的效果。

基于以上本申请提供了解决以上技术问题的技术方案。

技术实现要素：

本发明的主要目的是克服现有技术中存在的缺陷，提供“一种头颅侧位片中标志点的获取方法及系统、电子设备、及计算机存储介质”，解决了现有技术中头颅侧位片的标尺距离需要人工参与，数据存在误差，效率比较低的问题。

本发明提供的技术方案如下：

一种头颅侧位片中标志点的获取方法，包括：

获取设定尺寸的待标定头颅侧位片；

将待标定头颅侧位片输入至第一检测模型中进行检测标定，在待标定头颅侧位片中标定出设定数量的候选标志区域；

根据预设偏移算法在每一所述候选标志区域上提取出预设数量的初始标志点子区域；

将每一所述候选标志区域上提取出的预设数量的初始标志点子区域输入至第二检测模型中进行坐标预测处理，得到每一候选标志区域对应的一标志坐标点；

将每一标志坐标点输入至所述待标定头颅侧位片所属的头颅坐标系中，并将所述头颅坐标系中输入的每一标志坐标点设置为头颅侧位片中的目标标志点。

进一步优选的，提取初始标志点子区域包括：

求取每一所述候选标志区域的中心点；

从所述候选标志区域上截取预设数量对应的不同方位的带有中心点的标志区域，并设置为所述初始标志点子区域。

进一步优选的，还包括：

获取设定数量的各候选标志区域之间在所述头颅坐标系中距离信息；根据获取的距离信息的不同将候选标志区域进行分组处理并满足预设条件。

进一步优选的，包括：

将每一分组后每一个所述候选标志区域对应预设数量的所述初始标志点子区域输入至所述第二检测模型中，根据所述第二检测模型中嵌入的预测算法对每一个初始标志点子区域进行预测运算得到对应的单点信息；

将同一个所述候选标志区域对应的预设数量的单点信息进行均值运算处理，将均值运算处理得到结果设置为所述标志坐标点。

进一步优选的，包括：

将获取的所述初始标志点子区域输入至第二检测模型中卷积层对所述初始标志点子区域进行多维度特征的提取；

将提取后的所述特征与激活函数进行运算处理，并进一步的通过池化处理后提取出所述初始标志点子区域的深层特征；

将提取的所述初始标志点子区域的深层特征进行展平处理，并将展平处理的所述深层特征进行全连接运算处理，并获取到对应的所述标志坐标点。

进一步优选的，在所述第二检测模型中进行损失函数运算包括：

其中，n表示输出层的神经元个数，也就是所预测的点在图形上的坐标(x,y)，batch表示输入到神经网络模型的批量数据大小，x^*表示在先标志点的相应坐标。

进一步优选的，包括：

获取已标定标志点的历史头颅侧位片样本；

将所述历史头颅侧位片样本进行机器学习，并通过神经网络算法训练出所述第一检测模型。

第一检测模型中包括标志点的区域。

一种可执行上述头颅侧位片中标志点的获取方法的获取系统，包括：

待标定信息获取模块，获取设定尺寸的待标定头颅侧位片；

标志区域获取模块，将待标定头颅侧位片输入至第一检测模型中进行检测标定，在待标定头颅侧位片中标定出设定数量的候选标志区域；

标志子区域提取模块，根据预设偏移算法在每一所述候选标志区域上提取出预设数量的初始标志点子区域；

标志坐标点预测模块，将每一所述候选标志区域上提取出的预设数量的初始标志点子区域输入至第二检测模型中进行坐标预测处理，得到每一候选标志区域对应的一标志坐标点；

目标标志点设置模块，将每一标志坐标点输入至所述待标定头颅侧位片所属的头颅坐标系中，并将所述头颅坐标系中输入的每一标志坐标点设置为头颅侧位片中的目标标志点。

一种电子设备，包括处理器和存储器，所述处理器执行所述存储器存储的计算机指令，使得电子设备执行上述的头颅侧位片中标志点的获取方法。

一种计算机存储介质，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行上述的头颅侧位片中标志点的获取方法。

本发明提供一种头颅侧位片中标志点的获取方法及系统、电子设备、计算机存储介质，能够带来以下至少一种有益效果：

在本申请中可以全自动的对头颅侧位片的标志点进行自动标定，且对输入图片的质量要求不高，无需做任何预处理和后处理，使得该方法应用范围更广，预测精度更高，预测速度更快。

在本申请中解决了现有技术中都是手工操作，或者凭借医生的经验完成测量，不满足现有大环境的数字化时代，无法满足自动诊疗的问题。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为本发明头颅侧位片中标志点的获取方法实施例的流程图；

图2为本发明头颅侧位片中标志点的获取方法实施例的另一流程图；

图3为本发明头颅侧位片中候选标志区域图；

图4为本发明头颅侧位片中获取的目标标志初始标志点子区域；

图5为本发明头颅侧位片中标志点的获取系统实施例结构图；

图6为本发明电子设备的结构图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

本申请是基于x光线投影测量分析的自动化使得牙颌面畸形的诊断、治疗设计更加准确，并大大减轻了操作者的负担。但是，标志点定位的准确与否会直接影响测量结果的可靠性，如果标志点的输入仍然停留在人工定点的水平，不仅需要大量时间，而且主观因素强，不可避免地会产生人为误差，危及测量结果的准确性从而影响矫治的效果。为解决现有技术中存在的问题，本申请利用深度神经网络对大量的由专家标记过病例信息中的头颅侧位片的学习，训练出神经网络模型，从而实现较精准的对头颅侧位片上常用标志点的自动标定并快速计算出所需要的医学指标。该种解决方案实现了精度高，速度快，大大减少了医生的工作量，提升了工作效率。

基于以上本申请的具体实施方式包括以下：

参见图1-图6所示，本申请提供了一种头颅侧位片中标志点的获取方法的实施例，具体的包括：

步骤s100获取设定尺寸的待标定头颅侧位片；

在进行正畸过程中，需要通过头颅侧位片来展示患者的颅骨状态信息，特别是针对错颌矫治过程中，根据颅骨状态为患者设计更加完整的矫治方案。为了能够解决现有技术的中人工参与的问题，本申请致力于提供的方案为自动标记出头颅侧位片上医生所需的标志点，该标志点包括有：在头颅上包括颅部标志点、上颌标志点、下颌标志点、软组织侧面标志点；其中颅部标志点具体的包括额点(g.)、软组织鼻根点(ns.)、鼻顶点(prn.)鼻小柱点(cm.)、鼻下点(sn.)等，在此通过教科书可以查阅。因此选定设定尺寸的侧位片才能够完成整的实现对所需的标志点的完整标记。首先是将获取的头颅片进行裁定，具体裁定尺寸一是将需要的标志点全部囊括在内，二是满足计算机建模的需求，同时也要节省冗余的工作。

步骤s200将待标定头颅侧位片输入至第一检测模型中进行检测标定，在待标定头颅侧位片中标定出设定数量的候选标志区域；

在本申请中首先是通过第一检测模型进行粗标定，找到待标志点的大致区域，并对其进行大致标定，框出一个既定尺寸的范围，具体尺寸的大小根据使用需求进行设定，将其设置为候选标志区域。

具体的候选标志区域得获取在本申请中是自动识别，构建第一检测模型，该第一检测模型包括：yolov3模型，以及其他目标模型报告(检测模型如)fasterr-cnn，maskr-cnn，ssd，efficientdet等；yolov3模型通过大量的实验验证为应用于头颅侧位片进行区域检测，可实现结果简单，效果符合医学特征数据的模型，由于定位的标志点定位准确，结余了后续的数据信息处理的时间。参见图2所示，具体的包括以下：

步骤s010获取已标定标志点的历史头颅侧位片样本；

步骤s020将所述历史头颅侧位片样本进行机器学习，并通过神经网络算法训练出所述第一检测模型。其中，通过第一检测模型中预测标志点的区域。

在构建第一检测模型时通过进行机器学习的方式对医生已经标记好的侧位片进行特征提取，根据大量的学习过程构建出符合使用需求的第一检测模型。本申请的第一检测模型可预测出每种标志点所处的检测区域，由于本申请侧位片输入的方式是以像素为单位，检测到的候选标志区域为四方形检测区域；本申请中候选标志区域的数量多少，根据当时的使用要求决定，不做限制。

步骤s300根据预设偏移算法在每一所述候选标志区域上提取出预设数量的初始标志点子区域；

在进行候选标志区域定位后，进一步的对候选标志区域进行解析处理，实现精细的定位，为找到标志点做准备；将候选标志区域进行剪切，剪切方式是多方位进行，一个候选标志区域可以进行多方位的剪切的剪切，具体的尺寸小于等于候选标志区域，数量根据需求进行设定，可以为15张，20张，或者30张，以及15～30等，当然截取的数量越多，对于精准定位则越精确。

步骤s400将每一所述候选标志区域上提取出的预设数量的初始标志点子区域输入至第二检测模型中进行坐标预测处理，得到每一候选标志区域对应的一标志坐标点；

将每一个初始标志点子区域输入到第二检测模型进行学习得到所需模型；具体的输入包括，假如，参见图3所示，本申请的实施例中选中的候选标志区域为m个，设置为a1，a2，···am，每一个a1进行剪切为n个，则分别为a11,a12···a1n，以及am1,am2···amn；在输入到第二检测模型中时，输入的方式为初始标志点子区域的形式，第二检测模型进行运算处理后，预测得到点坐标，该坐标即为求取的候选标志区域a1，a2，···am对应的标志点。

参见图4所示，步骤s500将每一标志坐标点输入至所述待标定头颅侧位片所属的头颅坐标系中，并将所述头颅坐标系中输入的每一标志坐标点设置为头颅侧位片中的目标标志点，x1，x2，···xn。

本申请中，根据历史样本数据信息构建第一检测模型，并利用第一件模型对待标记头颅侧位片上的标志点进行粗定位，在粗定位信息的基础上通过第二检测模型进行精确位置的定位，在进行检测定位过程中，搭建满足牙齿矫治器领域所需的卷积层提取特征，得到在头颅坐标系中进行实现标志点的自动定位。

在本申请中还提供了在一候选标志区域提取初始标志点子区域的方法的实施例包括：

步骤s310求取每一所述候选标志区域的中心点；

步骤s320从所述候选标志区域上截取预设数量对应的不同方位的带有中心点的标志区域，并设置为所述初始标志点子区域。

参见图所示；在一候选标志区域计算出中心点的位置信息，并绕每一个中心点的位置信息，适当的作一定范围内进行偏移，比如偏移30或者20个像素后再裁剪一个96×96，或者128×128的区域，如此每候选标志区域裁剪20次，或30次参见上一实施例中的。无论裁剪20次，或30次都要以候选标志区域的中心点位置信息为中心，剪切的每一个初始标志点子区域都要包含在候选标志区域内，为了更加精准的定位标志点做数据基础。在本申请中还包括在完成粗定位后，进行精准定位的输入至第二检测模型之前需要将候选标志区域进行分组，具体的实施例方式为：

获取设定数量的各候选标志区域之间在所述头颅坐标系中距离信息；根据获取的距离信息的不同将候选标志区域进行分组处理并满足预设条件。

参见图所示，具体的例如在图中各个标注区域，a1，a2，···am，将m个候选标志区域进行分组设置，为其分组设置为了更好区分每个区域，避免发生重叠发生，本申请中可以根据每个候选标志区域之间距离范围大小进行分组设置，包括区域之间的距离为7mm，或者6mm等不同分进行分组，又或是一个距离范围，比例4～5mm的距离范围为一个组，并根据头颅的尺寸进行设置，由于每个人的头颅大小尺寸不同，因为在进行矫治的过程中根据大人、小孩等各种不同头颅尺寸，具体的设定的距离信息分类方式也是动态调整的。本申请也不限于其他的分组方式，只要可以解决不同重叠的问题，都适用。

优选的，包括：

将每一分组后每一个所述候选标志区域对应预设数量的所述初始标志点子区域输入至所述第二检测模型中，根据所述第二检测模型中嵌入的预测算法对每一个初始标志点子区域进行预测运算得到对应的单点信息；

将同一个所述候选标志区域对应的预设数量的单点信息进行均值运算处理，将均值运算处理得到结果设置为所述标志坐标点。

将其输入至第二检测模型的运算包括：

将获取的所述初始标志点子区域输入至第二检测模型中卷积层对所述初始标志点子区域进行多维度特征的提取；

将提取后的所述特征与激活函数进行运算处理，并进一步的通过池化处理后提取出所述初始标志点子区域的深层特征；

将提取的所述初始标志点子区域的深层特征进行展平处理，并将展平处理的所述深层特征进行全连接运算处理，并获取到对应的所述标志坐标点。

在进行运算时，卷积层层数不做限制，只要保证避免出现过拟合和欠拟合的现象发生。激活函数根据实际使用进行设置，在获取深层特征时，可以为最大值池化，平均池化等；更进一步的对第一阶段得到的每一个标志初始标志点子区域通过由三个“卷积+激活函数+最大池化”组成的特征提取模块来提取输入图像的深层特征，然后将此三维的特征层展平后形成一维形式，后面再接三层“全连接层+激活函数”作为标志点回归模块，最后的输出层由两个神经元构成，作为最终预测的标志坐标点(x,y)。

在所述第二检测模型中进行损失函数运算包括：

其中，n表示输出层的神经元个数，也就是标志点在头颅坐标系上的坐标(x,y)，batch表示输入到神经网络模型的批量数据大小，x^*表示在先标志点的相应坐标，在先标志点为历史侧位片上标记的标志点；在本申请中关于神经元的个数，根据使用时设定的。

在神经网络模型训练的过程中，例如，通常是将数据分成一个一个batch，比如128张图片，若一个batch含有32张图片，那么就有4个batch。计算损失函数时，预设对一个batch的32张图片的每张图片的损失指值求和，使得模型在做梯度下降时更加稳定的收敛于局部最优解。例如，如果batch的值为1，那么在梯度下降时，参数会有很大的振荡，使得所得的解可能不稳定。因此进行合适的确定。

参见图5所示；在本申请中还提供了一种头颅侧位片中标志点的获取系统的实施例，包括：

待标定信息获取模块100，获取设定尺寸的待标定头颅侧位片；

标志区域获取模块200，将待标定头颅侧位片输入至第一检测模型中进行检测标定，在待标定头颅侧位片中标定出设定数量的候选标志区域；

标志子区域提取模块300，根据预设偏移算法在每一所述候选标志区域上提取出预设数量的初始标志点子区域；

标志坐标点转化模块400，将每一所述候选标志区域上提取出的预设数量的初始标志点子区域输入至第二检测模型中进行坐标预测处理，得到每一候选标志区域对应的一标志坐标点；

目标标志点设置模块500，将每一标志坐标点输入至所述待标定头颅侧位片所属的头颅坐标系中，并将所述头颅坐标系中输入的每一标志坐标点设置为头颅侧位片中的目标标志点。

在本申请中的一种头颅侧位片中标志点的获取系统的实施例方式，可通过上述一种头颅侧位片中标志点的获取方法实施例实施，在此不在赘述。

在本申请在申请中，在构建第一检测模型时，需要大量的头颅侧位片的标记好样本数据，借助于专家在这些侧位片上标定好了常用的标志点。在实际训练中采集大约3000张有在先标志点的头颅侧位片。每张侧位片上有50～100个常用标志点。第一阶段是得到用于定位的定位模型，也即第一检测模型。采用的方案是yolov3单阶段模型。输入一张头颅侧位片，它就会输出包含50～100个标志点对应数量的检测框，并且这些检测框也会给出它的框里所包含的标志点的类别。yolov3模型的结构搭建若干个卷积层提取特征，并且结合resnet的残差连接思想以及特征金字塔结构，输出不同尺度的检测框，再利用非极大值抑制的方法挑选出概率最大的目标检测框，本申请的目标检测框为候选标志区域，也就是颅骨侧位片上的一块块图像区域，本申请中把颅骨侧位片上每种标志点周围的图像看做是一种目标。在第一阶段把标志点定位问题转化为目标检测问题，所以可以用目标检测网络做检测。通过神经网络利用这些数据训练出相应的自动定位和标点模型。

第二阶段是将自动定位区域的初始标志点子区域输入至第二检测模型，就可以确定这些标志点在标志区域的精确位置。

对于m个标志点，一共分成h组数据，并训练了h个相同结构的模型。这个模型主要就是利用卷积层从输入图像中提取特征，然后接一个全链接层，利用均方差损失计算损失函数并做反向传播。整个算法输入就是一张头颅侧位图片，输出就是一个含有m个标志点位置和标点模型。

在本申请中，训练网络采用两阶段的训练方案，第一阶段训练图像块是否含有标志点，根据含有标志点的图像块，计算出每个标志点的区域，第二阶段根据每个标志点的邻域信息再次取图像块，使用回归网络，分别训练每个标志点的最终位置，提升了标志点的定位精度。

目前为止，本申请已经实现的功能是对头颅侧位偏上的50个标志点进行自动定位预测。今后还需要扩展两个功能，一个是自动的从标尺上确定另个点，使其间距正好为1.5～3cm，从而可以计算出单个像素的物理尺度；另一个是，利用这些标志点，自动的将头颅侧位片上的一些常用的轮廓线画出来，根据颅骨上特有的特征生成后续分析所需要的轮廓曲线；为医生的正畸矫治提供可靠的医学数据。

本实施例提供一种电子设备，其结构框图如图6所示，该电子设备000可以是平板电脑、笔记本电脑或台式电脑。该电子设备000还可能被称为便携式终端、膝上型终端、台式终端等其他名称。

电子设备000内置有处理器010和存储器020，其中，存储器020上存储有计算机程序，处理器010运行存储器020中的计算机程序时实现一种头颅侧位片中标志点的获取方法。

处理器010可以包括一个或多个处理核心，比如4个核心处理器、8个核心处理器等。处理器010可以采用dsp(digitalsignalprocessing，数字信号处理)、fpga(field—programmablegatearray，现场可编程门阵列)、pla(programmablelogicarray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器010也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(centralprocessingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。

在一些实施例中，处理器010可以在集成有gpu(graphicsprocessingunit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器010还可以包括ai(artificialintelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。

存储器020包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器020还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器020中的非暂态的计算机可读存储介质用于存储至少一个指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集用于被处理器010所执行以实现本发明中实施例中提供的一种头颅侧位片中标志点的获取方法。

以及在该电子设备000中还设置有050外围接口设备，可用于进行外部信息号的通信，以及还包括在获取标志点后构建轮廓线后生成矫治方案，并进一步进行矫治器的生产，在矫治器的生产中用于打印牙颌模型040的3d打印设备以及获取数字化牙颌模型的030口内扫描仪。

实施例中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。