图像标准切面的处理方法及装置与流程

本发明涉及图像处理技术领域，尤其涉及图像标准切面的处理方法及装置。

背景技术：

在孕妇怀孕10到14周时，孕检的一项重要步骤是做胎儿唐氏综合征的筛查。这项检查会依据胎儿颈后透明层的厚度判断染色体异常的概率。通常，胎儿的颈后透明层厚度的正常值在2.5mm以内，假如超过2.5mm，那么胎儿很可能会患有染色体异常的疾病，而且数值越大则发生异常的概率越大。目前，超声是测量胎儿颈后透明层厚度的方法。在做超声检查时，医师会寻找胎儿的标准切面(标准矢状面)，即经过鼻尖到脊柱的切面。只有在标准切面中测量的颈后透明层厚度才可以作为判断染色体是否异常的依据。然而，在实际检查中截取标准切面对医师的经验要求很高，因为医师通常要在零点几秒内判断切面是否标准并迅速截屏。即使是在三甲医院五年级的超声医师也需要重复截取多次切面才有可能得到一张质量较高的标准切面，有时甚至得到的最好的切面依然不够标准。

传统的图片分类方法是端对端的卷积神经网络，即将图片输入，模型会输出其标签。训练这些端对端的卷积神经网络模型通常需要大量标注准确的图像，在医疗影像领域很难达到如此规模。即使积累了足够的数据进行训练，我们也无法明确得知这些端对端的卷积神经网络是如何根据输入图像做出的预测，可解释性差。另外，虽然目前有在胎儿颅脑超声图像中做结构检测方法，但是人工智能的应用局限于目标检测，尚不能直接把目标检测的结果通过一个机器学习模型联系到输入图像是否标准切面。

因此现有技术还有待于进一步发展。

技术实现要素：

针对上述技术问题，本发明提供了一种图像标准切面的处理方法及装置，以解决相关技术问题。

本发明实施例的第一方面，提供一种图像标准切面的处理方法，包括：

根据图像判断目标的朝向，所述朝向为预设方向，所述图像包括颅脑矢状面图；

利用目标检测模型检测所述图像中的目标区域，并对所述目标区域的清晰度评分；

根据所述目标区域的清晰度评分判断所述图像是否为标准切面；其中，所述目标区域包括鼻尖、鼻前皮肤、鼻骨、上颚、丘脑、中脑、第四脑室、小脑延髓池、颈后透明层中的多个区域或全部。

可选地，所述根据图像判断目标的朝向，所述朝向为预设方向，包括：

所述预设方向为检测所述图像中的头部位于身体的预设方向；

若所述图像的朝向不是预设方向，则将所述图像做翻转处理；

并将所述图像做截取处理，去除背景信息。

可选地，所述检测所述图像中的目标区域，并对所述目标区域的清晰度评分，包括：

检测图像中上颚、间脑以及丘脑三大结构，并为所述三大结构的清晰度评分；

根据图像中上颚、间脑以及丘脑的位置寻找鼻子区域、第四脑室及小脑延髓池区域、以及颈后透明层区域；

在所述鼻子区域中寻找鼻尖、鼻前皮肤、鼻骨并为做清晰度评分；在第四脑室及小脑延髓池区域中检测第四脑室及小脑延髓池并做清晰度评分；在颈后透明层区域中检测颈后透明层并为做清晰度评分。

可选地，所述检测所述图像中的目标区域，并对所述目标区域的清晰度评分，包括：

检测图像中的第一区域，根据所述第一区域分别识别出第一目标结构，并为所述目标结构做清晰度评分；

根据所述第一目标结构检测第二区域，根据所述第二区域分别识别出第二目标结构，并为所述第二目标结构做清晰度评分。

可选地，所述根据所述目标区域的清晰度评分判断所述图像是否为标准切面，包括：

将所述的多个清晰度评分输入至分类模型中，利用所述分类模型输出所述图像为标准切面的概率。

作为一种相似地实现方案，还提供一种图像标准切面的处理方法，包括：

利用第一目标检测模型根据图像判断目标的朝向，所述朝向为预设方向，所述图像包括颅脑矢状面图；

利用第二目标检测模型检测所述图像中的目标区域，并对所述目标区域的清晰度评分，所述第二目标检测模型由多个目标检测模型构成，且所述多个目标检测模型基于同一目标检测算法；

利用分类模型根据所述目标区域的清晰度评分判断所述图像是否为标准切面；其中，所述目标区域包括鼻尖、鼻前皮肤、鼻骨、上颚、丘脑、中脑、第四脑室、小脑延髓池、颈后透明层中的多个区域或全部。

本发明实施例的第二方面，提供一种图像标准切面的处理装置，包括：

第一目标检测模块，用于根据图像判断目标的朝向，所述朝向为预设方向，所述图像包括颅脑矢状面图；

第二目标检测模块，用于检测所述图像中的目标区域，并对所述目标区域的清晰度评分，所述第二目标检测模块包括多个目标检测模型构成，且所述多个目标检测模型基于同一目标检测算法；

分类模块，用于根据所述目标区域的清晰度评分判断所述图像是否为标准切面；

其中，所述目标区域包括鼻尖、鼻前皮肤、鼻骨、上颚、丘脑、中脑、第四脑室、小脑延髓池、颈后透明层中的多个区域或全部。

可选地，所述第二目标检测模块包括：

第一目标检测单元，用于检测图像中上颚、间脑以及丘脑三大结构，并为所述三大结构的清晰度评分；

第二目标检测单元，用于根据图像中上颚、间脑以及丘脑的位置寻找鼻子区域、第四脑室及小脑延髓池区域、以及颈后透明层区域；

第三目标检测单元，用于在所述鼻子区域中寻找鼻尖、鼻前皮肤、鼻骨并为做清晰度评分；在第四脑室及小脑延髓池区域中检测第四脑室及小脑延髓池并做清晰度评分；在颈后透明层区域中检测颈后透明层并为做清晰度评分。

本发明实施例的第三方面，提供一种计算机可读介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行前述的图像标准切面的处理方法。

本发明实施例的第四方面，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行前述的图像标准切面的处理方法。

本发明利用目标检测模型标注颅脑矢状面中的目标区域，根据目标区域确定目标结构，目标结构通常包括九大结构，根据目标结构的清晰度评分判断图像是否标准。相较端对端的分类模型，本发明特有的九大结构的抓取与评分系统极大的提高了模型的可解释性。另外，本发明通过寻找九大结构约束了过拟合，使得本发明在外部验证集中的表现优于端对端的分类模型，提高了预测的泛用性。

附图说明

图1为本发明实施例中一种图像标准切面的处理方法的流程示意图；

图2为本发明一实施例中做目标检测的示意图，图2a为目标检测锚框的示意图，图2b为所示为内部测试集中的一个范例；

图3为本发明一实施例中目标检测标注过程图，图3a为原始图像，图3b和图3c为标注结果；

图4为本发明一实施例中另一种图像标准切面的处理方法的流程示意图；

图5为本发明一实施例中一种图像标准切面的处理装置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例中一种图像标准切面的处理方法的一实施例的流程示意图。所述图像标准切面的处理方法，包括以下步骤：

步骤s100:根据图像判断目标的朝向，所述朝向为预设方向，所述图像包括颅脑矢状面图。

在该步骤中可将胎儿颅脑矢状面图输入至目标检测模型中，通过深度学习目标检测模型将检测胎儿头部，给出胎儿头部锚框的坐标，同时给出其属于朝左或是朝右的分类结果。例如采用retinanet算法进行胎儿头部方向的分类，朝左的胎儿头部是第一个类别，朝右的胎儿头部是第二个类别。

通常胎儿头部朝向的预设方向为朝左，若朝右则需要做转换处理。

步骤s200:利用目标检测模型检测所述图像中的目标区域，并对所述目标区域的清晰度评分。

在本发明的实施例中，需要对颅脑矢状面图做多个区域进行识别，然后基于识别结果进行计算，最终得出对整个图像的判断结果。其中所述的目标区域并不是一个区域，而是多个区域；而针对多个区域则需要使用不同的目标检测模型进行目标检测任务，但所述的目标检测模型可以采用同一算法，目标检测模型进行训练时所使用的图像标记有所不同，即有针对性的训练过程，实现不同目标的识别。

本发明的目的在于判断图像的清晰度从而确定图像是否为标准切面，因此可基于所述目标区域所得出的清晰度评分进行判断，输出判断结果，具体可采用分类模型实现。

所述目标区域包括鼻尖、鼻前皮肤、鼻骨、上颚、丘脑、中脑、第四脑室、小脑延髓池、颈后透明层中的多个区域或全部。在本发明实施例中，可采用全部所述的目标区域的九大结构；当然也可以将第四脑室及小脑延髓池区域、颈后透明层区域合并为一个区域。又或者直接通过直接训练目标检测模型寻找鼻子区域、第四脑室及小脑延髓池区域、颈后透明层区域。诸如此类的变形类的模型训练均应理解为本步骤所述范围。

步骤s300:根据所述目标区域的清晰度评分判断所述图像是否为标准切面。

以最终得出九大结构的评分为例，将九个评分作为输入，利用分类模型作为处理输出一个评分结果，最终与判断阈值相比较，得到所述图像是否为标准切面，完成相应的图像识别结果。

与端对端的机器学习模型相比，本发明将整个预测系统的步骤拆分成了多个目标区域的识别模型，从而提升了整个系统的可解释性以及准确性。首先，寻找胎儿头部的模型可以准确定位胎儿的位置及朝向，这样可以帮助截取图像中的一部分使得胎儿占据截图中的大部分，尽可能得减少胎儿周围与判断标准切面无关的背景信息。然后寻找的上颚、丘脑、以及间脑锁定了鼻子区域、第四脑室及小脑延髓池区域、以及颈后透明层区域。由于鼻尖、鼻骨、鼻前皮肤只能出现于鼻子区域，因此在鼻子区域中寻找这三个结构有效的提高了准确率。同理，在其他两个区域中寻找其他三个结构也极大的提高了准确率。最后，利用分类模型可约束模型仅根据每个特征的评分预测图片是否标准切面，并评估每个特征的重要性。基于此。可使九大结构的位置以及清晰度评分都明确的呈现在医师面前，医师可根据经验参考模型给出的九大特征的位置以及评分来决定是否相信模型。

进一步地，本发明还提供以下具体实施例对本发明做进一步地说明。在一具体实施例中，如图4所示包括以下步骤：

步骤s41:根据图像判断目标的朝向，所述朝向为预设方向。

在该步骤中，所述预设方向为检测所述图像中的头部位于身体的预设方向：左侧；若所述图像的朝向不是预设方向，则将所述图像做翻转处理；假如胎儿头部位于身体右侧，可以沿水平方向镜面翻转输入图像得到胎儿头部位于身体左侧的图像，重复上述计算得到各个区域的坐标，再沿水平方向镜面翻转后复原。

所述头部位于左侧，可将所述图像做截取处理，去除背景信息。具体的可采用深度学习目标检测模型(retinanet)将寻找胎儿头部，给出胎儿头部锚框的坐标，同时给出其属于朝左或是朝右的分类结果。

retinanet的主干为densenet，之后分流到分类端与回归端。对于每个锚框，分类端用于预测锚框中是否可见胎儿头部及其朝向，回归端用于拟合锚框左上及右下两个顶点的坐标。本发明训练retinanet寻找能够最小化focalloss(α＝0.5,γ＝2)的模型权重。在训练前，本发明随机初始化了retinanet的权重。在训练过程中，本发明随机对训练图片做数据增强，包括平移、缩放、以及水平翻转。

步骤s42:检测图像中的第一区域，根据所述第一区域分别识别出第一目标结构，并为所述目标结构做清晰度评分。

例如检测图像中上颚、间脑以及丘脑三大结构并为所述三大结构的清晰度评分。所述三大结构定义为第一区域，但实际检测过程中做锚框处理时，是采用三个锚框，即实际的三个区域；该所述第一区域仅位于便于表述，可以理解为首先利用目标检测模型确定的区域。

在该步骤中，可用同一个深度学习目标检测模型(retinanet)寻找上颚、间脑以及丘脑这三大结构并为其清晰度打分。本发明中所有的清晰度评分(打分)都是指retinanet分类端的输出，即锚框中是某一个特征的概率。retinanet的结构与寻找胎儿头部的retinanet相同，对于每个锚框，分类端用于预测锚框中是否为上颚、间脑、丘脑、或都不是，回归端用于拟合锚框左上及右下两个顶点的坐标到金标准的距离，根据举例可以标注每个锚框的坐标，也即可以知道每个结构的坐标。具体可以结合如下步骤及图2所示进行理解。

步骤s43:根据所述第一目标结构检测第二区域，根据所述第二区域分别识别出第二目标结构，并为所述第二目标结构做清晰度评分。

具体可以利用感兴趣区域提取算法根据图像中上颚、间脑以及丘脑的位置寻找鼻子区域、第四脑室及小脑延髓池区域、以及颈后透明层区域。确定的几个结构分别使用一个目标检测模型进行识别。可采用深度目标检测模型retinanet实现。

如图2所示，图2a中假定胎儿头部位于身体左侧，且第一目标区域确定的上颚边框为apbpcpdp、间脑边框为ambmcmdm、丘脑边框为atbtctdt，那么鼻子区域边框anbncndn的定义为：cn与dp重合，andn＝1.5*apdp,anbn＝1.5*apbp。第四脑室及小脑延髓池区域边框aibicidi的定义为：ai与am重合，di位于apdp的中点，aibi＝2*ambm。颈后透明层区域边框anbncndn的定义为：an位于ambm的中点，cn位于原始图像的右下角。假如计算出的感兴趣区域的边界超过原始图像边界，则感兴趣区域的边界以原始图像边界为准。而图2b所示为内部测试集中的一个范例。

基于上述，利用深度学习目标检测模型在所述鼻子区域中寻找鼻尖、鼻前皮肤、鼻骨并为做清晰度评分；在第四脑室及小脑延髓池区域中检测第四脑室及小脑延髓池并做清晰度评分；在颈后透明层区域中检测颈后透明层并为做清晰度评分。

如图3所示，图3a为输入图像，图3b则是利用目标检测模型锚框得出的鼻尖、鼻前皮肤、鼻骨、上颚以及各自的坐标，并采用不同颜色标记。如图3b所示：

红色为鼻尖，坐标为(343,142)(374,154)

绿色为鼻前皮肤，坐标为(379,147)(407,155)

蓝色为鼻骨，坐标为(376,158)(408,171)

紫色为上颚，坐标为(323,188)(407,251)；

进一步地通过上述确定的第一目标区域确定第二目标区域，其中所述第二目标区域与所述第一目标区域一样，包含有多个实际区域。如图3c所示：

红色为丘脑，坐标为(447,258，),522,309)

蓝色为间脑，坐标为(465,321)(511,386)

紫色为第四脑室，坐标为(413,362)(461,381)

橙色为小脑延髓池，坐标为(405,367)(538,422)

绿色为颈后透明层，坐标为(4,421)(328,452)。

当然附图已取消颜色，但并不限制与理解本发明内容，因为根据图示及标记的位置，医师自然可以根据位置判断各结构的相对位置，因此并未对各区域进行标记处理。此处仅是便于描述及显示图像处理的过程与结果。

步骤s43:将所述的多个清晰度评分输入至分类模型中，利用所述分类模型输出所述图像为标准切面的概率。

具体的，可用多层感知机(一种浅层神经网络)依据九大结构的评分判断输入图像是否位标准切面。这里的多层感知机模型与前面的5个retinanet是独立的，作为前面5个retinanet的下游模型分析其输出的9个结构的清晰度评分。多层感知机模型的输入即为这九个评分构成的一维数组，模型的输出为输入数组所代表的图像为标准切面的概率。训练时采用adam优化器拟合binarycrossentropyloss。训练所使用的超参数为：batchsize＝32、epoch＝100、learningrate＝0.001在训练前，本发明随机初始化了多层感知机的权重。在训练过程中，本发明随机对一维输入数组做数据增强，即对数组中的每一个值进行10％以内的随机扰动，若扰动后的值大于1则取1，小于0则取0。

在其他的实施例中，可以选择较少的几个特征的清晰度评分作为多层感知机模型的输入，例如删去第四脑室及小脑延髓池的清晰度评分，或删去鼻尖、鼻前皮肤、鼻骨的清晰度评分等。

需要说明的是：在本发明中，可以自由选择深度学习目标检测模型，例如retinanet，yolov4,yolov5，maskr-cnn等。同时，多层感知机也不是唯一选择，可以用其他分类模型来替换，例如随机森林、逻辑回归等。另外，感兴趣区域提议算法的定义也可以灵活调整，例如由上颚、间脑以及丘脑的锚框坐标为自变量的其他映射确定的包裹住鼻尖、鼻前皮肤、鼻骨的鼻子区域、包裹住第四脑室及小脑延髓池的第四脑室及小脑延髓池区域、以及包裹住颈后透明层的颈后透明层区域，或者由医师标注鼻子区域、第四脑室及小脑延髓池区域、颈后透明层区域后训练人工智能模型寻找这些区域，或者将第四脑室及小脑延髓池区域和颈后透明层区域合并为同一个感兴趣区域。

与端对端的机器学习模型相比，本发明将整个预测系统的步骤分：为检测抬头头部朝向；检测上颚、间脑以及丘脑这三大结构并为其清晰度打分；依据图像中上颚、间脑以及丘脑的位置寻找鼻子区域、第四脑室及小脑延髓池区域、以及颈后透明层区域，在鼻子区域中寻找鼻尖、鼻前皮肤、鼻骨这三大结构并为其清晰度打分；在第四脑室及小脑延髓池区域中寻找第四脑室及小脑延髓池这两大结构并为其清晰度打分；在颈后透明层区域中寻找颈后透明层并为其清晰度打分；用多层感知机依据九大结构的评分判断输入图像是否为标准切面。前述五个步骤对应5个机器学习模型分五个阶段步骤完成，提升了整个系统的可解释性以及准确性。首先，第一个步骤寻找胎儿头部的模型可以准确定位胎儿的位置及朝向，这样可以帮助我们截取图像中的一部分使得胎儿占据截图中的大部分，尽可能得减少胎儿周围与判断标准切面无关的背景信息。其次，将寻找九大结构并评分这一步骤拆分成了前文所述的九大结构检测与评分。这一设计通过容易寻找的上颚、丘脑、以及间脑锁定了鼻子区域、第四脑室及小脑延髓池区域、以及颈后透明层区域。由于鼻尖、鼻骨、鼻前皮肤只能出现于鼻子区域，因此在鼻子区域中寻找这三个结构有效的提高了准确率。同理，在其他两个区域中寻找其他三个结构也极大的提高了准确率。最后，本发明训练了多层感知机，由此可约束模型仅根据每个特征的评分预测图片是否标准切面，并评估每个特征的重要性。本发明的系统使九大结构的位置以及清晰度评分都明确的呈现在医师面前，医师可根据经验参考模型给出的九大特征的位置以及评分来决定是否相信模型。

作为另一种实施方式，提供一下步骤：

利用第一目标检测模型根据图像判断目标的朝向，所述朝向为预设方向，所述图像包括颅脑矢状面图；

利用第二目标检测模型检测所述图像中的目标区域，并对所述目标区域的清晰度评分，所述第二目标检测模型由多个目标检测模型构成，且所述多个目标检测模型基于同一目标检测算法；

利用分类模型根据所述目标区域的清晰度评分判断所述图像是否为标准切面；其中，所述目标区域包括鼻尖、鼻前皮肤、鼻骨、上颚、丘脑、中脑、第四脑室、小脑延髓池、颈后透明层中的多个区域或全部。

如图5所示，本发明还提供图像标准切面的处理装置，其特征在于，包括：

第一目标检测模块100，用于根据图像判断目标的朝向，所述朝向为预设方向，所述图像包括颅脑矢状面图；

第二目标检测模块200，用于检测所述图像中的目标区域，并对所述目标区域的清晰度评分，所述第二目标检测模块包括多个目标检测模型构成，且所述多个目标检测模型基于同一目标检测算法；

分类模块300，用于根据所述目标区域的清晰度评分判断所述图像是否为标准切面；

其中，所述目标区域包括鼻尖、鼻前皮肤、鼻骨、上颚、丘脑、中脑、第四脑室、小脑延髓池、颈后透明层中的多个区域或全部。

所述第二目标检测模块包括：

第一目标检测单元，用于检测图像中上颚、间脑以及丘脑三大结构，并为所述三大结构的清晰度评分；

第二目标检测单元，用于根据图像中上颚、间脑以及丘脑的位置寻找鼻子区域、第四脑室及小脑延髓池区域、以及颈后透明层区域；

第三目标检测单元，用于在所述鼻子区域中寻找鼻尖、鼻前皮肤、鼻骨并为做清晰度评分；在第四脑室及小脑延髓池区域中检测第四脑室及小脑延髓池并做清晰度评分；在颈后透明层区域中检测颈后透明层并为做清晰度评分。

本发明相应地还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行图1所示方法的步骤。

本发明相应地还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行图1所示方法的步骤。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。