医学影像的检测方法、装置和存储介质与流程

本发明涉及通信技术领域，具体涉及一种医学影像的检测方法、装置和存储介质。

背景技术：

近年来，随着人工智能的飞速发展，人工智能在医学领域上的应用也逐渐增多，特别是在对医学影像的检测上。

目前的医学影像的采集途径有多种，其中以x射线影像采集最为常见。x射线是目前放射医学中广泛应用的一项技术，其主要作用是探测骨骼和软组织的病变。但是，在现有对医学影像，如x射线影像的多数检测方案，一般都只能针对比较简单的自然影像，而对于一些结构比较特殊的医学影像的检测，如肺部影像的检测则很难实现，特别是对医学影像中病灶区域的定位，由于存在大量的背景影像，所以很容易存在较高的假阳性，导致定位错误，大大影响检测结果的可靠性。

技术实现要素：

本发明实施例提供一种医学影像的检测方法、装置和存储介质，可以提高定位的准确性，进而提高检测结果的可靠性。

本发明实施例提供一种医学影像的检测方法，包括：

获取待检测对象的医学影像和病理文本信息；

对所述医学影像进行病理类型预测，得到预测信息；

通过训练后多层感知器(mlp，multi-layerperception)对病理文本信息进行识别，得到参考信息；

将预测信息和参考信息进行融合，得到预测结果；

在预测结果指示所述医学影像为目标病理类型时，从所述医学影像中检测符合所述目标病理类型的区域，得到检测结果。

相应的，本发明实施例还提供一种医学影像的检测装置，包括：

获取单元，用于获取待检测对象的医学影像和病理文本信息；

预测单元，用于对所述医学影像进行病理类型预测，得到预测信息；

识别单元，用于通过训练后多层感知器对病理文本信息进行识别，得到参考信息；

融合单元，用于将预测信息和参考信息进行融合，得到预测结果；

检测单元，用于在预测结果指示所述医学影像为目标病理类型时，从所述医学影像中检测符合所述目标病理类型的区域，得到检测结果。

可选的，在一些实施例中，所述识别单元，具体用于对所述病理文本信息进行独热编码，得到编码后信息，过训练后多层感知器对所述编码后信息进行识别，得到参考信息。

可选的，在一些实施例中，所述融合单元，具体用于将预测信息和参考信息进行特征拼接，得到拼接后信息，对拼接后信息进行卷积处理，得到预测结果。

可选的，在一些实施例中，所述检测单元包括特征提取子单元、筛选子单元和分类子单元；

所述特征提取子单元，用于从所述医学影像中筛选满足所述目标病理类型的特征信息；

所述筛选子单元，用于确定筛选出的特征信息在所述医学影像中的区域，得到备选区域和区域类型概率；

所述分类子单元，用于选择区域类型概率大于阈值的备选区域作为检测区域，并获取所述检测区域的位置，根据所述检测区域和所述检测区域的位置生成检测结果。

可选的，在一些实施例中，所述特征提取子单元，具体用于通过训练后检测模型，采用不同感受域对所述医学影像进行特征提取，得到医学影像的特征图，从所述医学影像的特征图中筛选满足所述目标病理类型的特征信息。

可选的，在一些实施例中，所述训练后检测模型至少包括卷积神经网络和金字塔网络，所述特征提取子单元，具体用于通过所述卷积神经网络对医学影像进行特征提取，得到多个卷积层输出的特征信息，通过所述金字塔网络分别对所述多个卷积层输出的特征信息处理，根据所述金字塔网络中每一层的处理结果生成医学影像的特征图。

可选的，在一些实施例中，所述医学影像的检测装置还包括采集单元和训练单元；

所述采集单元，用于采集多张标注有区域类型真实值的医学影像样本；

所述训练单元，用于通过预设检测模型将医学影像样本划分为前景区域和背景区域；确定前景区域的区域类型预测值，并根据区域类型预测值和区域类型真实值确定区域类型置信度；根据所述区域类型置信度和预设调整系数构建损失函数，所述调整系数用于调整背景区域对特征学习的影响度；采用所述损失函数对所述检测模型进行收敛，得到训练后检测模型。

可选的，在一些实施例中，所述训练单元，具体用于通过预设检测模型，采用不同感受域对医学影像样本进行特征提取，得到医学影像样本的特征图，根据所述医学影像样本的特征图将医学影像样本划分为前景区域和背景区域。

可选的，在一些实施例中，所述检测模型至少包括卷积神经网络和金字塔网络，所述训练单元，具体用于通过所述卷积神经网络对医学影像样本进行特征提取，得到多个卷积层输出的特征信息，通过所述金字塔网络分别对所述多个卷积层输出的特征信息处理，根据所述金字塔网络中每一层的处理结果生成医学影像样本的特征图。

可选的，在一些实施例中，所述训练单元，具体用于根据所述医学影像样本的特征图筛选满足目标病理类型的多个备选区域和区域类型概率，选择区域类型概率大于阈值的备选区域作为前景区域，获取所述医学影像样本中除前景区域之外的区域，得到背景区域。

可选的，在一些实施例中，所述训练单元，具体用于在备选区域之间的重叠程度大于设定值时，选择产生重叠的备选区域中区域类型概率最大的备选区域作为过滤后备选区域，并降低所述产生重叠的备选区域中，除过滤后备选区域之外的其他备选区域的区域类型概率；选择区域类型概率大于阈值的过滤后备选区域作为前景区域。

可选的，在一些实施例中，所述训练单元，具体用于根据所述特征图，利用分类回归网络对所述前景区域进行分类，得到所述前景区域的区域类型预测值。

此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种医学影像的检测方法中的步骤。

本发明实施例在对检测对象的医学影像进行病理类型预测的同时，还可以通过训练后多层感知器对该检测对象的病理文本信息进行识别，然后，再结合这两方面的结果来得到一个预测结果，并在预测结果指示该医学影像为目标病理类型如肺炎时，从医学影像中检测符合该目标病理类型的区域，得到检测结果(即对符合该目标病理类型的区域进行定位)；由于该方案在对医学影像进行病理类型预测时，还引入了病理文本信息作为参考因素，因此，可以提高分类的准确性；而且，后续对符合某种目标病理类型的区域进行定位，是建立在已经预测该医学影像存在该目标病理类型区域的基础上的，所以，也可以提高定位的精确性，即该方案从整体上看，可以提高检测结果的可靠性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的医学影像的检测方法的场景示意图；

图2是本发明实施例提供的医学影像的检测方法的流程图；

图3是本发明实施例提供的检测模型的结构示意图；

图4是本发明实施例提供的检测模型中卷积神经网络和金字塔网络的连接示意图；

图5是本发明实施例提供的备选区域网络的结构示意图；

图6是本发明实施例提供的分类回归网络的结构示意图；

图7是本发明实施例提供的分类模型的结构示意图；

图8是本发明实施例提供的卷积神经网络和金字塔网络的另一连接示意图；

图9是本发明实施例提供的医学影像的检测方法的另一流程图；

图10是本发明实施例提供的医学影像的检测方法的场景示意图；

图11是本发明实施例提供的医学影像的检测方法中备选区域的示例图；

图12是本发明实施例提供的医学影像的检测装置的结构示意图；

图13是本发明实施例提供的医学影像的检测装置的另一结构示意图；

图14是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种医学影像的检测方法、装置和存储介质。其中，该医学影像的检测装置具体可以集成在网络设备，比如终端或服务器等设备中。

例如，以该医学影像的检测具体集成在网络设备中为例，参见图1，该网络设备可以获取待检测对象的医学影像和病理文本信息，然后，一方面对该医学影像进行病理类型预测，得到预测信息，另一方面通过训练后多层感知器对病理文本信息进行识别，得到参考信息，利用得到的参考信息调整预测信息(比如可以将预测信息和参考信息进行融合)，以确定最终的预测结果，然后，在预测结果指示该医学影像为目标病理类型如肺炎时，从该医学影像中检测符合该目标病理类型的区域，得到检测结果，其中，该检测结果可以包括该区域的类型和具体位置等信息。

以下分别进行详细说明。需说明的是，以下实施例描述顺序不作为对实施例优选顺序的限定。

本实施例将从医学影像的检测装置的角度进行描述，该医学影像的检测装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备，其中，该终端可以包括手机、平板电脑、笔记本电脑、个人计算机(pc，personalcomputer)或医疗设备等。

一种医学影像的检测方法，包括：获取待检测对象的医学影像和病理文本信息，对该医学影像进行病理类型预测，得到预测信息，通过训练后多层感知器对病理文本信息进行识别，得到参考信息，将预测信息和参考信息进行融合，得到预测结果，在预测结果指示该医学影像为目标病理类型时，从该医学影像中检测符合该目标病理类型的区域，得到检测结果。

如图2所示，该医学影像的检测方法的具体流程可以如下：

101、获取待检测对象的医学影像和病理文本信息。

例如，可以接收医学影像采集设备发送的待检测对象的医学影像，或者，也可以从本设备(即该医学影像的检测装置所在的设备)中接收用户输入(如导入、拍摄或扫描等)的待检测对象的医学影像，或从本设备中读取保存的待检测对象的医学影像，等等。

其中，检测对象指的需要进行检测的生命体组织，而该医学影像可以是x射线影像或其他二维影像，具体可以通过医学影像采集设备，如医疗检测设备或医疗监控设备等对生命体组织进行影像采集来得到。所谓生命体组织，指的是生命体(有生命形态的独立个体就是生命体，能对外界刺激做出相应反映)的某组成部分，比如人体的肺部、肠胃或心脏等，又比如其他动物的肠胃、甚至口腔或皮肤等。

同理，病理文本信息也可以从其他设备，如其他服务器或终端中获取，或者，也可以从本设备(即该医学影像的检测装置所在的设备)中来获取，比如，从本设备中直接读取保存的病理文本信息，或者接收用户在本设备接收用户输入(如导入、拍摄或扫描等)的病理文本信息。

其中，该病理文本信息指的是以文本形式所记录的病人信息，可以包括病人的个人信息和病历信息。其中，个人信息可以包括姓名、性别、年龄和/或职业等信息，而病历信息则可以包括该病人过往的检验、诊断和治疗记录等信息。

需说明的是，在获取该待检测对象的医学影像和病理文本信息时，既可以同时获取，也可以分别获取，在分别获取时，医学影像和病理文本信息的获取顺序可以不分先后。

102、对该医学影像(即待检测对象的医学影像)进行病理类型预测，得到预测信息。

例如，具体可以采用训练后密集连接卷积网络(densenet)对该医学影像进行病理类型预测，得到预测信息。

比如，可以通过卷积层对该医学影像进行卷积处理，并经由池化层对卷积处理结果进行最大池化处理后，依次采用不同的密集块对该最大池化结果进行处理，最后由分类层对密集块的输出结果进行分类，即可得到该预测信息。其中，不同的密集块之间可以通过过渡层连接，该过渡层用于将当前密集块的输出数据调整为符合下一个密集块输入需求的数据。

其中，该训练后密集连接卷积网络的网络参数可以根据实际应用的需求进行设置。

另外，需说明的是，该训练后密集连接卷积网络可以由维护人员预先进行设置，也可以由该医学影像的检测装置自行进行训练，例如，可以采集多个标注有病理类型的医学影像样本，然后，通过预设密集连接卷积网络对医学影像样本的病理类型进行预测，然后，根据预测的病理类型和标注的病理类型对该密集连接卷积网络进行收敛，便可得到训练后密集连接卷积网络。

103、通过训练后多层感知器(mlp，multi-layerperception)对病理文本信息(即待检测对象的病理文本信息)进行识别，得到参考信息；例如，具体可以如下：

对该病理文本信息进行独热编码(one-hot编码)，得到编码后信息，通过训练后mlp对该编码后信息进行识别，得到参考信息。

其中，独热编码指的是一种编码方式，通常用于将文字信息转化为向量表示，其方法是使用n位状态寄存器来对n个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效，因此，也可以称为一位有效编码。而训练后mlp是一种多层前向结构的人工神经网络，它可以将输入的多个数据集映射到单一的输出的数据集上，多用于文本的识别。

比如，以该病理文本信息包括病人的性别和年龄信息为例，则此时，可以对该性别和年龄信息进行独热编码，然后通过训练后mlp对编码后的性别和年龄信息进行识别，该识别结果即可作为参考信息，等等。

可选的，其中，该训练后mlp可以由维护人员预先进行设置，也可以由该医学影像的检测装置自行进行训练，例如，采集多个病理文本信息样本，然后，通过预设mlp对这些病理文本信息样本进行文本识别，得到文本识别结果，根据该文本识别结果和病理文本信息样本的实际文本内容对该mlp进行收敛，即可得到训练后mlp。

需说明的是，在本发明实施例中，可以将训练后密集连接卷积网络和训练后mlp集成的网络称为分类模型。

104、将预测信息和参考信息进行融合，得到预测结果；例如，具体可以如下：

将预测信息和参考信息进行特征拼接，得到拼接后信息，然后，对拼接后信息进行卷积处理，得到预测结果，比如，可以通过卷积层(conv)对拼接后信息进行卷积处理，其输出的结果即为预测结果。

105、在预测结果指示该医学影像(即待检测对象的医学影像)为目标病理类型时，从该医学影像中检测符合该目标病理类型的区域，得到检测结果。

其中，该目标病理类型可以根据实际应用的需求进行设置，比如，若该医学影像为肺部的x射线影像，该目标病理类型为肺炎，则此时，可以在预测结果指示该x射线影像为肺炎所对应的影像时，从该医学影像中检测符合该肺炎的区域，得到检测结果。又比如，若该目标病理类型为肺结核，则此时，可以在预测结果指示该x射线影像为肺结核所对应的影像时，从该医学影像中检测符合该肺结核的区域，得到检测结果，以此类推，等等。

可选的，从该医学影像中检测符合该目标病理类型的区域的方式可以有多种，比如，具体可以包括如下步骤：

(1)从该医学影像中筛选满足该目标病理类型的特征信息。

例如，具体可以通过训练后检测模型，采用不同感受域对该医学影像进行特征提取，得到医学影像的特征图，然后，从该医学影像的特征图中筛选满足该目标病理类型的特征信息。

其中，如图3所示，该训练后检测模型至少可以包括卷积神经网络和金字塔网络(featurepyramidnet)，此外，该训练后检测模型还可以包括备选区域网络和分类回归网络(roipooling)等。

若训练后检测模型包括卷积神经网络和金字塔网络，则步骤“通过训练后检测模型，采用不同感受域对该医学影像进行特征提取，得到医学影像的特征图”可以包括：

通过该卷积神经网络对医学影像进行特征提取，得到多个卷积层输出的特征信息，通过该金字塔网络分别对该多个卷积层输出的特征信息处理，根据该金字塔网络中每一层的处理结果生成医学影像的特征图。

其中，卷积神经网络的卷积层数量和金字塔网络的层数可以根据实际应用的需求进行设置，比如，可以将金字塔网络的层数设置为4层，等等。若卷积神经网络的卷积层数量大于金字塔网络的层数，则可以在卷积神经网络中选取若干个卷积层作为与金字塔网络对应的卷积层，使得该若干个卷积层与金字塔网络的层一一对应，这样，便可以通过该金字塔网络分别对该若干个卷积层输出的特征信息进行处理，并根据该金字塔网络中每一层的处理结果生成医学影像的特征图。

例如，如图4所示，以选取卷积神经网络的卷积层i、i+1和i+2作为与金字塔网络对应的卷积层为例，则可以通过金字塔网络的t+2层对卷积层i+2输出的特征信息进行处理，得到处理结果1，然后，一方面输出处理结果1，另一方面，将处理结果1和卷积层i+1输出的特征信息进行融合后，作为金字塔网络的t+1层的输入，在金字塔网络的t+1层对该输入进行处理后，得到处理结果2，同理，t+1层一方面输出处理结果2，另一方面将该处理结果2与卷积层i输出的特征信息进行融合后，作为金字塔网络的t层的输入以进行处理，得到处理结果3，以此类推，最终可以得到金字塔网络中每一层的处理结果，然后，根据该金字塔网络中所有层的处理结果，便可生成医学影像的特征图。

由于金字塔每一层的处理结果对应着不同感受野的特征，因此，此时得到的特征图包括有不同尺度的特征信息，也就是说，可以保证不同大小的病灶都可以被检测到。

需说明的是，金字塔的每一层在将处理结果与对应卷积层输出的特征信息进行融合时，可以先分别对处理结果和卷积层输出的特征信息进行预设处理，使其维度和大小一致后，再进行融合；比如，参见图5，可以对处理结果进行2倍上采样，以及对卷积层输出的特征信息进行“1×1”的卷积(conv)处理后，上采样后处理结果和“1×1”卷积处理结果进行融合，等等。

在得到医学影像的特征图之后，便可以从该医学影像的特征图中筛选满足该目标病理类型的特征信息，比如，以该目标病理类型为“肺炎”为例，则此时，可以从该医学影像的特征图中筛选满足“肺炎”的特征信息。

(2)确定筛选出的特征信息在该医学影像中的区域，得到备选区域(proposals)和区域类型概率。

例如，具体可以通过备选区域网络确定筛选出的特征信息在该医学影像中的区域，得到备选区域以及各个备选区域的区域类型概率。

其中，该备选区域网络的参数可以根据实际应用的需求进行设置，比如，参见图5，该备选区域网络可以包括一个3×3卷积层、两个1×1卷积层、以及激活函数(sigmoid)层，具体的，可以采用3×3的卷积层对筛选出的特征信息进行处理，然后，将3×3的卷积层的输出分别传送给两个1×1卷积层，其中一个1×1卷积层的输出传送给激活函数层进行处理，然后结合激活函数层的输出与另一个1×1卷积层的输出对该“筛选出的特征信息”在医学影像中的区域进行预测，便可以得到备选区域以及各个备选区域的区域类型概率。

(3)选择区域类型概率大于阈值的备选区域作为检测区域，并获取该检测区域的位置，然后，根据该检测区域和该检测区域的位置生成检测结果。

例如，具体可以通过分类回归网络来选择区域类型概率大于阈值的备选区域作为检测区域(即疑似的病灶区域)，并获取该检测区域的位置，该检测区域及相应的位置即为检测结果。

其中，该分类回归网络的参数也可以根据实际应用的需求进行设置，比如，参见图6，该分类回归网络可以包括感兴趣区域池化层(roipooling，regionofinterestpooling)、全连接层(fc，fullyconnectedlayers)、以及分类与回归模块，则具体的，可以从备选区域中选择若干感兴趣区域(rois)，然后，将感兴趣区域和金字塔网络输出的特征图(如医学影像的特征图)一起，传送给roi池化层进行池化处理，将池化处理后的数据经由全连接层进行全连接处理后，输入至分类与回归模块中进行分类，以判断其所属类别，以及对其位置进行定位，便可得到所需的检测区域，以及检测区域的位置，其中，该检测区域和检测区域的位置，在本发明实施例中即称为检测结果。

可选的，该训练后检测模型可以由运维人员预先进行设置，也可以由该医学影像的检测装置自行进行训练来得到，即在步骤“通过训练后检测模型，采用不同感受域对该医学影像进行特征提取，得到医学影像的特征图”之前，该方法还可以包括：

a、采集多张标注有区域类型真实值的医学影像样本。

例如，除了可以直接获取多张已经标注有区域类型真实值的医学影像样本之外，也可以从医学影像数据库中获取多个医学影像样本，或通过医学影像采集设备采集多个医学影像样本，然后，再在这些医学影像样本上标注区域类型真实值，比如，以肺炎为例，则此时可以标注上肺炎的检测框，等等。

b、通过预设检测模型将医学影像样本划分为前景区域和背景区域；

例如，可以通过预设检测模型，采用不同感受域对医学影像样本进行特征提取，得到医学影像样本的特征图，根据该医学影像样本的特征图将医学影像样本划分为前景区域和背景区域。

其中，该检测模型至少可以包括卷积神经网络和金字塔网络，此外，该检测模型还可以包括备选区域网络和分类回归网络等。

若检测模型包括卷积神经网络和金字塔网络，则步骤“通过预设检测模型，采用不同感受域对医学影像样本进行特征提取，得到医学影像样本的特征图”可以包括：

通过该卷积神经网络对医学影像样本进行特征提取，得到多个卷积层输出的特征信息，通过该金字塔网络分别对该多个卷积层输出的特征信息处理，根据该金字塔网络中每一层的处理结果生成医学影像样本的特征图。

此后，便可以根据该医学影像样本的特征图将医学影像样本划分为前景区域和背景区域，比如，具体可以根据该医学影像样本的特征图筛选满足目标病理类型的多个备选区域和区域类型概率，选择区域类型概率大于阈值的备选区域作为前景区域，然后，获取该医学影像样本中除前景区域之外的区域，便可以得到背景区域。其中，该阈值可以根据实际应用的需求进行设置。

可选的，由于可能会存在备选区域重叠的情况，而一般在这种情况下，若重叠大于一定程度，都会将区域类型概率较低的备选区域完全丢弃，从而可能会导致忽略掉一些可靠的标注区域(即标注有区域类型真实值区域，也称为检测框)，因此，为了将这些可靠的标注区域保留下来，可以采用柔性非极大值抑制算法(soft-nms)来处理这种情况，使得在备选区域重叠程度大于设定值时，可以不将区域类型概率较低的备选区域会完全丢弃，而是降低其区域类型概率，即，在步骤“选择区域类型概率大于阈值的备选区域作为前景区域”之前，该医学影像的检测方法还可以包括：

在备选区域之间的重叠程度大于设定值时，选择产生重叠的备选区域中区域类型概率最大的备选区域作为过滤后备选区域，并降低该产生重叠的备选区域中，除过滤后备选区域之外的其他备选区域的区域类型概率(即在这些产生重叠的备选区域中，保留区域类型概率最大的备选区域，然后降低其他备选区域的区域类型概率，而不是完全丢弃这些其他备选区域)。

则此时，步骤“选择区域类型概率大于阈值的备选区域作为前景区域”，具体可以为：选择区域类型概率大于阈值的过滤后备选区域作为前景区域。

c、确定前景区域的区域类型预测值，并根据区域类型预测值和区域类型真实值确定区域类型置信度。

例如，可以根据该特征图，利用分类回归网络对该前景区域进行分类，得到该前景区域的区域类型预测值，根据区域类型预测值和区域类型真实值确定区域类型置信度。

其中，该区域类型预测值可以包括区域类型和区域类型概率等信息，比如，可以是肺炎区域，概率80％，或者肺结核区域，概率60％，等等。

比如，若预测的区域类型t与真实的区域类型一致，则为真，此时可以令y为1，否则，若预测的区域类型t与真实的区域类型不一致，则为假，可以令y为0，当y为1时，预测得到的区域类型t的置信度pt为该预测得到的区域类型t所对应的区域类型概率p，而当y不为1(比如为0)时，预测得到的区域类型t的置信度pt为1与该预测得到的区域类型t所对应的区域类型概率p的差，用公式表示即为：

d、根据该区域类型置信度和预设调整系数构建损失函数(focalloss)，该调整系数用于调整背景区域对特征学习的影响度。

例如，该损失函数fl(pt)可以如下：

fl(pt)＝-αt(1-pt)^γlog(pt)

其中，pt为预测得到的区域类型t的置信度，αt为平衡系数，γ影响度调整系数，用于调整背景区域对特征学习的影响度，γ越大，检测模型就越重视前景区域(即背景区域对特征学习的影响度越小)。

其中，平衡系数αt和影响度调整系数γ的取值可以根据实际应用的需求进行设置，比如，可以将背景区域的αt设置为0.25,前景区域的αt设为0.75，γ设为1，等等。实验表明，在此参数设置下，该损失函数相较于传统的损失函数如crossentropyloss可以更好地从背景影像中学习肺炎特征，进而提升定位的准确率。

e、采用该损失函数对该检测模型进行收敛，得到训练后检测模型。

可选的，为了加速训练速度，可以采用热启动的方式来训练模型，比如，可以将检测模型的初始学习率设为0.001，当训练进行到四分之三时，降低学习率到0.0001，等等。

由上可知，本实施例在对检测对象的医学影像进行病理类型预测的同时，还可以通过训练后mlp对该检测对象的病理文本信息进行识别，然后，再结合这两方面的结果来得到一个预测结果，并在预测结果指示该医学影像为目标病理类型如肺炎时，从医学影像中检测符合该目标病理类型的区域，得到检测结果(即对符合该目标病理类型的区域进行定位)；由于该方案在对医学影像进行病理类型预测时，还引入了病理文本信息作为参考因素，因此，可以提高分类的准确性；而且，后续对符合某种目标病理类型的区域进行定位，是建立在已经预测该医学影像存在该目标病理类型区域的基础上的，所以，也可以提高定位的精确性，即该方案从整体上看，可以提高检测结果的可靠性。

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该医学影像的检测装置具体集成在网络设备中，且采用分类模型来分别对检测对象的医学影像和病理文本信息进行处理，以及采用检测模型来对分类模型得到的预测结果作进一步检测为例进行说明。

(一)分类模型的训练。

如图7所示，该分类模型可以包括密集连接卷积网络(densenet)和mlp，此外，还可以包括一拼接模块和卷积层(conv)等。

其中，训练该分类模型的方式可以有多种，例如，可以分别针对每个分支进行训练，也可以对该分类模型进行整体训练，如下：

第一种方式：分别训练。

具体的，网络设备可以采集多个标注有病理类型的医学影像样本来训练该分类模型中的密集连接卷积网络，以及采集多个病理文本信息样本来训练该分类模型中的mlp，比如，以该病理类型具体为肺炎为例，密集连接卷积网络和mlp的训练过程分别可以如下：

(1)密集连接卷积网络的训练。

网络设备采集多个具有标注值(该标注值指示该医学影像样本是否存在肺炎)的医学影像样本，通过预设密集连接卷积网络对医学影像样本的是否存在肺炎进行预测，然后，根据预测结果和标注值对该密集连接卷积网络进行收敛，便可得到训练后密集连接卷积网络。

其中，该预设密集连接卷积网络的网络结构和参数的初始值可以根据实际应用的需求进行设置。可选的，为了加快该密集连接卷积网络的训练速度，参数的初始值可以采用在imagenet数据集上预训练的密集连接卷积网络的参数，其中，imagenet是一个用于视觉对象识别软件研究的大型可视化数据库。

比如，以该密集连接卷积网络具体为densenet-169为例，则其网络参数的设置可以如表一所示。

表一：

需说明的是，以上网络层数和网络参数仅仅为示例，应当理解的是，该网络层数和网络参数均可以根据实际应用的需求进行设置，在此不再列举。

(2)mlp的训练。

网络设备采集多个病理文本信息样本，通过预设mlp对这些病理文本信息样本进行文本识别，得到文本识别结果，然后，根据该文本识别结果和病理文本信息样本的实际文本内容对该mlp进行收敛，即可得到训练后mlp。

其中，该预设mlp可以采用方差为0.01，均值为0的高斯分布进行初始化。

第二种方式：整体训练。

可选的，除了可以分别对密集连接卷积网络和mlp进行训练之外，也可以对该分类模型进行整体训练。比如，可以多个样本对，其中，每个样本对包括一个具有标注值(即病理类型，比如该标注值指示是否具有肺炎)的医学影像样本，以及该医学影像样本对应的病理文本信息样本，然后，分别采用预设密集连接卷积网络和mlp对样本对中的医学影像样本和病理文本信息样本进行处理(即采用预设密集连接卷积网络对样本对中的医学影像样本是否存在肺炎进行预测，以及采用预设mlp对样本对中的病理文本信息样本进行文本识别)，得到预测信息和文本识别结果，将该预测信息和文本识别结果进行融合，比如，具体可以将该预测信心和文本识别结果进行特征拼接，得到拼接后信息，然后，对拼接后信息进行卷积处理，得到该样本对对应的预测结果，如存在肺炎或不存在肺炎，根据该预测结果与该样本对的标注值对该分类模型进行收敛，即可得到训练后分类模型。

其中，该训练后分类模型包括训练后密集连接卷积网络和训练后mlp等。

需说明的是，为了使得分类网络可以更好地学习特征，在训练该分类网络时，可以根据需求将分类网络的训练过程分为3个阶段，在不同的阶段采用不同的学习率，比如，第1阶段的学习率为0.03，第2阶段的学习率为0.003，第3阶段为0.001，等等；其中，密集连接卷积网络和mlp采用相同的学习率。

还需说明的是，在采集医学影像样本时，除了直接通过医学影像采集设备进行采集之外，还可以从医学影像数据库，如北美放射学会(rsna，radiologicalsocietyofnorthamerica)中来获取。另外，在获取的多个医学影像样本中，除了可以将这些医学影像样本作为训练集之外，也可以选取一部分作为验证集，以对训练后检测模型进行验证，进而提高检测模型的准确性。

可选的，在采集到多张医学影像样本后，还可以对这些医学影像样本进行预处理，比如进行缩放、翻转、剪切或去噪等处理。比如，在训练该分类网络时，为了降低内存消耗，可以将影像大小调整到448×448，等等；此外，在训练过程中，还对肺部影像进行随机采样。这些预处理可以极大程度地扩充训练集的大小，有效抑制过拟合。

(二)检测模型的训练。

其中，该检测模型可以包括卷积神经网络、金字塔网络、备选区域网络和分类回归网络(roipooling)等，具体结构可参见图3。

其中，各个网络的结构可以根据实际应用的需求而定，例如，卷积神经网络可以采用残差神经网络(resnet)，如resnet-101，其中，conv3-x和conv4-x的第一层的步长(stride)可以为2，且每个卷积层之后都接有激活函数如relu层和批归一化层(batchnormalization)，比如，参见表二，该resnet-101的网络参数可以如下：

表二：

需说明的是，以上网络层数和网络参数仅仅为示例，应当理解的是，该网络层数和网络参数均可以根据实际应用的需求进行设置，在此不再列举。

可选的，为了加快该密集连接卷积网络的训练速度，该resnet的网络参数的初始值可以采用在imagenet数据集上预训练的resnet的参数。

同理，金字塔网络的层数也可以根据实际应用的需求进行设置，比如，可以将金字塔网络的层数设置为4层，等等。若卷积神经网络的卷积层数量大于金字塔网络的层数，则可以在卷积神经网络中选取若干个卷积层作为与金字塔网络对应的卷积层，使得该若干个卷积层与金字塔网络的层一一对应，这样，便可以通过该金字塔网络分别对该若干个卷积层输出的特征信息进行处理，并根据该金字塔网络中每一层的处理结果生成医学影像样本的特征图，比如，具体可参见图8和前面的实施例，在此不作赘述。

可选的，在对该检测模型进行训练时，可以由网络设备基于梯度下降法(sgd，stochasticgradientdescent)来求解卷积神经网络的卷积模板参数w和偏置参数b，然后，在每次迭代过程中，计算预测结果误差并反向传播到卷积神经网络，计算梯度并更新卷积神经网络的参数，经过多次后便可得到训练后检测模型。例如，以病理类型具体为肺炎为例，该检测模型的训练具体可以如下：

(1)网络设备采集多张标注有肺炎区域(即肺炎的检测框)的医学影像样本。

例如，网络设备可以从医学影像数据库，如rsna中获取多个医学影像样本(比如28,000张肺部x射线影像)，或接收医学影像采集设备发送的多个医学影像样本，然后，在这些医学影像样本上标注肺炎区域，等等。

需说明的是，在获取的多个医学影像样本中，除了可以将这些医学影像样本作为训练集之外，也可以选取一部分如五分之一(如2,000张影像)作为验证集，以对训练后检测模型进行验证，进而提高检测模型的准确性。

另外，在采集到多张医学影像样本后，还可以对这些医学影像样本进行预处理，比如进行缩放、翻转、剪切或去噪等处理。

在本发明实施例中，具体可以将每张医学影像样本的大小调整至1024×1024，同时进行水平翻转。

(2)网络设备通过该检测模型中的卷积神经网络，对医学影像样本进行特征提取，得到多个卷积层输出的特征信息。

(3)网络设备过该检测模型中的金字塔网络，分别对该多个卷积层输出的特征信息处理，并根据该金字塔网络中每一层的处理结果生成医学影像样本的特征图。

例如，参见图8，可以采用卷积神经网络对医学影像样本进行特征提取，得到各卷积层、如i、i+1和i+2(i为大于等于0的整数)等输出的特征信息，然后，可以通过金字塔网络的t+2层对卷积层i+2输出的特征信息进行处理，得到处理结果1，金字塔网络t+2层输出处理结果1，并将处理结果1和卷积层i+1输出的特征信息进行融合后，作为金字塔网络的t+1层的输入，由金字塔网络的t+1层对该输入进行处理，得到处理结果2，同理，金字塔网络的t+1层输出处理结果2，并将该处理结果2与卷积层i输出的特征信息进行融合后，作为金字塔网络的t层的输入以进行处理，得到处理结果3，金字塔网络的t层输出处理结果3，并将该处理结果3与卷积神经网络的另一卷积层进行融合后，作为金字塔网络的t-1层的输入，以此类推，最终可以得到金字塔网络中每一层的处理结果，然后，根据该金字塔网络中所有层的处理结果，便可生成医学影像样本的特征图。

(4)网络设备根据该医学影像样本的特征图将医学影像样本划分为前景区域和背景区域。

例如，还是以目标病理类型为肺炎为例，则此时，网络设备可以根据该医学影像样本的特征图筛选满足肺炎的多个备选区域和区域类型概率，然后，选择区域类型概率大于阈值的备选区域作为前景区域，并获取该医学影像样本中除前景区域之外的区域，得到背景区域。

其中，该阈值可以根据实际应用的需求进行设置，在此不作赘述。

可选的，若备选区域存在重叠，则在备选区域之间的重叠程度大于设定值时，网络设备可以选择产生重叠的备选区域中区域类型概率最大的备选区域作为过滤后备选区域，并降低该产生重叠的备选区域中，除过滤后备选区域之外的其他备选区域的区域类型概率，进而使得一些可靠的标注区域可以被保留下来，而不会完全被丢弃。

(5)网络设备确定前景区域的区域类型预测值，并根据区域类型预测值和区域类型真实值确定区域类型置信度。

例如，网络设备可以根据该特征图，利用分类回归网络对该前景区域进行分类，得到该前景区域的区域类型预测值，比如，该区域类型预测值可以指示该前景区域为“肺炎区域，概率80％”，然后，根据区域类型预测值和区域类型真实值确定区域类型置信度；比如，在得到该前景区域的区域类型预测值之后，可以根据该特征图确定该前景区域的位置，然后，根据前景区域的位置获取前景区域的区域类型真实值，并根据区域类型预测值和区域类型真实值确定区域类型置信度，等等。

其中，区域类型置信度pt的计算公式可以如下：

其中，t为区域类型(如肺炎区域或肺结核区域，等等)，p为预测得到的区域类型t所对应的区域类型概率，y为预测的区域类型t与真实的区域类型的比较结果，比如，若预测的区域类型t与真实的区域类型一致，则y＝1，而若预测的区域类型t与真实的区域类型不一致，则y不为1，比如，一般可以另y为0，等等。

(6)网络设备根据该区域类型置信度和预设调整系数构建损失函数fl(pt)，例如，具体可以如下：

fl(pt)＝-αt(1-pt)^γlog(pt)

其中，pt为预测得到的区域类型t的置信度，αt为平衡系数，γ影响度调整系数，用于调整背景区域对特征学习的影响度，γ越大，检测模型就越重视前景区域(即背景区域对特征学习的影响度越小)。平衡系数αt和影响度调整系数γ的取值可以根据实际应用的需求进行设置，比如，可以将背景区域的αt设置为0.25，前景区域的αt设为0.75，γ设为1，等等，在此不作赘述。

由于引入了调整系数γ，因此，可以灵活调整背景区域对特征学习的影响度(也可以看成是调整前景区域对特征学习的影响度)，所以，在训练模型的过程中，可以更好地从背景影像中学习特征信息如肺炎特征，进而提高定位的准确性，有利于改善整个模型的性能。

(7)网络设备采用该损失函数对该检测模型进行收敛，得到训练后检测模型。

可选的，在训练检测模型时，可以采用热启动来加速模型的训练过程，比如，在训练初始，可以使用四分之一的学习率，然后线性增加学习率到0.001，在训练进行到四分之三时，再降低学习率到0.0001，以对模型参数做小幅度调整，以稳步提升模型性能，等等，具体可根据实际应用的需求而定，在此不作赘述。

在得到训练后分类模型和训练后检测模型后，便可以采用该训练后分类模型和训练后检测模型来对待检测对象的医学影像进行检测。

(三)训练后分类模型和训练后检测模型的应用。

如图9所示，一种医学影像的检测方法，具体流程可以如下：

201、网络设备获取待检测对象的医学影像和病理文本信息。

其中，该检测对象指的是需要进行检测的生命体组织，比如人体。以张三需要检测肺炎为例，则此时，可以通过医学影像采集设备对张三的肺部进行医学影像采集，比如获取其x射线影像，然后，将该医学影像以及张三的病理文本信息提供给该网络设备。

其中，该病理文本信息可以包括病人的个人信息和病历信息。其中，个人信息可以包括姓名、性别、年龄和/或职业等信息，而病历信息则可以包括该病人过往的检验、诊断和治疗记录等信息。

202、网络设备采用训练后密集连接卷积网络对该医学影像进行“肺炎”(病理类型)预测，得到预测信息，参见图10。

其中，该训练后密集连接卷积网络的具体可以为densenet-169，其网络结构可如表一所示。

例如，以该训练后密集连接卷积网络的网络结构为表一所示的网络结构为例，则步骤“网络设备采用训练后密集连接卷积网络对该医学影像进行肺炎预测，得到预测信息”可以包括：

网络设备通过卷积层对该医学影像进行卷积处理，并将卷积处理结果传送给池化层，由池化层对该卷积处理结果进行最大池化处理后，传送给密集块1进行处理，密集块1将处理结果经由过渡层1进行卷积和平局池化处理后，传送给密集块2进行处理，同理，密集块2将处理结果经由过渡层2进行卷积和平局池化处理后，传送给密集块3进行处理，密集块3将处理结果经由过渡层3进行卷积和平局池化处理后，传送给密集块4进行处理，密集块将处理结果传送给分类层处理后，由分类层输出最终的预测信息。

203、网络设备通过训练后mlp对待检测对象的病理文本信息进行识别，得到参考信息，参见图10。

例如，网络设备可以对该病理文本信息，如病人的性别和年龄信息等进行独热编码(one-hot编码)，得到编码后信息，然后，通过训练后mlp对该编码后信息进行识别，得到参考信息。

其中，步骤202和203的执行可以不分先后。

204、网络设备将预测信息和参考信息进行特征拼接，得到拼接后信息。

例如，如图10所示，可以通过拼接模块将预测信息和参考信息进行特征拼接，得到拼接后信息，然后，执行步骤205。

205、网络设备对拼接后信息进行卷积处理，得到预测结果。

例如，如图10所示，可以通过卷积层(conv)对拼接后信息进行卷积处理，得到预测结果。

206、网络设备在预测结果指示该医学影像为肺炎时，通过训练后检测模型从该医学影像中筛选满足肺炎的特征信息，这些筛选出的特征信息可称为肺炎特征，然后执行步骤207。

例如，如图10所示，以该训练后检测模型包括卷积神经网络、金字塔网络、备选区域网络和分类回归网络为例，则具体的，网络设备可以通过该卷积神经网络对医学影像进行特征提取，得到多个卷积层输出的特征信息，然后，通过该金字塔网络分别对该多个卷积层输出的特征信息处理，并根据该金字塔网络中每一层的处理结果生成医学影像的特征图。由于金字塔每一层的处理结果对应着不同感受野的特征，因此，此时得到的特征图包括有不同尺度的特征信息，所以，可以使得不同大小的肺炎病灶都可以被检测到。

在得到医学影像的特征图之后，便可以从该医学影像的特征图中筛选满足肺炎的特征信息，得到肺炎特征。

207、网络设备确定肺炎特征在该医学影像中的区域，得到备选区域和区域类型概率。

例如，如图10所示，网络设备可以通过备选区域网络确定肺炎特征在该医学影像中的区域，得到备选区域以及各个备选区域的区域类型概率。

其中，该备选区域网络的参数可以根据实际应用的需求进行设置，比如，参见图5，以该备选区域网络包括一个3×3卷积层、两个1×1卷积层、以及激活函数(sigmoid)层为例，则步骤“通过备选区域网络确定肺炎特征在该医学影像中的区域，得到备选区域以及各个备选区域的区域类型概率”可以包括：

采用3×3的卷积层对肺炎特征进行处理，然后，将3×3的卷积层的输出分别传送给两个1×1卷积层进行卷积处理，在1×1卷积层处理完毕后，将其中一个1×1卷积层的输出传送给激活函数层，由激活函数层利用激活函数对该输出进行处理，然后，结合激活函数层的输出，以及另一个1×1卷积层的输出对肺炎特征在医学影像中的区域进行预测，得到备选区域以及各个备选区域的区域类型概率。

比如，参见图11，在该图中，可以得到三个备选区域，包括备选区域1、备选区域2和备选区域3。其中，备选区域1的区域类型概率为“80％”，表示该区域作为肺炎的病灶区域的概率为80％；备选区域2的区域类型概率为“40％”，表示该区域作为肺炎的病灶区域的概率为40％；备选区域3的区域类型概率为“60％”，表示该区域作为肺炎的病灶区域的概率为60％。

208、网络设备选择区域类型概率大于阈值的备选区域作为检测区域，并获取该检测区域的位置，然后，根据该检测区域和该检测区域的位置生成检测结果。

例如，如图10所示，可以通过分类回归网络来选择区域类型概率大于阈值的备选区域作为检测区域(即疑似的肺炎病灶区域)，并获取该检测区域的位置，该检测区域及相应的位置即为检测结果。

比如，以该分类回归网络包括感兴趣区域池化层、全连接层、以及分类与回归模块为例，则此时，具体可以从备选区域中选择若干感兴趣区域(rois)，然后，将感兴趣区域和金字塔网络输出的特征图一起，传送给roi池化层进行池化处理，此后，可以将池化处理后的数据经由全连接层进行全连接处理后，输入至分类与回归模块中进行分类，以判断其所属类别，以及对其位置进行定位，便可得到所需的检测区域，以及检测区域的位置。

其中，该阈值可以根据实际应用的需求进行设置，比如，以该阈值为59％为例，则若在步骤207中，已经得到备选区域1、备选区域2和备选区域3，则，由于备选区域1(区域类型概率为“80％”)和备选区域3(区域类型概率为“60％”)，均大于该阈值“59％”，因此，可以将备选区域1和备选区域3作为检测区域，并获取备选区域1和备选区域3的位置；而由于备选区域2的区域类型概率为“40％”，小于该阈值“59％”，所以，备选区域2不作为检测区域。

可见，虽然训练后分类模型确定某区域可能存在肺炎特征，但是，若训练后检测模型没有检测到相应病灶(即区域类型概率不大于阈值)，则仍然会将该区域当作背景影像，而不作为检测区域(病灶区域)，比如上述例子中的备选区域2，而只有训练后分类模型和训练后检测模型一致认为存在肺炎的区域，才会确定为检测区域(病灶区域)，所以，其检测的准确性相对较高。

需说明的是，上述仅仅只是以病理类型具体为“肺炎”为例进行说明，应当理解的是，该病理类型也可以是其他类型，比如“肺结核”，另外，还需理解的是，该分类模型和检测模型除了可以对某种病理类型进行检测之外，还可以对某几种病理类型进行检测，也就是说，该分类模型除了二分类之外，还可以进行多种病理类型的识别，而检测模型除了对某种病理类型区域进行检测之外，也可以对多种病理类型区域进行检测，其实现方式与上述相同，只是所采用的训练样本不同而已，在此不作赘述。

由上可知，本实施例在对检测对象的医学影像进行肺炎预测的同时，还可以通过训练后mlp对该检测对象的病理文本信息进行识别，然后，再结合这两方面的结果来得到一个预测结果，并在预测结果指示该医学影像为肺炎时，从医学影像中检测肺炎区域，得到检测结果；由于该方案在对医学影像进行病理类型预测时，还引入了病理文本信息作为参考因素，因此，可以提高分类的准确性；而且，后续对肺炎区域进行定位是建立在已经预测该医学影像存在肺炎的基础上，所以，也可以提高定位的精确性。

此外，由于本实施例在训练检测模型时，不仅仅只是对前景区域(如肺炎区域)进行特征学习，而且，还可以从背景区域(如非肺炎区域)中学习有用的特征表示，所以，可以充分对特性进行学习，提高所提取特征的表达能力，使得后续区域定位的精确性可以得到进一步提高。另外，本实施例所采用的柔性非极大值抑制算法和热启动等方式也提升模型的分类和定位准确性，总而言之，本发明实施例所提供的方案可以改善模型性能，提高检测结果的可靠性。

为了更好地实施以上方法，本发明实施例还提供一种医学影像的检测装置，该医学影像的检测装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备。

例如，如图12所示，该医学影像的检测装置包括获取单元301、预测单元302、识别单元303、融合单元304和检测单元305，如下：

(1)获取单元301；

获取单元301，用于获取待检测对象的医学影像和病理文本信息。

例如，该获取单元301，具体可以接收医学影像采集设备发送的待检测对象的医学影像，或者，也可以接收用户输入的待检测对象的医学影像，或从地中读取保存的待检测对象的医学影像，等等。

其中，该医学影像可以是x射线影像或其他二维影像，而病理文本信息可以包括病人的个人信息和病历信息等，具体可参见前面的方法实施例。

(2)预测单元302；

预测单元302，用于对该医学影像进行病理类型预测，得到预测信息。

例如，该预测单元302，具体可以用于采用训练后密集连接卷积网络对该医学影像进行病理类型预测，得到预测信息。

其中，该训练后密集连接卷积网络的网络参数和训练方式可参见前面的方法实施例，在此不作赘述。

(3)识别单元303；

识别单元303，用于通过训练后mlp对病理文本信息进行识别，得到参考信息。

例如，该识别单元303，具体可以用于对该病理文本信息进行独热编码，得到编码后信息，过训练后mlp对该编码后信息进行识别，得到参考信息。

其中，训练后mlp的网络参数和训练方式可参见前面的方法实施例，在此不作赘述。

(4)融合单元304；

融合单元304，用于将预测信息和参考信息进行融合，得到预测结果；

例如，该融合单元304，具体可以用于将预测信息和参考信息进行特征拼接，得到拼接后信息，然后，对拼接后信息进行卷积处理，得到预测结果。

(5)检测单元305；

检测单元305，用于在预测结果指示该医学影像为目标病理类型时，从该医学影像中检测符合该目标病理类型的区域，得到检测结果。

例如，该检测单元可以包括特征提取子单元、筛选子单元和分类子单元，如下：

该特征提取子单元，用于从该医学影像中筛选满足该目标病理类型的特征信息。

其中，该目标病理类型可以根据实际应用的需求进行设置，比如，若该医学影像为肺部的x射线影像，该目标病理类型为肺炎，则此时，可以在预测结果指示该x射线影像为肺炎所对应的影像时，由特征提取子单元从该医学影像中筛选满足该目标病理类型的特征信息。

该筛选子单元，用于确定筛选出的特征信息在该医学影像中的区域，得到备选区域和区域类型概率。

例如，该筛选子单元，具体可以用于通过备选区域网络确定筛选出的特征信息在该医学影像中的区域，得到备选区域以及各个备选区域的区域类型概率。

该分类子单元，用于选择区域类型概率大于阈值的备选区域作为检测区域，并获取该检测区域的位置，根据该检测区域和该检测区域的位置生成检测结果。

例如，该分类子单元，具体可以用于通过分类回归网络来选择区域类型概率大于阈值的备选区域作为检测区域，并获取该检测区域的位置，该检测区域及相应的位置即为检测结果。

其中，该备选区域网络、分类回归网络的参数、以及阈值均可以根据实际应用的需求进行设置，在此不作赘述。

可选的，特征提取子单元对该医学影像进行特征提取的方式可以有多种，比如，在一些实施例中，该特征提取子单元，具体可以用于通过训练后检测模型，采用不同感受域对该医学影像进行特征提取，得到医学影像的特征图，从该医学影像的特征图中筛选满足该目标病理类型的特征信息。

譬如，以该训练后检测模型包括卷积神经网络和金字塔网络为例，则此时，该特征提取子单元，具体可以用于：

通过该卷积神经网络对医学影像进行特征提取，得到多个卷积层输出的特征信息，通过该金字塔网络分别对该多个卷积层输出的特征信息处理，根据该金字塔网络中每一层的处理结果生成医学影像的特征图，从该医学影像的特征图中筛选满足该目标病理类型的特征信息。

其中，卷积神经网络的卷积层数量和金字塔网络的层数可以根据实际应用的需求进行设置，比如，可以将金字塔网络的层数设置为4层，等等，具体可参见前面的方法实施例，在此不作赘述。

可选的，在一些实施例中，如图13所示，该医学影像的检测装置还可以包括采集单元306和训练单元307，如下：

该采集单元306，用于采集多张标注有区域类型真实值的医学影像样本，具体采集方式可如前面的方法实施例所示。

该训练单元307，用于通过预设检测模型将医学影像样本划分为前景区域和背景区域；确定前景区域的区域类型预测值(比如可以根据该特征图，利用分类回归网络对该前景区域进行分类，得到该前景区域的区域类型预测值)，并根据区域类型预测值和区域类型真实值确定区域类型置信度；根据该区域类型置信度和预设调整系数构建损失函数，该调整系数用于调整背景区域对特征学习的影响度；采用该损失函数对该检测模型进行收敛，得到训练后检测模型。

例如，该训练单元307，具体可以用于通过预设检测模型，采用不同感受域对医学影像样本进行特征提取，得到医学影像样本的特征图，然后，根据该医学影像样本的特征图将医学影像样本划分为前景区域和背景区域。

比如，还是以该检测模型至少包括卷积神经网络和金字塔网络为例，则此后，该训练单元307可以通过该卷积神经网络对医学影像样本进行特征提取，得到多个卷积层输出的特征信息，通过该金字塔网络分别对该多个卷积层输出的特征信息处理，根据该金字塔网络中每一层的处理结果生成医学影像样本的特征图。此后，训练单元307便可以根据该医学影像样本的特征图筛选满足目标病理类型的多个备选区域和区域类型概率，然后，选择区域类型概率大于阈值的备选区域作为前景区域，以及获取该医学影像样本中除前景区域之外的区域，得到背景区域。

可选的，由于可能会存在备选区域重叠的情况，因此，为了避免一些可靠的标注区域会由于概率较低而被丢弃，所以，可以采用柔性非极大值抑制算法(soft-nms)来处理这种情况，即：

该训练单元307，具体可以用于在备选区域之间的重叠程度大于设定值时，选择产生重叠的备选区域中区域类型概率最大的备选区域作为过滤后备选区域，并降低该产生重叠的备选区域中，除过滤后备选区域之外的其他备选区域的区域类型概率；选择区域类型概率大于阈值的过滤后备选区域作为前景区域。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的医学影像的检测装置在对检测对象的医学影像进行病理类型预测的同时，还可以通过训练后mlp对该检测对象的病理文本信息进行识别，然后，再结合这两方面的结果来得到一个预测结果，并在预测结果指示该医学影像为目标病理类型如肺炎时，从医学影像中检测符合该目标病理类型的区域，得到检测结果；由于该方案在对医学影像进行病理类型预测时，还引入了病理文本信息作为参考因素，因此，可以提高分类的准确性；而且，后续对符合某种目标病理类型的区域进行定位，是建立在已经预测该医学影像存在该目标病理类型区域的基础上的，所以，也可以提高定位的精确性。

此外，由于本实施例的医学影像的检测装置在训练检测模型时，不仅仅只是对前景区域进行特征学习，而且，还可以从背景区域中学习有用的特征表示，所以，可以充分对特性进行学习，提高所提取特征的表达能力，使得后续区域定位的精确性可以得到进一步提高。另外，本实施例所采用的柔性非极大值抑制算法和热启动等方式也提升模型的分类和定位准确性，总而言之，本发明实施例所提供的方案可以改善模型性能，提高检测结果的可靠性。

本发明实施例还提供一种网络设备，如图14所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：

该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图14中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

网络设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取待检测对象的医学影像和病理文本信息，对该医学影像进行病理类型预测，得到预测信息，通过训练后mlp对病理文本信息进行识别，得到参考信息，将预测信息和参考信息进行融合，得到预测结果，在预测结果指示该医学影像为目标病理类型时，从该医学影像中检测符合该目标病理类型的区域，得到检测结果。

例如，具体可以通过训练后检测模型，采用不同感受域对该医学影像进行特征提取，得到医学影像的特征图，然后，从该医学影像的特征图中筛选满足该目标病理类型的特征信息，确定筛选出的特征信息在该医学影像中的区域，得到备选区域和区域类型概率，再然后，选择区域类型概率大于阈值的备选区域作为检测区域，并获取该检测区域的位置，最后，根据该检测区域和该检测区域的位置生成检测结果。

可选的，该训练后检测模型可以由运维人员预先进行设置，也可以由该医学影像的检测装置自行进行训练来得到，即处理器401还可以运行存储在存储器402中的应用程序，从而实现以下功能：

采集多张标注有区域类型真实值的医学影像样本，通过预设检测模型将医学影像样本划分为前景区域和背景区域，确定前景区域的区域类型预测值，并根据区域类型预测值和区域类型真实值确定区域类型置信度，根据该区域类型置信度和预设调整系数构建损失函数，采用该损失函数对该检测模型进行收敛，得到训练后检测模型。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由上可知，本实施例的网络设备在对检测对象的医学影像进行病理类型预测的同时，还可以通过训练后mlp对该检测对象的病理文本信息进行识别，然后，再结合这两方面的结果来得到一个预测结果，并在预测结果指示该医学影像为目标病理类型如肺炎时，从医学影像中检测符合该目标病理类型的区域，得到检测结果(即对符合该目标病理类型的区域进行定位)；由于该方案在对医学影像进行病理类型预测时，还引入了病理文本信息作为参考因素，因此，可以提高分类的准确性；而且，后续对符合某种目标病理类型的区域进行定位，是建立在已经预测该医学影像存在该目标病理类型区域的基础上的，所以，也可以提高定位的精确性，即该方案从整体上看，可以提高检测结果的可靠性。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种医学影像的检测方法中的步骤。例如，该指令可以执行如下步骤：

获取待检测对象的医学影像和病理文本信息，对该医学影像进行病理类型预测，得到预测信息，通过训练后mlp对病理文本信息进行识别，得到参考信息，将预测信息和参考信息进行融合，得到预测结果，在预测结果指示该医学影像为目标病理类型时，从该医学影像中检测符合该目标病理类型的区域，得到检测结果。比如，可以通过训练后检测模型，采用不同感受域对该医学影像进行特征提取，得到医学影像的特征图，从该医学影像的特征图中筛选满足该目标病理类型的特征信息，然后，确定筛选出的特征信息在该医学影像中的区域，得到备选区域和区域类型概率，选择区域类型概率大于阈值的备选区域作为检测区域，并获取该检测区域的位置，此后，便可以根据该检测区域和该检测区域的位置生成检测结果，等等。

可选的，该训练后检测模型可以由运维人员预先进行设置，也可以由该医学影像的检测装置自行进行训练来得到，即该指令还可以执行如下步骤：

采集多张标注有区域类型真实值的医学影像样本，通过预设检测模型将医学影像样本划分为前景区域和背景区域，确定前景区域的区域类型预测值，并根据区域类型预测值和区域类型真实值确定区域类型置信度，根据该区域类型置信度和预设调整系数构建损失函数，采用该损失函数对该检测模型进行收敛，得到训练后检测模型。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种医学影像的检测方法中的步骤，因此，可以实现本发明实施例所提供的任一种医学影像的检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种医学影像的检测方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。