一种目标检测结果的鉴别方法、装置、设备及存储介质与流程

本申请要求于2019年6月24日提交中国专利局、申请号为201910549722.5、发明名称为“一种目标检测结果的鉴别方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

本申请涉及图像处理技术领域，尤其涉及一种目标检测结果的鉴别方法、装置、设备及存储介质。

背景技术：

目标检测即从图像中检测出图像目标，是图像处理中的常见处理内容。随着人们对图像目标检测的自动化需求的不断增长，自动化的图像图标检测方案的应用越来越普及。

另一方面，从图像中检测出正确的图像目标是对目标检测结果进行后续处理的关键。而不同的目标检测方案的性能各异，甚至同一目标检测方案应用于不同图像时的目标检测性能表现也不同，因此，鉴别目标检测结果是否为图像目标，从而保证目标检测的准确性，是目标检测应用中的实际需求。

技术实现要素：

基于上述需求，本申请提出一种目标检测结果的鉴别方法、装置、设备及存储介质，可以用于鉴别目标检测结果是否为图像目标。

一种目标检测结果的鉴别方法，包括：

获取初始目标检测结果，所述初始目标检测结果为从图像中检测图像目标得到的初步检测结果；

将所述初始目标检测结果划分为图像单元序列，并根据所述图像单元序列提取所述初始目标检测结果的内部结构特征；

至少根据所述内部结构特征，确定所述初始目标检测结果是否为图像目标。

可选的，所述初始目标检测结果为三维立体的初始目标检测结果；

所述将所述初始目标检测结果划分为图像单元序列，包括：

将所述初始目标检测结果划分为二维图像序列。

可选的，所述根据所述图像单元序列提取所述初始目标检测结果的内部结构特征，包括：

将所述二维图像序列输入预先训练好的结构关系识别模型，提取得到所述初始目标检测结果的内部结构特征；

其中，所述结构关系识别模型至少通过提取三维图像目标样本的各二维图像帧之间的关系特征训练得到。

可选的，所述结构关系识别模型基于循环神经网络训练得到。

可选的，所述方法还包括：

提取所述初始目标检测结果的表象特征；

所述至少根据所述内部结构特征，确定所述初始目标检测结果是否为图像目标，包括：

根据所述表象特征和所述内部结构特征，确定所述初始目标检测结果是否为图像目标。

可选的，所述提取所述初始目标检测结果的表象特征，包括：

将所述初始目标检测结果输入预先训练好的征象识别模型，得到所述初始目标检测结果的表象特征；

其中，所述征象识别模型至少通过提取图像目标样本的类别特征和/或征象特征训练得到。

可选的，所述征象识别模型基于卷积神经网络训练得到。

可选的，所述根据所述表象特征和所述内部结构特征，确定所述初始目标检测结果是否为图像目标，包括：

将所述表象特征和所述内部结构特征输入预先训练好的分类器，确定所述初始目标检测结果是否为图像目标；

其中，所述分类器至少根据图像目标样本的表象特征和内部结构特征，对所述图像目标样本进行分类训练得到。

可选的，所述根据所述表象特征和所述内部结构特征，确定所述初始目标检测结果是否为图像目标，包括：

对所述表象特征和所述内部结构特征进行特征融合处理，得到表象和内部结构综合特征；

将所述表象和内部结构综合特征输入预先训练好的分类器，确定所述初始目标检测结果是否为图像目标；

其中，所述分类器至少根据图像目标样本的表象和内部结构综合特征，对所述图像目标样本进行分类训练得到。

可选的，所述对所述表象特征和所述内部结构特征进行特征融合处理，得到表象和内部结构综合特征，包括：

分别对所述表象特征和所述内部结构特征进行正则化处理；

将正则化处理后的所述表象特征和所述内部结构特征处理为相同尺度的特征；

对相同尺度的所述表象特征和所述内部结构特征进行拼接处理，得到表象和内部结构综合特征。

可选的，所述获取初始目标检测结果，包括：

对待处理图像进行预处理；

将预处理后的待处理图像输入预先训练好的图像目标检测模型，得到初始目标检测结果；

其中，所述图像目标检测模型至少通过从图像中检测图像目标训练得到。

一种目标检测结果的鉴别装置，包括：

数据获取单元，用于获取初始目标检测结果，所述初始目标检测结果为从图像中检测图像目标得到的初步检测结果；

第一数据处理单元，用于将所述初始目标检测结果划分为图像单元序列，并根据所述图像单元序列提取所述初始目标检测结果的内部结构特征；

判断处理单元，用于至少根据所述内部结构特征，确定所述初始目标检测结果是否为图像目标。

可选的，所述初始目标检测结果为三维立体的初始目标检测结果；

相应的，所述第一数据处理单元将所述初始目标检测结果划分为图像单元序列时，具体用于：

将所述初始目标检测结果划分为二维图像序列。

可选的，所述第一数据处理单元根据所述图像单元序列提取所述初始目标检测结果的内部结构特征时，具体用于：

将所述二维图像序列输入预先训练好的结构关系识别模型，提取得到所述初始目标检测结果的内部结构特征；

其中，所述结构关系识别模型至少通过提取三维图像目标样本的各二维图像帧之间的关系特征训练得到。

可选的，所述结构关系识别模型基于循环神经网络训练得到。

可选的，所述装置还包括：

第二数据处理单元，用于提取所述初始目标检测结果的表象特征；

所述判断处理单元至少根据所述内部结构特征，确定所述初始目标检测结果是否为图像目标时，具体用于：

根据所述表象特征和所述内部结构特征，确定所述初始目标检测结果是否为图像目标。

可选的，所述第二数据处理单元提取所述初始目标检测结果的表象特征时，具体用于：

将所述初始目标检测结果输入预先训练好的征象识别模型，得到所述初始目标检测结果的表象特征；

其中，所述征象识别模型至少通过提取图像目标样本的类别特征和/或征象特征训练得到。

可选的，所述征象识别模型基于卷积神经网络训练得到。

可选的，所述判断处理单元根据所述表象特征和所述内部结构特征，确定所述初始目标检测结果是否为图像目标时，具体用于：

将所述表象特征和所述内部结构特征输入预先训练好的分类器，确定所述初始目标检测结果是否为图像目标；

其中，所述分类器至少根据图像目标样本的表象特征和内部结构特征，对所述图像目标样本进行分类训练得到。

可选的，所述判断处理单元，包括：

特征融合单元，用于对所述表象特征和所述内部结构特征进行特征融合处理，得到表象和内部结构综合特征；

特征处理单元，用于将所述表象和内部结构综合特征输入预先训练好的分类器，确定所述初始目标检测结果是否为图像目标；

其中，所述分类器至少根据图像目标样本的表象和内部结构综合特征，对所述图像目标样本进行分类训练得到。

可选的，所述特征融合单元，包括：

第一处理单元，用于分别对所述表象特征和所述内部结构特征进行正则化处理；

第二处理单元，用于将正则化处理后的所述表象特征和所述内部结构特征处理为相同尺度的特征；

第三处理单元，用于对相同尺度的所述表象特征和所述内部结构特征进行拼接处理，得到表象和内部结构综合特征。

可选的，所述数据获取单元100获取初始目标检测结果时，具体用于：

对待处理图像进行预处理；

将预处理后的待处理图像输入预先训练好的图像目标检测模型，得到初始目标检测结果；

其中，所述图像目标检测模型至少通过从图像中检测图像目标训练得到。

一种初始目标检测结果的鉴别设备，包括：

存储器和处理器；

其中，所述存储器与所述处理器连接，用于存储程序；

所述处理器，用于通过运行所述存储器中存储的程序，实现上述的目标检测结果的鉴别方法。

一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的目标检测结果的鉴别方法的各个步骤。

本申请提出的目标检测结果的鉴别方法，将初始目标检测结果划分为图像单元序列，并且根据图像单元序列提取初始目标检测结果的内部结构特征，进而根据初始目标检测结果的内部结构特征确定初始目标检测结果是否为图像目标。该方法基于初始目标检测结果的内部结构对初始目标检测结果进行鉴别，可以准确识别初始目标检测结果是否为图像目标。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的一种目标检测结果的鉴别方法的流程示意图；

图2是本申请实施例提供的肺部ct图像示意图；

图3是本申请实施例提供的自注意力self-attention机制的处理流程示意图；

图4是本申请实施例提供的另一种目标检测结果的鉴别方法的流程示意图；

图5是本申请实施例提供的又一种目标检测结果的鉴别方法的流程示意图；

图6是本申请实施例提供的u-net网络结构示意图；

图7是本申请实施例提供的肺结节分割示意图；

图8是本申请实施例提供的目标检测系统的处理过程示意图；

图9是本申请实施例提供的一种目标检测结果的鉴别装置的结构示意图；

图10是本申请实施例提供的另一种目标检测结果的鉴别装置的结构示意图；

图11是本申请实施例提供的一种目标检测结果的鉴别设备的结构示意图。

具体实施方式

本申请实施例技术方案可应用于鉴别图像目标检测结果是否为图像目标的应用场景。采用本申请实施例技术方案，可以对目标检测结果进行鉴别，确定其是否为图像目标。

作为示例性的实现方式，本申请实施例技术方案可应用于硬件处理器等硬件设备，或包装成软件程序被运行，当硬件处理器执行本申请实施例技术方案的处理过程，或上述软件程序被运行时，可以实现对目标检测结果进行鉴别，判断其是否为图像目标。本申请实施例只对本申请技术方案的具体处理过程进行示例性介绍，并不对本申请技术方案的具体实现形式进行限定，任意的可以执行本申请技术方案处理过程的技术实现形式，都可以被本申请实施例所采用。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提出一种目标检测结果的鉴别方法，参见图1所示，该方法包括：

s101、获取初始目标检测结果。

其中，所述初始目标检测结果为从图像中检测图像目标得到的初步检测结果。由于该初始目标检测结果来自于图像，因此该初始目标检测结果本质上为图像中的部分图像内容。该初始目标检测结果的具体形式取决于从图像中检测的图像目标的形式，当该初始目标检测结果为从二维图像或三维图像中检测二维图像目标得到的目标检测结果时，该初始目标检测结果为二维图像；当该初始目标检测结果为从三维图像中检测三维的图像目标得到的目标检测结果时，该初始目标检测结果为三维的目标检测结果。

本申请实施例技术方案可适用于对任意形式的，诸如二维或三维的初始目标检测结果进行鉴别，尤其是适用于对三维的初始目标检测结果进行鉴别，确定其是否为图像目标。本申请实施例以对三维的初始目标检测结果进行鉴别为例，介绍本申请实施例技术方案的具体处理过程。示例性的，本申请实施例以对图2所示的肺部ct图像的肺结节检测结果进行鉴别为例，介绍本申请实施例技术方案的具体处理过程。

当本申请实施例技术方案应用于对其它形式的目标检测结果进行鉴别时，其具体处理过程可参照本申请实施例介绍而执行，或者对本申请实施例介绍的处理过程进行适应性调整、完善后执行，本申请实施例不再一一详细介绍，但可以理解的是，关于本申请实施例技术方案的各种变形或适应性调整应用，均在本申请实施例保护范围内。

上述的初始目标检测结果的获取，可以是从数据库中读取的初始目标检测结果，或者是接收的初始目标检测结果，还可以是直接从图像中检测图像目标得到的图像检测结果等。

s102、将所述初始目标检测结果划分为图像单元序列，并根据所述图像单元序列提取所述初始目标检测结果的内部结构特征；

上述的图像单元序列，是指对图像进行单元区域划分得到图像单元，并将图像单元按照其在原图像中的位置排列得到的图像单元序列。上述的内部结构特征，是指表示图像中的各个图像单元之间的相互结构关系的特征。

可以理解，将上述的初始目标检测结果划分为图像单元序列，相当于划分出初始目标检测结果的组成结构。由于特定的初始目标检测结果内部的各个组成结构之间具有特定的相互关系特征，为了保留初始目标检测结果的组成结构之间原始的相互关系特征，本申请实施例设定在将初始目标检测结果划分为图像单元后，一定要将图像单元按照其在原图像中的位置关系排列成图像单元序列。

在此基础上，计算序列中的各个图像单元之间的相互关系，即得到了初始目标检测结果的内部结构之间的相互关系，进一步将计算得到的相互关系特征化，即可得到初始目标检测结果的内部结构特征。

作为一种示例性的实现方式，当将初始目标检测结果划分为图像单元序列后，在根据图像单元序列提取初始目标检测结果的内部结构特征时，可以借助模型来实现。

将上述的图像单元序列输入预先训练好的特征提取模型，得到初始目标检测结果的内部结构特征。其中，该特征提取模型至少通过提取图像单元序列的各个图像单元之间的结构关系特征训练得到，使其能够准确地提取到输入的图像单元序列的各图像单元之间的结构关系特征。该特征提取模型的具体结构可采用常见的人工智能算法结构，例如可采用cnn、rnn等神经网络结构。

按照上述方案，本申请实施例将获取的初始目标检测结果划分为图像单元序列，并根据图像单元序列的各部分之间的相互关系，计算得到初始目标检测结果的内部结构特征。

可以理解，当上述的初始目标检测结果为二维图像时，可以对初始目标检测结果按照行和列进行图像区域划分得到二维图像块，再将二维图像块按照其在原图像中的位置进行排列，即可得到二维图像块序列。对二维图像块序列进行各图像块之间的结构关系特征提取，例如将二维图像块序列输入预先训练好的特征提取模型，即可得到各二维图像块之间的结构关系特征，也就是得到了该初始目标检测结果的内部结构特征。

示例性的，当本申请实施例技术方案应用于三维立体的初始目标检测结果的鉴别时，例如应用于鉴别图2所示的肺部ct图像的肺结节检测结果是否为肺结节时，此时上述的初始目标检测结果为三维立体的初始目标检测结果，即为从肺部ct图像中检测出的肺结节所在的三维图像区域。

此时，将初始目标检测结果划分为图像单元序列时，可以将初始目标检测结果划分为二维图像序列，即将三维立体的初始目标检测结果划分为二维平面图像序列。

例如，假设从上述的肺部ct图像中检肺结节得到肺结节所在的三维图像块(c*h*w)，则当对该三维图像块划分图像单元时，可将其划分成c帧h*w的二维平面图像，将划分得到的二维平面图像按照其在三维图像块中的位置进行排列，即可得到二维平面图像序列。

在将上述的三维立体的初始目标检测结果划分为二维图像序列后，作为一种可选的实现方式，本申请实施例将上述的二维图像序列输入预先训练好的结构关系识别模型，提取得到初始目标检测结果的内部结构特征。

其中，上述结构关系识别模型至少通过提取三维图像目标样本的各二维图像帧之间的关系特征训练得到。

即，本申请实施例预先训练结构关系识别模型，用于提取三维的图像目标样本的各二维图像帧之间的相互关系的特征。

通过构建的结构关系识别模型不断提取三维图像目标样本的各二维图像帧之间的关系特征对该结构关系识别模型进行训练，直到该结构关系识别模型能够准确提取三维图像目标样本的内部结构关系特征。

此时，将上述的二维图像序列所包含的每一帧二维平面图像作为一个时刻，顺序输入到该结构关系识别模型中，由该模型对每帧二维平面图像进行特征提取，同时对不同帧间的关系进行建模，从而提取得到二维图像序列的内部结构关系特征，即得到三维立体的初始目标检测结果的内部结构特征。

作为一种示例性的实现方式，上述的结构关系识别模型基于循环神经网络(recurrentneuralnetwork,rnn)训练得到，即对rnn执行提取三维图像目标样本的各二维图像帧之间的关系特征的训练过程，使其具备提取三维图像的内部结构特征的能力，作为结构关系识别模型。

示例性的，本申请实施例基于双向长短期记忆网络bilstm训练得到上述的结构关系识别模型。

需要说明的是，与常规序列学习的任务不同，肺部ct图像的肺结节检测任务只有一个输出，因此rnn的输出模块只有一个节点，rnn中的建模单元可以是长短期记忆网络(longshort-termmemory，lstm)，或者是门控循环单元(gatedrecurrentunit，gru)，本申请实施例不做严格限定。为了对不同图像帧的特征进行整合，本申请实施例采用如图3所示的自注意力self-attention机制自动学习到不同图像帧的重要性，可以大大提高整合后特征的区分性。

s103、至少根据所述内部结构特征，确定所述初始目标检测结果是否为图像目标。

通常情况下，不同的图像区域具有不同的内部结构特征。例如图2所示的肺部ct图像，其中的肺结节图像区域的内部结构特征不同于正常图像区域的内部结构特征。因此，根据初始目标检测结果的内部结构特征，可以对初始目标检测结果进行识别，通过识别初始目标检测结果的内部结构特征是否符合图像目标的内部结构特征，可以鉴别其是否为图像目标。

示例性的，本申请实施例预先训练分类器，通过对上述的内部结构特征进行分类，确定初始目标检测结果是否为图像目标。

其中，上述的分类器至少根据图像目标样本的内部结构特征对图像目标样本进行分类训练得到。

该分类器可以实现对输入的内部结构特征进行分类，当分类器将输入的初始目标检测结果的内部结构特征分类为图像目标的内部结构特征类别时，即可确定该初始目标检测结果为图像目标。

作为一种可选的实现方式，本申请实施例将上述的结构关系识别模型和上述的分类器联合设计及联合训练。即上述的结构关系识别模型的输出层得到的初始目标检测结果的内部结构特征直接作为分类器的输入，该结构关系识别模型和该分类器联合组成完整的处理模型。在该处理模型完成训练后，即完成对上述的结构关系识别模型和分类器的联合训练后，将初始目标检测结果的图像单元序列输入该处理模型，即可识别该初始目标检测结果是否为图像目标。

通过上述介绍可见，本申请实施例提出的目标检测结果的鉴别方法，将初始目标检测结果划分为图像单元序列，并且根据图像单元序列提取初始目标检测结果的内部结构特征，进而根据初始目标检测结果的内部结构特征确定初始目标检测结果是否为图像目标。该方法基于初始目标检测结果的内部结构对初始目标检测结果进行鉴别，可以准确识别初始目标检测结果是否为图像目标。

作为一种可选的实现方式，参见图4所示，本申请另一实施例还公开了，上述初始目标检测结果的鉴别方法，在获取初始目标检测结果后，还包括：

s402、提取所述初始目标检测结果的表象特征。

相应的，在确定所述初始目标检测结果是否为图像目标时，将上述的表象特征和内部结构特征相结合使用，共同用于确定初始目标检测结果是否为图像目标。

即，上述的至少根据所述内部结构特征，确定所述初始目标检测结果是否为图像目标，具体为：

s404、根据所述表象特征和所述内部结构特征，确定所述初始目标检测结果是否为图像目标。

上述初始目标检测结果的表象特征，是指初始目标检测结果的外部结构特征，例如形状、表面是否光滑、是否有毛刺等。

作为示例性的实现方式，本申请实施例提取初始目标检测结果的类别特征和/或征象特征，作为初始目标检测结果的表象特征。以提取肺部ct图像中的肺结节的表象特征为例，肺结节的类别即肺结节是良性结节或者是恶性结节等类别属性；肺结节的征象特征即肺结节是否具有毛刺等外部形状特征。

其中，图4所示的初始目标检测结果的鉴别方法中的步骤s401、s403分别对应图1所示的方法实施例中的步骤s101、s102，其具体内容请参见图1所示的方法实施例的内容，此处不再赘述。

作为一种示例性的实现方式，本申请实施例在提取初始目标检测结果的表象特征时，将初始目标检测结果输入预先训练好的征象识别模型，得到初始目标检测结果的表象特征。

其中，上述征象识别模型至少通过提取图像目标样本的类别特征和/或征象特征训练得到。

示例性的，上述征象识别模型基于卷积神经网络cnn训练得到，即利用图像目标样本对cnn进行单任务或多任务的学习训练，使其提取图像目标样本的类别特征，或者提取图像目标样本的征象特征，或者同时提取图像目标样本的类别特征和征象特征，也就是同时识别图像目标样本的类别与征象。当卷积神经网络cnn可以准确提取得到图像目标样本的类别特征和/或征象特征时，结束对网络的训练，该网络即可作为征象识别模型。

将初始目标检测结果输入训练完成的征象识别模型，由该模型提取得到初始目标检测结果的类别特征和/或征象特征，作为初始目标检测结果的表象特征。

当本申请实施例应用于对肺部ct图像的肺结节检测结果的表象特征提取时，上述的征象识别模型基于3d-cnn训练得到。此时，将标注类别和/或征象的肺结节图像样本输入3d-cnn，使3d-cnn识别肺结节的类别和/或征象，当其可以准确识别肺结节的类别和/或征象时，即认为完成对3d-cnn的训练。此时，3d-cnn的输出层所输出的肺结节的类别特征和/或征象特征，即为对输入的肺结节提取类别特征和/或征象特征的结果。

需要说明的是，在实际应用本申请实施例技术方案时，上述的征象识别模型的结构可以灵活选择，例如当应用于对平面图像提取表象特征时，该征象识别模型可以采用cnn结构；或者也可以采用rnn等模型结构实现。

作为一种可选的实现方式，上述根据所述表象特征和所述内部结构特征，确定所述初始目标检测结果是否为图像目标，包括：

将所述表象特征和所述内部结构特征输入预先训练好的分类器，确定所述初始目标检测结果是否为图像目标；

其中，所述分类器至少根据图像目标样本的表象特征和内部结构特征，对所述图像目标样本进行分类训练得到。

本申请实施例通过初始目标检测结果的表象特征和内部结构特征鉴别初始目标检测结果是否为图像目标时，首先训练分类器根据图像目标样本的表象特征和内部结构特征对图像目标样本进行分类，使其能够准确地识别图像目标样本是否为图像目标。

当通过上述的征象识别模型和结构关系识别模型分别提取到初始目标检测结果的表象特征和内部结构特征后，将特征输入预先训练好的分类器，从而确定初始目标检测结果是否为图像目标。

对于上述的肺结节鉴别，在实际场景中，当医师人工鉴别机器从肺部ct图像中检测出的肺结节是否为真实结节时，会首先观察结节的表象，例如观察结节的类别、是否有毛刺等征象，然后上下翻动检测出的肺结节所在的ct图像图层，通过观察检测出的肺结节与周边组织的结构关系，确定检测出的肺结节是否为真实结节。

可以理解，在人工鉴别肺结节时，是通过识别肺结节的表象特征以及翻动图像查看肺结节内部空间结构关系特征进行判断。

在本申请实施例技术方案中，对初始目标检测结果的鉴别是通过提取初始目标检测结果的表象特征和内部结构特征来实现。其中，对应于上述的肺结节鉴别，本申请实施例提出的内部结构特征，即肺结节所在ct图像区域的各二维平面图像之间的结构关系特征，相当于人工翻动肺结节所在的ct图像图层观察肺结节与周边组织的结构关系；而上述的表象特征则与人工观察肺结节得到的肺结节表象特征一致。

因此可以理解，本申请实施例技术方案通过提取初始目标检测结果的表象特征和内部结构特征来鉴别初始目标检测结果是否为图像目标，实际上是模拟人工观察初始目标检测结果的表象特征以及通过翻阅初始目标检测结果的各个图层确定其内部组织结构关系，进而判断初始目标检测结果是否为图像目标的操作过程。因此，本申请实施例技术方案以最贴近人工操作的处理方式，鉴别初始目标检测结果是否为图像目标，具有实践基础，并且具有可实现性保证。

可选的，作为另一种实现方式，本申请另一实施例公开了，参见图5所示，上述根据所述表象特征和所述内部结构特征，确定所述初始目标检测结果是否为图像目标，包括：

s504、分别对所述表象特征和所述内部结构特征进行正则化处理；

以对从图2所示的肺部ct图像中检测出的肺结节为例，假设征象识别模型的输出层输出肺结节的表象特征f2(假设为c*h*w维，c,h,w分别表示3d-cnn的通道、高度、宽度)，结构关系识别模型的输出层输出肺结节的内部结构特征f1(假设为t*hw维，t表示帧数，hw则表示每帧2d影像特征被拉伸为一维)，由于f1和f2可能具有不同的范围，本申请实施例首先对f1和f2进行l2-norm正则化处理，然后执行步骤s505：

s505、将正则化处理后的所述表象特征和所述内部结构特征处理为相同尺度的特征；

通过对f1和f2进行尺度变换，将两者处理为相同尺度的特征。例如，将f2拉伸为c*hw维，使其与f1尺度相同。

s506、对相同尺度的所述表象特征和所述内部结构特征进行拼接处理，得到表象和内部结构综合特征；

将t*hw维的f1与c*hw维的f2进行拼接，得到(t+c)*hw维的表象和内部结构综合特征f。

可以理解，上述步骤s504～s506通过对表象特征和内部结构特征进行特征融合处理，得到表象和内部结构特征综合特征。该处理过程实现了对表象特征和内部结构特征的融合。

在利用分类器对初始目标检测结果的表象特征和内部结构特征进行分类处理，进而确定初始目标检测结果之前，先对提取得到的表象特征和内部结构特征进行上述的融合处理，可以增强提取得到的特征之间的关联，同时为分类器的分类处理提供便利。

s507、将所述表象和内部结构综合特征输入预先训练好的分类器，确定所述初始目标检测结果是否为图像目标。

最后，将f输入预先训练好的分类器，即可确定初始目标检测结果是否为图像目标。其中，上述分类器至少根据图像目标样本的表象和内部结构综合特征，对所述图像目标样本进行分类训练得到。

图5所示的方法处理流程中的步骤s501～s503分别对应图4所示的方法实施例中的步骤s401～s403，其具体内容请参见图4所示的方法实施例的内容，此处不再赘述。

作为一种可选的实现方式，本申请实施例在获取初始目标检测结果时，通过从图像中检测图像目标得到。

以从图2所示的肺部ct图像中检测肺结节为例，上述获取初始目标检测结果的具体实现过程包括：

首先对待处理图像进行预处理，即对图2所示的肺部ct图像进行预处理。

ct图像作为一种序列影像，能够重建出人体的三维解剖结构。通常情况下，肺结节区域的图像特征与肺部正常区域的特征不同，为了减少处理量，同时避免非结节区域图像对结节区域图像检测的影响，本申请实施例对肺部ct图像进行预处理，将ct图像的体素的hu值截断在-1000到1000内，然后再计算ct图像体素的hu值的均值与方差，进而对ct图像体素值进行归一化处理。

在完成上述预处理后，将预处理后的待处理图像输入预先训练好的图像目标检测模型，得到初始目标检测结果。

其中，上述的图像目标检测模型至少通过从图像中检测图像目标训练得到。

针对于上述的肺部ct图像，在完成预处理后，将其输入预先训练好的图像目标检测模型，利用该模型提取得到初始目标检测结果。

示例性的，本申请实施例利用u-net作为图像目标检测模型。u-net是一种常见的卷积神经网络，如图6所示，该网络通过一系列的卷积操作提取特征，再通过一系列的逆卷积操作重构出图像目标分割结果。由于ct的空间维度较大，如果直接送入整个ct将超出硬件条件限制，因此本申请实施例首先将ct图像连续划分成等大小的体块，然后再送入训练好的u-net中，便可得到候选结节的分割结果。如图7所示，即为从某一体块的某一层图像中分割候选结节得到的候选结节分割概率图。对应于上述体块，在得到体块每一层的候选结节分割概率图后，即可得到该体块中的候选结节分割概率图。

在得到候选结节分割概率图后，对图中各体素的分割概率值按照如下公式进行阈值截断：

其中，t值一般取0.5，当任意体素的分割概率小于t时则被认为是背景，反之则为前景，即为结节。借助该阈值截断操作可以得到肺结节分割的二值图，找到该二值图中的连通区域并计算其几何重心，便可确定结节位置。从原始的肺部ct图像中提取出结节位置处的体块，即得到结节检测结果。

需要说明的是，上述的u-net为深度学习网络，在应用该网络实现对图像目标的检测之前，本申请实施例预先对该网络进行训练，使其具备从图像中检测图像目标的能力。

对应于从肺部ct图像中检测结节的需求，本申请实施例利用肺部ct图像样本对u-net网络进行训练。

具体的，在训练u-net网络时，首先从开源数据集或医院收集肺部ct图像样本。为了防止漏掉结节，要求ct图像样本的层厚在2mm以下。

然后对收集的肺部ct图像样本进行数据标注。2018年由中国食品药品检定研究院和中华医学会放射学分会心胸学组联合发布了《胸部ct肺结节数据标注与质量控制专家共识》，本申请实施例对肺部ct图像样本的标注内容和标注方式以此为参考，重点对结节位置以及边界进行标注，同时还对结节的常见征象和类别进行标注(类别包括实性结节、部分实性结节、磨玻璃结节、钙化结节，征象包括分叶征、毛刺征等)。为了提高标注准确度，同一例ct由3名医生同时进行两轮标注：第一轮每个医生独立完成标注；第二轮每个医生可以根据其他医生的标注结果对自己的标注结果进行修正。在两轮标注完成后，只有同时被2个及以上的医生标注的结节才被最终定义为有效结节，才可以用于对u-net网络的训练。

在完成对上述肺部ct图像样本的标注后，将ct图像样本中的体素值截断在-1000到1000内，然后再计算所有ct图像样本的均值与方差，进行归一化处理。其中，计算所有ct图像的均值与方差并进行归一化处理时，可以对每一幅ct图像分别进行均值与方差的计算以及进行归一化处理实现，或者也可以对所有的ct图像样本计算均值与方差以及进行归一化处理实现。

在完成上述的肺部ct图像样本处理后，利用样本对u-net网络进行训练，直到u-net网络从肺部ct图像中检测结节的准确率达到设定要求，即完成了对该网络的训练，后续即可用于利用该网络从肺部ct图像中检测结节得到初始目标检测结果。

进一步的，综合本申请上述各实施例的介绍，将上述的目标检测模型、征象识别模型、结构关系识别模型及分类器依次进行组合连接，可以得到目标检测系统。该系统各部分模型的具体结构，均可以参照上述各实施例相应部分介绍实现。

如图8所示，当例如图2所示的待处理图像输入该目标检测系统的目标检测模型时，目标检测模型从图像中检测图像目标得到初始目标检测结果；然后，初始目标检测结果分别进入征象识别模型和结构关系识别模型提取表象特征和内部结构特征；最后，提取的表象特征和内部结构特征进入分类器，由分类器进一步判断初始目标检测结果是否为图像目标，此时，对于非图像目标的初始目标检测结果进行滤除，保证初始目标检测结果的准确率。

可以理解，上述的目标检测系统包括了目标检测和初始目标检测结果的鉴别两部分处理，在实现图像目标检测的基础上，进一步提高了目标检测准确率。

与上述的目标检测结果的鉴别方法相对应的，本申请实施例还公开了一种目标检测结果的鉴别装置，参见图9所示，该装置包括：

数据获取单元100，用于获取初始目标检测结果，所述初始目标检测结果为从图像中检测图像目标得到的初步检测结果；

第一数据处理单元110，用于将所述初始目标检测结果划分为图像单元序列，并根据所述图像单元序列提取所述初始目标检测结果的内部结构特征；

判断处理单元120，用于至少根据所述内部结构特征，确定所述初始目标检测结果是否为图像目标。

本申请实施例提出的目标检测结果的鉴别装置，在数据获取单元100获取到初始目标检测结果后，由第一数据处理单元110将初始目标检测结果划分为图像单元序列，并且根据图像单元序列提取初始目标检测结果的内部结构特征，进而由判断处理单元120根据初始目标检测结果的内部结构特征确定初始目标检测结果是否为图像目标。该方法基于初始目标检测结果的内部结构对初始目标检测结果进行鉴别，可以准确识别初始目标检测结果是否为图像目标。

示例性的，所述初始目标检测结果为三维立体的初始目标检测结果；

则相应的，所述第一数据处理单元110将所述初始目标检测结果划分为图像单元序列时，具体用于：

将所述初始目标检测结果划分为二维图像序列。

作为一种可选的实现方式，所述第一数据处理单元110根据所述图像单元序列提取所述初始目标检测结果的内部结构特征时，具体用于：

将所述二维图像序列输入预先训练好的结构关系识别模型，提取得到所述初始目标检测结果的内部结构特征；

其中，所述结构关系识别模型至少通过提取三维图像目标样本的各二维图像帧之间的关系特征训练得到。

作为一种可选的实现方式，所述结构关系识别模型基于循环神经网络训练得到。

作为一种可选的实现方式，参见图10所示，所述装置还包括：

第二数据处理单元130，用于提取所述初始目标检测结果的表象特征；

所述判断处理单元120至少根据所述内部结构特征，确定所述初始目标检测结果是否为图像目标时，具体用于：

根据所述表象特征和所述内部结构特征，确定所述初始目标检测结果是否为图像目标。

作为一种可选的实现方式，所述第二数据处理单元130提取所述初始目标检测结果的表象特征时，具体用于：

将所述初始目标检测结果输入预先训练好的征象识别模型，得到所述初始目标检测结果的表象特征；

其中，所述征象识别模型至少通过提取图像目标样本的类别特征和/或征象特征训练得到。

作为一种可选的实现方式，所述征象识别模型基于卷积神经网络训练得到。

作为一种可选的实现方式，所述判断处理单元120根据所述表象特征和所述内部结构特征，确定所述初始目标检测结果是否为图像目标时，具体用于：

将所述表象特征和所述内部结构特征输入预先训练好的分类器，确定所述初始目标检测结果是否为图像目标；

其中，所述分类器至少根据图像目标样本的表象特征和内部结构特征，对所述图像目标样本进行分类训练得到。

作为一种可选的实现方式，所述判断处理单元120，包括：

特征融合单元，用于对所述表象特征和所述内部结构特征进行特征融合处理，得到表象和内部结构综合特征；

特征处理单元，用于将所述表象和内部结构综合特征输入预先训练好的分类器，确定所述初始目标检测结果是否为图像目标；

其中，所述分类器至少根据图像目标样本的表象和内部结构综合特征，对所述图像目标样本进行分类训练得到。

作为一种可选的实现方式，所述特征融合单元，包括：

第一处理单元，用于分别对所述表象特征和所述内部结构特征进行正则化处理；

第二处理单元，用于将正则化处理后的所述表象特征和所述内部结构特征处理为相同尺度的特征；

第三处理单元，用于对相同尺度的所述表象特征和所述内部结构特征进行拼接处理，得到表象和内部结构综合特征。

作为一种可选的实现方式，所述数据获取单元100获取初始目标检测结果时，具体用于：

对待处理图像进行预处理；

将预处理后的待处理图像输入预先训练好的图像目标检测模型，得到初始目标检测结果；

其中，所述图像目标检测模型至少通过从图像中检测图像目标训练得到。

本申请另一实施例还公开了一种目标检测结果的鉴别设备，参见图11所示，该设备包括：

存储器200和处理器210；

其中，所述存储器200与所述处理器210连接，用于存储程序；

所述处理器210，用于通过运行所述存储器200中存储的程序，实现上述任一实施例公开的目标检测结果的鉴别方法。

具体的，上述目标检测结果的鉴别设备还可以包括：总线、通信接口220、输入设备230和输出设备240。

处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器210可以是通用处理器，例如通用中央处理器(cpu)、微处理器等，也可以是特定应用集成电路(application-specificintegratedcircuit，asic)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器210可包括主处理器，还可包括基带芯片、调制解调器等。

存储器200中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器(read-onlymemory，rom)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(randomaccessmemory，ram)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。

通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(ran)，无线局域网(wlan)等。

处理器2102执行存储器200中所存放的程序，以及调用其他设备，可用于实现本申请实施例所提供的目标检测结果的鉴别方法的各个步骤。

本申请另一实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例提供的目标检测结果的鉴别方法的各个步骤。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。