医学影像图像处理方法、装置、电子设备及介质与流程

本申请涉及人工智能技术领域，尤其涉及一种医学影像图像处理方法、装置、电子设备及介质。

背景技术：

由于遗传、基因变异、长期饮食习惯、作息习惯等原因，人体可能会产生恶性的癌变，例如胃癌、中肠癌等。这些癌变组织根据病变时期主要可分为早期、进展期和晚期，不同时期对应不同的治疗方法。其中在早期发现癌症的治疗难度最小，患者康复的机会最大。现有技术中通常通过医学影像图像来检测早期癌变，但由于早期癌变的细胞和非病变细胞在形态、颜色上的特征十分不明显，因此早癌的诊断属于精细的图像检测问题，医生很难通过医学影像图观察发现。

随着人工智能的发展，现有技术中基于医学影像图像训练图像分类模型来辅助检测早期癌变，或者基于医学影像图像训练目标检测模型来辅助检测早癌。但是，由于早癌医学影像图像样本量少，且早癌医学影像图像中，病变区域与非病变区域的差异微小，且整张图中病变区域可能只占整张图像的很小一部分，尤其是检测的摄像头距离病变区域较远时拍摄到的图像，图像中大部分的像素都是正常的区域。在有病变的图像中，病变部位的特征(尤其是与正常细胞成像差异不明显的)可能被大量正常细胞的特征淹没，因此直接采用整张图像进行分类会严重影响图像分类模型的准确率，会产生严重的漏检，检测准确度很低。目标检测模型对于车辆、行人、花草等常见目标具有比较精准的检测效果，但是大量病变部分与正常细胞的差异性十分细微，因此对于早期癌变的检测效果很差，直接使用目标检测技术进行早期癌变的检测会产生大量的过检，检测精确度也很低。由此可知，如何提供一种医学影像图像处理技术，提高早期癌变预测结果的准确度成为亟待解决的技术问题。

技术实现要素：

本申请实施例提供一种医学影像图像处理方法、装置、电子设备及介质，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。

第一方面，本申请实施例提供一种医学影像图像处理方法，包括：

将待检测的医学影像图像输入预先采用中继监督方式训练的特征提取模型中提取预设的m个不同尺度的特征图像，每一尺度的特征图像均包括多个多维度特征图像，m为正整数；

将所述m个不同尺度的特征图像输入预先采用中继监督方式训练的病变预测模型中生成病变预测结果。

第二方面，本申请实施例提供一种医学影像图像处理装置，包括：

特征提取模块，用于将待检测的医学影像图像输入预先采用中继监督方式训练的特征提取模型中提取预设的m个不同尺度的特征图像，每一尺度的特征图像均包括多个多维度特征图像，m为正整数；

病变预测模块，用于将所述m个不同尺度的特征图像输入预先采用中继监督方式训练的病变预测模型中生成病变预测结果。

第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行本申请第一方面所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机指令用于执行本申请第一方面所述的方法。

通过上述技术方案，本申请构建多尺度的特征图像以及基于图像分割的多尺度中继监督信号，融合特征提取模型和病变预测模型，使得特征提取模型和病变预测模型能够更多的关注到病变部分的特征，避免被大量非病变区域图像特征主导，且能够良好适应不同大小的病变，也可以解决检测过程中因为摄像头角度或者距离等因素造成病变成像较小的漏检问题，还可以显著降低过检率，提高了早期癌变预测的准确度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。

图1为本申请一实施例所描述的医学影像图像处理方法流程图；

图2为本申请一实施例所描述的采用中继监督方式训练特征提取模型和病变预测模型流程图；

图3为本申请一实施例所描述基于每一尺寸的特征图像和对应的监督信号训练特征提取模型和病变预测模型流程图；

图4为本申请一实施例所描述的医学影像图像处理装置示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明针对小样本数量情况下的早期癌症辅助检查问题，提出一种基于多尺度中继监督卷积神经网络的检查技术，通过构建基于图像分割的多尺度中继监督信号，融合基于卷积神经网络的特征提取模型和病变预测模型，使得特征提取模型和病变预测模型在训练时能够更多的关注到病变部分的特征，避免被大量非病变区域图像特征主导，在提升模型召回率的同时，可以显著降低过检率，提高了早期癌变预测的准确度。

本申请实施例提供一种医学影像图像处理方法，如图1所示，包括：

步骤s1、将待检测的医学影像图像输入预先采用中继监督方式训练的特征提取模型中提取预设的m个不同尺度的特征图像；

其中，每一尺度的特征图像均包括多个多维度特征图像，m为正整数；

步骤s2、将所述m个不同尺度的特征图像输入预先采用中继监督方式训练的病变预测模型中生成病变预测结果。

需要说明的是，所述待测的医学影像图像可以为用于检测胃部癌症的医学影像图像，也可以为用于检测中肠癌的医学影像图像等。检测胃部癌症的医学影像图像可以为通过胃镜系统获取的胃部白光图像。可以理解的是，所述待测的医学影像图像并不限于是胃部和中肠癌的医学影像图像，还可以为其他人体部位的医学影像图像；图像样式也不限于是白光图像，还可以为ct图像等，采用不同的传感器获取的图像类型不同，本申请对此不作限定。

可以理解的是，病变预测模型基于特征提取模型中提取预设的m个不同尺度的特征图像可以对待检测的医学影像图像进行病变预测，根据病变预测模型种类的不同，呈现不同的预测结果。例如，所述病变预测模型可以为cnn(卷积神经网络)图像分类模型，则最后生成的病变预测结果为一个预测概率，也可设置一个第一概率阈值，若预测概率大于等于第一概率阈值时，判断待检测的医学影像图像中包含有病变区域，若预测概率小于第一概率阈值时，则判断待检测的医学影像图像未包含有病变区域。所述病变预测模型还可以为cnn图像分割模型，则最后生成的病变预测结果为在待检测的医学影像图像上标注病变区域边界的图像。

本申请实施例所述方法通过构建多尺度的特征图像以及基于图像分割的多尺度中继监督信号，融合特征提取模型和病变预测模型，使得特征提取模型和病变预测模型能够更多的关注到病变部分的特征，避免被大量非病变区域图像特征主导，且能够良好适应不同大小的病变，也可以解决检测过程中因为摄像头角度或者距离等因素造成病变成像较小的漏检问题，还可以显著降低过检率，提高了早期癌变预测的准确度，此外，基于预先训练的特征提取模型和病变预测模型可以快速得到预测结果，满足了早癌检测实时性的需求。

应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。

作为一种实施例，所述方法还包括：

步骤s10、采用中继监督方式训练得到所述特征提取模型和病变预测模型，如图2所示，具体包括：

步骤s101、设置所述特征提取模型和病变预测模型的初始参数；

其中，特征提取模型可以为cnn用来提取输入图像的特征的backbone(骨干网络，例如resnet/efficientnet等)。

步骤s102、获取多个医学样本图像和每一医学样本图像对应的真实病变结果以及病变区域分割真值；

需要说明的是，所述病变区域分割真值用于确定医学样本图像的病变区域，基于此可以描绘出病变区域轮廓。

步骤s103、将多个医学影像样本图像输入所述特征提取模型中生成每一样本图像对应的m个不同尺度的特征图像；

其中，每一样本图像对应的m个不同尺度的特征图像，一方面可以用来输入病变预测模型得到病变预测结果，另一方面可以用于生成监督信号，来获取监督损失。

步骤s104、基于每一医学影像样本图像的病变区域分割真值和预设的m个不同尺度，生成与m个不同尺度的特征图像对应的m个不同尺度的病变区域和非病变区域的二值化图像，作为模型训练的监督信号；

其中，具体可针对原始的医学影像样本图像，基于病变区域分割真值标注得到病变区域的分割信息，根据所选取的m个不同尺度，采用resize等下采样方式生成与每一特征图像尺度相同的分割图，并将病变区域和非病变区域进行二值化处理，得到二值化图像，作为模型训练的监督信号。需要说明的是，所述二值化图像中，以病变区域作为目标区域，以非病变区域作为背景区域；

步骤s105、基于每一尺寸的特征图像和对应的监督信号训练所述特征提取模型和病变预测模型。

为了避免特征提取模型和病变预测模型在训练过程中被大量正常细胞的特征，即非病变区域的特征主导，使用多尺度监督信号来辅助监督特征提取模型和病变预测模型，引导特征提取模型和病变预测模型去关注病变区域的特征，防止模型在训练阶段被大量非病变区域的图像产生的梯度统治，提高模型对于病变部位的召回率，提高特征提取模型和病变预测模型的准确度，从而提高了早期癌症病变预测的准确度。

作为一种实施例，如图3所示，所述步骤s105进一步包括：

步骤s201、将每一尺寸的特征图像进行归一化处理，得到对应的归一化后的特征图；

具体的，针对每一个被选择用来进行中继监督的特征图，通过[0,1]之间的激活函数来将负无穷到正无穷范围内的浮点数归一化到[0,1]之间，具体通过式(1)获取：

其中，x表示归一化后的特征图，x为输入的特征图。

步骤s202、基于所述归一化后的特征图和对应的监督信号之间的交叉熵获取第一损失函数；

所述第一损失函数为监督损失，具体可通过式(2)来表示：

其中，lmid(x,x^*)为第一损失函数，x为归一化后的特征图，x^*为监督信号，row表示总行数，col表示总列数，i表示行数，j表示列数。

步骤s203、将医学影像样本图像的每一尺寸的特征图像输入所述病变预测模型得到第一病变预测结果，基于每一第一病变预测结果和对应的真实病变结果获取第二损失函数，所述第二损失函数表示预测损失；

其中，若所述病变预测模型为图像分类模型，所述医学影像样本图像对应的真实病变结果为病变和非病变，病变对应的预测概率为1，非病变对应的预测概率为0。

若所述病变预测模型为图像分割模型，所述医学影像样本图像对应的真实病变结果为病变区域分割真值。

以所述病变预测模型为图像分类模型为例，第二损失函数具体通过式(3)来表示：

l(y,y*)＝ce(y,y*)(3)

其中，l(y,y*)表示第二预测函数，ce()表示求交叉熵，y表示病变预测概率，y*表示病变真实概率。

步骤s204、将所述第一损失函数和第二损失函数融合，生成第三损失函数；

步骤s205、基于所述第三损失函数调整所述提取模型和病变预测模型的参数，直至所述第三损失函数符合预设的损失状态。

可以理解的是，所述第三损失函数符合预设的损失状态为特征提取模型和病变预测模型训练结束的条件，具体可设置为一个损失函数阈值，当连续n个第三损失函数的值小于损失函数阈值时，判断所述第三损失函数符合预设的损失状态。也可以将损失状态设置为第三损失函数收敛，当所述第三损失函数收敛时，判断所述第三损失函数符合预设的损失状态。

作为一种实施例，所述步骤s204具体包括：将所述第一损失函数乘以预设的损失平衡权重后，再与所述第一损失函数求和，得到所述第三损失函数，所述损失平衡权重跟随模型训练过程动态调整。

仍以所述病变预测模型为图像分类模型为例，第三损失函数可通过式(4)表示：

l(y,y^*,x,x^*)＝l(y,y^*)+αlmid(x,x^*)(4)

其中，l(y,y^*,x,x^*)表示第三损失函数，α表示损失平衡权重。

通过设置损失平衡权重可以平衡第二损失函数的预测损失和第一孙淑函数的中继监督损失在训练过程中的重要性，提高模型的准确率，从而提高病变预测的准确度。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例，一种医学影像图像处理装置，如图4所示，图4以胃部医学影像图像作为输入图像进行说明，所述装置包括：

特征提取模块1，用于将待检测的医学影像图像输入预先采用中继监督方式训练的特征提取模型中提取预设的m个不同尺度的特征图像，每一尺度的特征图像均包括多个多维度特征图像，m为正整数；

病变预测模块2，用于将所述m个不同尺度的特征图像输入预先采用中继监督方式训练的病变预测模型中生成病变预测结果。

作为一种实施例，所述装置还包括模型训练模块：用于采用中继监督方式训练得到所述特征提取模型和病变预测模型，具体包括：

模型初始化单元，用于设置所述特征提取模型和病变预测模型的初始参数；

特征提取单元，用于将多个医学影像样本图像输入所述特征提取模型中生成每一样本图像对应的m个不同尺度的特征图像；

监督信号生成单元，用于基于每一医学影像样本图像的病变区域分割真值和预设的m个不同尺度，生成与m个不同尺度的特征图像对应的m个不同尺度的病变区域和非病变区域的二值化图像，作为模型训练的监督信号，所述二值化图像中，以病变区域作为目标区域，以非病变区域作为背景区域；

模型训练单元，用于基于每一尺寸的特征图像和对应的监督信号训练所述特征提取模型和病变预测模型。

作为一种实施例，所述模型训练单元包括：

归一化处理子单元，用于将每一尺寸的特征图像进行归一化处理，得到对应的归一化后的特征图；

第一损失函数获取子单元，用于基于所述归一化后的特征图和对应的监督信号之间的交叉熵获取第一损失函数；

第二损失函数获取子单元，用于将医学影像样本图像的每一尺寸的特征图像输入所述病变预测模型得到第一病变预测结果，基于每一第一病变预测结果和对应的真实病变结果获取第二损失函数；

其中，所述病变预测模型可为图像分类模型，所述医学影像样本图像对应的真实病变结果为病变和非病变，病变对应的预测概率为1，非病变对应的预测概率为0。

所述病变预测模型还可为图像分割模型，所述医学影像样本图像对应的真实病变结果为病变区域分割真值。

第三损失函数获取子单元，将所述第一损失函数和第二损失函数融合，生成第三损失函数；

模型参数调整子单元，用于基于所述第三损失函数调整所述提取模型和病变预测模型的参数，直至所述第三损失函数符合预设的损失状态。

作为一种实施例，所述第三损失函数获取子单元具体用于将所述第一损失函数乘以预设的损失平衡权重后，再与所述第一损失函数求和，得到所述第三损失函数，所述损失平衡权重跟随模型训练过程动态调整。

本申请实施例所述装置通过构建多尺度的特征图像以及基于图像分割的多尺度中继监督信号，融合特征提取模型和病变预测模型，使得特征提取模型和病变预测模型能够更多的关注到病变部分的特征，避免被大量非病变区域图像特征主导，且能够良好适应不同大小的病变，也可以解决检测过程中因为摄像头角度或者距离等因素造成病变成像较小的漏检问题，还可以显著降低过检率，提高了早期癌变预测的准确度，此外，基于预先训练的特征提取模型和病变预测模型可以快速得到预测结果，满足了早癌检测实时性的需求。

本申请实施例还提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行本申请实施例所述的方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机指令用于执行本申请实施例所述的方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。