一种显微图像数据增强方法及装置与流程

本发明涉及测量显微镜技术领域，特别是指一种显微图像数据增强方法及装置。

背景技术：

在材料科学、医学、电子器件、显微机械等领域的研究中，研究人员通常利用显微镜拍摄显微图像，进而观测微观组织或显微结构，并利用图像分析方法提取图像中感兴趣区域或目标的特征，最终进行材料/器官组织分析或器件质量评估等。目前，在图像分类、图像目标检测、图像分割等任务中，基于卷积神经网络的图像分析方法在分析准确率和效率上取得了突破性的成果。但在实际操作过程中，该方法需要大量的人工标注数据供算法训练模型，造成该方法泛化性能低下，难以准确快速地学习新图像的特征。

技术实现要素：

本发明要解决的技术问题是提供一种显微图像数据增强方法及装置，以解决现有技术所存在的显微图像分析任务中需要大量人工标注的问题。

为解决上述技术问题，本发明实施例提供一种显微图像数据增强方法，包括：

生成真实显微图像的虚拟图像；

通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；

根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。

进一步地，所述生成真实显微图像的虚拟图像包括：

通过模拟方法生成真实显微图像的虚拟图像；

其中，所述模拟方法包括：顶点运动模拟、相场模拟、基于波茨模型的三维蒙特卡罗模拟。

进一步地，所述通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像包括：

获取真实显微图像作为参考图像；

对参考图像和虚拟图像做预处理，以消除显微尺度级别差异性；

构建风格迁移网络模型，利用预处理后的参考图像和虚拟图像，训练构建的风格迁移网络模型；其中，所述风格迁移网络模型，用于提取图像纹理风格特征；

将虚拟图像输入到训练好的风格迁移网络模型中，重建虚拟图像纹理风格特征，合成具有真实风格的虚拟图像。

进一步地，所述根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型包括：

根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应的语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，作为有标注的训练样本；

根据得到的有标注的训练样本，利用机器学习算法，训练图像分析模型；

获取已标注的若干个真实图像样本，根据得到的已标注的若干个真实图像样本，微调图像分析模型。

进一步地，所述机器学习算法包括：逻辑回归、支持向量机或卷积神经网络。

本发明实施例还提供一种显微图像数据增强装置，包括：

生成模块，用于生成真实显微图像的虚拟图像；

迁移模块，用于通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；

训练模块，用于根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。

进一步地，所述生成模块，用于通过模拟方法生成真实显微图像的虚拟图像；

其中，所述模拟方法包括：顶点运动模拟、相场模拟、基于波茨模型的三维蒙特卡罗模拟。

进一步地，所述迁移模块包括：

第一获取单元，用于获取真实显微图像作为参考图像；

处理单元，用于对参考图像和虚拟图像做预处理，以消除显微尺度级别差异性；

第一训练单元，用于构建风格迁移网络模型，利用预处理后的参考图像和虚拟图像，训练构建的风格迁移网络模型；其中，所述风格迁移网络模型，用于提取图像纹理风格特征；

合成单元，用于将虚拟图像输入到训练好的风格迁移网络模型中，重建虚拟图像纹理风格特征，合成具有真实风格的虚拟图像。

进一步地，所述训练模块包括：

第二获取单元，用于根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应的语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，作为有标注的训练样本；

第二训练单元，用于根据得到的有标注的训练样本，利用机器学习算法，训练图像分析模型；

微调单元，用于获取已标注的若干个真实图像样本，根据得到的已标注的若干个真实图像样本，微调图像分析模型。

进一步地，所述机器学习算法包括：逻辑回归、支持向量机或卷积神经网络。

本发明的上述技术方案的有益效果如下：

上述方案中，生成真实显微图像的虚拟图像；通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型；这样，基于风格迁移的显微图像数据增强方法，提高了标注图像获取速度，并且自动标注结果准确无误，不存在人工标注中的误判问题，能够在满足机器学习算法对大量训练样本需求的同时，显著降低用于图像分析模型训练的真实显微图像的数量，从而减少真实图像采集所需时间和人工成本。

附图说明

图1为本发明实施例提供的显微图像数据增强方法的流程示意图；

图2为本发明实施例提供的显微图像数据增强方法的详细流程示图；

图3为本发明实施例提供的基于模拟方法生成的虚拟图像示例图；

图4为本发明实施例提供的显微图像数据增强方法的原理示意图；

图5为本发明实施例提供的基于cyclegan的风格迁移网络原理示意图；

图6为本发明实施例提供的基于pix2pix的风格迁移网络原理示意图；

图7为本发明实施例提供的图像分析模型的训练流程图；

图8为本发明实施例提供的显微图像数据增强装置的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的显微图像分析任务中需要大量人工标注的问题，提供一种显微图像数据增强方法及装置。

实施例一

如图1所示，本发明实施例提供的显微图像数据增强方法，包括：

s101，生成真实显微图像的虚拟图像；

s102，通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；

s103，根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。

本发明实施例所述的显微图像数据增强方法，生成真实显微图像的虚拟图像；通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型；这样，基于风格迁移的显微图像数据增强方法，提高了标注图像获取速度，并且自动标注结果准确无误，不存在人工标注中的误判问题，能够在满足机器学习算法对大量训练样本需求的同时，显著降低用于图像分析模型训练的真实显微图像的数量，从而减少真实图像采集所需时间和人工成本。

在前述显微图像数据增强方法的具体实施方式中，进一步地，所述生成真实显微图像的虚拟图像包括：

通过模拟方法生成真实显微图像的虚拟图像；

其中，所述模拟方法包括：顶点运动模拟、相场模拟、基于波茨(potts)模型的三维蒙特卡罗(montecarlo)模拟。

本实施例中，可以利用顶点运动模拟、相场模拟、基于potts模型的三维montecarlo模拟等任一个可以生成模拟图像的方法来生成真实显微图像的虚拟图像。

本实施例中，所述虚拟图像既具有学科意义，又具有数值化模拟特性，更为纯净，容易实现自动标注。

本实施例中，通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像中的风格是指包括：图像纹理特征、噪声等具有辨识性的图像特征。风格迁移方法是指首先利用算法学习某图像的风格，其次再把这种风格应用到目标图像上的技术，所述风格迁移方法包括基于笔划的渲染方法、图像滤波方法、纹理合成方法和基于神经网络的迁移方法等一切用于图像风格迁移的方法。

在前述显微图像数据增强方法的具体实施方式中，进一步地，所述通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像包括：

获取真实显微图像作为参考图像；

对参考图像和虚拟图像做预处理，以消除显微尺度级别差异性；

构建风格迁移网络模型，利用预处理后的参考图像和虚拟图像，训练构建的风格迁移网络模型；其中，所述风格迁移网络模型，用于提取图像纹理风格特征，缩小虚拟图像和参考图像的风格差异；

将虚拟图像输入到训练好的风格迁移网络模型中，重建虚拟图像纹理风格特征，合成具有真实风格的虚拟图像。

本实施例中，可以通过图像缩放或裁切等图像预处理手段，消除显微尺度级别差异性，以保持所述虚拟图像和参考图像尺度空间级别的一致性。

在前述显微图像数据增强方法的具体实施方式中，进一步地，所述根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型包括：

根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应的语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，作为有标注的训练样本；

根据得到的有标注的训练样本，利用机器学习算法，训练图像分析模型；

获取已标注的若干个真实图像样本，根据得到的已标注的若干个真实图像样本，微调(finetune)图像分析模型。

本实施例中，所述机器学习算法指逻辑回归、支持向量机、卷积神经网络等一切可用于提取显微图像中感兴趣区域(regionofinterest，roi)的有监督学习算法。

为了更好地理解本发明实施例提供的基于风格迁移的显微图像数据增强方法，本实施例以材料领域的纯铁晶粒组织和铝镧枝晶组织的显微图像语义分割任务为例进行说明，其中，语义分割任务的目的在于分割晶粒和晶界。

针对纯铁晶粒组织或铝镧枝晶组织的显微图像语义分割任务，现有技术中已有多种研究，但缺乏大量标注数据仍是语义分割的瓶颈所在，本发明实施例提供的基于风格迁移的显微图像数据增强方法可以通过以下步骤解决上述问题，如图2所示，具体可以包括以下步骤：

步骤1，通过模拟方法生成真实显微图像的虚拟图像。

本实施例中，例如，可以通过基于potts模型的三维montecarlo模拟方法，设定包括温度、周期、生长尺寸等环境条件，多批次生成纯铁晶粒三维生长模型；或基于相场模拟方法生成铝镧枝晶三维生长模型，其中，生成的上述两种三维生长模型均可提供大量自动语义标注的二维显微图像训练样本。

如图3所示，本实施例中，分别以纯铁晶粒和铝镧枝晶为例，分别沿其三维生长模型x、y、z轴向，取截面生成二维虚拟组织图像，所述二维虚拟组织图像既具有学科意义，又具有数值化模拟特性，可自动准确地标注其晶粒或枝晶组织。

步骤2，通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像，如图4所示，具体可以包括以下步骤：

步骤21，获取真实显微图像作为参考图像；

本实施例中，选取成像清晰的真实显微图像作为参考图像，以确保图像具有明显的纹理特征，能够描述图像或图像区域所对应的物体表面性质。

步骤22，对参考图像和虚拟图像做预处理，以消除显微尺度级别差异性；

本实施例中，可以通过图像缩放或裁切等图像预处理手段，消除显微尺度级别差异性，以保持所述虚拟图像和参考图像尺度空间级别的一致性。

本实施例中，以纯铁晶粒的虚拟图像为例，其中，虚拟图像以像素值255代表晶粒，像素值0代表晶界，晶界宽度为1像素。

本实施例中，原始真实纯铁晶粒图像尺寸为1600像素x2800像素，考虑到后续风格迁移网络和图像分析模型的输入规模与效果以及硬件条件，本实施例采用图像处理手段对参考图像和虚拟图像做预处理。即选取400像素x400像素为单位尺寸，分别对参考图像和虚拟图像单位尺寸晶粒进行粗略计数，计算缩放倍数以缩放图像再以单位尺寸大小裁剪图像。

步骤23，构建风格迁移网络模型，利用预处理后的参考图像和虚拟图像，训练构建的风格迁移网络模型；其中，所述风格迁移网络模型，用于提取图像纹理风格特征，缩小虚拟图像和参考图像的风格差异；

本实施例中，如图5所示，所述风格迁移网络模型可以是基于循环一致性生成对抗网络(cyclegan)的单向风格迁移网络结构，其中，第一转换网络ga和第二转换网络gb设置为unet-16网络结构，判别器d设置为多层卷积特征提取网络结构。

本实施例中，所述风格迁移网络模型的工作原理过程如下：

将虚拟图像x输入第一转换网络ga，输出具有真实风格的虚拟合成图像ga(x)；

将ga的输出ga(x)和参考图像分别输入判别器网络d，定义均方误差(mean-squareerror,mse)损失为判别器d损失函数lgan；

将ga的输出ga(x)再输入第二转换网络gb，计算gb输出gb(ga(x))和虚拟图像x的l1损失l1(x,gb(ga(x)))；

整体损失函数loss如公式1所示，最终通过反向误差传播方法训练和优化所述风格迁移网络模型。

loss(x)＝lgan+l1(x，gb(ga(x)))(1)

本实施例中，所述风格迁移网络模型不仅可以是基于循环一致性生成对抗网络(cyclegan)的单向风格迁移网络结构，还可以根据参考图像选定更适用的风格迁移网络。例如，针对通过相场模拟方法生成的铝镧枝晶三维生长模型，重新选定更适用于铝镧枝晶图像数据增强的条件生成对抗网络(pix2pixgan)作风格迁移网络模型。需要说明的是，基于pix2pix的风格迁移网络需要成对的有标注图像作为训练样本。

本实施例中，如图6所示，基于pix2pix的风格迁移网络模型的转换网络g为unet，判别器d为多层卷积特征提取网络。基于pix2pix的风格迁移网络模型的工作原理过程如下：

训练阶段，输入成对的真实铝镧枝晶图像和标注图像，定义判别器损失函数lgan为二值交叉熵损失(binary-crossentropyloss，bceloss)，定义lgan以及输出合成图像g(x)和输入真实图像y的l1损失作为整体损失函数loss，如公式2所示。

loss(x,y)＝lgan+l1(y,g(x))(2)

最终通过反向误差传播方法训练和优化风格迁移网络。

步骤24，将虚拟图像输入到步骤23训练好的风格迁移网络模型中，重建虚拟图像纹理风格特征，合成具有真实风格的虚拟图像。

步骤3，根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型，如图7所示，具体可以包括以下步骤：

步骤31，针对纯铁晶粒组织或铝镧枝晶组织显微图像分割缺乏大量有标注数据的问题，本实施例根据虚拟图像的计算模拟特性，直接从虚拟图像的各语义区域中获得对应的语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，得到大量有语义标注的显微图像的训练样本；

步骤32，将步骤31获得的大量有语义标注的训练样本送至编码解码型unet语义分割网络，利用机器学习算法，训练图像语义分割模型，得到的图像语义分割模型为语义分割预训练模型，其中，所述图像语义分割模型用于分割晶粒和晶界；

步骤33，步骤32训练的图像语义分割模型在真实图像测试集上，经常出现单像素的晶界分割不连续情况，基于步骤32获得的图像语义分割预训练模型，标注少量的真实纯铁晶粒或铝镧枝晶组织图像样本，微调图像语义分割预训练模型，得到最终的语义分割模型。

本实施例中，设置对比实验，针对纯铁晶粒组织二维图像语义分割任务，本实施例训练得到的语义分割模型和单独使用所述少量真实样本重新训练语义分割模型，测试结果如表1所示，由于表1可知，本发明实施例能够提供大量自动语义标注的训练样本和图像语义分割预训练模型，只需要少量真实训练样本，即可获得较大的性能提升。

表1对比实验测试结果

实施例二

本发明还提供一种显微图像数据增强装置的具体实施方式，由于本发明提供的显微图像数据增强装置与前述显微图像数据增强方法的具体实施方式相对应，该显微图像数据增强装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述显微图像数据增强方法具体实施方式中的解释说明，也适用于本发明提供的显微图像数据增强装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

如图8所示，本发明实施例还提供一种显微图像数据增强装置，包括：

生成模块11，用于生成真实显微图像的虚拟图像；

迁移模块12，用于通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；

训练模块13，用于根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。

本发明实施例所述的显微图像数据增强装置，生成真实显微图像的虚拟图像；通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型；这样，基于风格迁移的显微图像数据增强方法，提高了标注图像获取速度，并且自动标注结果准确无误，不存在人工标注中的误判问题，能够在满足机器学习算法对大量训练样本需求的同时，显著降低用于图像分析模型训练的真实显微图像的数量，从而减少真实图像采集所需时间和人工成本。

在前述显微图像数据增强装置的具体实施方式中，进一步地，所述生成模块，用于通过模拟方法生成真实显微图像的虚拟图像；

其中，所述模拟方法包括：顶点运动模拟、相场模拟、基于波茨模型的三维蒙特卡罗模拟。

在前述显微图像数据增强装置的具体实施方式中，进一步地，所述迁移模块包括：

第一获取单元，用于获取真实显微图像作为参考图像；

处理单元，用于对参考图像和虚拟图像做预处理，以消除显微尺度级别差异性；

第一训练单元，用于构建风格迁移网络模型，利用预处理后的参考图像和虚拟图像，训练构建的风格迁移网络模型；其中，所述风格迁移网络模型，用于提取图像纹理风格特征；

合成单元，用于将虚拟图像输入到训练好的风格迁移网络模型中，重建虚拟图像纹理风格特征，合成具有真实风格的虚拟图像。

在前述显微图像数据增强装置的具体实施方式中，进一步地，所述训练模块包括：

第二获取单元，用于根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应的语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，作为有标注的训练样本；

第二训练单元，用于根据得到的有标注的训练样本，利用机器学习算法，训练图像分析模型；

微调单元，用于获取已标注的若干个真实图像样本，根据得到的已标注的若干个真实图像样本，微调图像分析模型。

在前述显微图像数据增强装置的具体实施方式中，进一步地，所述机器学习算法包括：逻辑回归、支持向量机或卷积神经网络。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。