一种基于特征共享的自学习迁移方法

本发明属于机器学习领域，具体涉及一种基于特征共享的自学习迁移方法。

背景技术：

在传统机器学习的框架下，分类学习的任务就是训练一个分类模型使其在训练数据集上最小化经验损失，并且在测试数据集上有较好的分类能力。一般而言，一个泛化能力较强的分类模型需要对每个应用场景都标定大量训练数据，这将会耗费大量的人力与物力。实际应用中，我们能轻松获得大量无标签数据(比如从网上随机下载海量图片)；而获得大量有标签数据往往代价很高，尤其是医学影像数据。目前，利用无标签数据进行医学图像分类的常用方法包括以下三种：无监督学习、半监督学习、迁移学习，这几种方法的主要特点如下：

无监督学习:无监督学习不使用传统分类标签，利用旋转角度等易于获取的信息，引导特征提取网络挖掘医学图像内部不同像素点潜在的结构关联。在只有特征、没有标签的训练数据集中，通过数据之间的内在联系和相似性将他们分成若干类。该方法所提取的特征虽具有一定程度的泛化能力，但特征的区分度有限，不适合医学图像分类。

半监督学习：半监督学习利用少部分的标记数据集和大量无标记的数据集训练分类器。虽然该类方法能在一定程度上减少分类器训练过程中对大量标记样本的依赖，但训练分类器时对标记和非标记样本有额外要求，即参与训练的标记和非标记样本应来自相同应用场景。这限制了此类方法的应用范围。在医学图像处理中，不同病灶的无标记样本间可能存在潜在关联，而现有的半监督学习算法无法通过利用该关联性提升性能。因此，直接用已有的非目标病灶无标签数据训练目标病灶的分类器，将会大大降低算法的分类效果。

迁移学习：迁移学习的目标是将源域中学到的知识迁移到目标域中，使得算法在目标域中的性能得以提升。具体而言，迁移学习通常选取两个数据集：数据集a和数据集b。源域对应数据集a，目标域对应数据集b。迁移学习实际上是利用源域与目标域知识的关联性(迁移学习中的知识主要指样本分布、样本特征等信息)，学习特征映射函数，将源域样本特征映射到目标域的样本特征空间中。这样的好处是可以在目标域中更好地利用源域已有的标记数据样本对分类器进行训练。

如何有效利用不同类型无标签病灶图片训练分类器，拓展现有医学图像分类方法的适用范围是医学影像数据中需要解决的问题。

技术实现要素：

发明目的：针对上述存在的问题，本发明提出了一种基于特征共享的自学习迁移方法，结合了自监督学习与迁移学习各自优势，其具体训练步骤步骤包括两部分：首先利用无标签数据来训练特征提取器；其次，在新的应用场景中，通过少量有标签数据训练分类器。所提出方法与传统迁移学习最大的不同，在于其有效利用卷积自编码器跨域训练分类模型中的特征提取器(分类模型中的特征提取器和分类器两部分可分别在两个样本分布不相似的数据集下训练)。这样，可有效利用不同类型无标签病灶图片训练分类器，拓展现有医学图像分类方法的适用范围。

上述的目的通过以下技术方案实现：

一种基于特征共享的自学习迁移方法，包括如下步骤：

步骤一：网络建模

采用卷积神经网络作为卷积自编码器，在卷积自编码器的编码特征后面加入一个nonlocal模块，nonlocal模块包括四个卷积层和一个softmax层，采用softmax作为分类器；

步骤二：数据集划分

选择两个不同类型的医学数据集a、b，数据集a由无标签数据构成，数据集b由有标签数据构成，将数据集b划分为训练集和测试集；

步骤三：网络训练

首先，用数据集a训练自编码器，自编码器包含编码器和解码器，在数据集a训练好自编码器后，将自编码器中的编码部分提取出来，当做特征提取器，连接到一个分类器c1中，利用数据集b中划分的训练集训练新的分类器c2，整个训练过程中特征提取器参数固定不变，最终数据集a训练的特征提取器与数据集b训练的分类器的组合就是本方法构建的具有自学习迁移能力的分类模型；

步骤四：测试

将步骤三训练结果在数据集b中划分的测试集进行测试，计算准确率。

所述的基于特征共享的自学习迁移方法，步骤一中所述的卷积自编码器由编码和解码两部分组成，编码器包括6个卷积层，2个池化层，最终将一个1通道灰色图片信息或3通道的彩色图片信息转换为256通道的编码特征张量，解码器与编码器结构一致，用来重构编码特征张量；

卷积自编码器的损失函数如下所示:

公式(1)中，x表示解码器重构的图像矩阵，y表示原图像矩阵，e为卷积自编码器的损失函数，f全称叫frobenius范数，指一种矩阵范数，就是把矩阵里的各个元素求平方和最后开方。

所述的基于特征共享的自学习迁移方法，步骤一中所述的nonlocal模块中，输入与输出之间数学表达式表示为：

i和j代表输入特征向量元素位置坐标,x表示维度为7*7*256的编码特征张量，表示输出张量，张量维度和x一样；xi表示x中第i个位置的元素取值，表示中第i个位置的元素取值；f表示计算任意两个标量元素相似性的函数，c(x)表示归一化参数。

所述的基于特征共享的自学习迁移方法，步骤二中所述数据集b按2：8分为两部分，其中20％的有标签数据作为训练集，剩下的80％有标签数据作为测试集。

有益效果：本发明与现有技术相比，具有以下优点：

1.本发明最大的创新是将自监督学习与迁移学习相结合，在迁移学习的源域设计基于自监督的卷积自编码网络，利用源域中与目标域分布不一致的无标签样本训练特征提取器。在目标域，将源域训练的特征提取器与分类器进行组合，只需少量标记样本(标记样本数量为目标域样本总数的5％)训练分类器，即可使训练后的分类器精度达到常规分类器的分类精度(将目标域的带标签数据集进行划分，50％进行特征提取器及分类器的联合训练，50％数据进行测试)。上述设计的优势在于将分类模型中的特征提取器及分类器分开训练，这样可充分利用容易获取的无标签数据训练特征提取器，有效解决模型迁移过程中因标记样本稀缺对分类器造成的过拟合问题。综上所述，本发明旨在有效利用无标签数据提升分类模型泛化能力。

2.本方法基于特征共享的自学习迁移结合了自监督学习与迁移学习各自优势，其具体训练步骤步骤包括两部分：首先利用无标签数据来训练特征提取器；其次，在新的应用场景中，通过少量有标签数据训练分类器。所提出方法与传统迁移学习最大的不同，在于其有效利用卷积自编码器跨域训练分类模型中的特征提取器(分类模型中的特征提取器和分类器两部分可分别在两个样本分布不相似的数据集下训练)。这样，可有效利用不同类型无标签病灶图片训练分类器，拓展现有医学图像分类方法的适用范围。

附图说明

图1是卷积自编码器结构图；

图2是nonlocal模块结构图。

具体实施方式

下面结合附图，对所提出的一种基于特征共享的无监督迁移学习方法进行详细说明：

步骤一建模：如图1所示，卷积自编码器由编码和解码两部分组成，编码器包括6个卷积层，2个池化层，最终将一个1通道灰色图片信息或3通道的彩色图片信息转换为256通道的编码特征张量，解码器与编码器结构一致，用来重构编码特征张量。

卷积自编码器的损失函数如下所示:

公式(1)中，x表示解码器重构的图像矩阵，y表示原图像矩阵。f全称叫frobenius范数，指一种矩阵范数，就是把矩阵里的各个元素求平方和最后开方。在卷积自编码器的编码特征后面加入一个nonlocal模块，nonlocal模块包括四个卷积层和一个softmax层，它的作用是通过计算任意两个特征像素点之间的相互作用，捕获不同感受野特征依赖关系。nonlocal模块中，输入与输出之间数学表达式表示为：

i和j代表输入特征向量元素位置坐标,x表示维度为7*7*256的编码特征张量，表示输出张量，张量维度和x一样；xi表示x中第i个位置的元素取值，表示中第i个位置的元素取值；f表示计算任意两个标量元素相似性的函数，c(x)表示归一化参数。公式(2)实际上是通过xi与相邻元素的加权平均来优化原特征向量。

步骤二数据集划分：数据集a中的全部数据作为一个训练集，用来训练特征提取器。数据集b按2：8分为两部分，其中20％的有标签数据作为训练集，剩下的80％有标签数据作为测试集。

步骤三训练：用训练集a来训练卷积自编码器，训练好卷积自编码器后，提取自编码器的编码部分作为特征提取器，将训练好的特征提取器连接分类器，利用b中划分好的少量训练数据训练分类器。

步骤四测试：分类器训练好后，在b中划分的测试集中进行测试。

实验结果

在medmnist数据集进行算法测试。medmnist数据集包含9类疾病子数据集，不同子数据集之间数据分布不相似。实验结果如表1所示。实验中将本方法与半监督支持向量机方法进行比较。实验结果显示，本方法能利用大量无标签数据训练一个有泛化能力的特征提取器，在分类器训练过程中只需要少量有标签的数据参与。而半监督支持向量机方法虽然也仅仅使用少量有标签数据训练分类器，但给方法的分类精度明显低于本方法。

注：a及b数据集都是medmnist数据集中随机挑选的子数据集。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。