图像特征分类方法、装置、电子设备及存储介质

1.本发明涉及图像处理技术领域，尤其涉及一种图像特征分类方法、装置、电子设备及存储介质。


背景技术：

2.图像特征提取作为图像处理中的一个初始操作，可以从输入图像中提取特征，以便于基于所提取的特征进行确定类别，比如输入脑部计算机断层扫描(brain computed tomography，脑ct)图像时通过提取的特征判断该脑ct图像属于脑肿瘤、脑出血或者脑梗塞等其它类别。因此，如何对图像进行精确分类就显得尤为重要。
3.相关技术中，通过对脑ct图像序列进行放大、缩小及加噪等的训练，确定与脑ct图像序列对应的图像特征和类别，再基于所确定的图像特征和类别获取训练样本和测试样本，训练样本用于训练分类器并确定分类模型，测试样本用于验证分类模型的分类效果，并输出分类结果。
4.然而，由于相关技术中图像特征提取的训练只针对图像本身进行放大、缩小及加噪，并不能提取到较为丰富和全面的图像特征，从而导致后续的图像分类结果的精准性和可靠性不高。


技术实现要素：

5.本发明提供一种图像特征分类方法、装置、电子设备及存储介质，用以解决现有技术中不能提取到较为丰富和全面的图像特征而导致的图像分类结果的精确性和可靠性不高的缺陷，实现基于训练切片图像序列和光流图像序列所得的不同参考图像特征和不同参考类别信息进行图像分类的目的，大幅提高了图像特征分类的精准性和可靠性。
6.本发明提供一种图像特征分类方法，包括：
7.获取待测切片图像；
8.将所述待测切片图像输入至目标特征分类模型，获取所述待测切片图像的目标图像特征和目标类别信息；
9.其中，所述目标特征分类模型是属于参考图像特征和参考类别信息的第一样本切片图像序列训练分类器所得的模型，所述参考图像特征和所述参考类别信息是基于第二样本切片图像序列和第二样本光流图像序列进行自对比学习和互对比学习得到的。
10.根据本发明提供的一种图像特征分类方法，所述参考图像特征和所述参考类别信息的学习过程包括：
11.构建对比学习网络，所述对比学习网络包括查询编码器和动量编码器，所述查询编码器用于主动查找相似度最高的图像特征，所述动量编码器用于被动查找相似度最高的图像特征；
12.获取第二样本切片图像序列和所述第二样本切片图像序列对应的第二样本光流图像序列；
13.对所述第二样本切片图像序列和所述第二样本光流图像分别进行预设长度截取和数据增强处理，确定第二样本切片图像阵列和第二样本光流图像阵列；
14.将所述第二样本切片图像阵列和所述第二样本光流图像阵列输入至所述对比学习网络进行自对比学习和互对比学习的训练，确定目标特征提取模型；
15.基于所述目标特征提取模型对应的模型训练结果，确定所述参考图像特征和所述参考类别信息。
16.根据本发明提供的一种图像特征分类方法，所述将所述第二样本切片图像阵列和所述第二样本光流图像阵列输入至所述对比学习网络进行自对比学习和互对比学习的训练，确定目标特征提取模型，包括：
17.将所述第二样本切片图像阵列和所述第二样本光流图像阵列输入至所述对比学习网络进行自对比学习和互对比学习的迭代训练，获取迭代训练后的中间特征提取模型的损失值；
18.基于所述中间特征提取模型的损失值，获取参数更新后的中间特征提取模型；
19.根据所述第二样本切片图像阵列和所述第二样本光流图像阵列，对所述参数更新后的中间特征提取模型进行迭代训练，确定目标特征提取模型。
20.根据本发明提供的一种图像特征分类方法，所述将所述第二样本切片图像阵列和所述第二样本光流图像阵列输入至所述对比学习网络进行自对比学习和互对比学习的迭代训练，获取迭代训练后的中间特征提取模型的损失值，包括：
21.针对每次迭代训练，在所述第二样本切片图像序列包括多个切片图像分组的情况下，基于所述对比学习网络，将所述切片图像分组中第二样本切片图像与其它第二样本切片图像进行自对比学习，确定本次迭代训练所得的切片图像特征；
22.在所述第二样本光流图像阵列包括多个光流图像分组的情况下，基于所述对比学习网络，将所述光流图像分组中第二样本光流图像与其它第二样本光流图像分别进行自对比学习，确定本次迭代训练所得的光流图像特征；
23.获取所述切片图像特征对应的第一损失以及所述光流图像特征对应的第二损失；
24.基于所述第一损失和所述第二损失，获取用于辅助对比学习的正样本，并基于所述切片图像特征和所述光流图像特征中的其中一个以及所述正样本进行互对比学习，确定本次迭代训练后的中间特征提取模型的损失值。
25.根据本发明提供的一种图像特征分类方法，所述基于所述第一损失和所述第二损失，获取用于辅助对比学习的正样本，并基于所述切片图像特征和所述光流图像特征中的其中一个以及所述正样本进行互对比学习，确定本次迭代训练后的中间特征提取模型的损失值，包括：
26.当所述第一损失大于所述第二损失时，将所述光流图像特征对应的第二样本光流图像确定为所述切片图像特征的第一正样本，并基于所述对比学习网络，对所述第一正样本和所述切片图像特征对应的切片图像分组进行对比学习，确定本次迭代训练后的中间特征提取模型的损失值；
27.当所述第一损失小于所述第二损失时，将所述切片图像特征对应的第二样本切片图像确定为所述光流图像特征的第二正样本，并基于所述对比学习网络，对所述第二正样本和所述光流图像特征对应的光流图像分组进行对比学习，确定本次迭代训练后的中间特
征提取模型的损失值。
28.根据本发明提供的一种图像特征分类方法，所述本次迭代训练后的中间特征提取模型的损失值，包括所述第一损失、所述第二损失以及本次互对比学习产生的联合训练损失。
29.根据本发明提供的一种图像特征分类方法，所述基于所述目标特征提取模型对应的模型训练结果，确定参考图像特征和所述参考类别信息，包括：
30.确定所述目标特征提取模型对应的模型训练结果包括每次迭代所得的中间特征提取模型对应的模型训练结果时，从所述每次迭代所得的中间特征提取模型对应的模型训练结果中确定所述参考图像特征和所述参考类别信息。
31.根据本发明提供的一种图像特征分类方法，所述目标特征分类模型的训练过程包括：
32.获取属于参考图像特征和参考类别信息的第一样本切片图像序列，所述第一样本切片图像序列划分为多组切片图像且每组切片图像标识对应的参考图像特征及参考类别信息；
33.基于所述第一样本切片图像序列对分类器进行训练，确定目标特征分类模型。
34.根据本发明提供的一种图像特征分类方法，所述使用所述第一样本切片图像对分类器进行训练，确定目标特征分类模型，包括：
35.基于所述第一样本切片图像序列对分类器进行迭代训练，获取迭代训练后的中间特征分类模型的损失值；
36.基于所述中间特征分类模型的损失值，获取参数更新后的中间特征分类模型；
37.根据所述第一样本切片图像序列中剩余第一样本切片图像，对所述参数更新后的中间特征分类模型进行迭代训练，确定目标特征分类模型。
38.本发明还提供一种特征分类装置，包括：
39.获取模块，用于获取待测切片图像；
40.分类模块，用于将所述待测切片图像输入至目标特征分类模型，获取所述待测切片图像的目标图像特征和目标类别信息；
41.其中，所述目标特征分类模型是属于参考图像特征和参考类别信息的第一样本切片图像序列训练分类器所得的模型，所述参考图像特征和所述参考类别信息是基于第二样本切片图像序列和第二样本光流图像序列进行自对比学习和互对比学习得到的。
42.本发明提供的图像特征分类方法、装置、电子设备及存储介质，其中图像特征分类方法，通过将待测切片图像输入至目标特征分类模型的方式，获取待测切片图像的目标图像特征和目标类别信息；由于目标特征分类模型是属于参考图像特征和参考类别信息的第一样本切片图像序列训练分类器所得的模型，参考图像特征和参考类别信息是基于第二样本切片图像序列和第二样本光流图像序列进行自对比学习和互对比学习得到的，因此，结合第二样本切片图像序列中前后第二样本切片图像之间的自关联性、第二样本光流图像序列中前后第二样本光流图像之间的自关联性以及两种自关联性所得特征之间的互关联性，全面且丰富了参考图像特征和参考类别信息，进而使用属于参考图像特征和参考类别信息的第一样本切片图像训练分类器所得的目标特征分类模型，自然也能够快速且准确确定待测切片图像的目标图像特征和目标类别信息，大幅提高了图像特征分类的精准性和可靠
性。
附图说明
43.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明提供的图像特征分类方法的流程示意图；
45.图2是本发明提供的图像特征分类装置的结构示意图；
46.图3是本发明提供的电子设备的结构示意图。
具体实施方式
47.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.虽然脑ct图像可以明确显示脑肿瘤、脑出血或脑梗塞等各种情形，但由于不同ct设备所得的脑ct图像的像素大小及数目不同，而脑ct图像通常为一整套图像序列，与对应疾病相关的特征可能仅体现在其中某几张切片图像上，考虑到只有先提取特征，才能准确识别疾病，因此相关技术先通过对脑ct图像序列进行放大、缩小及加噪等的训练，确定与脑ct图像序列对应的图像特征和类别，再基于所确定的图像特征和类别获取训练样本和测试样本，训练样本用于训练分类器并确定分类模型，测试样本用于验证分类模型的分类效果，并输出分类结果。
49.然而，由于相关技术中图像特征提取的训练只针对图像本身进行放大、缩小及加噪，并不能提取到较为丰富和全面的图像特征，从而导致后续的图像分类结果的精准性和可靠性不高。
50.基于此，本发明实施例提供一种图像特征分类方法、装置、电子设备及存储介质，用于解决上述问题。下面结合图1-图3描述本发明的图像特征分类方法、装置、电子设备及存储介质，其中图像特征分类方法的执行主体可以为终端设备或者服务器，终端设备或者服务器至少具备数据处理功能和模型训练功能；终端设备可以为个人计算机(personal computer，pc)、便携式设备、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等其它电子设备，服务器可以使用独立的服务器或者多个服务器组成的服务器集群。本发明对终端设备的具体形式不做限定，也不具体限定服务器的具体形式。
51.需要说明的是，下述方法实施例以执行主体为终端设备为例进行说明，并且下述方法实施例的执行主体可以是终端设备的部分或全部。
52.图1为本发明实施例提供的图像特征分类方法的流程示意图，如图1所示，该图像特征分类方法，包括以下步骤：
53.步骤110、获取待测切片图像。
54.其中，待测切片图像可以是针对一套全序列切片图像按顺序生成的一组切片图像
序列去除冗余后剩余的切片图像，也可以是由多套全序列切片图像且每套全序列切片图像按顺序生成的一组切片图像序列去除冗余后剩余的切片图像。并且，图像切片序列是使用ct技术，对患有脑部疾病的患者进行脑部ct检查所得的。
55.具体的，终端设备获取待测切片图像，可以为基于已有的(nuclear magnetic resonance，mri)脑肿瘤分割公开数据和脑ct公开数据作为源域数据获取待测切片图像，其获取方式可以包括但不限定自身存储器获取和云端获取，比如终端设备通过从自身存储器中读取待测切片图像的方式获取，也可以通过从云端获取待测切片图像的方式获取。此处对获取待测切片图像的方式不作具体限定。
56.步骤120、将待测切片图像输入至目标特征分类模型，获取待测切片图像的目标图像特征和目标类别信息。
57.其中，目标特征分类模型是属于参考图像特征和参考类别信息的第一样本切片图像序列训练分类器所得的模型，参考图像特征和参考类别信息是基于第二样本切片图像序列和第二样本光流图像序列进行自对比学习和互对比学习得到的。
58.具体的，为了使输出的目标图像特征和目标类别信息能够更加准确和可靠，相比于传统仅针对脑ct图像本身进行放大、缩小及加噪的训练方式确定脑ct图像的图像特征和类别信息，本发明实施例中基于第二样本切片图像序列和第二样本光流图像序列进行自对比学习和互对比学习，可以学习到与不同脑部疾病最相似的对应图像特征，从而确定参考图像特征和参考类别信息，且参考图像特征与参考类别信息之间可以具备一一对应关系，因此，使用属于参考图像特征和参考类别信息的第一样本切片图像训练分类器所得的目标特征分类模型，可以快速且准确确定待测切片图像的目标图像特征和目标类别信息。比如，当待测切片图像中存在脑部疾病特征时可以快速确定待测切片图像的目标图像特征及目标图像特征为脑梗塞和脑梗塞的目标图像特征。
59.本发明实施例提供的图像特征分类方法，通过将待测切片图像输入至目标特征分类模型的方式，获取待测切片图像的目标图像特征和目标类别信息；由于目标特征分类模型是属于参考图像特征和参考类别信息的第一样本切片图像序列训练分类器所得的模型，参考图像特征和参考类别信息是基于第二样本切片图像序列和第二样本光流图像序列进行自对比学习和互对比学习得到的，因此，结合第二样本切片图像序列中前后第二样本切片图像之间的自关联性、第二样本光流图像序列中前后第二样本光流图像之间的自关联性以及两种自关联性所得特征之间的互关联性，全面且丰富了参考图像特征和参考类别信息，进而使用属于参考图像特征和参考类别信息的第一样本切片图像训练分类器所得的目标特征分类模型，自然也能够快速且准确确定待测切片图像的目标图像特征和目标类别信息，大幅提高了图像特征分类的精准性和可靠性。
60.可选的，步骤120中参考图像特征和所述参考类别信息的学习过程包括：
61.首先，构建对比学习网络，对比学习网络包括查询编码器和动量编码器，查询编码器用于主动查找相似度最高的图像特征，动量编码器用于被动查找相似度最高的图像特征；然后，获取第二样本切片图像序列和第二样本切片图像序列对应的第二样本光流图像序列；再对第二样本切片图像序列和第二样本光流图像分别进行预设长度截取和数据增强处理，确定第二样本切片图像阵列和第二样本光流图像阵列；进一步的，将第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络进行自对比学习和互对比学习的训
练，确定目标特征提取模型；最后，基于目标特征提取模型对应的模型训练结果，确定参考图像特征和参考类别信息。
62.需要说明的是，构建对比学习网络，与获取第二样本切片图像序列和第二样本光流图像序列的过程可以同时执行，也可以先后顺序执行。此处不作具体限定。
63.具体的，对比学习网络中包括的查询编码器和动量编码器的网络结构均相同，也即均包括至少两层卷积层和至少一层全连接层，卷积层的层数和全连接层的层数均为正整数，卷积层的层数大于全连接层的层数。示例性的，卷积层可以为13层，全连接层可以为3层。
64.针对对比学习网络中包括的查询编码器和动量编码器，相同之处都是用于将对应图像编码为终端设备可识别的数据流进行处理，不同之处在于，查询编码器用于主动查找相似度最高的图像特征，动量编码器用于被动查找相似度最高的图像特征。此处需要说明的是，查询编码器用于对被查找图像进行编码并逐步优化以提取出最优图像特征，动量编码器用于对所有图像及其增强后的图像进行编码并逐步优化，以更好提取图像特征。比如，针对100组且每组含有50张切片图像的情况，查询编码器可以用于针对a组50张切片图像提取出相似度最高的图像特征，动量编码器用于针对所有100组切片图像及其增强图像提取出相似度最高的图像特征。随着查找次数增加，不断通过优化损失来比较查询编码器中的特征与动量编码器中特征最接近的样本，同时更新两个编码器的编码方式，以更好的提取出特征。
65.获取第二样本切片图像序列，也可以为基于已有的(nuclear magnetic resonance，mri)脑肿瘤分割公开数据和脑ct公开数据作为源域数据获取第二样本切片图像序列，其获取方式可以包括但不限定自身存储器获取和云端获取，此处不作具体限定。并且第二样本切片图像序列，也可以是对由若干张样本切片图像组成的样本切片图像序列进行冗余去除后剩余的样本切片图像，也即，第二样本切片图像序列可以是针对一套全序列样本切片图像按顺序生成的一组样本切片图像序列去除冗余后剩余的样本切片图像，也可以是由多套全序列样本切片图像且每套全序列样本切片图像按顺序生成的一组样本切片图像序列去除冗余后剩余的切片图像。并且，样本图像切片序列也是使用ct技术，对患有脑部疾病的患者进行脑部ct检查所得的，且可以表示为:om＝{oi′
}，i
′
∈[1，m]；oi′
为第二样本切片图像序列中第i'张样本切片图像，om为第二样本切片图像序列中m张样本切片图像；并进一步生成第二样本切片图像序列中m张样本切片图像对应的第二样本光流图像序列fm，fm＝f(oj，o
j+1
)，j∈[1，m)，f(oj，o
j+1
)为针对m张样本切片图像生成每相邻连续两张样本切片图像的样本光流图像。
[0066]
需要说明的是，在生成每个样本光流图像的过程中可利用中间变量求解光流场，并在求解光流场时进行局部模糊化处理。考虑到脑ct图像独特的色彩特性，可以选择均值模糊法，并引入模糊权重因子以防止生成的光流场过于光滑或者过于微弱，模糊权重因子可以由相邻连续两张样本切片图像中像素点对的欧氏距离决定。
[0067]
基于此，对第二样本切片图像序列和第二样本光流图像分别进行预设长度截取和数据增强处理，确定第二样本切片图像阵列和第二样本光流图像阵列，此处先进行预设长度截取、再进行数据增强，预设长度截取可以用于将第二样本切片图像序列和第二样本光流图像分别转换为阵列形式，以提高后续比对学习过程的效率，降低运算复杂度；数据增强
可以采用现有数据增强方法。将第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络进行自对比学习和互对比学习的训练，确定目标特征提取模型；最后，基于目标特征提取模型对应的模型训练结果，确定参考图像特征和参考类别信息。
[0068]
此时，终端设备可以将第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络中进行自对比学习和互对比学习的训练进行训练，比如可以设定训练次数，通过第二样本切片图像阵列和第二样本光流图像阵列对所述对比学习网络进行设定训练次数的训练后，可以将当前训练后的模型训练结果发送至客户端，以通过客户端对应用户确定当前模型训练结果是否满足实际需求。
[0069]
当终端设备接收到客户端反馈的包括当前模型训练结果符合实际需求的第一反馈信息时，可以将所述模型训练结果的对应模型作为目标特征提取模型；反之，当终端设备接收到客户端反馈的包括当前模型训练结果不符合实际需求和更新一批训练数据的第二反馈信息时，可以将所述模型训练结果的对应网络作为新的对比学习网络，然后使用第二样本切片图像阵列中新的一批第二样本切片图像对新的对比学习网络进行设定次数的训练；直至接收到客户端反馈的所述第一反馈信息。再基于目标特征提取模型对应的模型训练结果，确定参考图像特征和参考类别信息，其用于表征每一类别脑部疾病对应的切片图像所需具备的特征。
[0070]
需要说明的是，由于第二样本切片图像阵列和第二样本光流图像阵列在输入按照对应脑ct样本图像切分的各个样本切片图像的顺序以及对应光流图像的顺序依次输入，但是输入后却是随机截取指定长度的，因此，第二样本切片图像阵列中每次训练可以针对一批第二样本切片图像(也即第二样本切片图像阵列中的一行第二样本切片图像)中每一张第二样本切片图像，与当前批第二样本切片图像中其它第二样本切片图像的特征相似度进行比对学习，以及与其余每一参与训练的一批第二样本切片图像的特征相似度进行比对学习；同理，第二样本光流图像阵列中每轮训练可以针对当前参与迭代训练的一批第二样本切片图像对应的一批第二样本光流图像中每一张第二样本光流图像，与当前批第二样本光流图像中其它第二样本光流图像的特征相似度进行比对学习，以及与其余每一参与训练的一批第二样本光流图像的特征相似度进行比对学习，以此实现针对第二样本切片图像阵列和第二样本光流图像阵列进行一次自对比学习的目的，再结合各自自对比学习所得相似度最高的特征之间的相似程度进行互对比学习，从而学习到更全面更丰富的图像特征，确保了所确定的参考图像特征和参考类别信息是全面且丰富的。
[0071]
本发明实施例提供的图像特征分类方法，终端设备通过将第二切片样本图像阵列和第二样本光流图像阵列输入至对比学习网络进行自对比学习和互对比学习的训练的方式，确定目标特征提取模型，以便于基于目标特征提取模型对应的模型训练结果，确定参考图像特征和参考类别信息图像，以此通过结合对切片图像和光流图像进行自对比学习和互对比学习提高特征提取的全面性和丰富性，提高了训练过程的稳定性和可靠性，从而也为后续精准分类提供可靠保障。
[0072]
可选的，将第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络进行自对比学习和互对比学习的训练，确定目标特征提取模型，包括：
[0073]
首先，将第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络进行自对比学习和互对比学习的迭代训练，获取迭代训练后的中间特征提取模型的损失值；
再进一步基于中间特征提取模型的损失值，获取参数更新后的中间特征提取模型；然后，根据第二样本切片图像阵列和第二样本光流图像阵列，对参数更新后的中间特征提取模型进行迭代训练，确定目标特征提取模型。
[0074]
具体的，将第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络进行自对比学习和互对比学习的迭代训练，是由对比学习网络可以针对第二样本光流图像阵列中每组第二样本光流图像(也即每一行第二样本光流图像)提取特征，再将所提取的特征和对应一组第二样本光流图像所提取的特征进行比较，确定出可用于辅助对应一批第二样本切片图像进行对比学习的特征；同理，对比学习网络也可以针对第二样本切片图像阵列中每组第二样本切片图像(也即每一行第二样本切片图像)提取特征，再将所提取的特征和对应一组第二样本切片图像所提取的特征进行比较，确定出可用于辅助对应一批第二样本光流图像进行对比学习的特征，以此完成一次迭代训练，并获取迭代训练后的中间特征提取模型的损失值，并基于该中间特征提取模型的损失值，获取本次参数更新后的中间特征提取模型，再使用第二样本切片图像阵列中下一组第二样本切片图像以及该下一组第二样本切片图像对应的一组张第二样本光流图像，对参数更新后的中间特征提取模型再次进行迭代训练。直至训练结束时确定目标特征提取模型。
[0075]
需要说明的是，由于对比学习网络是由查询编码器和动量编码器构建的，因此，针对每次迭代训练获取参数更新后的中间提取模型，查询编码器的参数在第1次迭代训练时不更新，之后每次迭代训练使用梯度立即进行参数更新；动量编码器的参数在第1次迭代训练时也不更新，之后每次迭代训练后通过比较和动量法进行参数更新。
[0076]
本发明实施例提供的图像特征提取方法，通过将第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络进行迭代训练所获取的迭代训练后的中间特征提取模型的损失值，获取参数更新后的中间特征提取模型，再使用第二样本切片图像阵列和第二样本光流图像阵列，对参数更新后的中间特征提取模型进行迭代训练的方式，实现快速且可靠训练模型的目的，以此结合每次训练所得损失值更新模型参数及每组第二样本切片图像和对应第二样本光流图像均会不同程度参与比对学习，有效提高了对比学习网络的训练精度和准确度。
[0077]
可选的，将第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络进行自对比学习和互对比学习的迭代训练，获取迭代训练后的中间特征提取模型的损失值，包括：
[0078]
针对每次迭代训练，在第二样本切片图像序列包括多个切片图像分组的情况下，基于对比学习网络，将切片图像分组中第二样本切片图像与其它第二样本切片图像分别进行自对比学习，确定本次迭代训练所得的切片图像特征；在第二样本光流图像阵列包括多个光流图像分组的情况下，基于对比学习网络，将光流图像分组中第二样本光流图像与其它第二样本光流图像分别进行自对比学习，确定本次迭代训练所得的光流图像特征；获取切片图像特征对应的第一损失以及光流图像特征对应的第二损失；基于第一损失和第二损失，获取用于辅助对比学习的正样本，并基于切片图像特征和光流图像特征中的其中一个以及正样本进行互对比学习，确定本次迭代训练后的中间特征提取模型的损失值。
[0079]
具体的，设定第二样本切片图像阵列包括m个切片图像分组且每个切片图像分组含有n张第二样本切片图像，针对将第二样本切片图像阵列和第二样本光流图像阵列输入
至对比学习网络进行自对比学习和互对比学习的每次迭代训练，使用第t个切片图像分组中第g张第二样本切片图像分别与第t个切片图像分组中其余第二样本切片图像进行对比学习，以及分别与其余m-1个切片图像分组中所有第二样本光流图像进行对比学习，确定与第g张第二样本切片图像特征相似程度最高的前l个图像特征且记为topl，此时完成针对第g张第二样本切片图像的自对比学习；令g遍历1至n，当第t个切片图像分组中每一张第二样本切片图像均完成自对比学习时，可以确定m组topl，再从m组topl中确定损失值最低的目标topl，且确定目标topl为本次迭代训练所得的切片图像特征；同理，使用第二样本光流图像阵列中与第t个切片图像分组对应的n’张第二样本光流图像作为第二样本光流图像阵列中第t’个光流图像分组进行对比学习，可以是使用第t’个光流图像分组中第g’张第二样本光流图像分别与第t’个光流图像分组中其余第二样本光流图像进行对比学习，以及分别与第二样本光流图像阵列中除去第t’个光流图像分组之外的其余所有第二样本光流图像进行对比学习，确定与第g’张第二样本光流图像的特征相似程度最高的前l’个图像特征且记为topl’，此时完成针对第g’张第二样本光流图像的自对比学习；令g’遍历1至n’，当第t’个光流图像分组中每一张第二样本光流均完成自对比学习时，可以确定m’组topl’，再从m’组topl’中确定损失值最低的目标topl’，且确定目标topl’为本次迭代训练所得的光流图像特征。其中，m’为与阵列包括m批第二样本切片图像对应的第二样本光流图像总批数，l与l’的取值相同且均为正整数。
[0080]
基于此，针对第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络进行自对比学习和互对比学习的迭代训练，每迭代训练一次均会确定切片图像特征和光流图像特征，并计算确定切片图像特征对应的第一损失以及光流图像特征对应的第二损失，也即切片图像特征在确定过程中产生的第一损失以及光流图像特征在确定过程中产生的第二损失，其计算公式如下：
[0081][0082][0083]
其中，τ为温度超参数，p∈pi，pi为本次迭代训练参与对比学习的正样本集合，pi＝p
ori_i
+p
opt_i
，p
ori_i
为第二样本切片图像阵列中的一组第二样本切片图像在本次迭代训练中查找的用于互对比学习的第一正样本且以集合形式显示，p
opt，i
为第二样本光流图像阵列中的一组第二样本光流图像在本次迭代训练中查找的用于互对比学习的第二正样本且以集合形式显示，n∈ni，ni为本次迭代训练参与对比学习的负样本集合，ni＝n
ori_i
+z
opt_i
，n
ori_i
为第二样本切片图像阵列中的一组第二样本切片图像在本次迭代训练中查找的不用于互对比学习的第一负样本且以集合形式显示，z
opt_i
为第二样本光流图像阵列中的一组第二样本光流图像在本次迭代训练中查找的不用于互对比学习的第二正样本且以集合形式显示，每个负样本均与对应所需对比学习的图像隔开至少n的距离，所需对比学习的图像可以为第二样本切片图像，也可以为第二样本光流图像；z
p
为正样本集合pi中的正样本p在切片特征空间表征或者在光流特征空间表征，zn为负样本集合ni中的负样本n在光流特征空间表征
或者在切片特征空间表征，l
rgb
为切片图像特征对应的第一损失，l
flow
为光流图像特征对应的第二损失。
[0084]
此时，基于所述第一损失和所述第二损失，获取用于辅助对比学习的第一正样本或第二正样本正样本，并基于切片图像特征和光流图像特征中的其中一个，以及第一正样本和第二正样本正样本中的其中一个进行互对比学习，确定本次互对比学习产生的联合训练损失l
cotrain
，其计算公式为：
[0085][0086]
其中，n为正样本集合pi中的正样本数量，x为正样本集合pi中的一个正样本，m为第二样本切片图像阵列中含有的类别数量，c为第二样本切片图像阵列含有的m个类别中的一个类别，q
xc
为第二样本切片图像阵列中参与本次迭代训练的一组第二样本切片图像及其对应的第一正样本x或者第二样本光流图像中参与本次迭代训练的一组第二样本光流图像及其对应的第二正样本x的真实类别为c时取值为1、该真实类别不为c时取值为0；p
xc
为第二样本切片图像阵列中参与本次迭代训练的一组第二样本切片图像及其对应的第一正样本x或者第二样本光流图像中参与本次迭代训练的一组第二样本光流图像及其对应的第二正样本x属于类别c的预测概率。
[0087]
基于此，可以确定本次迭代训练后的中间特征提取模型的损失值，包括本次互对比学习产生的联合训练损失、第一损失和第二损失。
[0088]
本发明实施例提供的图像特征分类方法，在每次迭代训练通过对第二样本切片图像阵列中一组第二样本切片图像以第二样本光流图像阵列中对应一组第二样本光流图像进行自对比学习和互对比学习的方式，确定每次迭代训练所得的切片图像特征和光流图像特征，并再进一步通过基于切片图像特征和光流图像特征各自对应的损失获取的正样本进行互对比学习的方式，确定每次迭代训练后的中间特征提取模型的损失值，以此实现自对比学习所得特征挖掘不同相似度程度高的正样本进行后续互对比学习的同时，也能实现减小中间特征提取模型损失的目的，不仅能够各自自对比学习，也能互相促进和反补，有效提高了特征提取的准确性和模型训练的精度。
[0089]
可选的，基于第一损失和第二损失，获取用于辅助对比学习的正样本，并基于切片图像特征和光流图像特征中的其中一个以及正样本进行互对比学习，确定本次迭代训练后的中间特征提取模型的损失值，其实现过程可以包括：
[0090]
当第一损失大于第二损失时，将光流图像特征对应的第二样本光流图像确定为切片图像特征的第一正样本，并基于对比学习网络，对第一正样本和切片图像特征对应的切片图像分组进行对比学习，确定本次迭代训练后的中间特征提取模型的损失值；当第一损失小于第二损失时，将切片图像特征对应的第二样本切片图像确定为光流图像特征的第二正样本，并基于对比学习网络，对第二正样本和光流图像特征对应的光流图像分组进行对比学习，确定本次迭代训练后的中间特征提取模型的损失值。
[0091]
具体的，当确定第一损失大于第二损失时，则认为参与本次迭代训练的一批第二样本切片图像的自对比学习效果，没有参与本次迭代训练的一批第二样本光流图像的自对比学习效果好，此时可以采用基于第二损失所对应的光流图像特征辅助第一损失对应的切
片图像特征再次进行对比学习的思想，将光流图像特征对应的第二样本光流图像确定为切片图像特征的第一正样本，并基于对比学习网络，对第一正样本和切片图像特征对应的切片图像分组进行对比学习，以使得学习到更充分更全面的特征。反之，当确定第二损失大于第一损失时，则认为参与本次迭代训练的一批第二样本光流图像的自对比学习效果，没有参与本次迭代训练的一批第二样本切片图像的自对比学习效果好，此时可以采用基于第一损失所对应的切片图像特征辅助第二损失对应的光流图像特征再次进行对比学习的思想，将切片图像特征对应的第二样本切片图像确定为光流图像特征的第二正样本，并基于对比学习网络，对第二正样本和光流图像特征对应的光流图像分组进行对比学习，以使得学习到更充分更全面的特征。
[0092]
需要说明的是，当第一损失等于第二损失时，则确定切片图像特征对应的切片图像分组与光流图像特征对应的光流图像具备匹配关系且大概率指代同一种脑部疾病类型，此时针对本次迭代训练而言，无需获取正样本进行互对比学习，并且可以确定本次迭代所得的中间特征提取模型对应的模型训练结果为该同一脑部疾病的参考图像特征和参考类别信息。但在实际处理过程中，第一损失和第二损失再相似也会存在一定的差异，比如小数点后6位。因此，第一损失和第二损失相等的可能性很小。
[0093]
本发明实施例提供的图像特征分类方法，通过比较第一损失和第二损失的大小关系，确定切片图像特征的第一正样本或者光流图像特征的第二正样本，以此使得切片图像特征对应的切片图像分组结合第一正样本能够再次对比学习，或者使得光流图像特征对应的光流图像分组结合第二正样本再次对比学习，实现了在自对比学习结果的基础上再次进行互对比学习的目的，结合自对比学习和互对比学习的交替方式，有效提高了特征提取的准确性和可靠性。
[0094]
可选的，基于目标特征提取模型对应的模型训练结果，确定参考图像特征和所述参考类别信息，其过程可以包括：
[0095]
确定目标特征提取模型对应的模型训练结果包括每次迭代所得的中间特征提取模型对应的模型训练结果时，从每次迭代所得的中间特征提取模型对应的模型训练结果中确定参考图像特征和参考类别信息。
[0096]
具体的，第二样本切片图像阵列和第二样本光流图像阵列进入对比学习网络后，不仅会被编码为终端设备可识别处理的数据流，而且按照对应脑ct样本图像切分的各个样本切片图像的顺序以及对应光流图像的顺序依次输入后会被随机截取指定长度，这就导致后续进行对比学习的一组第二样本切片图像和一组第二样本光流图像很大程度不是来自于同一套脑部ct图像，因此通过对每组第二样本切片图像和对应一组第二样本光流图像进行自对比学习和互对比学习的方式，可以获取到第二样本切片图像阵列所含有的每种脑部疾病类别及对应的图像特征。基于此，当第二样本切片图像阵列包括m个切片图像分组且每个切片图像分组含有n张第二样本切片图像时，可以确定执行m次迭代训练，每次迭代训练针对一个切片图像分组，且每次迭代所得的中间特征提取模型对应的模型训练结果包括对应切片图像分组指代的一种脑部疾病的参考图像特征和参考类别信息，并且由于可能存在两组或两组以上切片图像分组指代同一种脑部疾病的情况，因此针对m个切片图像分组分别迭代训练一次后所确定的参考图像特征和参考类别信息的数量小于等于m。
[0097]
本发明实施例提供的图像特征分类方法，通过从每次迭代所得的中间特征提取模
型对应的模型训练结果中确定对应参考图像特征和参考类别信息的方式，确定第二样本切片图像阵列所含的参考图像特征和参考类别信息，有效提高了特征提取的全面性和丰富性，也为后续图像特征的精准分类奠定基础。
[0098]
可选的，步骤110中目标特征分类模型的训练过程包括：
[0099]
首先，获取属于参考图像特征和参考类别信息的第一样本切片图像序列，第一样本切片图像序列划分为多组切片图像且每组切片图像标识对应的参考图像特征及参考类别信息；再进一步基于第一样本切片图像序列对分类器进行训练，确定目标特征分类模型。
[0100]
具体的，第一样本切片图像序列划分为多组切片图像且每组切片图像标识对应的参考图像特征及参考类别信息，可以理解为每组切片图像标识对应的具体脑部疾病及该具体脑部疾病的具体图像特征，比如脑梗塞及脑梗塞的具体图像特征、脑出血及脑出血的具体图像特征、脑肿瘤及脑肿瘤的具体图像特征，等等。然后使用第一样本切片图像序列对分类器进行训练，比如可以设定训练次数，通过第一样本切片图像序列对分类器进行设定训练次数的训练后，可以将当前训练后的中间分类模型发送至客户端，以通过客户端对应用户确定当前训练后的中间特征分类模型是否满足实际需求。
[0101]
当终端设备接收到客户端反馈的包括当前训练后的中间特征分类模型满足实际需求的第三反馈信息时，可以将当前训练后的中间特征分类模型确定为目标特征分类模型；反之，当终端设备接收到客户端反馈的包括当前训练后的中间特征分类模型不满足实际需求的第四反馈信息时，可以使用第一样本切片图像序列中未经过训练的第一样本切片图像，将当前训练后的中间特征分类模型作为新的分类特征模型，然后使用未经过训练的第一样本切片图像对新的分类特征模型进行训练次数的训练。直至接收到客户端反馈的第三反馈信息。
[0102]
本发明实施例提供的图像特征分类方法，通过使用属于参考图像特征和参考类别信息的第一样本切片图像序列对分类器进行训练的过程得到目标特征分类模型，以此实现根据不同参考类别信息和不同参考图像特征训练分类器的目的，提高了训练过程的稳定性和可靠性。
[0103]
可选的，使用第一样本切片图像对分类器进行训练，确定目标特征分类模型，其实现过程可以包括：
[0104]
首先，基于第一样本切片图像序列对分类器进行迭代训练，获取迭代训练后的中间特征分类模型的损失值；基于中间特征分类模型的损失值，获取参数更新后的中间特征分类模型；再进一步根据第一样本切片图像序列中剩余第一样本切片图像，对参数更新后的中间特征分类模型进行迭代训练，确定目标特征分类模型。
[0105]
具体的，设定第一样本切片图像序列中包括g组切片图像且每组切片图像标识对应的参考图像特征及参考类别信息；使用g组切片图像中第1组切片图像对初始检测模型进行第1次训练，获取第1次训练所得中间特征分类模型的损失值，然后基于第1次训练所得中间特征分类模型的损失值，获取第1次模型参数更新后的中间特征分类模型，以使得下次训练所得模型的损失比当前模型的损失小。再使用g组切片图像中第2组切片图像对第1次模型参数更新后的中间特征分类模型进行第2次训练，获取第2次训练所得中间特征分类模型的损失值，然后基于第2次训练所得中间特征分类模型的损失值，获取第2次模型参数更新后的中间特征分类模型，再使用g组切片图像中第3组切片图像对第2次模型参数更新后的
中间特征分类模型进行第3次训练；直至使用g组切片图像中第g组切片图像对第g-1次模型参数更新后的中间特征分类模型进行第m次训练。以此完成针对第一样本切片图像序列的g次训练，g的取值为大于1的正整数。
[0106]
当第一样本切片图像序列被训练g次后，即可停止模型训练，并确定模型训练停止时对应的中间特征分类模型为目标特征分类模型。
[0107]
可以理解的是，针对每组切片图像进行迭代训练，获取对应中间特征分类模型的损失值l，可用于检测每次分类的效率和准确性，其计算公式为：
[0108]
l＝l
dws
(ym′
，m
′
)+αl
cont
[0109]
其中，α为平衡对比学习任务和分类任务的平衡参数且α∈(0,1)，l
cont
为通过自对比和互对比提取特征所产生的损失，l
dws
为特征分类产生的损失，ym′
为类别标签m’中对应标签分类成功的概率，m’为第一样本切片图像序列中所需分类的类别标签。
[0110]
本发明实施例提供的图像特征分类方法，通过根据第一样本切片图像序列对分类器进行迭代训练所获取的迭代训练后的中间特征分类模型的损失值，进一步获取参数更新后的中间特征分类模型，再使用第一样本切片图像序列中剩余第一样本切片图像针对参数更新后的中间特征分类模型进行迭代训练的方式，实现模型训练的目的，以此结合每次训练所得损失值更新模型参数以及对每组切片图像都进行训练，有效提高了训练分类器的训练精度和准确度。
[0111]
下面对本发明实施例提供的图像特征分类装置进行描述，下文描述的图像特征分类装置与上文描述的图像特征分类方法可相互对应参照。
[0112]
参照图2，为本发明实施例提供的图像特征分类装置的结构示意图，如图2所示，该图像特征分类装置200，可以包括：
[0113]
获取模块210，用于获取待测切片图像；
[0114]
分类模块220，用于将待测切片图像输入至目标特征分类模型，获取待测切片图像的目标图像特征和目标类别信息；
[0115]
其中，目标特征分类模型是属于参考图像特征和参考类别信息的第一样本切片图像序列训练分类器所得的模型，参考图像特征和参考类别信息是基于第二样本切片图像序列和第二样本光流图像序列进行自对比学习和互对比学习得到的。
[0116]
可选的，所述装置还可以包括处理模块，具体可以用于构建对比学习网络，对比学习网络包括查询编码器和动量编码器，查询编码器用于主动查找相似度最高的图像特征，动量编码器用于被动查找相似度最高的图像特征；获取第二样本切片图像序列和第二样本切片图像序列对应的第二样本光流图像序列；对第二样本切片图像序列和第二样本光流图像分别进行预设长度截取和数据增强处理，确定第二样本切片图像阵列和第二样本光流图像阵列；将第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络进行自对比学习和互对比学习的训练，确定目标特征提取模型；基于目标特征提取模型对应的模型训练结果，确定参考图像特征和参考类别信息。
[0117]
可选的，处理模块，具体还可以用于将第二样本切片图像阵列和第二样本光流图像阵列输入至对比学习网络进行自对比学习和互对比学习的迭代训练，获取迭代训练后的中间特征提取模型的损失值；基于中间特征提取模型的损失值，获取参数更新后的中间特征提取模型；根据第二样本切片图像阵列和第二样本光流图像阵列，对参数更新后的中间
特征提取模型进行迭代训练，确定目标特征提取模型。
[0118]
可选的，处理模块，具体还可以用于针对每次迭代训练，在第二样本切片图像序列包括多个切片图像分组的情况下，基于对比学习网络，将切片图像分组中第二样本切片图像与其它第二样本切片图像进行自对比学习，确定本次迭代训练所得的切片图像特征；在第二样本光流图像阵列包括多个光流图像分组的情况下，基于对比学习网络，将光流图像分组中第二样本光流图像与其它第二样本光流图像分别进行自对比学习，确定本次迭代训练所得的光流图像特征；获取切片图像特征对应的第一损失以及光流图像特征对应的第二损失；基于第一损失和第二损失，获取用于辅助对比学习的正样本，并基于切片图像特征和光流图像特征中的其中一个以及正样本进行互对比学习，确定本次迭代训练后的中间特征提取模型的损失值。
[0119]
可选的，处理模块，具体还可以用于当第一损失大于第二损失时，将光流图像特征对应的第二样本光流图像确定为切片图像特征的第一正样本，并基于对比学习网络，对第一正样本和切片图像特征对应的切片图像分组进行对比学习，确定本次迭代训练后的中间特征提取模型的损失值；当第一损失小于第二损失时，将切片图像特征对应的第二样本切片图像确定为光流图像特征的第二正样本，并基于对比学习网络，对第二正样本和光流图像特征对应的光流图像分组进行对比学习，确定本次迭代训练后的中间特征提取模型的损失值。
[0120]
可选的，处理模块，具体还可以用于确定本次迭代训练后的中间特征提取模型的损失值，包括第一损失、第二损失以及本次互对比学习产生的联合训练损失。
[0121]
可选的，处理模块，具体还可以用于确定目标特征提取模型对应的模型训练结果包括每次迭代所得的中间特征提取模型对应的模型训练结果时，从每次迭代所得的中间特征提取模型对应的模型训练结果中确定参考图像特征和参考类别信息。
[0122]
可选的，处理模块，具体还可以用于获取属于参考图像特征和参考类别信息的第一样本切片图像序列，第一样本切片图像序列划分为多组切片图像且每组切片图像标识对应的参考图像特征及参考类别信息；基于第一样本切片图像序列对分类器进行训练，确定目标特征分类模型。
[0123]
可选的，处理模块，具体还可以用于基于第一样本切片图像序列对分类器进行迭代训练，获取迭代训练后的中间特征分类模型的损失值；基于中间特征分类模型的损失值，获取参数更新后的中间特征分类模型；根据第一样本切片图像序列中剩余第一样本切片图像，对参数更新后的中间特征分类模型进行迭代训练，确定目标特征分类模型。
[0124]
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备300可以包括：处理器(processor)310、通信接口(communicationsinterface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行图像特征分类方法，该方法包括：
[0125]
获取待测切片图像；
[0126]
将待测切片图像输入至目标特征分类模型，获取待测切片图像的目标图像特征和目标类别信息；
[0127]
其中，目标特征分类模型是属于参考图像特征和参考类别信息的第一样本切片图
像序列训练分类器所得的模型，参考图像特征和参考类别信息是基于第二样本切片图像序列和第二样本光流图像序列进行自对比学习和互对比学习得到的。
[0128]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0129]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像特征分类方法，该方法包括：
[0130]
获取待测切片图像；
[0131]
将待测切片图像输入至目标特征分类模型，获取待测切片图像的目标图像特征和目标类别信息；
[0132]
其中，目标特征分类模型是属于参考图像特征和参考类别信息的第一样本切片图像序列训练分类器所得的模型，参考图像特征和参考类别信息是基于第二样本切片图像序列和第二样本光流图像序列进行自对比学习和互对比学习得到的。
[0133]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像特征分类方法，该方法包括：
[0134]
获取待测切片图像；
[0135]
将待测切片图像输入至目标特征分类模型，获取待测切片图像的目标图像特征和目标类别信息；
[0136]
其中，目标特征分类模型是属于参考图像特征和参考类别信息的第一样本切片图像序列训练分类器所得的模型，参考图像特征和参考类别信息是基于第二样本切片图像序列和第二样本光流图像序列进行自对比学习和互对比学习得到的。
[0137]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0138]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0139]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。