基于多任务的眼底图像分类方法、装置、设备及存储介质

本技术涉及医学图像处理，尤其涉及一种基于多任务的眼底图像分类方法、装置、设备及存储介质。

背景技术：

1、眼底图像适用于诊断患者是否存在眼疾的重要依据之一，对眼底图像进行分类能够帮助减轻眼疾诊断工作量。近年来，得益于人工智能算法的创新以及计算资源的增长，涌现出大量的图像多标签分类方法，如asl、ml_decoder和query2label等。

2、图像的多标签分类方法在目前自然场景的图像多标签分类数据集coco上取得很高的性能指标，这些方法主要针对自然图像进行优化，算法相对复杂，需要大量的数据驱动才能得到较好的性能，但是眼底图像的获取与自然图像有着较大的区别，需要专门的医疗设备才能进行拍摄，而带有多标签标注的眼底图像数据集更是稀少。因此将目前已有的分类方法用于眼底图像的效果并不理想，普适性和实用性较低。

3、同时，在实际使用中如若设计多类眼疾同时判断，需要使用多个单标签分类器，使得模型训练的成本和模型部署的成本大大增加。

技术实现思路

1、本技术的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于多任务的眼底图像分类方法、装置、设备及存储介质，能够通过多任务学习实现对眼底图像的准确分类，提高目前图像分类模型在眼底图像分类应用的实用性和普适性。

2、本技术的第一方面提出了一种基于多任务的眼底图像分类方法，包括以下步骤：

3、获取眼底图像样本集，其中，所述眼底图像样本集包括多个的眼底图像样本数据，每个所述眼底图像样本数据包括眼底图像样本、所述眼底图像样本对应的第一标签数据和第二标签数据，所述第一标签数据包括多个用于指示是否患有相应疾病的疾病标签，所述第二标签数据包括用于指示健康状态的状态标签；

4、构建眼底图像分类模型，并将所述眼底图像样本输入眼底图像分类模型，得到所述眼底图像样本对应的第一预测结果和第二预测结果，其中，所述第一预测结果为多种疾病对应的风险预测结果，所述第二预测结果为健康状态预测结果；

5、根据所述第一预测结果、所述第二预测结果、所述第一标签数据和所述第二标签数据确定损失函数值，并基于所述损失函数值训练所述眼底图像分类模型，以获得训练好的目标眼底图像分类模型；

6、获取待检测眼底图像，将所述待检测眼底图像输入所述目标眼底图像分类模型，以获得所述待检测眼底图像对应的所述第一预测结果和所述第二预测结果。

7、根据本技术的一些实施例，所述眼底图像样本集包括训练集和测试集；所述将所述眼底图像样本输入眼底图像分类模型，得到所述眼底图像样本对应的第一预测结果和第二预测结果，根据所述第一预测结果、所述第二预测结果、所述第一标签数据和所述第二标签数据确定损失函数值，并基于所述损失函数值训练所述眼底图像分类模型，以获得训练好的目标眼底图像分类模型，包括：

8、将所述训练集的所述眼底图像样本输入眼底图像分类模型，得到对应的第一预测结果和第二预测结果，根据所述眼底图像样本对应的所述第一预测结果和所述第一标签数据计算得到第一训练损失函数值，根据所述眼底图像样本对应的所述第二预测结果和所述第二标签数据计算得到第二训练损失函数值，根据所述第一训练损失函数值和所述第二训练损失函数值计算得到多任务训练损失函数值，根据所述训练损失函数值进行反向传播，更新所述眼底图像分类模型的模型参数；

9、将所述测试集的所述眼底图像样本输入更新模型参数后的所述眼底图像分类模型，得到对应的第一预测结果和第二预测结果，根据所述眼底图像样本对应的所述第一预测结果和所述第一标签数据计算得到第一测试损失函数值，根据所述眼底图像样本对应的所述第二预测结果和所述第二标签数据计算得到第二测试损失函数值，根据所述第一测试损失函数值和所述第二测试损失函数值计算得到多任务测试损失函数值，根据所述多任务测试损失函数值判断所述眼底图像分类模型是否收敛，在所述眼底图像分类模型收敛的情况下获得所述目标眼底图像分类模型。

10、根据本技术的一些实施例，将所述训练集的所述眼底图像样本输入眼底图像分类模型之前，还包括：对所述训练集的所述眼底图像样本进行第一预处理，其中，所述第一预处理包括：短边缩放操作、随机裁剪、随机水平翻转操作、归一化操作和转换成张量；

11、将所述测试集的所述眼底图像样本输入更新模型参数后的所述眼底图像分类模型之前，还包括：对所述测试集的所述眼底图像样本进行第二预处理，其中，所述第二预处理包括：短边缩放操作、中心裁剪、归一化操作和转换成张量。

12、根据本技术的一些实施例，所述眼底图像分类模型包括通用图像分类网络、第一任务分类网络和第二任务分类网络；所述眼底图像分类模型对于输入的所述眼底图像样本的处理过程包括：

13、通过所述通用图像分类网络基于输入的所述眼底图像样本，输出图像特征向量；

14、将所述图像特征向量输入所述第一任务分类网络，得到所述第一预测结果；

15、将所述图像特征向量输入所述第二任务分类网络，得到所述第二预测结果。

16、根据本技术的一些实施例，所述第一任务分类网络包括注意力层、第一全连接层和第一激活函数层；所述图像特征向量依次经过所述注意力层、所述第一全连接层和所述第一激活函数层后，得到所述第一预测结果。

17、根据本技术的一些实施例，所述第二任务分类网络包括第二全连接层和第二激活函数层；所述图像特征向量依次经过所述第二全连接层和所述第二激活函数层后，得到所述第二预测结果。

18、根据本技术的一些实施例，所述注意力层包括依次连接的第三全连接层、批次归一化层、第三激活函数层、第四全连接层、第四激活函数层和合并模块；所述图像特征向量依次经过所述第三全连接层、所述批次归一化层、所述第三激活函数层、所述第四全连接层和所述第四激活函数层后，得到第一特征向量；所述第一特征向量与所述图像特征向量经过所述合并模块相乘，得到所述注意力层用于输入到所述第一全连接层的第二特征向量。

19、本技术的第二方面提出了一种基于多任务的眼底图像分类装置，包括：

20、样本获取模块，用于获取眼底图像样本集，其中，所述眼底图像样本集包括多个的眼底图像样本数据，每个所述眼底图像样本数据包括眼底图像样本、所述眼底图像样本对应的第一标签数据和第二标签数据，所述第一标签数据包括多个用于指示是否患有相应疾病的疾病标签，所述第二标签数据包括用于指示健康状态的状态标签；

21、模型构建模块，用于构建眼底图像分类模型；

22、预测模块，用于将所述眼底图像样本输入眼底图像分类模型，得到所述眼底图像样本对应的第一预测结果和第二预测结果，其中，所述第一预测结果为多种疾病对应的风险预测结果，所述第二预测结果为健康状态预测结果；

23、训练模块，用于根据所述第一预测结果、所述第二预测结果、所述第一标签数据和所述第二标签数据确定损失函数值，并基于所述损失函数值训练所述眼底图像分类模型，以获得训练好的目标眼底图像分类模型；

24、所述预测模块，还用于获取待检测眼底图像，将所述待检测眼底图像输入所述目标眼底图像分类模型，以获得所述待检测眼底图像对应的所述第一预测结果和所述第二预测结果。

25、本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

26、本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

27、本技术提出的基于多任务的眼底图像分类方法、装置、电子设备及存储介质,其通过构建以图像分类框架的作为基本网络增加双分支进行分类任务学习的眼底图像分类模型，通过计算损失函数，并基于损失函数训练所述构建的眼底图像分类模型，得到目标眼底图像分类模型，能够实现高性能指标的眼底图像分类；通过多任务学习的模型训练方法使用较少参数量即可得到有效的分类模型，节省了模型训练成本和模型部署成本，同时也提高了目前分类方法在眼底图像分类领域的普适性和实用性。