细胞图像质量评估及其模型训练方法、装置、电子设备和存储介质与流程

本公开的实施例涉及图像处理，具体涉及细胞图像质量评估及其模型训练方法、装置、电子设备和存储介质。

背景技术：

1、细胞显微影像在肿瘤精确诊疗领域发挥着至关重要的角色。它作为一种重要的临床诊断工具，不仅可以为医生提供有关患者细胞状态的详细信息，还可以为临床决策提供有力依据。

2、在实际应用过程中，细胞显微影像的数据来源多样，包括不同的医疗机构和实验人员。细胞显微影像数据的质量评估主要依赖于判读人员的主观感受，这种方式不仅效率较低，而且由于个体差异，一致性也较差。同时，多来源的特点使得影像数据的质量评估体系不稳定，进而导致人工智能模型的性能不稳定，使得细胞显微影像在临床诊断中的应用受到了一定程度的限制。

3、因此，如何客观、准确地对细胞图像进行质量评估，是本领域技术人员亟须解决的技术问题。

技术实现思路

1、本公开的实施例提出了细胞图像质量评估及其模型训练方法、装置、电子设备和存储介质。

2、第一方面，本公开的实施例提供了一种细胞图像质量评估模型训练方法，该方法包括：

3、利用预先训练的质量评估模型，分别对样本集中每个细胞图像进行质量评估，得到相应的质量评估结果，上述样本集包括合格细胞图像和不合格细胞图像；

4、基于上述样本集中质量评估结果为合格的合格细胞图像生成真阴样本集；

5、基于上述样本集中质量评估结果为不合格的合格细胞图像生成难样本集；

6、利用难样本集和真阴样本集，对上述预先训练的质量评估模型进行训练，得到训练后的最终质量评估模型。

7、作为一种可能的实施方式，在上述利用预先训练的质量评估模型，分别对样本集中每个细胞图像进行质量评估，得到相应的质量评估结果之前，上述方法还包括：

8、利用上述样本集，对原始质量评估模型进行预训练，得到预先训练的质量评估模型。

9、作为一种可能的实施方式，利用预先训练的质量评估模型，分别对样本集中每个细胞图像进行质量评估，得到相应的质量评估结果，包括：

10、对于上述样本集中的每个细胞图像，执行以下质量评估操作：对该细胞图像进行切分得到与该细胞图像对应的多个图像块；以该细胞图像作为包，以该细胞图像对应的多个图像块作为实例，利用上述预先训练的质量评估模型进行质量评估，得到该细胞图像的质量评估结果。

11、作为一种可能的实施方式，上述质量评估模型为多实例学习模型，包括特征提取器、多实例学习网络和分类模型；以及

12、上述以该细胞图像作为包，以该细胞图像对应的多个图像块作为实例，利用上述预先训练的质量评估模型进行质量评估，得到该细胞图像的质量评估结果，包括：

13、将该细胞图像的每个图像块输入上述特征提取器，得到相应图像块的嵌入特征向量，拼接该细胞图像的各图像块的嵌入特征向量得到该细胞图像的嵌入特征向量；

14、将该细胞图像的嵌入特征向量输入上述多实例学习网络，得到该细胞图像的概率向量；

15、将该细胞图像的概率向量输入上述分类模型，得到该细胞图像的质量评估结果。

16、作为一种可能的实施方式，上述将该细胞图像的嵌入特征向量输入上述多实例学习网络，得到该细胞图像的概率向量，包括：

17、对该细胞图像的每个图像块的嵌入特征向量进行降维，得到相应图像块的降维特征向量；

18、基于多头注意力机制，确定用于表征该细胞图像的多个图像块的降维特征向量之间相关性的第一相关性向量；

19、利用位置编码特征提取器，对该细胞图像的每个图像块的降维向量的位置信息进行编码，得到相应图像块的位置信息编码向量；

20、基于多头注意力机制，确定用于表征该细胞图像的多个图像块的位置信息编码向量之间相关性的第二相关性向量；

21、将该细胞图像的降维特征向量上述第一相关性向量和上述第二相关性向量输入全连接层，得到该细胞图像的概率向量。

22、作为一种可能的实施方式，上述样本集通过以下样本抽取操作获得：

23、获取完整样本集，上述完整样本集中合格细胞图像的数量远大于不合格细胞图像的数量；

24、将上述完整样本集中的不合格细胞图像加入上述样本集；

25、从上述完整样本集中，抽取与上述完整样本集中不合格细胞图像数量相同的合格细胞图像加入上述样本集。

26、作为一种可能的实施方式，上述利用预先训练的质量评估模型，分别对样本集中每个细胞图像进行质量评估，得到相应的质量评估结果之后，上述方法还包括：

27、基于该细胞图像的质量评估结果与用于表征该细胞图像为合格细胞图像或者不合格细胞图像的标签之间的差异，计算该细胞图像对应的损失值；以及

28、上述基于上述样本集中质量评估结果为不合格的合格细胞图像生成难样本集，包括：

29、对于上述样本集中的假阳样本，以该假阳样本对应的损失值作为该假阳样本的抽取概率，从上述样本集中抽取与上述真阴样本集相同样本数量的假阳样本，形成难样本集，其中，假阳样本为质量评估结果为不合格的合格细胞图像。

30、第二方面，本公开的实施例提供了一种细胞图像质量评估方法，该方法包括：

31、获取待评估细胞图像；

32、将上述待评估细胞图像输入训练后的最终训练质量评估模型，得到上述待评估细胞图像的质量评估结果，其中，上述训练后的最终训练质量评估模型是采用如第一方面上述的细胞图像质量评估模型训练方法训练得到的。

33、第三方面，本公开的实施例提供了一种细胞图像质量评估模型训练装置，该装置包括：

34、评估模块，用于利用预先训练的质量评估模型，分别对样本集中每个细胞图像进行质量评估，得到相应的质量评估结果，上述样本集包括合格细胞图像和不合格细胞图像；

35、真阴样本生成模块，用于基于上述样本集中质量评估结果为合格的合格细胞图像生成真阴样本集；

36、难样本生成模块，用于基于上述样本集中质量评估结果为不合格的合格细胞图像生成难样本集；

37、训练模块，用于利用难样本集和真阴样本集，对上述预先训练的质量评估模型进行训练，得到训练后的最终质量评估模型。

38、第四方面，本公开的实施例提供了一种细胞图像质量评估装置，该装置包括：

39、图像获取模块，用于获取待评估细胞图像；

40、图像评估模块，用于将上述待评估细胞图像输入训练后的最终训练质量评估模型，得到上述待评估细胞图像的质量评估结果，其中，上述训练后的最终训练质量评估模型是采用如第一方面上述的细胞图像质量评估模型训练方法训练得到的。

41、第五方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面和/或第二方面中任一实现方式描述的方法。

42、第六方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被一个或多个处理器执行时实现如第一方面和/或第二方面中任一实现方式描述的方法。

43、为了客观、准确地对细胞图像进行质量评估，本公开的实施例提供的细胞图像质量评估及其模型训练方法、装置、电子设备和存储介质，先利用预先训练的质量评估模型，分别对样本集中每个细胞图像进行质量评估，得到相应的质量评估结果，上述样本集包括合格细胞图像和不合格细胞图像；再基于上述样本集中质量评估结果为合格的合格细胞图像生成真阴样本集；然后，基于上述样本集中质量评估结果为不合格的合格细胞图像生成难样本集；最后，利用难样本集和真阴样本集，对上述预先训练的质量评估模型进行训练，得到训练后的最终质量评估模型。这样，将多实例学习和难样本挖掘策略相结合，实现细胞显微图像质量的自动评估，保证细胞图像质量评估的客观性和准确性；同时，便于后续进一步做下游任务。