多模态医学影像标注方法及装置

本发明涉及计算机视觉，尤其涉及一种多模态医学影像标注方法及装置。

背景技术：

1、多模态医学影像表征学习旨在将异构医学影像组进行整合汇总为一个统一的抽象表征，使其能够尽可能地包含更直观、更综合、更准确的信息，将该抽象表征对图像进行标注，有利于辅助医生做出医疗诊断。

2、相关技术中，利用多模态医学影像表征学习实现图像标注的方法主要分为全监督与无监督两大类；尽管二者均取得了较为可观的效果，但依然存在一些亟待解决的缺陷：（1）全监督方法依赖于大量的影像标注，而在现实场景下影像标注的获取需要耗费巨大的人力成本和资金投入；（2）无监督方法不需要任何标注信息，但对于现实场景中给定的影像组通常包含少许弱标注信息，无监督方法无法充分学习更多的影像信息，导致提取的影像特征的表征能力差，进而导致影像标注不准确。

技术实现思路

1、本发明提供一种多模态医学影像标注方法及装置，用以解决现有技术中采用的有监督图像标注方法在现实场景下影像标注的获取需要耗费巨大的人力成本和资金投入，而采用无监督图像标注方法提取的影像特征的表征能力差，导致影像标注不准确的缺陷，提高了影像标注的效率和准确率。

2、本发明提供一种多模态医学影像标注方法，包括：

3、获取多模态医学影像数据，所述多模态医学影像数据包括多个成对样本；

4、对所述多模态医学影像数据依次进行预处理和特征提取，得到第一高层表征，并根据所述多个成对样本之间的关联确定约束信息，所述关联包括所述多个成对样本之间的必连关系和不连关系；

5、根据所述约束信息对所述第一高层表征进行迭代地细化与微调，得到第二高层表征；

6、对所述第二高层表征进行聚类分析，得到所述多模态医学影像数据对应的伪标签信息，并根据所述伪标签信息对所述多模态医学影像数据进行标注和校准，得到新的多模态医学影像数据。

7、根据本发明提供的一种多模态医学影像标注方法，所述对所述多模态医学影像数据依次进行预处理和特征提取包括：

8、对所述多模态医学影像数据进行目标预处理，得到预处理后的数据；所述目标预处理包括最大最小标准化处理、z-score归一化处理和l2范数归一化处理中的至少一项；

9、基于自动编码器神经网络对所述预处理后的数据进行端到端预训练，得到所述第一高层表征。

10、根据本发明提供的一种多模态医学影像标注方法，所述根据所述约束信息对所述第一高层表征进行迭代地细化与微调，得到第二高层表征包括：

11、根据松弛k-means函数、多样性自步学习机制和所述约束信息对优化目标进行半监督多模态学习，得到所述第二高层表征；所述优化目标在渐进式表征学习的过程中挖掘到跨模态样本之间的互补信息。

12、根据本发明提供的一种多模态医学影像标注方法，所述约束信息通过下式表示：

13、

14、

15、其中，为第个样本和第个样本的从属关系；当第个样本和第个样本从属于同一类别，则=1，当第个样本和第个样本从属于不同类别，则=0；为样本约束的索引值，当有任意样本对(，  )符合必连约束先验或者不连约束先验时，=1；若在样本对( ， )上没有约束先验，则=0；和分别为第个样本和第个样本在第 v个模态下的特征表示； n为样本数目， v为模态数目；ml为必连约束，cl为不连约束。

16、根据本发明提供的一种多模态医学影像标注方法，所述优化目标通过下式表示：

17、

18、其中， l为自监督样本重建损失，为第 v个模态下的医学影像数据，为第 v个模态下的医学影像数据对应的第一高层表征，为第 v个视角下的特征矩阵，为第 v个视角下的聚类质心矩阵，为第 v个视角下的权值矩阵，a为约束指示矩阵，为超参数，c为样本约束矩阵，为第i个样本是否被分配到第k个团簇中，是则为1，否则为0；为自步系数，为样本权值矩阵， f为frobenius范数； k表示目标聚类团簇总数目， k为第 k个目标聚类团簇； s表示聚类指示矩阵；‖w‖1和‖w‖2,1分别为对同时施加全局稀疏约束l1范数和结构化稀疏约束l2,1范数。

19、根据本发明提供的一种多模态医学影像标注方法，所述根据所述伪标签信息对所述多模态医学影像数据进行标注和校准，得到新的多模态医学影像数据包括：

20、人工对所述伪标签信息进行校准并勘误 ，获得影像样本组的标签；

21、根据所述影像样本组的标签和所述多模态医学影像数据得到所述新的多模态医学影像数据。

22、本发明还提供一种多模态医学影像标注装置，包括：

23、数据获取模块，用于获取多模态医学影像数据，所述多模态医学影像数据包括多个成对样本；

24、约束信息提取模块，用于对所述多模态医学影像数据依次进行预处理和特征提取，得到第一高层表征，并根据所述多个成对样本之间的关联确定约束信息，所述关联包括所述多个成对样本之间的必连关系和不连关系；

25、特征提取模块，用于根据所述约束信息对所述第一高层表征进行迭代地细化与微调，得到第二高层表征；

26、标注模块，用于对所述第二高层表征进行聚类分析，得到所述多模态医学影像数据对应的伪标签信息，并根据所述伪标签信息对所述多模态医学影像数据进行标注和校准，得到新的多模态医学影像数据。

27、根据本发明提供的一种多模态医学影像标注装置，所述标注模块具体用于：

28、对所述多模态医学影像数据进行目标预处理，得到预处理后的数据；所述目标预处理包括最大最小标准化处理、z-score归一化处理和l2范数归一化处理中的至少一项；

29、基于自动编码器神经网络对所述预处理后的数据进行端到端预训练，得到所述第一高层表征。

30、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多模态医学影像标注方法。

31、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多模态医学影像标注方法。

32、本发明提供的多模态医学影像标注方法及装置，通过对多模态医学影像数据依次进行预处理和特征提取，得到第一高层表征，并根据多个成对样本之间的关根据约束信息，对第一高层表征进行迭代地细化与微调，得到第二高层表征联确定约束信息，对第二高层表征进行聚类分析，得到多模态医学影像数据对应的伪标签信息，并根据伪标签信息对多模态医学影像数据进行标注和校准，得到新的多模态医学影像数据，能够有效地泛化于弱标注应用场景，提高了图像标注的效率和准确率。