基于原型的联邦医学多模态哈希检索方法、系统、设备及介质与流程

本发明涉及联邦学习及多模态哈希检索，具体地说是一种基于原型的联邦医学多模态哈希检索方法、系统、设备及介质。

背景技术：

1、随着图像、文本和音频等多种数据类型的不断增加，信息检索技术已不再局限于单一模式。因此，在面对海量的多模态数据时，提升检索速度和减少数据存储消耗成为了当前信息检索领域亟待解决的两个重要挑战。通过哈希技术，可以将高维的多模态数据编码为哈希码，这样在保留不同模态数据之间语义相似性的同时，显著降低了存储空间的消耗，并加快了检索过程。因此，哈希检索已成为支持大规模信息检索的关键技术。此外，考虑到多模态数据固有的低层表现差异性与高层语义一致性的特征，即同一对象可以通过多种表达方式和表现形式展现，这种多样化的表现形式能够从不同角度对同一数据实例进行表征，弥补每种模态可能存在的信息缺失，从而相互促进，丰富人们对模态语义信息的理解。因此，多模态检索必须能够跨越不同模态数据之间的语义隔阂，实现准确且高效的检索。

2、不同于传统的集中式处理方法，近年来，联邦学习作为一种新兴的分布式机器学习范式，引起了广泛关注。联邦学习允许在不直接共享原始数据的情况下，通过在本地设备上训练模型并仅共享模型参数来实现模型协作。这种方法在保护用户隐私和数据安全方面具有显著优势，尤其适用于多模态数据检索场景。实际场景中多模态数据集往往是高度敏感且多源异构的，导致实际应用中的多模态数据很难集中应用。例如，医院中有大量高度敏感的诊断报告分布在不同科室中很难集中使用。因此，通过联邦哈希检索可以实现在保证多模态数据的隐私安全下实现高效的检索。

3、近年来，基于联邦学习架构模型已经被应用于哈希检索系统中，但是都是联邦跨模态哈希检索，跨模态哈希检索旨在通过一系列的哈希函数从一种模态来查询另一种模态语义相关的模态实例，相比之下，多模态哈希利用多模态数据之间的互补和一致的相关性来学习哈希码以用来进行检索更具有实用性。此外，现有联邦哈希检索任务中忽略了客户端数据存在类失衡的不平衡问题。

4、故如何在多模态哈希检索过程中有效地保障医学数据的隐私性和安全性，避免因数据的不平衡造成的缺陷是目前亟待解决的技术问题。

技术实现思路

1、本发明的技术任务是提供一种基于原型的联邦医学多模态哈希检索方法、系统、设备及介质，来解决如何在多模态哈希检索过程中有效地保障医学数据的隐私性和安全性，避免因数据的不平衡造成的失衡缺陷的问题。

2、本发明的技术任务是按以下方式实现的，一种基于原型的联邦医学多模态哈希检索方法，该方法具体如下：

3、构建医学多模态数据集：获取图像模态和文本模态数据集，对图像模态数据集进行标准化处理，对文本模态数据集进行医学术语的标准化处理，并加入患者的临床背景信息丰富上下文的预处理操作，再使用预训练微调模型clip和预训练微调模型gpt2分别对图像模态和文本模态数据集进行深度特征提取，获取深度图像特征和深度文本特征，并按照类别及样本数量均衡划分数据集，构建包含训练集、测试集和检索集的最终数据集；

4、构建基于原型的联邦医学多模态哈希检索模型：利用神经网络和深度学习技术构建基于原型的联邦医学多模态哈希检索模型；

5、训练模型：利用最终的数据集对基于原型的联邦医学多模态哈希检索模型进行训练；

6、其中，构建基于原型的联邦医学多模态哈希检索模型具体如下：

7、医学多模态融合：将深度图像特征和深度文本特征经过特征对齐后，将深度图像特征和深度文本特征拼接融合生成特征融合矩阵，并通过哈希映射部分输出哈希码；

8、原型参数增强学习：将客户端中的特征融合矩阵通过原型计算生成个性化原型，服务器收集各个客户端的个性化原型生成集中原型，识别并填补在客户端特定原型中缺失的类别原型，确保发送的客户端生成的个性化原型包含所有类别；

9、哈希检索查询：哈希码通过汉明距离进行相似性检索，多次迭代计算平均精度，平均精度用于对检索性能进行评估。

10、作为优选，构建医学多模态数据集具体如下：

11、获取公共数据集：从公共网络资源中获取并下载包含图像模态和文本模态的公共数据集作为原始数据集；其中，公共数据集包括iu-xray数据集和chexpert数据集，iu-xray数据集和chexpert数据集包含丰富的临床背景，确保数据集的专业性和完整性；

12、对下载的原始数据集进行数据划分：在iu-xray数据集和chexpert数据集上随机选择设定比例的图像-文本对作为测试集，确保涵盖常见和罕见，以便全面评估模型性能；并排除iu-xray数据集和chexpert数据集重测试集图像-文本对数据，从剩余数据中抽取部分作为检索集，保证不同病症的多样性和代表性；再在检索数据集中，将未选中的图像-文本对划分为训练集，确保训练数据的丰富性；

13、提取图像模态深度特征：使用预训练微调模型clip作为图像编码器，实现对图像模态进行深度特征提取，获取图像模态深度特征；

14、提取文本模态深度特征：使用预训练微调模型gpt2作为文本编码器，实现对文本模态进行深度特征提取，获取文本模态深度特征。

15、更优地，提取图像模态深度特征具体如下：

16、预处理图像模态数据：统一将输入图像剪裁重塑调整为h×h像素大小，根据医学图像处理标准对医学图像进行归一化，使医学图像的像素值范围在[0,1]之间，消除不同影像设备导致的亮度和对比度差异；再使用bm3d医学图像专用去噪算法，如非局部均值(nlm)或bm3d，针对医学影像特有的噪声进行去噪处理；

17、预训练微调模型clip：加载预训练clip模型，使用对比损失函数优化预训练clip模型，获取预训练微调模型clip模型，通过预训练微调模型clip模型优化图像和文本的相似度，使得相似的图像-文本对之间的相似度尽可能高，不相似的图像-文本对之间的相似度尽可能低；其中，对比损失函数具体如下：

18、

19、其中，τ表示温度超参数；n表示样本数量；sim(ii,ti)表示图像文本相似度；

20、提取深度图像特征：加载经过预训练微调模型clip，适应医学影像特征提取，确保预训练微调模型clip能够识别影像中的病理特征，使用预训练微调模型clip提取深度图像特征，捕获图像中的细微变化，例如肿瘤形态、病变区域等，并记录深度图像特征，便于后续分析；

21、提取文本模态深度特征具体如下：

22、预处理文本模态数据：将输入文本进行文本清洗、文本分词和文本向量化的预处理操作，并将文本信息映射到文本向量；

23、预训练微调模型gpt2：加载预训练模型gpt2，将预训练模型gpt2作为文本编码器，通过医学领域的病历记录及医学文献相关的数据集对预训练模型gpt2进行微调，提高预训练模型gpt2对医学内容的理解能力，并采用有监督的学习方法使用交叉熵损失函数计算预训练模型gpt2输出与目标文本之间的误差，进而获取预训练微调gpt2；其中，交叉熵损失函数具体如下：

24、

25、其中，wt表示目标词；p(wt|w＜t；θ)表示在给定前文的条件下预测当前词的概率；θ表示模型参数；

26、提取深度文本特征：通过预训练微调模型gpt2提取深度文本特征，捕获病症描述及治疗方案的信息，确保深度文本特征能够反映医学内容的复杂性，并对深度文本特征进行标准化处理，确保特征值一致，便于模型学习和分析。

27、作为优选，医学多模态融合具体如下：

28、特征对齐：通过多个线性层和激活函数构成的特征对齐器得到对齐深度图像特征和对齐深度文本特征，公式如下：

29、

30、其中，x和y分别表示深度图像特征和深度文本特征；tx和ty分别表示图像特征对齐器和文本特征对齐器；θdx和θdy表示训练参数；和分别表示对齐深度图像特征和对齐深度文本特征；

31、特征拼接融合：将对齐深度图像特征和对齐深度文本特征经过特征拼接融合函数生成特征融合矩阵，公式如下：

32、

33、其中，integrate表示特征拼接融合函数，h表示特征融合矩阵；和分别表示对齐深度图像特征和对齐深度文本特征；θ3表示训练参数；⊕表示拼接操作；

34、哈希映射：将特征融合矩阵经过哈希映射函数生成松散哈希码，再经过sign函数生成哈希码,公式如下：

35、bi＝hashencoder(hi；θ4)；

36、bi＝sign(bi)；

37、其中，hashencoder表示哈希映射函数；bi表示松散哈希码；bi表示哈希码；h表示特征融合矩阵；θ4表示训练参数。

38、更优地，原型参数增强学习具体如下：

39、客户端的个性化原型学习：将特征融合矩阵根据标签类别进行特征平均得到个性化原型，公式如下：

40、

41、其中，表示第i个客户端中第j类的个性化原型；h表示特征融合矩阵；mi表示第i个客户端中的样本个数；lij表示标签；表示指示函数，判断标签是否属于第j类；

42、服务器原型聚合：服务器中接收所有客户端的个性化原型，并经过原型集合得到集中原型，公式如下：

43、

44、其中，表示服务器中第j类集中原型；表示第i个客户端中第j类的个性化原型；表示包含第j类样本的客户端；lij表示标签；表示指示函数，判断标签是否属于第j类；

45、原型增强策略：服务器集中原型分发到客户端中经过原型增强策略，集中原型和客户端的个性化原型之间进行系统的比较。通过这种比较，服务器识别任何缺失的类别原型，并进行原型增强，公式如下：

46、

47、其中，表示服务器中第j类集中原型；表示第i个客户端中第j类的个性化原型；表示包含第j类样本的客户端；

48、哈希检索查询具体如下：

49、计算平均精度，公式如下：

50、

51、其中，n表示与检索样本相关联的总数；p(m)表示相关的前m个实例的精度，当第m个样本与检索样本相关时δ(m)＝1，否则δ(m)＝0；

52、计算平均精度均值，公式如下：

53、

54、其中，q表示检索集的数量；ap(i)表示第i个ap值；

55、通过计算不同召回率下的平均精度均值，将平均精度均值进行平均得到map值。

56、更优地，训练模型具体如下：

57、构建损失函数：基于原型的联邦医学多模态哈希检索模型的目标是利用特征融合矩阵与个性化原型和集中原型训练联邦学习过程，并通过松散哈希码与哈希码训练高效多模态哈希过程，最终实现更加高效的联邦多模态哈希检索，利用特征融合矩阵h、个性化原型p、集中原型松散哈希码bi及哈希码bi进行构建损失函数训练基于原型的联邦医学多模态哈希检索模型；

58、优化模型：使用adam算法作为基于原型的联邦医学多模态哈希检索模型的优化函数；其中，学习率参数设置为0.001，其他超参数使用pytorch中的默认值即可；

59、其中，构建损失函数具体如下：

60、构建全局对比损失，公式如下：

61、

62、其中，表示集中原型；h表示融合矩阵；τ表示温度系数；

63、构建局部对比损失，公式如下：

64、

65、其中，表示第i个客户端中的多模态数据；mi表示第i个客户端中的样本个数；p表示个性化原型；τ表示温度系数；

66、构建哈希损失，公式如下：

67、

68、其中，α和β表示优化参数；bi表示松散哈希码；bi表示哈希码；l表示标签。

69、一种基于原型的联邦医学多模态哈希检索系统，该系统包括：

70、医学多模态数据集构建单元，用于获取图像模态和文本模态数据集，对图像模态数据集进行标准化处理，对文本模态数据集进行医学术语的标准化处理，并加入患者的临床背景信息丰富上下文的预处理操作，再使用预训练微调模型clip和预训练微调模型gpt2分别对图像模态和文本模态数据集进行深度特征提取，获取深度图像特征和深度文本特征，并按照类别及样本数量均衡划分数据集，构建包含训练集、测试集和检索集的最终数据集；

71、基于原型的联邦医学多模态哈希检索模型构建单元，用于利用神经网络和深度学习技术构建基于原型的联邦医学多模态哈希检索模型；

72、模型训练单元，用于利用最终的数据集对基于原型的联邦医学多模态哈希检索模型进行训练；

73、其中，基于原型的联邦医学多模态哈希检索模型构建单元包括：

74、医学多模态融合模块，用于将深度图像特征和深度文本特征经过特征对齐后，将深度图像特征和深度文本特征拼接融合生成特征融合矩阵，并通过哈希映射部分输出哈希码；

75、原型参数增强学习模块，用于将客户端中的特征融合矩阵通过原型计算生成个性化原型，服务器收集各个客户端的个性化原型生成集中原型，识别并填补在客户端特定原型中缺失的类别原型，确保发送的客户端生成的个性化原型包含所有类别；

76、哈希检索查询模块，用于哈希码通过汉明距离进行相似性检索，多次迭代计算平均精度，平均精度用于对检索性能进行评估。

77、作为优选，医学多模态融合模块将深度图像特征和深度文本特征经过特征对齐器获取对齐深度图像特征和对齐深度文本特征，再将对齐深度图像特征和对齐深度文本特征经过特征拼接融合函数生成特征融合矩阵，再将特征融合矩阵经过哈希映射函数生成松散哈希码，最后通过sign函数输出哈希码；

78、原型参数增强学习模块将客户端中特征融合矩阵通过客户端的个性化原型学习生成个性化原型，再服务器收集各个客户端的个性化原型经过服务器原型聚合生成集中原型，再通过原型增强策略识别并填补在客户端特定原型中缺失的类别原型，确保发送的客户端生成的个性化原型包含所有类别，客户端中得到更新个性化原型；

79、哈希检索查询模块通过哈希码计算汉明距离并进行相似性检索，通过多次迭代计算平均精度，继而计算平均精度均值，最终得到的map值对检索性能进行评估。

80、一种电子设备，包括：存储器和至少一个处理器；

81、其中，所述存储器上存储有计算机程序；

82、所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于原型的联邦医学多模态哈希检索方法。

83、一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于原型的联邦医学多模态哈希检索方法。

84、本发明的基于原型的联邦医学多模态哈希检索方法、系统、设备及介质具有以下优点：

85、(一)本发明解决了在保证数据隐私安全的情况下进行安全且高效的多模态哈希检索的问题，实现了一种基于原型的联邦医学多模态哈希检索的神经网络结构，确保在保证安全隐私的前提下生成高质量的哈希码，有效的提升了联邦多模态哈希检索的准确率；

86、(二)本发明将clip和gpt2作为模态的深度特征提取编码器，不仅丰富了多模态数据的语义信息，同时更能精准的捕捉图像和文本的底层语义信息，从而更加丰富了多模态数据的特征语义信息，提高了检索的准确度和效率；

87、(三)本发明提出了原型联邦医学多模态哈希检索的神经网络结构，该神经网络结构可以两个模态的语义对齐，有效的解决了医学数据集融合效率差的问题，通过医学多模态融合模块为生成高质量哈希码奠定了基础，最终实现高效的联邦多模态哈希；

88、(四)本发明提出的基于原型的联邦医学多模态哈希检索，有效提高了多模态哈希检索的准确性和效率，为实现安全的多模态检索等领域的实际应用提供更优越的解决方案，并且有效的满足了医学数据需要隐私性强的要求；

89、(五)、本发明通过原型在联邦医学多模态哈希检索中安全传递，在不直接传递参数的情况下更加增加了信息的安全性，并且有效地解决了多模态数据中的类别不平衡和统计异质性问题，实现了模型泛化能力的提升；

90、(六)、本发明提出了一种创新的原型增强策略，通过在服务器端对客户端提交的个性化原型进行系统比较和补充，有效地填补了缺失的类别原型，实现了类别分布的平衡，这种策略不仅确保了每个客户端的原型集合涵盖了所有类别的原型信息，而且通过增强模型在训练过程中的语义信息，强化了原型与类别之间的联系，填补了语义上的空白；

91、(七)、本发明实现了一种服务器指导的聚合和增强机制，通过整合来自所有客户端的原型集，促进了跨整个网络的样本特征信息的共享；

92、(八)、本发明通过结合全局对比损失、局部对比损失和哈希优化损失，提高了哈希码的质量和区分能力。