用于超声信号去噪的多模态大语言模型的训练方法和装置与流程

本发明涉及医疗数据处理，尤其涉及一种用于超声信号去噪的多模态大语言模型的训练方法和装置。

背景技术：

1、近年来，随着医疗技术的进步和超声诊断技术的广泛应用，超声诊断在临床医学中的地位日益提升。然而，超声信号的采集过程中常常伴随着各种噪声(在机器学习和大模型训练中，噪声通常指的是数据中的随机误差或无关信息，它们可能来自数据采集误差：例如传感器的测量误差和数据录入错误；可能来自环境变化：例如图片中的光照变化和背景变化；还可能来自标签错误：训练数据的标签可能存在错误或不一致)的干扰，严重影响了诊断的准确性。传统的超声信号去噪算法主要依赖于信号处理技术，例如滤波器设计、时频分析和小波变换等方法。这些方法在一定程度上能够降低噪声，但在面对复杂、多变的噪声环境时，其效果往往不尽如人意。

2、目前，多模态大语言模型(multimodal large language models，简称mllm)在自然语言处理、计算机视觉等领域展现了强大的学习和推理能力。结合图像和文本的多模态大语言模型，诸如llava(“large language model vision assistant”的缩写，是一种结合了语言模型(large language model，llm)和计算机视觉技术的多模态大语言模型。它能够处理文本和图像输入，并在两者之间进行关联和推理。llava模型的训练涉及结合自然语言处理和计算机视觉技术，使模型能够理解和生成跨模态的数据)，能够通过对大量数据的训练，理解和生成复杂的多模态信息。利用这种模型进行超声信号去噪的研究正在逐渐兴起。

3、一些研究已经开始尝试将多模态大语言模型应用于超声信号处理领域。例如，通过图像和文本数据的联合训练，使模型具备更强的语义理解能力，从而提高噪声识别和去噪的效果。这些研究表明，多模态大语言模型在处理复杂信号时具有巨大的潜力，尤其是在超声诊断这种多变量、动态变化的应用场景中。但是，仍然面临一些挑战，包括模型训练数据的质量和数量、模型的泛化能力以及计算资源的需求等。因此，进一步探索和优化基于多模态大语言模型的超声信号去噪方法，成为当前研究的重要方向。

技术实现思路

1、为了解决现有技术中存在的问题，本发明提供了如下技术方案。

2、本发明第一方面提供了一种用于超声信号去噪的多模态大语言模型的训练方法，包括：

3、获取带有时序信息的多模态超声数据作为训练数据；

4、将所述训练数据随机进行部分时段的遮挡处理；

5、将遮挡处理后的训练数据输入至多模态大语言模型中，输出被遮挡的数据；根据输出的被遮挡的数据与训练数据中被遮挡的数据的差异对多模态大语言模型进行全参数优化，得到训练好的多模态大语言模型。

6、优选地，所述多模态超声数据包括：血流数据和血管图像数据。

7、优选地，所述训练方法还包括：对所述训练数据进行清洗和增强处理。

8、优选地，所述多模态大语言模型采用llava模型。

9、本发明第二方面提供了一种超声信号去噪方法，包括：

10、获取待处理的带有时序信息的多模态超声数据；

11、对待处理的多模态超声数据按时间划分，得到若干个不同时段的数据；

12、依次对每个时段的数据随机进行部分遮挡处理，并将遮挡处理后的数据输入至训练好的多模态大语言模型中，输出被遮挡的数据；

13、若输出的被遮挡的数据与每个时段的数据中被遮挡的数据的偏差超过设定阈值，则该时段被识别为噪声时段；

14、删除所述噪声时段；

15、所述训练好的多模态大语言模型采用如第一方面所述的用于超声信号去噪的多模态大语言模型的训练方法预先训练得到。

16、本发明第三方面提供了一种用于超声信号去噪的多模态大语言模型的训练装置，包括：

17、训练数据获取模块，用于获取带有时序信息的多模态超声数据作为训练数据；

18、遮挡处理模块，用于将所述训练数据随机进行部分时段的遮挡处理；

19、模型训练模块，用于将遮挡处理后的训练数据输入至多模态大语言模型中，输出被遮挡的数据；根据输出的被遮挡的数据与训练数据中被遮挡的数据的差异对多模态大语言模型进行全参数优化，得到训练好的多模态大语言模型。

20、优选地，在所述训练数据获取模块中，所述多模态超声数据包括：血流数据和血管图像数据。

21、优选地，所述训练装置还包括预处理模块，用于对所述训练数据进行清洗和增强处理。

22、本发明第四方面提供了一种存储器，存储有多条指令，所述指令用于实现如第一方面所述的用于超声信号去噪的多模态大语言模型的训练方法，以及第二方面所述的超声信号去噪方法。

23、本发明第五方面提供了一种电子设备，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如第一方面所述的用于超声信号去噪的多模态大语言模型的训练方法，以及第二方面所述的超声信号去噪方法。

24、本发明的有益效果是：本发明提供的用于超声信号去噪的多模态大语言模型的训练方法和装置，在模型训练和推理阶段，采用自监督学习和时序数据遮挡处理预测方法，识别出噪声时段并去除，实现了超声信号的去噪处理，提升了超声数据的准确性和可靠性。其中，在模型训练阶段，可以使模型能够在无标签数据的条件下，通过自我学习提高性能，减少了对大规模标注数据的依赖。在模型推理阶段，采用逐段遮挡预测的方法，能够精确识别和去除时序数据中的噪声，提高了去噪效果的精度和可靠性。另外，本发明提供的方案不仅提高了去噪效果，还具备较高的适应性和泛化能力，能够在多种复杂噪声环境中保持良好的去噪效果，具有广泛的应用前景和临床价值。

技术特征：

1.一种用于超声信号去噪的多模态大语言模型的训练方法，其特征在于，包括：

2.如权利要求1所述的用于超声信号去噪的多模态大语言模型的训练方法，其特征在于，所述多模态超声数据包括：血流数据和血管图像数据。

3.如权利要求1所述的用于超声信号去噪的多模态大语言模型的训练方法，其特征在于，所述训练方法还包括：对所述训练数据进行清洗和增强处理。

4.如权利要求1所述的用于超声信号去噪的多模态大语言模型的训练方法，其特征在于，所述多模态大语言模型采用llava模型。

5.一种超声信号去噪方法，其特征在于，包括：

6.一种用于超声信号去噪的多模态大语言模型的训练装置，其特征在于，包括：

7.如权利要求6所述的用于超声信号去噪的多模态大语言模型的训练装置，其特征在于，在所述训练数据获取模块中，所述多模态超声数据包括：血流数据和血管图像数据。

8.如权利要求6所述的用于超声信号去噪的多模态大语言模型的训练装置，其特征在于，所述训练装置还包括预处理模块，用于对所述训练数据进行清洗和增强处理。

9.一种存储器，其特征在于，存储有多条指令，所述指令用于实现如权利要求1-4任一项所述的用于超声信号去噪的多模态大语言模型的训练方法，以及权利要求5所述的超声信号去噪方法。

10.一种电子设备，其特征在于，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如权利要求1-4任一项所述的用于超声信号去噪的多模态大语言模型的训练方法，以及权利要求5所述的超声信号去噪方法。

技术总结
本发明公开了用于超声信号去噪的多模态大语言模型的训练方法和装置，属于医疗数据处理技术领域。该方法包括：获取带有时序信息的多模态超声数据作为训练数据；将训练数据随机进行部分时段的遮挡处理；将遮挡处理后的训练数据输入至多模态大语言模型中，输出被遮挡的数据；根据输出的被遮挡的数据与训练数据中被遮挡的数据的差异对多模态大语言模型进行全参数优化，得到训练好的多模态大语言模型。采用自监督学习和时序数据遮挡处理预测方法，识别出噪声时段并去除，提升了超声数据的准确性和可靠性。其中，在模型训练阶段，减少了对大规模标注数据的依赖。在模型推理阶段，能够精确识别和去除时序数据中的噪声，提高了去噪效果的精度和可靠性。

技术研发人员：李阳,袁中华,杨景钦
受保护的技术使用者：北京同象千方科技有限公司
技术研发日：
技术公布日：2024/10/17