一种基于GPT的髋关节病变智能诊断方法、装置及设备与流程

本技术涉及医疗器械，具体而言，涉及一种基于gpt的髋关节病变智能诊断方法、装置及设备。

背景技术：

1、目前对于髋关节病变的发现方式主要是依靠x光的形式实现，即患者通过拍摄x光片，并由影像科医生进行阅片给出诊断的建议。但是随着中国老龄化程度的发展，以及影像科医生的缺乏，导致髋关节病变的人工诊断方式越来越难以满足需求。

2、gpt(generative pre-trained transformer)是一种基于深度学习的语言模型，可以生成自然语言文本，从而可以应用于髋关节病变的诊断；但是gpt主要基于输入的文字信息生成自然语言文本，难以处理患者髋关节图像。

技术实现思路

1、本技术解决的问题是很难解决gpt难以处理髋关节图像信息的问题。

2、为解决上述问题，本技术第一方面提供了一种基于gpt的髋关节病变智能诊断方法，包括：

3、将待诊断髋关节图像输入预训练的第一编码网络模型，得到所述第一编码网络模型输出的图像编码信息，所述第一编码网络模型由swin transformer模型构建；

4、将所述图像编码信息输入微调后的语言模型gpt，得到所述语言模型gpt输出的智能诊断信息；

5、所述第一编码网络模型是基于目标样本图像和目标样本信息训练得到的，所述语言模型gpt是基于所述目标样本图像和所述目标样本信息微调得到的，所述目标样本图像用于指示任意对象的髋关节部位，所述目标样本信息是与所述目标样本图像对应的诊断信息。

6、进一步地，所述将待诊断髋关节图像输入预训练的第一编码网络模型，得到所述第一编码网络模型输出的图像编码信息之前，还包括：

7、将目标样本图像输入所述第一编码网络模型，得到所述第一编码网络模型输出的图像编码信息；

8、将目标样本信息输入第二编码网络模型，得到所述第二编码网络模型输出的文本编码信息；

9、将所述图像编码信息和对应的所述文本编码信息输入语言模型gpt，得到所述语言模型gpt输出的样本诊断信息；

10、基于所述样本诊断信息和所述目标样本信息，确定所述第一编码网络模型、所述第二编码网络模型、所述语言模型gpt的整体损失；

11、根据所述整体损失调整所述第一编码网络模型、所述第二编码网络模型、所述语言模型gpt，直至所述整体损失收敛为止。

12、进一步地，所述第一编码网络模型和所述第二编码网络模型的结构相同。

13、进一步地，所述第一编码网络模型包括线性嵌入层、第一重塑层、偶数个swintransformer模块和第二重塑层；

14、所述线性嵌入层改变输入的图像数据的维度；

15、所述第一重塑层改变所述图像数据的通道数；

16、多个所述swin transformer模块对所述图像数据进行特征提取，得到特征信息；

17、所述第二重塑层重新排列所述第一编码网络模型的输出，得到所述图像编码信息。

18、进一步地，所述swin transformer模块包括：mlp模块和基于位移窗口的msa模块，所述msa模块和所述mlp模块前均具有归一化层，且所述msa模块和所述mlp模块后均具有残差连接。

19、进一步地，基于所述样本诊断信息和所述目标样本信息，确定所述第一编码网络模型、所述第二编码网络模型、所述语言模型gpt的整体损失，包括：

20、获取目标样本信息的输入词序列，输入词序列中的每个输入词具有对应的时间步；

21、确定每个时间步的下一个输入词的概率分布；

22、获取语言模型gpt输出的样本诊断信息的目标词序列，目标词序列中的每个目标词具有对应的时间步；

23、确定每个时间步的下一个目标词的概率分布；

24、根据每个时间步的下一个输入词的概率分布和下一个目标词的概率分布，确定每个时间步的交叉熵损失；

25、根据每个时间步的交叉熵损失，确定所述整体损失。

26、进一步地，所述将所述图像编码信息和对应的所述文本编码信息输入语言模型gpt，得到所述语言模型gpt输出的样本诊断信息，包括：

27、获取当前时间步；

28、对当前时间步之后的所述文本编码信息进行掩码处理；

29、将所述图像编码信息和掩码后的所述文本编码信息输入所述语言模型gpt；

30、所述语言模型gpt基于所述图像编码信息和当前时间步之前的所述文本编码信息，生成当前时间步的样本诊断信息；

31、重复执行所述语言模型gpt在每个时间步的样本诊断信息生成动作，直至生成完整的样本诊断信息。

32、本技术第二方面提供了一种基于gpt的髋关节病变智能诊断装置，其包括：

33、第一编码模块，其用于将待诊断髋关节图像输入预训练的第一编码网络模型，得到所述第一编码网络模型输出的图像编码信息，所述第一编码网络模型由swintransformer模型构建；

34、第二语言模块，其用于将所述图像编码信息输入微调后的语言模型gpt，得到所述语言模型gpt输出的智能诊断信息；

35、所述第一编码网络模型是基于目标样本图像和目标样本信息训练得到的，所述语言模型gpt是基于所述目标样本图像和所述目标样本信息微调得到的，所述目标样本图像用于指示任意对象的髋关节部位，所述目标样本信息是与所述目标样本图像对应的诊断信息。

36、本技术第三方面提供了一种电子设备，其包括：存储器和处理器；

37、所述存储器，其用于存储程序；

38、所述处理器，耦合至所述存储器，用于执行所述程序，以用于：

39、将待诊断髋关节图像输入预训练的第一编码网络模型，得到所述第一编码网络模型输出的图像编码信息，所述第一编码网络模型由swin transformer模型构建；

40、将所述图像编码信息输入微调后的语言模型gpt，得到所述语言模型gpt输出的智能诊断信息；

41、所述第一编码网络模型是基于目标样本图像和目标样本信息训练得到的，所述语言模型gpt是基于所述目标样本图像和所述目标样本信息微调得到的，所述目标样本图像用于指示任意对象的髋关节部位，所述目标样本信息是与所述目标样本图像对应的诊断信息。

42、本技术第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的基于gpt的髋关节病变智能诊断方法。

43、本技术中，通过基于swin transformer模型构建的编码网络模型将髋关节图像编码为gpt可以识别的图像编码信息，从而解决了gpt难以处理髋关节图像信息的问题。

44、本技术中，通过使用互结合的第一编码网络模型和gpt模型，实现对于髋关节图像的病变进行自动化诊断，并自动输出诊断报告。一方面，减少单个病例医生的阅片时长；另一方面，降低医生的误诊情况。

45、本技术中，通过相互结合的第一编码网络模型和gpt模型，实现髋关节图像病变的端到端训练和推理；在降低模型复杂度的同时，也降低了模型的推理时间，并且可以自动生成诊断报告。