一种放射学报告生成方法、装置、终端及存储介质

本发明涉及信息处理，尤其涉及的是一种放射学报告生成方法、装置、终端及存储介质。

背景技术：

1、放射学图像在临床实践和医学试验中是非常重要的诊断和治疗的基础，然而，编写放射学报告是一项耗时且容易出错的任务，特别是对于经验不足的放射科医生来说，这就产生了自动生成放射学报告的需求。在基于神经网络的放射学报告生成中，神经网络会被训练在一个包含放射学图像和报告的大型数据集上。训练完成后，神经网络就可以用于生成新报告。这个系统旨在减轻放射科医生的工作负担，促进临床自动化，这被视为将人工智能应用于医学领域的重要一步。这种自动化可以显著加快工作流程，提高医疗保健的质量和标准化。放射学报告是对放射学检查中获得的所有临床发现和印象的总结。这种报告通常包含丰富的信息，不单是包括简单的疾病关键词。它还可能包括否定和不确定性陈述，使其成为医疗专业人员解释和采取行动的综合文档。近年来，在基于神经网络的自动化图像描述系统的进展的影响下，研究人员已经开始探索自动生成放射学报告。

2、将通用领域的的生成技术直接应用于放射学图像存在特定的一些问题：第一、图像数据差异问题：正常无疾病的放射学图像占据了数据集的绝大多数，与异常放射学图像相比，这种不平衡的图像分布使模型的注意力分散，阻碍了它准确捕捉各种罕见异常区域的特征。第二、文本数据差异：放射科医生倾向于在报告中提供图像内所有元素的综合描述，这种做法导致在报告中过分强调正常区域的描述。此外，描述相同正常区域的句子是普遍相似的。因此，由于这种倾向于正常区域描述的文本内容分布，导致对这些数据集进行训练会主要生成正常句子。这种限制影响了模型有效描述特定重要异常的能力。基本上被广泛采用的分层递归神经网络(hrnn)会生成与正常结果相关的重复句子，因此无法有效描述某些罕见但重要的异常。

3、因此，现有的报告生成技术无法全面覆盖和准确描述这些关键但不经常出现的异常区域，无法解决显著的文本数据不平衡问题，进而导致放射学报告生成时视觉和文本数据之间具有不一致性。

4、因此，现有技术存在缺陷，有待改进与发展。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种放射学报告生成方法、装置、终端及存储介质，旨在解决现有技术中放射学报告生成时视觉和文本数据之间具有不一致性的问题。

2、本发明解决技术问题所采用的技术方案如下：

3、一种放射学报告生成方法，所述方法包括：

4、将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；

5、在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征；

6、获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量；

7、将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。

8、在一种实现方式中，在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征，包括：

9、在所述动态知识图谱网络中，基于预先构建的报告数据库得到与所述放射学图像相匹配的若干目标标准报告；

10、获取所有所述目标标准报告中的实体，基于目标标准报告中的实体生成所述放射学图像对应的图像知识图谱；

11、获取预先构建的医学知识图谱，基于图像知识图谱对所述医学知识图谱进行新的路径添加，得到动态知识图谱；

12、利用所述动态知识图谱网络中的动态图编码器对所述动态知识图谱进行编码，得到所述放射学图像对应的视觉表征。

13、在一种实现方式中，获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量，包括：

14、将所有所述目标标准报告和所述医学知识图谱作为先验知识信息；

15、基于报告编码器生成所有所述目标标准报告对应的第一键向量和第一值向量，通过跨注意力机制将所述视觉表征作为查询向量，将所述查询向量、第一键向量和第一值向量进行跨注意力计算，得到第一表示向量；

16、基于报告编码器生成所述医学知识图谱中的实体对应的第二键向量和第二值向量，通过跨注意力机制将所述视觉表征作为查询向量，将所述查询向量、第二键向量和第二值向量进行跨注意力计算，得到第二表示向量；

17、将所述第一表示向量和所述第二表示向量合并，得到先验表示向量。

18、在一种实现方式中，所述动态先验网络模型的训练步骤包括：

19、获取训练数据集，所述训练数据集包括：一一对应的放射学训练图像和放射学训练报告；

20、构建初始动态先验网络模型，将放射学训练图像输入初始动态先验网络模型中，所述初始动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；

21、在所述动态知识图谱网络中，根据所述放射学训练图像得到训练动态知识图谱，根据所述训练动态知识图谱得到训练视觉表征；

22、基于所述训练视觉表征进行对比学习，以对所述动态知识图谱网络进行训练；

23、获取所述放射学训练图像对应的先验知识训练信息，基于所述先验知识训练信息和所述训练视觉表征，利用所述先验知识网络得到先验训练表示向量；

24、将所述训练视觉表征和所述先验训练表示向量输入所述解码器中，对所述先验知识网络和解码器进行训练；

25、完成动态知识图谱网络、先验知识网络和解码器的多任务训练后，得到已训练的动态先验网络模型。

26、在一种实现方式中，在所述动态知识图谱网络中，根据所述放射学训练图像得到训练动态知识图谱，根据所述训练动态知识图谱得到训练视觉表征，包括：

27、在所述动态知识图谱网络中，获取预先构建的报告数据库，所述报告数据库包括若干标准报告，所述标准报告是在所述训练数据集中随机选取得到；

28、获取所述报告数据库中各个标准报告对应的报告表征向量，以及获取所述放射学训练图像对应的图像表征向量，计算各个报告表征向量与所述图像表征向量之间的相似度；

29、根据各个所述相似度得到与所述放射学训练图像相匹配的若干训练标准报告；

30、获取所有所述训练标准报告中的实体，基于训练标准报告中的实体生成所述放射学训练图像对应的训练图像知识图谱；

31、获取预先构建的医学知识图谱，基于训练图像知识图谱对所述医学知识图谱进行新的路径添加，得到训练动态知识图谱；

32、利用所述动态知识图谱网络中的动态图编码器对所述动态知识图谱进行编码，得到所述放射学训练图像对应的训练视觉表征。

33、在一种实现方式中，基于所述训练视觉表征进行对比学习，以对所述动态知识图谱网络进行训练，包括：

34、获取预先构建的图像报告对比损失函数和图像报告匹配损失函数，以及所述放射学训练图像对应的放射学训练报告；

35、利用报告编码器得到所述放射学训练报告对应的表征向量，基于放射学训练报告对应的表征向量和所述训练视觉表征，以所述图像报告对比损失函数为训练目标，进行报告图像对比学习；

36、将所述训练视觉表征和放射学训练报告输入多模态编码器中，以所述图像报告匹配损失函数为训练目标，进行报告图像配对；

37、通过报告图像对比学习和报告图像配完成对所述动态知识图谱网络的训练。

38、在一种实现方式中，获取所述放射学训练图像对应的先验知识训练信息，基于所述先验知识训练信息和所述训练视觉表征，利用所述先验知识网络得到先验训练表示向量，包括：

39、将所有所述训练标准报告和所述医学知识图谱作为先验知识训练信息；

40、基于报告编码器生成所有所述训练标准报告对应的第一训练键向量和第一训练值向量，通过跨注意力机制将所述训练视觉表征作为训练查询向量，将所述训练查询向量、第一训练键向量和第一训练值向量进行跨注意力计算，得到第一训练表示向量；

41、基于报告编码器生成所述医学知识图谱中的实体对应的第二键向量和第二值向量，通过跨注意力机制将所述视觉表征作为训练查询向量，将所述训练查询向量、第二键向量和第二值向量进行跨注意力计算，得到第二训练表示向量；

42、将所述第一训练表示向量和所述第二训练表示向量合并，得到先验训练表示向量。

43、本发明还提供一种放射学报告生成装置，所述装置包括：

44、输入模块，用于将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；

45、动态网络模块，用于在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征；

46、先验网络模块，用于获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量；

47、生成模块，用于将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。

48、本发明还提供一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的放射学报告生成程序，所述放射学报告生成程序被所述处理器执行时实现如权上所述的放射学报告生成方法的步骤。

49、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的放射学报告生成方法的步骤。

50、本发明提供的一种放射学报告生成方法、装置、终端及存储介质，所述方法包括：将待处理的放射学图像输入预先训练的动态先验网络模型中，所述动态先验网络模型包括动态知识图谱网络、先验知识网络和解码器；在所述动态知识图谱网络中，根据所述放射学图像得到动态知识图谱，根据所述动态知识图谱得到视觉表征；获取所述放射学图像对应的先验知识信息，基于所述先验知识信息和所述视觉表征，利用所述先验知识网络得到先验表示向量；将所述视觉表征和所述先验表示向量输入所述解码器中，生成与所述放射学图像相对应的放射学报告。本发明通过在模型中引入动态知识图谱网络和先验知识网络，进而实现结合动态知识图谱和先验知识信息生成放射学报告，使得模型能够更好地处理由于有限数据可用性而引起的视觉和文本偏见，能够减轻文本数据的偏见，从而解决放射学报告生成时视觉和文本数据之间具有不一致性的问题，提高了报告生成质量。