基于双向多模态注意力网络的肝性脑病预测模型及方法

本发明涉及疾病预测，具体涉及一种基于双向多模态注意力网络的肝性脑病预测模型及方法。

背景技术：

1、基于双向多模态注意力网络的肝性脑病预测方法使用的主要技术是多模态学习技术(multimodal learning)以及深度学习技术(deep learning)，其主要目的是借助病人的临床信息特征(这里指病人的基本信息、临床检验指标)以及脑部组织的成像图，脑组织成像图主要脑部ct和磁共振波谱成像图构成。

2、为了有效利用不同类型的数据信息，多模态模型被设计了出来，它使得模型能够学到不同类型数据的信息，提高模型对数据的理解和表征能力。因为通过应用多模态模型的方法，可以融合不同类型之间的数据信息，使不同类型之间的数据相互补充，进行跨模态的推理，提高模型对复杂数据的理解能力，有效提高模型的性能表现以及降低过拟合风险。所以多模态模型的表现往往优于单一数据类型的数据。多模态方式能够提高信息的丰富性、数据的互补性、跨模态推理能力，同时更好地适应真实场景并应对复杂任务，这些特点使得多模态深度学习模型在各种人工智能应用中具有重要意义。

3、中国专利“基于多模态数据的疾病诊断方法、装置、设备及介质”(申请号：cn202310550630.5)公开的检测方法，用于多模态的疾病诊断。该专利分别提取问题文本特征、病症文本特征、音频特征和图像特征；将病症文本特征、音频特征和图像特征映射至同一维度下，并进行特征对齐处理；融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量；拼接问题文本特征和融合特征向量获取拼接向量；将拼接向量置入预先训练好的语言模型生成诊断结果。

4、中国专利“评估和治疗肝性脑病的方法”(申请号：cn202080034331.0)使用一种新的肝性脑病分期工具(hest)，其包括一组标准以将he分为不同的分期，并根据he严重程度提供有效治疗的指导。所述方法的其他方面使用显性肝性脑病筛查工具(o-hest)来确定ohe事件是否正在发生或已经发生，并为适当的医疗护理和治疗变化提供指导。

5、现有的肝性脑病预测方法主要包含以下缺陷：

6、1)现有的肝性脑病预测模型大部分是基于传统的疾病预测方法和基于机器学习的疾病预测方法，模型的效果不太理想，并且大部分仅仅利用了病人的临床数据信息，对脑部组织的图像信息没有有效利用，因此模型的效果不好；

7、2)现有肝性脑病预测模型都是未能够充分挖掘数据集本身的信息，而且没有利用多模态模型对不同类型的数据进行综合利用；

8、3)现有的肝性脑病预测方法需要花费时间在特征工程上，并且准确率还有待提高。

技术实现思路

1、本发明的主要目的在于提供一种基于双向多模态注意力网络的肝性脑病预测模型及方法，解决现有肝性脑病预测方法预测准确率不高、以及未能综合利用脑部图像和临床数据信息的问题。

2、为解决上述技术问题，本发明所采用的技术方案是：一种基于双向多模态注意力网络的肝性脑病预测模型，包括数据特征提取模块、图像特征提取模块、双向多模态注意力模块、自注意力模块和预测模块，具体包括：

3、数据特征提取模块：将样本的特征数据处理后得到的特征向量和根据样本的特征数据计算后的特征向量进行拼接，并将拼接后的向量进行编码，得到的样本的数据特征向量；

4、图像特征提取模块：将图像t进行编码后，提取图像信息的特征向量；

5、双向多模态注意力模块：分别获取样本数据和样本图像经过特征提取模块后的高维特征向量；

6、自注意力模块：将双向多模态注意力模块中获得的高维特征向量进行拼接，并输入到自注意机制中；

7、预测模块：将自注意力模块中输出的数据依次经过全局平均池化层、全连接层和softmax分类后，获得预测结果。

8、本发明还提供一种基于双向多模态注意力网络的肝性脑病预测方法，包括权利要求1所述的一种基于双向多模态注意力网络的肝性脑病预测模型，包括以下步骤：

9、s1、将样本的特征向量f1-fn和计算后得到的特征向量d1-d4输入到数据特征提取模块，获得编码后的数据特征向量xi；图像t输入到图像特征提取模块，获得编码后的图像特征向量xt；

10、s2、构建一个双向多模态注意力模型，然后，将样本的数据特征向量xi和图像特征向量xt输入模型中进行数据和图像之间的信息互补和交叉理解，得到模型的输出结果向量xi′和向量xt′。

11、s3、使将双向多模态注意力模型的输出结果输入到自注意力模型中，先将两种特征表示进行拼接，然后采用自注意力机制；

12、s4、建立基于多尺度的神经网络的肝性脑病预测模型，并对该模型进行训练。

13、优选方案中，所述步骤s1中，具体包括以下步骤：

14、s11、先将样本的特征向量f1-fn和计算后得到的特征向量d1-d4拼接到一起，作为数据信息的共同表示，拼接计算公式如下：

15、

16、其中，f表示数据特征f1-fn和d1-d4拼接后的特征向量，f1-fn是样本的特征数据处理后得到的特征向量，表示有n个维度的特征，d1-d4是样本特征数据计算后的特征向量，表示有4个维度的特征；

17、s12、将拼接后的特征向量输入到数据特征提取模块，得到数据信息提取后的特征向量xi(1)，具体公式如下：

18、xi(1)＝indicatorsencoder(f)       (2)

19、其中，xz表示数据特征经过indicatorsencoder编码后得到的特征向量；

20、s13、将提取后的特征向量xi(1)经过线性层得到向量xi，具体公式如下：

21、xi＝linear(xi(1))      (3)

22、其中，xi是xi(1)经过线性层得到结果；

23、s14、将图像t输入到图像特征提取模块，得到图像信息提取后的特征向量xt(1)，具体编码公式如下：

24、xt(1)＝imageencoder(t)     (4)其中，xt(1)表示图像特征经过imageencoder编码后得到的特征向量，t是样本的图像信息；

25、s15、将提取后的特征向量xt(1)经过卷积层得到向量xt，具体计算公式如下：

26、xt＝conv(xt(1))      (5)

27、其中，这里xt表示将编码后的向量xt(1)经过卷积层后的结果。

28、优选方案中，所述步骤s2，具体包括以下步骤：

29、s21、将xi和xt分别输入到双向多模态注意力模块；

30、s22、将输入的数据通过线性投影和归一化得到数据xi的qi,ki,vi和xt的qt,kt,vt，具体计算公式如下：

31、qi,ki,vi＝lp(norm(xi))     (6)

32、qt,kt,vt＝lp(norm(xt))     (7)其中，这里qi,ki,vi表示xi计算出来的q,k,v，qt,kt,vt表示xt计算出来的q,k,v，lp表示线性投影层，norm表示归一化层；

33、s23、通过双向多模态注意力机制得到xi′和xt′；

34、xi′＝attention(qi,ki,vi)+attention(qi,kt,vt)    (8)

35、xt′＝attention(qt,kt,vt)+attention(qt,ki,vi)     (9)其中，这里xi′表示xi通过多模态注意力机制输出的数据结果，xt′表示xt通过多模态注意力机制输出的图像结果，attention表示注意力函数。

36、优选方案中，所述步骤s3，具体包括以下步骤：

37、s31、将xi′和xt′输入到自注意力模块中；

38、s32、将xi′和xt′拼接后得到向量x，具体计算公式如下：

39、

40、其中，x表示xi′和xt′拼接后的结果；

41、s33、将x输入到自注意力函数中，得到结果x′，具体计算公式如下：

42、x′＝selfattention(x)     (11)

43、其中，x′为表示x经过自注意力模块后的结果，selfattention是自注意力函数。

44、优选方案中，所述步骤s4，具体包括以下步骤：

45、s41、将经过自注意力机制后的x′输入到全局平均池化层，得到全局平均池化后的结果x1，具体的计算公式如下：

46、x1＝gap(x′)     (12)

47、其中，gap是全局平均池化；

48、s42、将全局平均池化后的结果x1输入到全连接层，得到xi，具体的计算公式如下：

49、

50、其中，wil为第l层的权重，为偏置，l表示在第几层全连接层(共二层)；

51、s43、将xi经过softmax分类函数得到最终的结果，利用结果计算对应的损失函数loss，对模型进行训练，softmax分类函数如下：

52、yi＝softmax(xi)       (14)

53、其中，softmax函数是分类函数；

54、损失函数loss计算公式如下：

55、

56、其中，yi是模型预测得到的预测结果。

57、优选方案中，所述步骤s43，具体包括以下步骤：

58、s401、将样本的特征输入到模型中得到xi、xt和x以及yi；

59、s402、再根据对应的真实标签以及上一步骤中得到的结果计算对应的损失函数loss，其中损失函数均使用交叉熵损失函数crossentropy loss；

60、s403、根据loss计算梯度并反向传播更新参数；

61、s404、如果迭代次数少于epoch，则回到步骤s401，否则到下一步；

62、s405、得到模型参数在训练集上进行验证，得到相应的验证结果。

63、本发明一种基于双向多模态注意力网络的肝性脑病预测模型及方法，其有益效果在于：

64、1)本发明将基于病人的临床信息特征(这里指病人的基本信息、临床检验指标)和脑部组织的成像图(图主要由脑部ct和磁共振波谱成像图构成)，组合在一起；其次，在这基础之上通过双向多模态注意力模块得到新的特征表示；然后，再通过自注意力模块构成一个基于双向多模态注意力网络网络的肝性脑病预测方法，优点是：相较于传统的仅仅利用临床特征或影像学图像来预测肝性脑病的方法而言，使用多模态的方式可以提高预测的信息表示，提高肝性脑病预测的准确度和效果。

65、2)本发明由于在训练过程中使用了多模态的数据，可以更加充分地挖掘和利用不同类型数据信息，形成信息互补和跨模态推理。

66、3)本发明使用了自注意力机制，来重点关注那些对肝性脑病预测更重要的特征上，能够有效的加速模型收敛、减少噪声的干扰，从而达到提升模型的检测效果。