类风湿性关节炎诊疗辅助系统及方法

本技术涉及智能诊疗辅助领域，且更为具体地，涉及一种类风湿性关节炎诊疗辅助系统及方法。

背景技术：

1、类风湿关节炎(rheumatoid arthritis, ra)是一种以手、足小关节的多关节、对称性、侵蚀性关节炎症为主要表现的全身性免疫风湿疾病。ra发病率高达0.3%至1%，是一种难治性疾病, 病程反复、缠绵不愈、致残率高, 可累及全身多个系统, 严重危害人类健康。特别地，风湿性关节炎的诊断往往比较复杂，因为它可能与其他疾病有类似的症状，例如骨关节炎等。因此，诊断对于控制疾病进展和预防永久性关节损伤至关重要。

2、然而，传统类风湿性关节炎诊疗系统在处理临床数据时，往往受限于数据类型的单一性，例如过分侧重于实验室检验结果或仅分析病历文本，而未能充分利用影像学、遗传学、生活方式等多维度信息。这种单一视角可能忽略了疾病全貌，限制了诊断的深度和广度。同时，由于缺乏高效的自动化工具，这些系统在信息分析上过度依赖医生的个人经验和即时判断，这不仅增加了医生的工作负担，也可能导致诊断结果的偏差和不一致性。

3、因此，需要一种优化的类风湿性关节炎诊疗辅助方案。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术提供了一种类风湿性关节炎诊疗辅助系统及方法，其采用基于深度学习的信息处理和图像分析技术来对就诊患者对象的检验检查信息、病历文本信息进行语义编码，对就诊患者对象的关节影像数据进行特征提取，以此根据检验检查信息约束下关节影像融合特征和病历文本信息约束下关节影像融合特征之间的显著联合感知特征来自动地判断是否患有类风湿关节炎。这样，通过处理多种类型的临床数据，能够自动全面地评估患者的病情，同时减少了对医生个人经验和判断的依赖，进而有利于提高类风湿性关节炎诊疗辅助的自动化水平。

2、根据本技术的一个方面，提供了一种类风湿性关节炎诊疗辅助系统，其包括：

3、就诊患者对象相关数据采集模块，用于获取就诊患者对象的检验检查信息、病历文本信息和关节影像数据；

4、检验检查信息病历文本信息语义编码模块，用于对所述检验检查信息和所述病历文本信息进行语义编码以得到检验检查信息语义编码特征向量和病历文本信息语义编码特征向量；

5、关节影像特征提取模块，用于将所述关节影像数据输入关节影像特征提取器以得到关节影像特征图；

6、检验检查信息引导关节影像多模态融合模块，用于将所述检验检查信息语义编码特征向量和所述关节影像特征图输入跨领域异构transformer多模态编码模块以得到检验检查信息约束下关节影像多模态融合特征图；

7、病历文本信息引导关节影像多模态融合模块，用于将所述病历文本信息语义编码特征向量和所述关节影像特征图输入所述跨领域异构transformer多模态编码模块以得到病历文本信息约束下关节影像多模态融合特征图；

8、关节状态多模态混合显著化模块，用于将所述检验检查信息约束下关节影像多模态融合特征图和所述病历文本信息约束下关节影像多模态融合特征图输入基于注意力机制的显著联合感知模块以得到关节状态多模态混合显著联合感知特征图作为关节状态多模态混合显著联合感知特征；

9、辅助诊断结果生成模块，用于基于所述关节状态多模态混合显著联合感知特征，得到辅助诊断结果，所述辅助诊断结果用于表示是否患有类风湿关节炎。

10、在上述类风湿性关节炎诊疗辅助系统中，所述关节影像特征提取模块，用于：将所述关节影像数据输入基于空洞卷积神经网络模型的关节影像特征提取器以得到所述关节影像特征图。

11、在上述类风湿性关节炎诊疗辅助系统中，所述检验检查信息引导关节影像多模态融合模块，包括：检验检查信息特征线性变换形状重塑单元，用于对所述检验检查信息语义编码特征向量进行线性变换和特征形状重塑以得到检验检查信息语义编码调制矩阵；关节影像特征线性变换单元，用于对所述关节影像特征图进行第一线性变换和第二线性变换以得到第一线性变换关节影像特征图和第二线性变换关节影像特征图；线性变换关节影像特征形状重塑单元，用于对所述第一线性变换关节影像特征图和所述第二线性变换关节影像特征图进行特征形状重塑以得到第一线性变换关节影像特征矩阵和第二线性变换关节影像特征矩阵；检验检查信息注意力计算单元，用于以所述第一线性变换关节影像特征矩阵和所述第二线性变换关节影像特征矩阵为键矩阵和值矩阵且以所述检验检查信息语义编码调制矩阵作为查询矩阵，将所述查询矩阵、所述键矩阵和所述值矩阵输入transformer结构以得到检验检查信息注意力查询关节影像矩阵；关节影像矩阵形状重塑卷积编码单元，用于对所述检验检查信息注意力查询关节影像矩阵进行形状重塑和点卷积编码以得到检验检查信息注意力查询关节影像特征图；检验检查信息约束下关节影像多模态融合特征生成单元，用于将所述检验检查信息注意力查询关节影像特征图与所述关节影像特征图进行按位置点乘以得到所述检验检查信息约束下关节影像多模态融合特征图；其中，所述检验检查信息注意力计算单元，用于：计算所述检验检查信息语义编码调制矩阵的转置矩阵与所述第一线性变换关节影像特征矩阵之间的矩阵乘积后输入softmax函数以得到检验检查信息-关节影像特征关联矩阵；将所述检验检查信息-关节影像特征关联矩阵作为权重矩阵，计算所述权重矩阵与所述第二线性变换关节影像特征矩阵之间的矩阵乘积以得到所述检验检查信息注意力查询关节影像矩阵。

12、在上述类风湿性关节炎诊疗辅助系统中，所述检验检查信息特征线性变换形状重塑单元，用于：将所述检验检查信息语义编码特征向量与检验检查信息调制矩阵进行矩阵相乘后与检验检查信息偏置向量进行按位置相加以得到检验检查信息语义编码调制偏置向量；将所述检验检查信息语义编码调制偏置向量输入sigmoid函数进行激活处理以得到检验检查信息语义编码调制激活向量；对所述检验检查信息语义编码调制激活向量进行形状重塑以得到所述检验检查信息语义编码调制矩阵。

13、在上述类风湿性关节炎诊疗辅助系统中，所述关节影像特征线性变换单元，用于：将所述关节影像特征图中沿通道维度的各个特征矩阵与第一关节影像调制矩阵进行按位置相乘后与第一关节影像偏置矩阵进行按位置相加以得到第一关节影像偏置特征图；将所述第一关节影像偏置特征图输入所述sigmoid函数进行激活处理以得到所述第一线性变换关节影像特征图；将所述关节影像特征图中沿通道维度的各个特征矩阵与第二关节影像调制矩阵进行按位置相乘后与第二关节影像偏置矩阵进行按位置相加以得到第二关节影像偏置特征图；将所述第二关节影像偏置特征图输入所述sigmoid函数进行激活处理以得到所述第二线性变换关节影像特征图。

14、在上述类风湿性关节炎诊疗辅助系统中，所述关节状态多模态混合显著化模块，包括：关节影像多模态融合特征形状重塑单元，用于对所述检验检查信息约束下关节影像多模态融合特征图和所述病历文本信息约束下关节影像多模态融合特征图进行特征形状重塑以得到检验检查信息约束下关节影像多模态融合特征形状重塑矩阵和病历文本信息约束下关节影像多模态融合特征形状重塑矩阵；检验检查-病历文本逐通道交互感知单元，用于将所述检验检查信息约束下关节影像多模态融合特征形状重塑矩阵和所述病历文本信息约束下关节影像多模态融合特征形状重塑矩阵输入特征逐通道交互感知模块以得到检验检查-病历文本约束下关节影像依赖关系矩阵和病历文本-检验检查约束下关节影像依赖关系矩阵；关节影像依赖关系矩阵剪枝单元，用于将所述检验检查-病历文本约束下关节影像依赖关系矩阵和所述病历文本-检验检查约束下关节影像依赖关系矩阵输入随机失活模块以得到剪枝化检验检查-病历文本约束下关节影像依赖关系矩阵和剪枝化病历文本-检验检查约束下关节影像依赖关系矩阵；病历文本信息约束下关节影像多模态融合特征优化单元，用于将所述剪枝化检验检查-病历文本约束下关节影像依赖关系矩阵与所述病历文本信息约束下关节影像多模态融合特征形状重塑矩阵进行矩阵相乘以得到依赖关系优化病历文本信息约束下关节影像多模态融合特征矩阵；检验检查信息约束下关节影像多模态融合特征优化单元，用于将所述剪枝化病历文本-检验检查约束下关节影像依赖关系矩阵与所述检验检查信息约束下关节影像多模态融合特征形状重塑矩阵进行矩阵相乘以得到依赖关系优化检验检查信息约束下关节影像多模态融合特征矩阵；信息约束下关节影像多模态融合特征形状重塑单元，用于对所述依赖关系优化病历文本信息约束下关节影像多模态融合特征矩阵和所述依赖关系优化检验检查信息约束下关节影像多模态融合特征矩阵进行特征形状重塑以得到优化病历文本信息约束下关节影像多模态融合特征图和优化检验检查信息约束下关节影像多模态融合特征图；关节状态多模态混合显著联合感知特征生成单元，用于计算所述优化检验检查信息约束下关节影像多模态融合特征图和所述优化病历文本信息约束下关节影像多模态融合特征图的加权和以得到所述关节状态多模态混合显著联合感知特征图。

15、在上述类风湿性关节炎诊疗辅助系统中，所述检验检查-病历文本逐通道交互感知单元，用于：计算所述检验检查信息约束下关节影像多模态融合特征形状重塑矩阵的转置矩阵与所述病历文本信息约束下关节影像多模态融合特征形状重塑矩阵之间的矩阵乘积以得到第一相关特征矩阵；计算所述第一相关特征矩阵与所述第一相关特征矩阵的尺度的按位置除法以得到第一相关特征调制矩阵；计算所述病历文本信息约束下关节影像多模态融合特征形状重塑矩阵的转置矩阵与所述检验检查信息约束下关节影像多模态融合特征形状重塑矩阵之间的矩阵乘积以得到第二相关特征矩阵；计算所述第二相关特征矩阵与所述第二相关特征矩阵的尺度的按位置除法以得到第二相关特征调制矩阵；将所述第一相关特征调制矩阵和所述第二相关特征调制矩阵分别输入所述softmax函数以得到所述检验检查-病历文本约束下关节影像依赖关系矩阵和所述病历文本-检验检查约束下关节影像依赖关系矩阵。

16、在上述类风湿性关节炎诊疗辅助系统中，所述辅助诊断结果生成模块，用于：将所述关节状态多模态混合显著联合感知特征图输入基于分类器的ra辅助诊断模块以得到所述辅助诊断结果，所述辅助诊断结果用于表示是否患有类风湿关节炎。

17、根据本技术的另一方面，提供了一种类风湿性关节炎诊疗辅助方法，其包括：

18、获取就诊患者对象的检验检查信息、病历文本信息和关节影像数据；

19、对所述检验检查信息和所述病历文本信息进行语义编码以得到检验检查信息语义编码特征向量和病历文本信息语义编码特征向量；

20、将所述关节影像数据输入关节影像特征提取器以得到关节影像特征图；

21、将所述检验检查信息语义编码特征向量和所述关节影像特征图输入跨领域异构transformer多模态编码模块以得到检验检查信息约束下关节影像多模态融合特征图；

22、将所述病历文本信息语义编码特征向量和所述关节影像特征图输入所述跨领域异构transformer多模态编码模块以得到病历文本信息约束下关节影像多模态融合特征图；

23、将所述检验检查信息约束下关节影像多模态融合特征图和所述病历文本信息约束下关节影像多模态融合特征图输入基于注意力机制的显著联合感知模块以得到关节状态多模态混合显著联合感知特征图作为关节状态多模态混合显著联合感知特征；

24、基于所述关节状态多模态混合显著联合感知特征，得到辅助诊断结果，所述辅助诊断结果用于表示是否患有类风湿关节炎。

25、在上述类风湿性关节炎诊疗辅助方法中，将所述关节影像数据输入关节影像特征提取器以得到关节影像特征图，包括：将所述关节影像数据输入基于空洞卷积神经网络模型的关节影像特征提取器以得到所述关节影像特征图。

26、与现有技术相比，本技术提供的类风湿性关节炎诊疗辅助系统及方法，其采用基于深度学习的信息处理和图像分析技术来对就诊患者对象的检验检查信息、病历文本信息进行语义编码，对就诊患者对象的关节影像数据进行特征提取，以此根据检验检查信息约束下关节影像融合特征和病历文本信息约束下关节影像融合特征之间的显著联合感知特征来自动地判断是否患有类风湿关节炎。这样，通过处理多种类型的临床数据，能够自动全面地评估患者的病情，同时减少了对医生个人经验和判断的依赖，进而有利于提高类风湿性关节炎诊疗辅助的自动化水平。