一种基于双通道条件融合的医学图像因果合理性检测方法

1.本发明属于医学图像检测领域，具体涉及一种基于双通道条件融合的医学图像因果合理性检测方法。


背景技术：

2.随着现在医学影像装备的远程化、多模态融合、智能化，使得医学影像数据的质量及可靠性难以得到绝对的保障。医学图像的上传可能有意或无意的上传他人的、病人过往的、算法合成或篡改过的、因操作失误造成的错误成像，从而影响医生的诊断结果。并且随着现在医学影像装备的智能化，特别是一些量大、面广，筛查性的医学影像，因其数量过于庞大，难以配置专业人员审核所有上传的影像。鉴于医学影像中的组织器官会随着时间的流逝有其固定的发展规律，两幅具有时间先后的医学影像必然存在着因果关系，具体则是生物组织及器官甚至疾病也有其特有的发展流程，不会突然出现违反组织器官生长或疾病发展的正常规律的变化。往往使用人工智能算法来审核上传的图像，利用时序因果性判断医学影像是否属于目标病人、是否属于过往历史数据、影像反映的组织器官的变化是否符合其自然发展规律，能够在不依赖人工审核的情况下评价具有时间先后关系的两幅影像中组织器官的因果合理性。然而病人在先后两次筛查时，会因为病人姿态、成像参数的不同，给医学影像带来一些额外的变化，从而对因果关系的提取造成干扰。
3.周涛等人提出了hi-net多模态混合医学图像合成网络结构，参考文献：zhou t,fu h,chen g,shen j,shao l.hi-net:hybrid-fusion network formulti-modal mr image synthesis.ieee transactions on medical imaging 2020, 39(9):2772-2781.。hi-net使用两种模态的医学影像，合成第三种模态的医学影像，并设置了混合融合模块实现了从低到高的不同抽象层次上的信息融合。作为输入的两种模态的医学影像可以是两张具备因果关系的同模态医学影像，通过多模态融合可以提取两张医学影像的因果特征。但是不支持在不同时间跨度下的因果关系的提取，并且容易受到因为病人姿态、成像参数不同带来的干扰。


技术实现要素：

4.本发明的目的在于针对上述问题，提出一种基于双通道条件融合的医学图像因果合理性检测方法，克服了现有技术因果关系提取方法中时间跨度不可调，对因病人姿态、成像参数不同带来的干扰过于敏感的问题，能够获得更加准确的检测结果。
5.为实现上述目的，本发明所采取的技术方案为：
6.本发明提出的一种基于双通道条件融合的医学图像因果合理性检测方法，包括如下步骤：
7.s1、获取医学图像数据集并从医学图像数据集中选取一张医学图像记为原始医学图像其中，a为病人编号，i为原始医学图像的拍摄生成日期，a表示拍摄部位，b表示拍摄角度；
8.s2、利用医学图像扰动器从医学图像数据集中选取两张医学图像分别记为第一医学图像和第二医学图像使构成符合因果合理性的正样对，构成不符合因果合理性的负样对， y为所在样对的两张医学图像的时间间隔，b为病人编号，j为医学图像扰动器选取的医学图像的拍摄生成日期，c表示拍摄部位，d表示拍摄角度；
9.s3、建立双通道条件融合模型，双通道条件融合模型包括第一通道模块、第二通道模块、判决器和三个特征提取器，第一通道模块和第二通道模块均包括时间信息分发器和多个依次连接的嵌入融合单元，嵌入融合单元包括依次连接的时间信息嵌入器和融合模块，并执行如下操作：
10.s31、将原始医学图像第一医学图像和第二医学图像一一对应输入三个特征提取器进行特征提取，获得对应的抽象等级由低到高的各个层次的抽象特征；
11.s32、将原始医学图像和第一医学图像对应的抽象等级由低到高的各个层次的抽象特征分别一一对应依次输入第一通道模块的各时间信息嵌入器，将原始医学图像和第二医学图像对应的抽象等级由低到高的各个层次的抽象特征分别一一对应依次输入第二通道模块的各时间信息嵌入器；
12.s33、利用时间信息分发器将所在样对的两张医学图像的时间间隔y 转换为与各个层次匹配的均值和方差分发到对应通道模块的时间信息嵌入器中；
13.s34、将各通道模块的嵌入融合单元接收的均值和方差融合到与其匹配的抽象特征中，获得对应通道模块的输出特征，每个通道模块具体操作如下：
14.s341、通过第一层次的时间信息嵌入器将接收的两医学图像的抽象特征分别与接收的均值和方差融合，获得对应的第一层次提取特征，并将第一层次提取特征通过第一层次的融合模块生成第一层次融合特征；
15.s342、通过第n层次的时间信息嵌入器将接收的两医学图像的抽象特征分别与接收的均值和方差融合，获得对应的第n层次提取特征，并将第 n层次提取特征和第n-1层次融合特征通过第n层次的融合模块生成第n 层次融合特征，n≥2；
16.s343、判断n是否等于n，n为嵌入融合单元的数量，若是，认为完成全部层次的融合，并将最末层次的融合特征作为对应通道模块的输出特征，否则，置n＝n+1，返回执行步骤s342；
17.s4、将第一通道模块的输出特征和第二通道模块的输出特征依次对应记为正样和负样并输入判决器，获得原始医学图像的因果合理性评分。
18.优选地，符合因果合理性的正样对满足以下约束：
19.y是原始医学图像和第一医学图像的时间间隔，以年为单位； j≥i，i和j均为整数；当i＝＝j时，ab≠cd；
20.不符合因果合理性的负样对满足以下约束：
21.①
当a＝b时：y是原始医学图像和第二医学图像的时间间隔，以年为单位；i≥j，i和j均为整数；
22.②
当a≠b时：y是原始医学图像和第二医学图像的时间间隔，以年为单位；i和j均为整数。
23.优选地，特征提取器和判决器均采用多层卷积神经网络。
24.优选地，特征提取器采用resnet50网络或transformer网络。
25.优选地，时间信息分发器采用全连接网络。
26.优选地，时间信息嵌入器为条件归一化层。
27.优选地，条件归一化层采用batch normalization层。
28.优选地，融合模块的融合方式为将其输入特征进行像素级矩阵的相乘、相加和取最大值其中之一。
29.优选地，双通道条件融合模型还进行训练并通过差异损失函数loss
dif
和分布损失函数loss
dis
反向传播调优双通道条件融合模型，直至差异损失函数loss
dif
和分布损失函数loss
dis
收敛，获得训练好的双通道条件融合模型。
30.优选地，差异损失函数loss
dif
和分布损失函数loss
dis
，公式如下：
[0031][0032]
loss
dis
＝-dd(di(x))
[0033]
式中，x为正样，y为负样，di(
·
)为差异判决器，为di(x)的梯度， ||
·
||1为l1范数，为l2范数的平方，dd(
·
)为分布判决器。
[0034]
与现有技术相比，本发明的有益效果为：
[0035]
该方法通过引入双通道条件融合模型，采用双通道融合两张具备因果关系的图像并提取其因果特征，可以根据两次医学图像的时间间隔，有区别的比较与融合来自两张医学图像的抽象特征，并且能抑制因为病人姿态和设备参数不同带来的差异，尤其是能够抑制由病人姿态、成像参数引起干扰的低层次抽象特征；并通过加入了条件归一化层，使得提取的抽象特征对时间高度敏感，增加网络的时间感知能力；且通过融合模块随着训练的推进，可以自动学习到使用所需抽象等级的特征，能够更好的获得因果特征，克服了现有技术因果关系提取方法中时间跨度不可调，对因病人姿态、成像参数不同带来的干扰过于敏感的问题，且能够获得更加准确的检测结果。
附图说明
[0036]
图1为本发明基于双通道条件融合的医学图像因果合理性检测方法的流程图。
具体实施方式
[0037]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本
申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0038]
需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
[0039]
为了克服现有医学图像因果关系提取方法中时间跨度不可调，对因病人姿态、成像参数不同带来的干扰过于敏感的问题。本发明提供了一种基于双通道条件融合的医学图像因果合理性检测方法，可以根据两次医学图像成像的时间间隔，有区别的比较与融合来自两张医学图像的特征，并且能抑制因为病人姿态和设备参数不同带来的差异，获得更加准确的检测结果。
[0040]
如图1所示，一种基于双通道条件融合的医学图像因果合理性检测方法，包括如下步骤：
[0041]
s1、获取医学图像数据集并从医学图像数据集中选取一张医学图像记为原始医学图像其中，a为病人编号，i为原始医学图像的拍摄生成日期，a表示拍摄部位，b表示拍摄角度。
[0042]
s2、利用医学图像扰动器从医学图像数据集中选取两张医学图像分别记为第一医学图像和第二医学图像使构成符合因果合理性的正样对，构成不符合因果合理性的负样对，y为所在样对的两张医学图像的时间间隔，b为病人编号，j为医学图像扰动器选取的医学图像的拍摄生成日期，c表示拍摄部位，d表示拍摄角度。
[0043]
在一实施例中，符合因果合理性的正样对满足以下约束：
[0044]
y是原始医学图像和第一医学图像的时间间隔，以年为单位； j≥i，i和j均为整数；当i＝＝j时，ab≠cd；
[0045]
不符合因果合理性的负样对满足以下约束：
[0046]
①
当a＝b时：y是原始医学图像和第二医学图像的时间间隔，以年为单位；i≥j，i和j均为整数；
[0047]
②
当a≠b时：y是原始医学图像和第二医学图像的时间间隔，以年为单位；i和j均为整数。
[0048]
其中，a，c表示不同或相同的拍摄部位；b，d表示不同或相同的拍摄角度。医学图像扰动器用于根据上述约束条件在医学图像数据集中用 for循环等判断遍历的两张医学图像的信息，如病人编号、拍摄时间、拍摄部位、拍摄角度等是否符合因果合理性的定义，最后输出即可。能够根据给定的原始医学图像，从医学图像数据集中寻找给定的原始医学图像在时间和空间上合理或不合理的配对医学图像，输出符合因果合理性的正样对和不符合因果合理性的负样对。需要说明的是，时间间隔的单位还可根据实际需求调整，如月、日等。
[0049]
s3、建立双通道条件融合模型，双通道条件融合模型包括第一通道模块、第二通道模块、判决器和三个特征提取器，第一通道模块和第二通道模块均包括时间信息分发器和多个依次连接的嵌入融合单元，嵌入融合单元包括依次连接的时间信息嵌入器和融合模块，并执行如下操作：
[0050]
s31、将原始医学图像第一医学图像和第二医学图像一一对应输入三个特征提取器进行特征提取，获得对应的抽象等级由低到高的各个层次的抽象特征；
[0051]
s32、将原始医学图像和第一医学图像对应的抽象等级由低到高的各个层次的抽象特征分别一一对应依次输入第一通道模块的各时间信息嵌入器，将原始医学图像和第二医学图像对应的抽象等级由低到高的各个层次的抽象特征分别一一对应依次输入第二通道模块的各时间信息嵌入器；
[0052]
s33、利用时间信息分发器将所在样对的两张医学图像的时间间隔y 转换为与各个层次匹配的均值和方差分发到对应通道模块的时间信息嵌入器中；
[0053]
s34、将各通道模块的嵌入融合单元接收的均值和方差融合到与其匹配的抽象特征中，获得对应通道模块的输出特征，每个通道模块具体操作如下：
[0054]
s341、通过第一层次的时间信息嵌入器将接收的两医学图像的抽象特征分别与接收的均值和方差融合，获得对应的第一层次提取特征，并将第一层次提取特征通过第一层次的融合模块生成第一层次融合特征；
[0055]
s342、通过第n层次的时间信息嵌入器将接收的两医学图像的抽象特征分别与接收的均值和方差融合，获得对应的第n层次提取特征，并将第 n层次提取特征和第n-1层次融合特征通过第n层次的融合模块生成第n 层次融合特征，n≥2；
[0056]
s343、判断n是否等于n，n为嵌入融合单元的数量，若是，认为完成全部层次的融合，并将最末层次的融合特征作为对应通道模块的输出特征，否则，置n＝n+1，返回执行步骤s342。
[0057]
在一实施例中，特征提取器和判决器均采用多层卷积神经网络。需要说明的是，特征提取器不只局限于使用卷积神经网络提取图像特征，并且在各尺度下用于提取特征的方法还可根据实际需求调整。
[0058]
在一实施例中，特征提取器采用resnet50网络或transformer网络。对输入的医学图像提取抽象等级由低到高的各个层次的抽象特征，提取的各个层次的抽象特征将作为相对应层的时间信息嵌入器的输入。
[0059]
在一实施例中，时间信息分发器采用全连接网络。将时间间隔y作为其输入，最后由全连接网络预测并输出与各个层次匹配的时间信息嵌入器所需要的均值和方差。
[0060]
在一实施例中，时间信息嵌入器为条件归一化层。
[0061]
在一实施例中，条件归一化层采用batch normalization层。
[0062]
需要说明的是，条件归一化层还可采用现有技术中的其他归一化层。将由时间信息嵌入器输入的均值和方差输入到条件归一化层之后，与提取的对应层次的抽象特征进行融合，使之呈现出与时间及抽象层次相匹配的统计特性，增强提取的抽象特征的时间敏感度和网络的时间感知能力。
[0063]
在一实施例中，融合模块的融合方式为将其输入特征进行像素级矩阵的相乘、相加和取最大值其中之一。除第一层次的融合模块将本层次的提取特征进行融合外，其他层次的融合模块都是将本层次的提取特征和前一层融合模块输出的融合特征进行融合，融合方式可以是像素级矩阵的相乘、相加、取最大值等。最终对应通道的输出特征有效地集成了多层次表示，提高了融合性能。
[0064]
在一实施例中，双通道条件融合模型还进行训练并通过差异损失函数 loss
dif
和分布损失函数loss
dis
反向传播调优双通道条件融合模型，直至差异损失函数loss
dif
和分布损失函数loss
dis
收敛，获得训练好的双通道条件融合模型。
[0065]
在一实施例中，差异损失函数loss
dif
和分布损失函数loss
dis
，公式如下：
[0066][0067]
loss
dis
＝-dd(di(x))
[0068]
式中，x为正样，y为负样，di(
·
)为差异判决器，为di(x)的梯度， ||
·
||1为l1范数，为l2范数的平方，dd(
·
)为分布判决器。差异判决器和分布判决器可以是现有技术中或根据实际需求自行设计的判决器结构，如采用wgan网络中的判决器结构。
[0069]
loss
dif
能让判决器对正样和负样的评分差异要尽可能大，但又可以避免两极分化导致无法收敛。loss
dis
能够对正样的评分应满足预定义的随机分布，保证对正样的评分具有较高的聚拢性，以控制正样的评分分布。
[0070]
随着整个双通道条件融合模型的训练，融合模块可以自动学习到使用哪些抽象等级的特征能够更好的获得因果特征，从而有效的抑制低抽象等级的特征对姿态、配置等引起的干扰。
[0071]
s4、将第一通道模块的输出特征和第二通道模块的输出特征依次对应记为正样和负样并输入判决器，获得原始医学图像的因果合理性评分。由正样对最终提取融合的特征作为判决器的正样，由负样对最终提取融合的特征作为判决器的负样，并可通过迭代训练调优后的双通道条件融合模型，最后能够输出医学图像的因果合理性评分。
[0072]
以下通过具体实施例进行详细说明。
[0073]
如图1所示，标号说明具体如下：表示原始医学图像，表示第一医学图像，即医学图像扰动器从医学图像数据集选取的与配对为正样对的医学图像，表示第二医学图像，即医学图像扰动器从医学图像数据集选取的与配对为负样对的医学图像，g表示医学图像扰动器，y 表示所在样对的两张医学图像的时间间隔，e表示时间信息分发器，f0～f9表示特征提取器提取的抽象等级由低到高的抽象特征，f
10
～f
19
表示特征提取器提取的抽象等级由低到高的抽象特征，f
20
～f
29
表示特征提取器提取的抽象等级由低到高的抽象特征，t0～t9表示第一通道模块中对应层次(由低到高)的时间信息嵌入器，t
10
～t
19
表示第二通道模块中对应层次(由低到高)的时间信息嵌入器，m0～m9表示第一通道模块中对应层次(由低到高)的融合模块，m
10
～m
19
表示第二通道模块中对应层次(由低到高)的融合模块，net表示特征提取器，d表示判决器。图中细实线箭头表示正样对数据
流，粗实线箭头表示负样对数据流，细点划线箭头表示融合数据流，细虚线箭头表示时间信息流。
[0074]
1)、将原始医学图像通过医学图像扰动器g得到一个符合因果合理性的正样对和一个不符合因果合理性的负样对和一个不符合因果合理性的负样对
[0075]
2)、将正样对的两幅图像和使用两个相同的特征提取器net分别得到抽象等级由低到高的抽象特征f0～f9和f
10
～f
19
，两个特征提取器 net之间共享参数，各个层次的抽象特征都会有与之相匹配的时间信息嵌入器，如第一通道模块的第一层次的抽象特征包括f0和f
10
，对应的时间信息嵌入器为t0，其他同理，即正样对的f0～f9和f
10
～f
19
对应的时间信息嵌入器为t0～t9，负样对的f0～f9和f
20
～f
29
对应的时间信息嵌入器为t
10
～t
19
。本实施例中使用了共计19个时间信息嵌入器t1,t2，
…
，t
19
，对应有19个融合模块m1,m2，
…
，m
19
，需要说明的是，时间信息嵌入器和融合模块的个数还可根据实际需求调整。
[0076]
3)、时间信息分发器e会根据输入的时间间隔y输出9组均值和方差，分别提供给9个时间信息嵌入器，每个时间信息嵌入器输入的均值和方差均不同。
[0077]
4)、时间信息嵌入器根据3)所提供的均值和方差将其与对应层次的抽象特征进行融合，即每组均值和方差与输入的各抽象特征分别进行条件归一化，使之呈现出互不相同的与时间及抽象层次相匹配的统计特性，对应输出的提取特征对时间敏感。
[0078]
5)、第n层次的融合模块将本层次时间信息嵌入器的两个输出与上一层次的融合模块的输出结果进行融合，正样对的最末层次的融合模块m9的输出作为判决器d的正样。负样对重复上述3)～5)过程，负样对的最末层次的融合模块m
19
的输出作为判决器d的负样。
[0079]
6)、训练并通过差异损失函数loss
dif
和分布损失函数loss
dis
反向传播调优双通道条件融合模型，即训练因果特征提取模块和判决器d，因果特征提取模块包括第一通道模块、第二通道模块和三个特征提取器。当差异损失函数loss
dif
和分布损失函数loss
dis
收敛时，双通道条件融合模型训练完成。
[0080]
进一步地，当整个双通道条件融合模型训练完成时，将待检测医学图像x作为输入到双通道条件融合模型，并输出对待检测医学图像x的因果合理性评分，根据事先给定的概率分布(如高斯分布)计算因果合理性评分对应的p-value，当p值小于0.05时我们认定此待检测医学图像x 不符合因果合理性，需要说明的是，p值还可根据实际需求调整。
[0081]
该方法通过引入双通道条件融合模型，采用双通道融合两张具备因果关系的图像并提取其因果特征，可以根据两次医学图像的时间间隔，有区别的比较与融合来自两张医学图像的抽象特征，并且能抑制因为病人姿态和设备参数不同带来的差异，尤其是能够抑制由病人姿态、成像参数引起干扰的低层次抽象特征；并通过加入了条件归一化层，使得提取的抽象特征对时间高度敏感，增加网络的时间感知能力；且通过融合模块随着训练的推进，可以自动学习到使用所需抽象等级的特征，能够更好的获得因果特征，克服了现有技术因果关系提取方法中时间跨度不可调，对因病人姿态、成像参数不同带来的干扰过于敏感的问题，且能够获得更加准确的检测结果。
[0082]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在
矛盾，都应当认为是本说明书记载的范围。
[0083]
以上所述实施例仅表达了本技术描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。