一种图像处理方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。


背景技术：

2.随着计算机图形图像处理技术的快速发展，使得计算机基础在医疗领域中得到了广泛的应用。通过计算机对各种诊断图像的分析处理，有效提高了医务工作人员的准确诊断效率。目前，常用的计算机辅助诊断系统通常对磁共振成像(magnetic resonance imaging，mri)或电子计算机断层扫描(computed tomography，ct)图像进行相应的加强处理，以使医生快速确定病灶所在位置。例如目前计算机辅助诊断系统确定肝脏肿瘤时，通常采用双模态方案来实现，即采集一段时间内造影剂处于肝脏静脉血管时的增强ct图像和造影剂处于肝脏动脉内时的ct图像进行分析，由于造影剂处于肝脏静脉血管时的增强ct图像和造影剂处于肝脏动脉内时的ct图像可以很好地互相补充信息，有助于更好地诊断肝脏肿瘤。
3.但是目前若只有一种模态的图像信息或超过2种模态的图像信息时，不能采用上述双模态方案来进行图像处理，需重新开发新的对应的图像处理方法，导致目前的图像处理方法效率较低。
4.申请内容
5.为解决上述技术问题，本技术实施例期望提供一种图像处理方法及装置，本技术的技术方案是这样实现的：
6.第一方面，一种图像处理方法，所述方法包括：
7.获得第一数量个待分析图像；其中，每一所述待分析图像对应目标拍摄对象的一个不同的目标模态；
8.通过图像分析模型，对所述第一数量个所述待分析图像进行融合增强处理，得到第一目标图像；其中，所述第一目标图像用于增强显示所述第一数量个所述待分析图像中分析对象的分布区域，所述分析对象属于所述拍摄对象，所述图像分析模型由第二数量个不同样本模态对应的样本图像训练得到，所述第一数量小于或等于所述第二数量，所述目标模态属于所述样本模态。
9.可选的，所述通过图像分析模型，对所述第一数量个所述待分析图像进行融合增强处理，得到第一目标图像，包括：
10.若所述第一数量为1，基于所述图像分析模型中所述第一数量个不同目标模态的待分析图像对应的特征提取子模型，对对应的所述待分析图像进行处理，得到所述第一目标图像；其中，每一所述待分析图像对应的特征提取子模型能够表征所述第二数量个不同样本模态的待分析图像之间的关联关系。
11.可选的，所述通过图像分析模型，对所述第一数量个所述待分析图像进行融合增强处理，得到第一目标图像，包括：
12.若所述第二数量大于或等于2，且小于或等于所述第二数量，通过所述图像分析模
型中与所述第一数量个不同目标模态的待分析图像对应的特征提取子模型，对对应的所述待分析图像进行处理，得到第一数量个参考图像；其中，每一所述待分析图像对应的特征提取子模型能够表征所述第二数量个不同样本模态的待分析图像之间的关联关系；
13.通过所述图像分析模型中的模态感知子模型，对所述第一数量个所述参考图像进行图像处理，得到所述第一目标图像。
14.可选的，所述模态感知子模型用于对至少两个不同模态的参考图像进行图像融合处理，或者，所述模态感知子模型用于对至少两个不同样本模态的参考图像进行特征增强处理后，进行图像融合处理。
15.可选的，在所述模态感知子模型用于对至少两个不同样本模态的参考图像进行特征增强处理后，进行图像融合处理的情况下，所述通过所述图像分析模型中的模态感知子模型，对所述第一数量个所述参考图像进行图像处理，得到所述第一目标图像，包括：
16.通过所述模态感知子模型对所述第一数量个所述参考图像进行图像融合处理，得到目标融合图像；
17.通过所述模态感知子模型确定每一所述参考图像与所述目标融合图像之间的相似系数，得到所述第一数量个所述相似系数；
18.通过所述模态感知子模型对所述第一数量个所述相似系数和所述第一数量个所述参考图像进行特征增强处理，得到所述第一目标图像。
19.可选的，所述通过所述模态感知子模型对所述第一数量个所述相似系数和所述第一数量个所述参考图像进行特征增强处理，得到所述第一目标图像，包括：
20.通过所述模态感知子模型分别对每一所述参考图像采用对应的所述相似系数进行特征强化处理，得到所述第一数量个子特征图像；
21.通过所述模态感知子模型对所述第一数量个所述子特征图像进行图像融合处理，得到所述第一目标图像。
22.可选的，所述方法还包括：
23.获得第三数量组样本图像和所述第三数量组所述样本图像中针对所述分析对象的第三数量个标记位置；其中，每一组所述样本图像包括所述第二数量个不同样本模态对应的样本图像；
24.确定待训练图像模型；
25.采用所述第三数量组所述样本图像和所述第三数量个所述标记位置，对所述待训练图像模型进行模型训练，得到所述图像分析模型。
26.可选的，所述采用所述第三数量组所述样本图像和所述第三数量个所述标记位置，对所述待训练图像模型进行模型训练，得到所述图像分析模型，包括：
27.通过所述待训练图像模型，对所述第三数量每一组所述样本图像中所述分析对象所在区域进行融合增强处理，得到所述第三数量个第二目标图像；
28.基于所述第三数量组所述样本图像、所述第三数量个所述第二目标图像和所述第三数量个所述标记位置，对所述待训练图像模型进行模型训练，得到所述图像分析模型。
29.可选的，所述基于所述第三数量组所述样本图像、所述第三数量个所述第二目标图像和所述第三数量个所述标记位置，对所述待训练图像模型进行模型训练，得到所述图像分析模型，包括：
30.确定每一目标组所述样本图像中每一所述样本图像和对应的所述标记位置之间的损失值，得到所述所述第三数量目标组样本图像对应的第一损失值；其中，所述每一目标组样本图像对应的所述第一损失值包括所述第二数量个损失值；
31.确定所述目标组样本图像每一对应的所述第二目标图像和对应的所述标记位置之间的损失值，得到所述目标组样本图像对应的所述第三数量个第二损失值；
32.将所述第三数量目标组样本图像对应的所述第一损失值和所述目标组样本图像对应的所述第三数量个所述第二损失值，在所述待训练图像模型中进行反向传输，以持续训练所述待训练图像模型的参数，得到所述图像分析模型。
33.第二方面，一种图像处理装置，所述装置包括：获得单元和模型处理单元；其中：
34.所述获得单元，用于获得第一数量个待分析图像；其中，每一所述待分析图像对应目标拍摄对象的一个不同的目标模态；
35.所述模型处理单元，用于通过所述图像分析模型，对所述第一数量个所述待分析图像进行融合增强处理，得到第一目标图像；其中，所述第一目标图像用于增强显示所述第一数量个所述待分析图像中分析对象的分布区域，所述分析对象属于所述拍摄对象，所述图像分析模型由第二数量个不同样本模态对应的样本图像训练得到，所述第一数量小于或等于所述第二数量，所述目标模态属于所述样本模态。
36.本技术实施例提供了一种图像处理方法及装置，获得第一数量个待分析图像后，通过图像分析模型，对第一数量个待分析图像进行融合增强处理，得到第一目标图像。这样，由于第一数量可以小于图像分析模型的全部输入的第二数量，实现了通过图像分析模型对缺失模态的第一数量个待分析图像进行增强融合处理，得到针对分析对象的第一目标图像，解决了目前图像处理方法在模态缺失时不能实现图像分析的问题，实现了在模态缺失时，依然用统一图像处理方法可以进行分析的方法，提高了图形处理方法的处理效率。
附图说明
37.图1为本技术实施例提供的一种图像处理方法的流程示意图；
38.图2为本技术实施例提供的另一种图像处理方法的流程示意图；
39.图3为本技术实施例提供的又一种图像处理方法的流程示意图；
40.图4为本技术实施例提供的再一种图像处理方法的流程示意图；
41.图5为本技术实施例提供的一种模型结构示意图；
42.图6为本技术实施例提供的一种动脉期肝脏图像；
43.图7为本技术实施例提供的一种静脉期肝脏图像；
44.图8为本技术实施例提供的一种第一目标图像的示意图；
45.图9为本技术实施例提供的一种图像处理装置的结构示意图；
46.图10为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
47.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
48.本技术的实施例提供一种图像处理方法，参照图1所示，方法应用于电子设备，该
方法包括以下步骤：
49.步骤101、获得第一数量个待分析图像。
50.其中，每一待分析图像对应目标拍摄对象的一个不同的目标模态。
51.在本技术实施例中，电子设备为具有运算分析能力的设备，例如可以是计算机设备、服务器设备、智能移动设备等。第一数量个待分析图像为针对同一目标拍摄对象采用不同的拍摄方式进行拍摄得到的、需要进行分析的图像，也就是说一个待分析图像对应一个模态，这样，第一数量个待分析图像对应有第一数量个模态。待分析图像可以是各个领域需要进行分析的图像，例如可以是医疗领域等需要对分析对象所在区域进行增强显示的图像。
52.示例性的，以电子计算机断层扫描(computed tomography，ct)方式对病人的肝脏进行图像采集，得到造影剂在静脉中时的静脉期图像和造影剂在动脉中的动脉期图像，此时，得到的静脉期图像和动脉期图像可以称为两个模态的图像。也可以是对同一病人的肝脏采用ct方式采集到
53.步骤102、通过图像分析模型，对第一数量个待分析图像进行融合增强处理，得到第一目标图像。
54.其中，第一目标图像用于增强显示第一数量个待分析图像中分析对象的分布区域，分析对象属于拍摄对象，图像分析模型由第二数量个不同样本模态对应的样本图像训练得到，第一数量小于或等于第二数量，目标模态属于样本模态。
55.在本技术实施例中，图像分析模型为采用大量包括第二数量个不同样本模态的样本图像训练得到的分析模型。在一次分析过程中，图像分析模型的最多输入对象为第二数量个不同样本模态的待分析图像，最少可以为1个样本模态的待分析图像。由于图像分析模型是根据大量包括第二数量个不同样本模态的样本图像训练得到的，因此，图像分析模型中每一样本模态对应的参数中均是由其他样本模态决定的，具有补充了其他样本模态的特征的特点，这样，在输入的待分析图像的第一数量小于第二数量时，图像分析模型也能补充缺失的样本模态的特征信息，进而对第一数量个待分析图像进行融合增强处理，得到第一目标图像。
56.本技术实施例提供了一种图像处理方法，获得第一数量个待分析图像后，通过图像分析模型，对第一数量个待分析图像进行融合增强处理，得到第一目标图像。这样，由于第一数量可以小于图像分析模型的全部输入的第二数量，实现了通过图像分析模型对缺失模态的第一数量个待分析图像进行增强融合处理，得到针对分析对象的第一目标图像，解决了目前图像处理方法在模态缺失时不能实现图像分析的问题，实现了在模态缺失时，依然用统一图像处理方法可以进行分析的方法，提高了图形处理方法的处理效率。
57.基于前述实施例，本技术的实施例提供一种图像处理方法，方法应用于电子设备，该方法包括以下步骤：
58.步骤201、获得第一数量个待分析图像。
59.其中，每一待分析图像对应目标拍摄对象的一个不同的目标模态。
60.在本技术实施例中，以待分析图像为通过ct方式采集到的肝脏ct图像为例进行说明，假设当前采集到第一数量个待分析的肝脏ct图像，从而得到第一数量个待分析图像。
61.步骤202、通过图像分析模型，对第一数量个待分析图像进行融合增强处理，得到
第一目标图像。
62.其中，第一目标图像用于增强显示第一数量个待分析图像中分析对象的分布区域，分析对象属于拍摄对象，图像分析模型由第二数量个不同样本模态对应的样本图像训练得到，第一数量小于或等于第二数量，目标模态属于样本模态。
63.在本技术实施例中，对应的图像分析模型为采用大量包括第二数量的肝脏ct图像进行模型训练得到的符合要求的模型。假设第二数量为2时，对应的两个样本模态对应的可以分别为动脉期肝脏ct图像模态和静脉期肝脏ct图像模态，此时第一数量可以是1，也可以是2，通常由具体采集到的样本模态的图像数量来决定。
64.第一数量和第二数量均可以由实际应用场景来确定，此处不做具体限定。
65.基于前述实施例，在本技术其他实施例中，参照图2所示，步骤202可以由步骤202a来实现：
66.步骤202a、若第一数量为1，基于图像分析模型中第一数量个不同目标模态的待分析图像对应的特征提取子模型，对对应的待分析图像进行处理，得到第一目标图像。
67.其中，每一待分析图像对应的特征提取子模型能够表征第二数量个不同样本模态的待分析图像之间的关联关系。
68.在本技术实施例中，在第一数量为1时，从图像分析模型中确定与获得的1个待分析图像的目标模态对应的特征提取子模型，并通过确定得到的特征提取子模型来对这1个待分析图像进行图像特征提取处理，得到第一目标图像。
69.由于图像分析模型是根据大量包括第二数量个样本模态的样本图像进行模型训练得到的，因此，得到的每一样本模态的特征提取子模型中的相关参数其他不仅能够包含自己样本模态的信息，也能够学习到其余样本模态的信息，如此，可以在使用图像分析模型对一个目标模态的待分析图像进行分析时，能够实现接近输入第二数量个样本模态的待分析图像时的效果。
70.基于前述实施例，在本技术其他实施例中，参照图3所示，步骤202可以由步骤202b～202c来实现：
71.步骤202b、若第二数量大于或等于2，且小于或等于第二数量，通过图像分析模型中与第一数量个不同目标模态的待分析图像对应的特征提取子模型，对对应的待分析图像进行处理，得到第一数量个参考图像。
72.其中，每一待分析图像对应的特征提取子模型能够表征第二数量个不同样本模态的待分析图像之间的关联关系。
73.在本技术实施例中，在第二数量大于或等于2、且小于或等于第二数量时，从图像分析模型中，确定每一待分析图像的目标模态对应的特征提取子模型，然后采用每一待分析图像的目标模态对应的特征提取子模型对对应的待分析图像进行图像特征提取处理，得到每一待分析图像对应的特征图像即参考图像，进而可以得到第一数量个参考图像。
74.步骤202c、通过图像分析模型中的模态感知子模型，对第一数量个参考图像进行图像处理，得到第一目标图像。
75.在本技术实施例中，在得到第一数量个参考图像后，通过图像分析模型中的模态感知子模型对第一数量个参考图像进行图像处理，实现特征增强和图像融合处理，得到第一目标图像。
76.基于前述实施例，在本技术其他实施例中，模态感知子模型用于对至少两个不同模态的参考图像进行图像融合处理，或者，模态感知子模型用于对至少两个不同样本模态的参考图像进行特征增强处理后，进行图像融合处理。
77.在本技术实施例中，图像分析模型中的模态感知子模型可以直接对第一数量个参考图像进行图像融合处理，对参考图像中的共同特征进行增强表示，非共同特征进行弱化表示，从而得到第一目标图像。
78.图像分析模型中的模态感知子模型还可以对第一数量个参考图像分别进行特征增强处理，然后对特征增强处理后的第一数量个参考图像进行图像融合处理，得到第一目标图像。
79.基于前述实施例，在本技术其他实施例中，在模态感知子模型用于对至少两个不同样本模态的参考图像进行特征增强处理后，进行图像融合处理的情况下，步骤202c可以通过步骤a11～a13来实现：
80.步骤a11、通过模态感知子模型对第一数量个参考图像进行图像融合处理，得到目标融合图像。
81.在本技术实施例中，模态感知子模型对通过特征提取子模块提取到的第一数量个参考图像进行图像融合处理，得到目标融合图像。
82.步骤a12、通过模态感知子模型确定每一参考图像与目标融合图像之间的相似系数，得到第一数量个相似系数。
83.在本技术实施例中，模态感知子模型得到目标融合图像后，计算每一参考图像与目标融合图像之间的相似系数，得到每一参考图像对应的相抵系数，从而得到第一数量个相似系数。模态感知子模型可以通过相似系数计算方法例如直方图匹配方法、哈希算法等来计算得到每一参考图像与目标融合图像之间的相似系数，模态感知子模型也可以采用一些神经网络模型算法来实现每一参考图像与目标融合图像之间的相似系数。
84.其中，模态感知子模型对每一参考图像与目标融合图像之间的相似系数采用神经网路模型算法来实现时，对应的模态感知子模型可以通过至少两个级联的卷积层来实现。至少两个级联的卷积层中，最后一个卷积层前的每一卷积层后包括一层实例归一化层和一层泄渗漏整流线性单元层。在模态感知子模型采用两个级联的卷积层来实现时，对第一参考分析图像进行处理的第一卷积层的卷积核的大小例如可以为3*3*3，对第一卷积层后的泄渗漏整流线性单元层的处理结果进处理的第二卷积层的卷积核的大小例如可以为1*1*1。
85.步骤a13、通过模态感知子模型对第一数量个相似系数和第一数量个参考图像进行特征增强处理，得到第一目标图像。
86.在本技术实施例中，模态感知子模型确定得到每一参考图像的相似系数后，对每一参考图像的相似系数与对应的每一参考图像进行乘积处理，实现模态感知子模型通过每一相似系数对对应的参考图像进行特征增强处理，以得到第一目标图像。
87.基于前述实施例，在本技术其他实施例中，步骤a13可以通过步骤a131～a132来实现：
88.步骤a131、通过模态感知子模型分别对每一参考图像采用对应的相似系数进行特征强化处理，得到第一数量个子特征图像。
89.在本技术实施例中，模态感知子模型分别计算每一参考图像与对应的相似系数之间的乘积，即对每一参考图像进行加权处理，实现针对每一参考图像的特征强化处理，得到每一参考图像对应的子特征图像，进而得到第一数量个子特征图像。
90.步骤a132、通过模态感知子模型对第一数量个子特征图像进行图像融合处理，得到第一目标图像。
91.在本技术实施例中，模态感知子模型对得到的第一数量个子特征图像进行叠加处理，即实现图像融合处理，从而得到第一目标图像。
92.基于前述实施例，在本技术其他实施例中，参照图4所示，电子设备执行步骤201之前，还用于执行步骤203～205：
93.步骤203、获得第三数量组样本图像和第三数量组样本图像中针对分析对象的第三数量个标记位置。
94.其中，每一组样本图像包括第二数量个不同样本模态对应的样本图像。
95.在本技术实施例中，第三数量通常为模型训练时所需的最少样本数量，标记位置为针对分析对象在样本图像中的位置，由于每一组样本图像是针对同一拍摄对象进行在不同样本模态下拍摄得到的，因此，同一组样本图像中，分析对象对应的标记位置为一个。
96.步骤204、确定待训练图像模型。
97.步骤205、采用第三数量组样本图像和第三数量个标记位置，对待训练图像模型进行模型训练，得到图像分析模型。
98.在本技术实施例中，将第三数量组样本图像和第三数量个标记位置对待训练图像模型进行模型训练，调整修改待训练图像模型中的各权重系数，使得到的训练后得到的模型与对应的标记位置之间的损失值小于预设阈值时，确定该训练后得到的模型为图像分析模型。
99.需说明的是，步骤203～205也可以作为一个独立的实施例实现。即在执行步骤201之前已作为一个独立的实施例，对待训练图像模型进行模型训练，得到图像分析模型，以便后续可以直接调用已训练好的图像分析模型。
100.基于前述实施例，在本技术其他实施例中，步骤205可以由步骤205a～205b来实现：
101.步骤205a、通过待训练图像模型，对第三数量组样本图像中分析对象所在区域进行融合增强处理，得到第三数量个第二目标图像。
102.在本技术实施例中，步骤205a的具体实现过程可以参照步骤202b～202c、步骤a11～a13和步骤a131～a132的具体实现过程来实现，此处不再详细描述。
103.步骤205b、基于第三数量组样本图像、第三数量个第二目标图像和第三数量个标记位置，对待训练图像模型进行模型训练，得到图像分析模型。
104.在本技术实施例中，采用第三数量组样本图像、第三数量个第二目标图像和第三数量个标记位置，对待训练图像模型进行模型训练，确定待训练预想模型中的各权重系数，得到图像分析模型。
105.需说明的是，从第三数量组样本图像中，依次获取一组样本图像，得到目标组样本图像；通过待训练图像模型对目标组样本图像进行融合增强处理，得到一个第二目标图像；基于目标组样本图像、目标组样本图像对应的第二目标图像、目标组样本图像对应的标记
位置，计算对应的损失值；若损失值小于预设损失阈值，将该损失值在待训练图像模型中进行反向传播，更新待训练图像模型中的参数，并将待训练图像模型更新为更新参数后的待训练图像模型；继续从第三数组样本图像中，获取与目标组样本图像相邻的下一组样本图像，并更新为目标组样本图像，或者从第三数量组样本图像中随机获取一组样本图像，并更新为目标组样本图像，如此重复，直至计算得到的损失值小于预设损失阈值时对应的待训练图像模型为图像分析模型。
106.基于前述实施例，在本技术其他实施例中，步骤205b可以由步骤b11～b13来实现：
107.步骤b11、确定目标组样本图像中每一样本图像和对应的标记位置之间的损失值，得到目标组组样本图像对应的第一损失值。
108.其中，目标组样本图像对应的第一损失值包括第二数量个损失值。
109.在本技术实施例中，采用损失函数计算目标组样本图像中每一样本图像和对应的标记位置之间的损失值，得到目标组样本图像中每一样本图像的损失值，从而可以得到目标组样本图像对应的第一损失值。
110.步骤b12、确定目标组样本图像对应的第二目标图像和对应的标记位置之间的损失值，得到目标组样本图像对应的第二损失值。
111.在本技术实施例中，采用损失函数计算目标组样本图像对应的第二目标图像和对应的标记位置之间的损失值，得到目标组样本图像对应的第二损失值。
112.步骤b13、将目标组样本图像对应的第一损失值和目标组样本图像对应的第二损失值，在待训练图像模型中进行反向传输，以持续训练待训练图像模型的参数，得到图像分析模型。
113.在本技术实施例中，确定目标组样本图像对应的第一损失值的累加和值，计算累加和值与预设权重系数的乘积，并计算乘积与目标组样本图像对应的第二损失值的和值，得到目标组样本图像对应的损失值，若该损失值小于或等于预设损失阈值，则对应的待训练图像模型可以确定为图像分析模型。若该损失值大于预设损失阈值，将该损失值反向传输至待训练图像模型中，对待训练图像模型的参数进行更新，得到第一图像分析模型，并将待训练图像模型更新为第一图像分析模型，重复执行步骤205a、步骤b11～b13对应的操作，直至得到图像分析模型。
114.基于前述实施例，本技术实施例提供一种对肝脏ct扫描图像进行图像处理方法的实现过程，对应的，提供的一种对待训练图像模型进行训练时的模型结构示意图可以参照图5所示，包括：动脉期肝脏ct输入节点31、静脉期肝脏ct输入节点32、动脉期特征提取子模型33、静脉期特征提取子模型34、模态感知子模型35、目标图像输出节点36和损失计算节点37，模态感知子模型35包括第一图像融合模块351、动脉期相似系数分析模块352、静脉期相似系数分析模块353、第二图像融合模块354，损失计算节点37包括：动脉期损失值计算模块371、静脉期损失值计算模块372、联合损失值计算模块373和综合损失值计算模块374。
115.其中，在模型训练阶段，以采用一组样本图像即针对同一病例的第一动脉期肝脏图像和第一静脉期肝脏图像进行模型训练时的信息传递过程为例进行说明：将第一动脉期肝脏图像输入至动脉期肝脏ct输入节点31，将第一静脉期肝脏图像输入至静脉期肝脏ct输入节点32；动脉期肝脏ct输入节点31将第一动脉期肝脏图像发送至动脉期特征提取子模型33处，动脉期特征提取子模型33对第一动脉期肝脏图像进行特征提取，得到第一动脉期参
考图像，同理，静脉期特征提取子模型34对第一静脉期肝脏图像进行特征提取，得到第一静脉期参考图像；第一图像融合模块351对第一动脉期参考图像和第一静脉期参考图像进行图像融合处理，得到第一目标融合图像；动脉期相似系数分析模块352对第一目标融合图像和第一动脉期参考图像进行相似系数计算，得到第一动脉相似系数，同理，静脉期相似系数分析模块353对第一目标融合图像和第一静脉期参考图像进行相似系数计算得到第一静脉相似系数；第二图像融合模块354采用第一动脉相似系数对第一动脉期参考图像进行特征增强处理，得到第一动脉子特征图像，同理，第二图像融合模块354采用第一静脉相似系数对第一静脉期参考图像进行特征增强处理，得到第一静脉子特征图像，然后对第一动脉子特征图像和第一静脉子特征图像进行图像融合处理，从而得到第一目标图像；动脉期损失值计算模块371基于第一动脉期肝脏图像x
ap
和肝脏肿瘤标记位置y计算第一动脉损失值l1＝l
intra
(y|x
ap
；w
ap
)，w
ap
为待训练模型中动脉期特征提取子模型33和动脉期相似系数分析模块352中对应参数系数，同理，静脉期损失值计算模块372基于第一静脉期肝脏图像x
vp
和肝脏肿瘤标记位置y计算第一静脉损失值l2＝l
intra
(y|x
vp
；w
vp
)，w
vp
为待训练模型中静脉期特征提取子模型34和静脉期相似系数分析模块353中对应参数系数，联合损失值计算模块373基于第一目标图像x和肝脏肿瘤标记位置y计算第一联合损失值l3＝l
joint
(y|x；w)，w＝{w
ap
，w
vp
}，综合损失模块374通过以下公式计算得到最终损失值。
[0116][0117]
若最终损失值大于预设损失阈值，将最终损失值反向传输至图5所示的待训练模型中，对动脉期特征提取子模型33、静脉期特征提取子模型34、模态感知子模型35中的参数进行更新，并对更新后的图5所示的待训练模型重复前述过程，直至确定训练得到最终损失值小于或等于预设损失阈值时对应的待训练模型为图像分析模型。
[0118]
其中：动脉期特征提取子模型33和静脉期特征提取子模型34均可以采用全卷积网络(fully convolution network，fcn)来实现。
[0119]
动脉期相似系数分析模块352和静脉期相似系数分析模块353确定相似系数的过程均可以用以下公式进行表示：
[0120]
a
i
＝δ(f
a
([f
dual
；f
i
]；θ
i
))，i＝ap,vp。
[0121]
其中，δ是一个西格玛(sigmoid)函数，θ表示f
a
学习到的参数，由两个级联的卷积层组成，第一个卷积层可以是3
×3×
3的卷积核，第二个卷积层可以是1
×1×
1的卷积核，每个卷积层后面都有一个实例归一化和一个泄渗漏整流线性单元，f
dual
用于表示第一目标融合图像，f
ap
用于表示第一动脉期参考图像或f
vp
第一静脉期参考图像，a
ap
为第一动脉期相似系数，a
vp
为第一静脉期相似系数。卷积运算用于对判别性的双模态信息与每种模态特征的相关性进行建模。
[0122]
第二图像融合模块354的实现过程可以通过以下公式表示：
[0123][0124]
其中，a
ap
为第一动脉相似系数，a
vp
为第一静脉相似系数，f
ap
为第一动脉期参考图像，f
vp
为第一静脉期参考图像。
[0125]
这样，第一图像融合模块351可以通过卷积的方式得到第一目标融合图像，尽管第
一目标融合图像编码了肝肿瘤的动脉信息和静脉信息，但它也不可避免地引入了来自肝肿瘤分割时的每种样本模态的冗余噪声，为了将对冗余噪声，通过注意力机制提出了静脉期相似系数分析模块353和动脉期相似系数分析模块352来计算各样本模态的影响，以自适应地衡量每一样本模态的贡献并对其进行视觉上的解释。进一步的，在计算最终损失值过程中，动脉期损失值计算模块371鼓励每一分支学习区分动脉期特定的特征，静脉期损失值计算模块372鼓励每一分支学习区分静脉期特定的特征，联合损失值计算模块373鼓励每个分支相互学习以保持高级特征之间的共性，以便更好地结合多模态信息，如此，通过上述损失值确定方法来进行模型训练，实现了采用交叉熵损失和切片损失的组合作为分割损失，有效减少了肿瘤数据分布不均衡带来的影响。
[0126]
假设根据图5所示的待训练图像模型进行模型训练得到图像分析模型后，在待分析图像的第一数量为1时，示例性的，待分析图像为待分析的第二动脉期肝脏图像时，对应的，第二动脉期肝脏图像通过动脉期肝脏ct输入节点31输入至动脉期特征提取子模型33处；动脉期特征提取子模型33对第二动脉期肝脏图像进行特征提取，得到第二动脉期参考图像，由于存在静脉期肝脏图像的缺失，因此，直接将第二动脉期参考图像从目标图像输出节点36处输出，即可得到第二动脉期肝脏图像对应的第一目标图像。在待分析图像为待分析的第二静脉期肝脏图像时，实现过程可以参照待分析图像为待分析的第二动脉期肝脏图像，此处不再详细赘述。
[0127]
在第一数量等于第二数量为2，待分析图像为如图6所示的第三动脉期肝脏图像和如图7所示的第三静脉期肝脏图像时，将第三动脉期肝脏图像输入至动脉期肝脏ct输入节点31，将第三静脉期肝脏图像输入至静脉期肝脏ct输入节点32；动脉期肝脏ct输入节点31将第三动脉期肝脏图像发送至动脉期特征提取子模型33处，动脉期特征提取子模型33对第三动脉期肝脏图像进行特征提取，得到第三动脉期参考图像，同理，静脉期特征提取子模型34对第三静脉期肝脏图像进行特征提取，得到第三静脉期参考图像；第一图像融合模块351对第三动脉期参考图像和第三静脉期参考图像进行图像融合处理，得到第二目标融合图像；动脉期相似系数分析模块352对第二目标融合图像和第三动脉期参考图像进行相似系数计算，得到第二动脉相似系数，同理，静脉期相似系数分析模块353对第二目标融合图像和第三静脉期参考图像进行相似系数计算得到第二静脉相似系数；第二图像融合模块354采用第二动脉相似系数对第三动脉期参考图像进行特征增强处理，得到第二动脉子特征图像，同理，第二图像融合模块354采用第二静脉相似系数对第三静脉期参考图像进行特征增强处理，得到第二静脉子特征图像，然后第二图像融合模块354对第二动脉子特征图像和第二静脉子特征图像进行图像融合处理，从而得到与第三动脉期肝脏图像和第三静脉期肝脏图像对应的第一目标图像；通过目标图像输出节点36输出与第三动脉期肝脏图像和第三静脉期肝脏图像对应的第一目标图像，可以参照图8所示，其中，图8中斜线填充区域为突出显示的肝脏肿瘤区域。
[0128]
这样，得到的上述图像分析模型能够在不做任何修改的情况下处理多模态分割问题和缺失模态问题，提高了处理效率；单模态的每个模型都可以通过向其他模型学习来隐式地利用双模态信息，也就是说由于动脉期特征提取子模型和静脉期特征提取子模型中的参数是由双模态信息确定得到的，如此在缺少其他模态的情况下，根据动脉期特征提取子模型或静脉期特征提取子模型中的参数也能获得更好的分割结果，即结合了各模态的特点
和共性，通过所有特定模态模型的合作可以得到一个更好的多模态分割效果。
[0129]
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
[0130]
本技术实施例提供了一种图像处理方法，获得第一数量个待分析图像后，通过图像分析模型，对第一数量个待分析图像进行融合增强处理，得到第一目标图像。这样，由于第一数量可以小于图像分析模型的全部输入的第二数量，实现了通过图像分析模型对缺失模态的第一数量个待分析图像进行增强融合处理，得到针对分析对象的第一目标图像，解决了目前图像处理方法在模态缺失时不能实现图像分析的问题，实现了在模态缺失时，依然用统一图像处理方法可以进行分析的方法，提高了图形处理方法的处理效率。
[0131]
基于前述实施例，本技术实施例提供一种图像处理装置，参照图9所示，该图像处理装置4包括：获得单元41和模型处理单元42；其中：
[0132]
获得单元41，用于获得第一数量个待分析图像；其中，每一待分析图像对应目标拍摄对象的一个不同的目标模态；
[0133]
模型处理单元42，用于通过图像分析模型，对第一数量个待分析图像进行融合增强处理，得到第一目标图像；其中，第一目标图像用于增强显示第一数量个待分析图像中分析对象的分布区域，分析对象属于拍摄对象，图像分析模型由第二数量个不同样本模态对应的样本图像训练得到，第一数量小于或等于第二数量，目标模态属于样本模态。
[0134]
基于前述实施例，在本技术其他实施例中，模型处理单元42包括：特征提取子模型模块；其中：
[0135]
特征提取子模型模块，用于若第一数量为1，基于图像分析模型中第一数量个不同目标模态的待分析图像对应的特征提取子模型，对对应的待分析图像进行处理，得到第一目标图像；其中，每一待分析图像对应的特征提取子模型能够表征第二数量个不同样本模态的待分析图像之间的关联关系。
[0136]
基于前述实施例，在本技术其他实施例中，模型处理单元42包括：特征提取子模型模块和模态感知子模型模块；其中：
[0137]
特征提取子模型模块，用于若第二数量大于或等于2，且小于或等于第二数量，通过图像分析模型中与第一数量个不同目标模态的待分析图像对应的特征提取子模型，对对应的待分析图像进行处理，得到第一数量个参考图像；其中，每一待分析图像对应的特征提取子模型能够表征第二数量个不同样本模态的待分析图像之间的关联关系；
[0138]
模态感知子模型模块，用于通过图像分析模型中的模态感知子模型，对第一数量个参考图像进行图像处理，得到第一目标图像。
[0139]
基于前述实施例，在本技术其他实施例中，模态感知子模型用于对至少两个不同模态的参考图像进行图像融合处理，或者，模态感知子模型用于对至少两个不同样本模态的参考图像进行特征增强处理后，进行图像融合处理。
[0140]
基于前述实施例，在本技术其他实施例中，在模态感知子模型用于对至少两个不同样本模态的参考图像进行特征增强处理后，进行图像融合处理的情况下，模态感知子模型具体用于实现以下步骤：
[0141]
通过模态感知子模型对第一数量个参考图像进行图像融合处理，得到目标融合图像；
[0142]
通过模态感知子模型确定每一参考图像与目标融合图像之间的相似系数，得到第一数量个相似系数；
[0143]
通过模态感知子模型对第一数量个相似系数和第一数量个参考图像进行特征增强处理，得到第一目标图像。
[0144]
基于前述实施例，在本技术其他实施例中，模态感知子模型实现步骤通过模态感知子模型对第一数量个相似系数和第一数量个参考图像进行特征增强处理，得到第一目标图像时，具体可以通过以下步骤来实现：
[0145]
通过模态感知子模型分别对每一参考图像采用对应的相似系数进行特征强化处理，得到第一数量个子特征图像；
[0146]
通过模态感知子模型对第一数量个子特征图像进行图像融合处理，得到第一目标图像。
[0147]
基于前述实施例，在本技术其他实施例中，图像处理装置还包括确定单元和模型训练单元；其中：
[0148]
获得单元，还用于获得第三数量组样本图像和第三数量组样本图像中针对分析对象的第三数量个标记位置；其中，每一组样本图像包括第二数量个不同样本模态对应的样本图像；
[0149]
确定单元，用于确定待训练图像模型；
[0150]
模型训练单元，用于采用第三数量组样本图像和第三数量个标记位置，对待训练图像模型进行模型训练，得到图像分析模型。
[0151]
基于前述实施例，在本技术其他实施例中，模型训练单元具体用于实现以下步骤：
[0152]
通过待训练图像模型，对第三数量组样本图像中分析对象所在区域进行融合增强处理，得到第三数量个第二目标图像；
[0153]
基于第三数量组样本图像、第三数量个第二目标图像和第三数量个标记位置，对待训练图像模型进行模型训练，得到图像分析模型。
[0154]
基于前述实施例，在本技术其他实施例中，模型训练单元用于实现步骤基于第三数量组样本图像、第三数量个第二目标图像和第三数量个标记位置，对待训练图像模型进行模型训练，得到图像分析模型时，具体可以通过以下步骤来实现：
[0155]
确定目标组样本图像中每一样本图像和对应的标记位置之间的损失值，得到目标组样本图像对应的第一损失值；其中，目标组样本图像对应的第一损失值包括第二数量个损失值；
[0156]
确定目标组样本图像对应的第二目标图像和对应的标记位置之间的损失值，得到目标组样本图像对应的第二损失值；
[0157]
将目标组样本图像对应的第一损失值和目标组样本图像对应的第二损失值，在待训练图像模型中进行反向传输，以持续训练待训练图像模型的参数，得到图像分析模型。
[0158]
需要说明的是，本实施例中的单元与模块之间的信息交互过程及描述具体可以参照图1～4所示的图像处理方法中的交互过程，此处不再赘述。
[0159]
本技术实施例提供了一种图像处理装置，获得第一数量个待分析图像后，通过图像分析模型，对第一数量个待分析图像进行融合增强处理，得到第一目标图像。这样，由于第一数量可以小于图像分析模型的全部输入的第二数量，实现了通过图像分析模型对缺失
模态的第一数量个待分析图像进行增强融合处理，得到针对分析对象的第一目标图像，解决了目前图像处理方法在模态缺失时不能实现图像分析的问题，实现了在模态缺失时，依然用统一图像处理方法可以进行分析的方法，提高了图形处理方法的处理效率。
[0160]
基于前述实施例，本技术的实施例提供一种电子设备，该电子设备可以应用于图1～4对应的实施例提供的图像处理方法中，参照图10所示，该电子设备5可以包括：处理器51、存储器52和通信总线53，其中：
[0161]
通信总线53，用于实现处理器51和存储器52之间的通信连接；
[0162]
处理器51，用于执行存储器52中存储的图像处理程序，以实现如图1～4对应的实施例提供的图像处理方法中的实现过程，此处不再赘述。
[0163]
基于前述实施例，本技术的实施例提供一种计算机可读存储介质，简称为存储介质，该计算机可读存储介质可以应用于图1～4对应的实施例提供的方法中，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如图1～4对应的实施例提供的方法实现过程，此处不再赘述。
[0164]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0165]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0166]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0167]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0168]
以上所述，仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。