一种图像处理方法、装置、电子设备及存储介质与流程

1.本技术涉及数据处理领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。


背景技术：

2.左心室肥厚(left ventricular hypertrophy，lvh)常见于多种原发或继发的心脏疾病，是心血管事件与全因死亡率的重要独立风险预测因子。肥厚型心肌病(hypertrophic cardiomyopathy，hcm)，心脏淀粉样变性(cardiac amyloidosis，ca)，与左心室高血压负荷(hypertension，htn)是最常见的lvh疾病，早期精准的疾病诊断是决定手术干预时机与心脏起搏器植入治疗等的决定因素，也是影响此类患者生命健康与生活质量的关键问题。虽然lvh患者在形态学上均表现为心室壁异常增厚心肌组织特异性改变不一致，但是不同种类病变的心室壁增厚程度与范围以及心肌运动特点也各有不同，不同的心肌运动特点是潜在的疾病诊断与病因鉴别依据。如何通过简单、便捷的检查手段，在早期快速的甄别各类lvh患者，是亟待解决的重要问题。
3.心脏磁共振(cardiovascular magnetic resonance，cmr)的lge序列可用于心肌纤维化的评估，是lvh诊断的重要工具，然而，lge序列cmr依赖造影剂，扫描时间长；t1 mapping序列的兴起为客观量化评估心肌特征提供了可能，然而不同中心不同机器的扫描参数不一致，mapping的基础参考值依赖各个中心的病例积累，即便以无造影剂的native t1 mapping作为诊断建模对象，也很难具有推广性与临床普适性；心脏电影序列的作为常规cmr检查的基础序列，扫描条件并不高，随着技术(如心电门控与呼吸门控)的进步，其对患者的配合要求也不断降低，同时图像质量不断提高，是计算传统容量学心功能评价指标(包括如左心室容积，每搏输出量，左心室射血分数(left ventricular ejection fraction，lvef)等)的金标准。然而，虽然这些指标一定程度上可区分htn、hcm与ca的患者，但严重htn患者与终末期hcm患者也会出现lvef下降，所以仅依靠基于心脏电影序列的心功能是否正常来判断lvh病因具有局限性。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种图像处理方法、装置、电子设备及存储介质，能够根据左心室心肌区域在至少一个视角的连续多帧图像中呈现出的运动形态(时空)特征，进行患有不同左心室疾病概率的判断，提高了判断精度和判断效率，进而避免了判断精度低给诊断结果带来的干扰，提高了诊断效率和准确率。
5.第一方面，本技术实施例提供了一种图像处理方法，所述方法包括：
6.获取至少一个视角的心脏磁共振电影成像，其中，所述心脏磁共振电影成像中包括多帧心脏磁共振成像；
7.对于每个视角，划分出该视角的心脏磁共振电影成像中每帧心脏磁共振成像中左心室心肌区域的所处范围，以得到该视角的区域分割图像组；
8.对于每个视角，对该视角的区域分割图像组中每帧区域分割图像进行二值化处理，以得到该视角的二值分割图像组；
9.对于每个视角，将该视角的二值分割图像组输入到时空特征提取网络中，以获取该视角对应的左心室心肌区域的时空特征；
10.基于所述时空特征对应的时空特征向量，获取用于表示患有不同左心室疾病概率的多分类结果。
11.在一种可能的实施方式中，所述对于每个视角，划分出该视角的心脏磁共振电影成像中每帧心脏磁共振成像中左心室心肌区域的所处范围，以得到该视角的区域分割图像组，包括：
12.对于每个视角，将该视角的心脏磁共振电影成像输入到该视角对应的预先训练好的分割网络中，得到该视角的区域分割图像组。
13.在一种可能的实施方式中，所述分割网络包括4组卷积层，其中，每组卷积层中包括一个上采样层，一个下采样层和一个池化层，所述上采样层和所述下采样层均包括一个3*3卷积核，每组卷积层均使用修正线性单元激活函数relu。
14.在一种可能的实施方式中，所述时空特征提取网络中包括卷积神经网络和循环神经网络，所述对于每个视角，将该视角的二值分割图像组输入到时空特征提取网络中，以获取该视角对应的左心室心肌区域的时空特征，包括：
15.对于每个视角，基于所述卷积神经网络，提取出该视角的二值分割图像组中每帧二值分割图像中左心室心肌区域的空间特征；
16.对于每个视角，基于所述循环神经网络，将该视角的二值分割图像组中每帧二值分割图像中左心室心肌区域的空间特征进行融合，得到该视角对应的左心室心肌区域的时空特征。
17.在一种可能的实施方式中，当所述视角仅包括一个时，所述基于所述时空特征对应的时空特征向量，获取用于表示患有不同左心室疾病概率的多分类结果，包括：
18.将该视角对应的左心室心肌区域的时空特征向量输入到该视角对应的预先训练好的第一分类网络中，得到所述多分类结果。
19.在一种可能的实施方式中，当所述视角包括至少两个时，所述基于所述时空特征对应的时空特征向量，获取用于表示患有不同左心室疾病概率的多分类结果，包括：
20.对于每个视角，将该视角对应的左心室心肌区域的时空特征向量输入到该视角对应的预先训练好的第二分类网络中，得到该视角对应的候选多分类结果；
21.将每个视角对应的候选多分类结果输入到预先训练好的分类器中进行融合，得到综合多分类结果，并将所述综合多分类结果作为所述多分类结果。
22.在一种可能的实施方式中，当所述视角包括至少两个时，所述基于所述时空特征对应的时空特征向量，获取用于表示患有不同左心室疾病概率的多分类结果，还包括：
23.将每个视角对应的左心室心肌区域的时空特征向量进行拼接，得到拼接时空特征向量；
24.将所述拼接时空特征向量输入到预先训练好的第三分类网络中，得到所述多分类结果。
25.第二方面，本技术实施例提供了一种图像处理装置，所述装置包括：
26.获取模块，用于获取至少一个视角的心脏磁共振电影成像，其中，所述心脏磁共振电影成像中包括多帧心脏磁共振成像；
27.区域分割模块，用于对于每个视角，划分出该视角的心脏磁共振电影成像中每帧心脏磁共振成像中左心室心肌区域的所处范围，以得到该视角的区域分割图像组；
28.二值化模块，用于对于每个视角，对该视角的区域分割图像组中每帧区域分割图像进行二值化处理，以得到该视角的二值分割图像组；
29.时空特征提取模块，用于对于每个视角，将该视角的二值分割图像组输入到时空特征提取网络中，以获取该视角对应的左心室心肌区域的时空特征；
30.分类模块，用于基于所述时空特征对应的时空特征向量，获取用于表示患有不同左心室疾病概率的多分类结果。
31.在一种可能的实施方式中，所述区域分割模块，具体用于：
32.对于每个视角，将该视角的心脏磁共振电影成像输入到该视角对应的预先训练好的分割网络中，得到该视角的区域分割图像组。
33.在一种可能的实施方式中，所述分割网络包括4组卷积层，其中，每组卷积层中包括一个上采样层，一个下采样层和一个池化层，所述上采样层和所述下采样层均包括一个3*3卷积核，每组卷积层均使用修正线性单元激活函数relu。
34.在一种可能的实施方式中，所述时空特征提取网络中包括卷积神经网络和循环神经网络，所述时空特征提取模块，具体用于：
35.对于每个视角，基于所述卷积神经网络，提取出该视角的二值分割图像组中每帧二值分割图像中左心室心肌区域的空间特征；
36.对于每个视角，基于所述循环神经网络，将该视角的二值分割图像组中每帧二值分割图像中左心室心肌区域的空间特征进行融合，得到该视角对应的左心室心肌区域的时空特征。
37.在一种可能的实施方式中，当所述视角仅包括一个时，所述分类模块，具体用于：
38.将该视角对应的左心室心肌区域的时空特征向量输入到该视角对应的预先训练好的第一分类网络中，得到所述多分类结果。
39.在一种可能的实施方式中，当所述视角包括至少两个时，所述分类模块，具体用于：
40.对于每个视角，将该视角对应的左心室心肌区域的时空特征向量输入到该视角对应的预先训练好的第二分类网络中，得到该视角对应的候选多分类结果；
41.将每个视角对应的候选多分类结果输入到预先训练好的分类器中进行融合，得到综合多分类结果，并将所述综合多分类结果作为所述多分类结果。
42.在一种可能的实施方式中，当所述视角包括至少两个时，所述分类模块，还用于：
43.将每个视角对应的左心室心肌区域的时空特征向量进行拼接，得到拼接时空特征向量；
44.将所述拼接时空特征向量输入到预先训练好的第三分类网络中，得到所述多分类结果。
45.第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与
所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面任一项所述的图像处理方法的步骤。
46.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的图像处理方法的步骤。
47.本技术实施例提供的一种图像处理方法、装置、电子设备及存储介质，能够根据左心室心肌区域在至少一个视角的连续多帧图像中呈现出的运动形态(时空)特征，进行患有不同左心室疾病概率的判断，提高了判断精度和判断效率，进而避免了判断精度低给诊断结果带来的干扰，提高了诊断效率和准确率。
48.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
49.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
50.图1示出了本技术实施例提供的一种图像处理方法的流程图；
51.图2示出了为本技术实施例提供的某个视角的心脏磁共振电影成像中的某一帧心脏磁共振电影成像；
52.图3示出了本技术实施例提供的与图2相对应的划分有左心室心肌区域所处范围的区域分割图像；
53.图4示出了本技术实施例提供的与图3相对应的二值分割图像；
54.图5示出了本技术实施例提供的另一种图像处理方法的流程图；
55.图6示出了本技术实施例提供的另一种图像处理方法的流程图；
56.图7示出了本技术实施例提供的另一种图像处理方法的流程图；
57.图8示出了本技术实施例提供的另一种图像处理方法的流程图；
58.图9示出了本技术实施例提供的另一种图像处理方法的流程图；
59.图10示出了本技术实施例提供的一种图像处理装置的结构示意图；
60.图11示出了本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
61.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
62.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
63.参照图1所示，为本技术实施例提供的一种图像处理方法的流程图，所述方法包括：
64.s101、获取至少一个视角的心脏磁共振电影成像，其中，所述心脏磁共振电影成像中包括多帧心脏磁共振成像。
65.心脏磁共振电影成像cinemr，采用心脏节段采集技术或实时成像技术，在预设时间段(一般为一个心动周期，也可以为四分之一个心动周期、半个心动周期或者是多个心动周期等，本技术对此不做限制，其中，一个心动周期指从一次心跳的起始到下一次心跳的起始，心脏每收缩和舒张一次构成一个心动周期。)内连续采集(来自同一病患的)同一视角多个期相(即不同时刻)的心脏部位的亮血影像，显示心脏进行节律性的收缩和舒张过程的磁共振成像技术，用于评价心脏功能和心肌的运动状态。也就是说，对于某个视角，该视角的心脏磁共振电影成像可以理解为以该视角进行拍摄的一段连续时间段的心脏部位的短视频(小电影)，该视角的心脏磁共振电影成像由多帧该视角的心脏磁共振成像组成(心脏磁共振成像即心脏磁共振电影成像中的每一帧图像，对于心脏磁共振电影成像中包括的心脏磁共振成像的具体帧数，本技术不做限制)。
66.其中，视角可以包括以下三个视角中的至少一者：
67.长轴两腔心视角(two
‑
chamber view，2ch)：通过以心底
‑
心尖这条心脏最大径线所在方向为轴，图像切面平行与室间隔但不探及室间隔与房间隔，同时显示左心房和左心室的视角。
68.长轴四腔心视角(four
‑
chamber view，4ch)：通过以心底
‑
心尖这条心脏最大径线所在方向为轴，图像切面平行与室间隔，同时显示左右心房和左右心室的视角。
69.短轴视角(short
‑
axis view，sax)：切面垂直于心脏长轴，同时显示左心室和右心室的视角。
70.本技术实施例中上述所举出的三个视角仅为示例性的，在具体实施中可以为其他视角，也可以包括三个以上的视角，本技术对此不做限制。
71.参照图2所示，为本技术实施例提供的某个视角的心脏磁共振电影成像中的某一帧心脏磁共振电影成像。
72.s102、对于每个视角，划分出该视角的心脏磁共振电影成像中每帧心脏磁共振成像中左心室心肌区域的所处范围，以得到该视角的区域分割图像组。
73.对于每个视角，划分出该视角的心脏磁共振电影成像中每帧心脏磁共振成像中左心室心肌区域的所处范围，以得到该视角的区域分割图像组，其中，对于每个视角，该视角的区域分割图像组中包括连续的多帧划分有左心室心肌区域所处范围的该视角的区域分割图像，每帧该视角的区域分割图像与该视角的心脏磁共振电影成像中的每帧心脏磁共振成像一一对应。
74.以2ch视角为例，2ch视角的心脏磁共振电影成像中包括25帧2ch视角的心脏磁共
振成像，对25帧2ch视角的心脏磁共振成像中的左心室心肌区域均进行划分，得到包括25帧2ch视角的区域分割图像的区域分割图像组，其中，25帧2ch视角的区域分割图像与2ch视角的25帧心脏磁共振成像一一对应，即，第一帧2ch视角的区域分割图像与第一帧2ch视角的心脏磁共振成像对应，第二帧2ch视角的区域分割图像与第二帧2ch视角的心脏磁共振成像对应，以此类推。
75.在本步骤中，可以采用人工进行划分的形式，也可以采用预先训练好的分割网络进行划分等方式，本技术对具体的划分方式不做限制。
76.参照图3所示，为本技术实施例提供的与图2相对应的划分有左心室心肌区域所处范围的区域分割图像。
77.s103、对于每个视角，对该视角的区域分割图像组中每帧区域分割图像进行二值化处理，以得到该视角的二值分割图像组。
78.对于每个视角，将该视角的区域分割图像组中每帧区域分割图像中左心室心肌区域内的像素点的像素值设置为第一数值，将左心室心肌区域外的像素点的像素值设置为第二数值，以得到该视角的二值分割图像组，其中，对于每个视角，该视角的二值分割图像组中包括连续的多帧该视角的二值分割图像，每帧该视角的二值分割图像与该视角的区域分割图像组中的每帧区域分割图像一一对应。
79.同样以2ch视角为例，2ch视角的区域分割图像组中包括25帧2ch视角的区域分割图像，对25帧2ch视角的区域分割图像中左心室心肌区域内的像素点的像素值设置为第一数值(例如1，像素值为1的像素点的色彩为白色)，将左心室心肌区域外的像素点的像素值设置为第二数值(例如0，像素值为0的像素点的色彩为黑色，第二数值和第一数值是不同的)，得到包括25帧2ch视角的二值分割图像的二值分割图像组，其中，25帧2ch视角的二值分割图像与2ch视角的25帧区域分割图像一一对应，即，第一帧2ch视角的二值分割图像与第一帧2ch视角的区域分割图像对应，第二帧2ch视角的二值分割图像与第二帧2ch视角的区域分割图像对应，以此类推。
80.通过对每一帧区域分割图像进行二值化处理，能够很好地针对左心室心肌在图像中呈现出的特征进行提取，避免了不同扫描条件带来的影像成像质量差异所带来的干扰(不同扫描仪器的参数设置不同，有时仪器的成像中可能会包括噪点)。
81.参照图4所示，为本技术实施例提供的与图3相对应的二值分割图像。
82.示例性的，图4中的第一数值设置为了1，第二数值设置为了0；此外，也可以将第一数值设置为0，第二数值设置为1，本技术对此不做限制。
83.s104、对于每个视角，将该视角的二值分割图像组输入到时空特征提取网络中，以获取该视角对应的左心室心肌区域的时空特征。
84.对于每个视角，将该视角的二值分割图像组输入到时空特征提取网络中，以获取该视角对应的(经过二值化处理后的)左心室心肌区域(也即二值分割图像组中每帧二值分割图像中由像素值为第一数值的像素点构成的区域)的时空特征，其中，所述时空特征用于反映左心室心肌在时间和空间上的联合特征(也即在图像中反映出的运动形态特征)。
85.例如，存在2ch、4ch、sax三个视角，分别对2ch视角的二值分割图像组中的左心室心肌区域、4ch视角的二值分割图像组中的左心室心肌区域、sax视角的二值分割图像组中的左心室心肌区域进行时空特征提取，得到2ch视角对应的左心室心肌区域的时空特征，
4ch视角对应的左心室心肌区域的时空特征，sax视角对应的左心室心肌区域的时空特征。
86.s105、基于所述时空特征对应的时空特征向量，获取用于表示患有不同左心室疾病概率的多分类结果。
87.可以将至少一个视角对应的时空特征向量输入预先训练好的分类网络或分类器中，以得到多分类结果，具体的处理方式以及与处理方式相对应的分类网络或分类器的训练方式将在后续进行具体说明。
88.例如，输出的多分类结果包括ca
‑
80％(即，患ca的概率为80％)、hcm
‑
15％(即，患hcm的概率为15％)、htn
‑
5％(即，患htn的概率为5％)，将患有每种左心室疾病的概率相加后为1。
89.在一种可能的实施方式中，所述对于每个视角，划分出该视角的心脏磁共振电影成像中每帧心脏磁共振成像中左心室心肌区域的所处范围，以得到该视角的区域分割图像组，包括：
90.对于每个视角，将该视角的心脏磁共振电影成像输入到该视角对应的预先训练好的分割网络中，得到该视角的区域分割图像组。
91.优选的，本技术采用预先训练好的分割网络对每个视角的心脏磁共振电影成像组进行左心室心肌区域分割(划分)，每个视角对应的预先训练好的分割网络可以是不同的。
92.例如，存在2ch、4ch、sax三个视角，2ch视角对应的是预先训练好的第一分割网络，4ch视角对应的是预先训练好的第二分割网络，sax视角对应的是预先训练好的第三分割网络。
93.对于2ch视角对应的训练好的第一分割网络，其是以2ch视角的心脏磁共振电影成像样本(包括连续的多帧2ch视角的心脏磁共振成像样本，每帧2ch视角的心脏磁共振成像样本中划分出了左心室心肌区域的所处范围)作为训练数据进行训练后得到的；
94.对于4ch视角对应的训练好的第二分割网络，其是以4ch视角的心脏磁共振电影成像样本(包括连续的多帧4ch视角的心脏磁共振成像样本，每帧4ch视角的心脏磁共振成像样本中划分出了左心室心肌区域的所处范围)作为训练数据进行训练后得到的；
95.对于sax视角对应的训练好的第三分割网络，其是以sax视角的心脏磁共振电影成像样本(包括连续的多帧sax视角的心脏磁共振成像样本，每帧sax视角的心脏磁共振成像样本中划分出了左心室心肌区域的所处范围)作为训练数据进行训练后得到的。
96.此外，每个视角对应的训练好的分割网络也可以是相同的，例如，存在2ch，4ch，sax三个视角，三个视角均对应同一个第四分割网络，该第四分割网络是以2ch视角、4ch视角、sax视角各自的心脏磁共振电影成像样本一起作为训练数据进行训练后得到的。
97.通过使用预先训练好的分割网络进行左心室心肌区域的划分，大幅减少了人工工作量，同时避免了主观干扰。
98.分割网络可以是fcn、mask r
‑
cnn、u
‑
net、dsn等，本技术对此不做限制。
99.在一种可能的实施方式中，所述分割网络包括4组卷积层，其中，每组卷积层中包括一个上采样层，一个下采样层和一个池化层，所述上采样层和所述下采样层均包括一个3*3卷积核，每组卷积层均使用修正线性单元激活函数relu。
100.在一种可能的实施方式中，参照图5所示，本技术实施例提供的另一种图像处理方法的流程图，所述时空特征提取网络中包括卷积神经网络和循环神经网络，所述对于每个
视角，将该视角的二值分割图像组输入到时空特征提取网络中，以获取该视角对应的左心室心肌区域的时空特征，包括：
101.s501、对于每个视角，基于所述卷积神经网络，提取出该视角的二值分割图像组中每帧二值分割图像中左心室心肌区域的空间特征。
102.以2ch视角为例，2ch视角的二值分割图像组中包括连续的25帧2ch视角的二值分割图像，通过卷积神经网络，提取出25个左心室心肌区域的空间特征，其中，每帧2ch视角的二值分割图像中的左心室心肌区域各自对应一个空间特征。
103.s502、对于每个视角，基于所述循环神经网络，将该视角的二值分割图像组中每帧二值分割图像中左心室心肌区域的空间特征进行融合，得到该视角对应的左心室心肌区域的时空特征。
104.按照步骤s501所述的，在得到25个2ch视角的左心室心肌区域的空间特征后，通过循环神经网络，将这25个2ch视角的左心室心肌区域的空间特征进行融合，得到2ch视角对应的左心室心肌区域的(一个)时空特征。
105.循环神经网络rnn可以是conv
‑
lstm，也可以是gru等，本技术对此不做限制。
106.参照图6所示，为本技术实施例提供的另一种图像处理方法的流程图，具体示出了从获取某一视角的心脏磁共振电影成像到获取该某一视角对应的左心室心肌区域的时空特征的过程，其中，高维图像特征即时空特征，心肌roi即左心室心肌区域。
107.在一种可能的实施方式中，当所述视角仅包括一个时，所述基于所述时空特征对应的时空特征向量，获取用于表示患有不同左心室疾病概率的多分类结果，包括：
108.将该视角对应的左心室心肌区域的时空特征向量输入到该视角对应的预先训练好的第一分类网络中，得到所述多分类结果。
109.其中，该视角对应的预先训练好的第一分类网络是以该视角对应的左心室心肌区域的时空特征向量样本作为输入，以所述时空特征向量样本对应的第一人工分类结果作为输出进行训练得到的，所述第一人工分类结果包括患有不同左心室疾病的概率(第一人工分类结果中包括的左心室疾病种类与多分类结果中所包括的左心室疾病种类是相同的，例如，第一人工分类结果中包括患有ca的概率、患有htn的概率、患有hcm的概率，那么多分类结果中也是包括患有ca的概率、患有htn的概率、患有hcm的概率)。
110.第一分类网络中包括一个全连接层和一个softmax分类器。
111.在一种可能的实施方式中，参照图7所示，本技术实施例提供的另一种图像处理方法的流程图，当所述视角包括至少两个时，所述基于所述时空特征对应的时空特征向量，获取用于表示患有不同左心室疾病概率的多分类结果，包括：
112.s701、对于每个视角，将该视角对应的左心室心肌区域的时空特征向量输入到该视角对应的预先训练好的第二分类网络中，得到该视角对应的候选多分类结果。
113.其中，不同视角对应的训练好的第二分类网络不同，对于每个视角，在每次训练时，该视角对应的第二分类网络是以该视角的左心室心肌区域的时空特征向量样本作为输入，以该视角对应的第二人工分类结果作为输出，所述第二人工分类结果包括患有不同左心室疾病的概率(每个视角对应的第二人工分类结果是相同的，因为不同视角对应的第二人工分类结果均是属于同一病患的)。
114.第二人工分类结果中包括的左心室疾病种类与候选多分类结果中所包括的左心
室疾病种类是相同的，例如，第二人工分类结果中包括患有ca的概率、患有htn的概率、患有hcm的概率，那么候选多分类结果中也是包括患有ca的概率、患有htn的概率、患有hcm的概率。
115.第二分类网络中包括一个全连接层和一个softmax分类器。
116.s702、将每个视角对应的候选多分类结果输入到预先训练好的分类器中进行融合，得到综合多分类结果，并将所述综合多分类结果作为所述多分类结果。
117.例如，存在2ch、4ch、sax三个视角，2ch视角对应的候选多分类结果包括：患有ca的概率80％，患有htn的概率15％，患有hcm的概率5％；4ch视角对应的候选多分类结果包括：患有ca的概率90％，患有htn的概率5％，患有hcm的概率5％；sax视角对应的候选多分类结果包括：患有ca的概率70％，患有htn的概率20％，患有hcm的概率10％。最终得到的综合多分类结果也是分别患有ca的概率，患有htn的概率，患有hcm的概率。即，每个候选多分类结果中包括的左心室疾病的种类与综合多分类结果中包括的左心室疾病的种类是相同的。
118.在每次训练时，分类器是以每个视角对应的候选多分类结果样本作为输入，以第二人工分类结果作为输出。
119.所述分类器可以是支持向量机(support vector machine，svm)，也可以是逻辑回归分类器或随机森林分类器等，本技术对此不做限制。
120.本技术充分考虑左心室心肌区域在不同视角下呈现出的运动形态特征，进行综合分析，从而使得判断结果更加准确、可靠。
121.参照图8所示，为本技术实施例提供的另一种图像处理方法的流程图，其中，心肌roi即左心室心肌区域，运动时空特征即时空特征，序列即视角，ca probability即患有ca的概率，htn probability即患有htn的概率，hcmprobability即患有hcm的概率。
122.在一种可能的实施方式中，参照图9所示，为本技术实施例提供的另一种图像处理方法的流程图，当所述视角包括至少两个时，所述基于所述时空特征对应的时空特征向量，获取用于表示患有不同左心室疾病概率的多分类结果，还包括：
123.s901、将每个视角对应的左心室心肌区域的时空特征向量进行拼接，得到拼接时空特征向量。
124.例如，存在2ch、4ch、sax三个视角，每个视角对应一个时空特征向量，则存在三个时空特征向量，将三个时空特征向量首尾相接拼接成一个拼接时空特征向量(向量拼接的先后顺序并不影响得到的结果)。
125.s902、将所述拼接时空特征向量输入到预先训练好的第三分类网络中，得到所述多分类结果。
126.在每次训练时，第三分类网络是以拼接时空特征向量样本作为输入，以对应的第三人工分类结果作为输出，其中，所述第三人工分类结果包括患有不同左心室疾病的概率。
127.第三分类网络中包括一个全连接层和一个softmax分类器。
128.本技术实施例提供的一种图像处理方法，能够根据左心室心肌区域在至少一个视角的连续多帧图像中呈现出的运动形态(时空)特征，进行患有不同左心室疾病概率的判断，提高了判断精度和判断效率，进而避免了判断精度低给诊断结果带来的干扰，提高了诊断效率和准确率。
129.参照图10所示，为本技术实施例提供的一种图像处理装置的结构示意图，所述装
置包括：
130.获取模块1001，用于获取至少一个视角的心脏磁共振电影成像，其中，所述心脏磁共振电影成像中包括多帧心脏磁共振成像；
131.区域分割模块1002，用于对于每个视角，划分出该视角的心脏磁共振电影成像中每帧心脏磁共振成像中左心室心肌区域的所处范围，以得到该视角的区域分割图像组；
132.二值化模块1003，用于对于每个视角，对该视角的区域分割图像组中每帧区域分割图像进行二值化处理，以得到该视角的二值分割图像组；
133.时空特征提取模块1004，用于对于每个视角，将该视角的二值分割图像组输入到时空特征提取网络中，以获取该视角对应的左心室心肌区域的时空特征；
134.分类模块1005，用于基于所述时空特征对应的时空特征向量，获取用于表示患有不同左心室疾病概率的多分类结果。
135.在一种可能的实施方式中，所述区域分割模块1002，具体用于：
136.对于每个视角，将该视角的心脏磁共振电影成像输入到该视角对应的预先训练好的分割网络中，得到该视角的区域分割图像组。
137.在一种可能的实施方式中，所述分割网络包括4组卷积层，其中，每组卷积层中包括一个上采样层，一个下采样层和一个池化层，所述上采样层和所述下采样层均包括一个3*3卷积核，每组卷积层均使用修正线性单元激活函数relu。
138.在一种可能的实施方式中，所述时空特征提取网络中包括卷积神经网络和循环神经网络，所述时空特征提取模块1004，具体用于：
139.对于每个视角，基于所述卷积神经网络，提取出该视角的二值分割图像组中每帧二值分割图像中左心室心肌区域的空间特征；
140.对于每个视角，基于所述循环神经网络，将该视角的二值分割图像组中每帧二值分割图像中左心室心肌区域的空间特征进行融合，得到该视角对应的左心室心肌区域的时空特征。
141.在一种可能的实施方式中，当所述视角仅包括一个时，所述分类模块1005，具体用于：
142.将该视角对应的左心室心肌区域的时空特征向量输入到该视角对应的预先训练好的第一分类网络中，得到所述多分类结果。
143.在一种可能的实施方式中，当所述视角包括至少两个时，所述分类模块1005，具体用于：
144.对于每个视角，将该视角对应的左心室心肌区域的时空特征向量输入到该视角对应的预先训练好的第二分类网络中，得到该视角对应的候选多分类结果；
145.将每个视角对应的候选多分类结果输入到预先训练好的分类器中进行融合，得到综合多分类结果，并将所述综合多分类结果作为所述多分类结果。
146.在一种可能的实施方式中，当所述视角包括至少两个时，所述分类模块1005，还用于：
147.将每个视角对应的左心室心肌区域的时空特征向量进行拼接，得到拼接时空特征向量；
148.将所述拼接时空特征向量输入到预先训练好的第三分类网络中，得到所述多分类
结果。
149.本技术实施例提供的一种图像处理装置，能够根据左心室心肌区域在至少一个视角的连续多帧图像中呈现出的运动形态(时空)特征，进行患有不同左心室疾病概率的判断，提高了判断精度和判断效率，进而避免了判断精度低给诊断结果带来的干扰，提高了诊断效率和准确率。
150.如图11所示，本技术实施例提供的一种电子设备1100，包括：处理器1101、存储器1102和总线，所述存储器1102存储有所述处理器1101可执行的机器可读指令，当电子设备运行时，所述处理器1101与所述存储器1102之间通过总线通信，所述处理器1101执行所述机器可读指令，以执行如上述图像处理方法的步骤。
151.具体地，上述存储器1102和处理器1101能够为通用的存储器和处理器，这里不做具体限定，当处理器1101运行存储器1102存储的计算机程序时，能够执行上述图像处理方法。
152.对应于上述图像处理方法，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述图像处理方法的步骤。
153.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本技术中不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
154.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
155.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
156.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
157.以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。