左心室节段识别方法及装置、电子设备和存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及一种左心室节段识别方法及装置、电子设备和存储介质。


背景技术：

2.心脏磁共振影像是衡量心脏整体功能，特别是衡量左心室功能，诊断心肌疾病的金标准。但是，常规心脏磁共振影像分析，不能实现全自动化，需要大量的手工操作，效率低，存在人为因素带来的误差，同时，相关技术无法识别心脏左心室的各个左心室节段，然而，对每个左心室节段进行心功能和运动功能的刻画和评估，对各种心肌病的诊断、冠脉血管的定位等至关重要。
3.因此，如何准确、快速、自动化地实现左心室节段的识别，具有重要意义。


技术实现要素：

4.根据本公开的一方面，提供了一种左心室节段识别方法，所述方法包括：
5.获取目标图像，所述目标图像包括心脏磁共振电影短轴图像；
6.对所述目标图像进行分割，得到所述目标图像中多个目标区域的多个掩膜；
7.根据所述多个掩膜得到多个目标轮廓；
8.对包括所述多个目标轮廓的目标图像进行四维重建后确定所述目标图像中的左心室节段。
9.在一种可能的实施方式中，所述对所述目标图像进行分割，得到所述目标图像中多个目标区域的多个掩膜，包括：
10.将所述目标图像输入分割神经网络，通过所述分割神经网络的输出结果得到所述目标图像中多个目标区域的多个掩膜，
11.其中，所述分割神经网络通过多张训练图像进行训练，所述训练图像的多个目标区域被提前标注，所述训练图像为心脏磁共振电影短轴图像。
12.在一种可能的实施方式中，所述分割神经网络通过多张训练图像进行训练，包括：
13.获取多张心脏磁共振电影短轴图像；
14.对多张心脏磁共振电影短轴图像进行数据清洗，得到多张样本图像；
15.对多张样本图像的多个目标区域进行标注，得到所述多张训练图像；
16.对所述多张训练图像进行预处理，得到预处理后的多张训练图像；
17.将预处理后的多张训练图像划分按照预设比例划分为训练图像集、验证图像集、测试图像集，以对初始分割神经网络进行训练，得到所述分割神经网络。
18.在一种可能的实施方式中，所述对初始分割神经网络进行训练，得到所述分割神经网络，包括：
19.利用所述初始分割神经网络对所述训练图像集中的训练图像进行分割，得到所述训练图像集中的训练图像的多个目标区域的多个掩膜；
20.利用所述训练图像集中的训练图像的多个区域的标注轮廓对所述初始分割神经网络的参数进行校正，以实现对所述初始分割神经网络的训练，得到训练后的初始分割神经网络；
21.将所述验证图像集中的训练图像输入训练后的初始分割神经网络以对预测结果进行验证，实现对训练后的初始分割网络的超参数的调整及模型能力的评估；
22.将所述测试集中的训练图像输入经验证评估后的初始分割神经网络以评估模型的泛化能力，并将评估结果符合预设条件的初始分割网络作为所述分割神经网络。
23.在一种可能的实施方式中，所述掩膜包括左心室内膜掩膜、左心室心肌掩膜、右心室内膜掩膜和背景掩膜，所述根据所述多个掩膜得到多个目标轮廓，包括：
24.将所述左心室内膜掩膜和所述左心室心肌掩膜进行聚合处理，得到左心室外膜掩膜；
25.对所述左心室内膜掩膜、所述左心室外膜掩膜、所述右心室内膜掩膜提取最外围轮廓，分别得到左心室内膜轮廓、左心室外膜轮廓和右心室内膜轮廓；
26.对所述左心室内膜轮廓、所述左心室外膜轮廓和所述右心室内膜轮廓进行顺时针归一化处理，得到归一化处理后的所述左心室内膜轮廓、所述左心室外膜轮廓和所述右心室内膜轮廓。
27.在一种可能的实施方式中，所述对包括所述多个目标轮廓的目标图像进行四维重建后确定所述目标图像中的左心室节段，包括：
28.对四维重建后的目标图像进行定位，确定所述目标图像中的心脏的心底典型层、心中典型层、心尖典型层；
29.对所述心底典型层及所述心中典型层分别进行定位得到第一左心室节段集合及第二左心室节段集合；
30.对所述心尖典型层进行定位得到第三左心室节段集合。
31.在一种可能的实施方式中，所述对四维重建后的目标图像进行定位，确定所述目标图像中的心脏的心底典型层、心中典型层、心尖典型层，包括：
32.确定所述左心室内膜轮廓内面积、所述左心室外膜轮廓内面积、所述右心室内膜轮廓内面积、所述左心室内膜轮廓的圆分度头、所述左心室外膜轮廓的圆分度头；
33.当多个心底层中的其中一个心底层的所述左心室内膜轮廓内面积在满足第一预设条件且面积为最大时，将该心底层确定为所述心底典型层，其中，所述第一预设条件包括：最大时相下的右心室内膜轮廓内面积与最小时相下的右心室内膜轮廓内面积的比值小于第一预设值、最大时相下的左心室外膜轮廓的圆分度头小于所述第一预设值；
34.当多个心尖层中的其中一个心尖层满足第二预设条件时，将该心尖层确定为所述心尖典型层，其中，所述第二预设条件包括：最大时相下的左心室外膜轮廓的圆分度头小于第二预设值、且最大时相下的左心室内膜轮廓的圆分度头小于所述第二预设值，其中所述第二预设值小于所述第一预设值；
35.将所述心底典型层和所述心尖典型层的中间层确定为所述心中典型层。
36.在一种可能的实施方式中，所述对所述心底典型层及所述心中典型层分别进行定位得到第一左心室节段集合及第二左心室节段集合，包括：
37.定位室间隔的起止点；
38.将室间隔按照角度均匀划分，并将心肌部分按照角度均匀划分，得到所述第一左心室节段集合及所述第二左心室节段集合的各个左心室节段。
39.在一种可能的实施方式中，所述定位室间隔的起止点，包括：
40.根据左心室内膜点数目、外膜点数目及各个左心室内膜点、左心室外模点确定左心室的中点；
41.确定室间隔基点，所述室间隔基点为距离右心室近地点最近的左心室外膜点；
42.从所述室间隔基点触发，以第一方向及第二方向确定室间隔起点及室间隔终点。
43.在一种可能的实施方式中，所述第一方向与所述第二方向的方向相反，所述从所述室间隔基点触发，以第一方向及第二方向确定室间隔起点及室间隔终点，包括：
44.确定左心室外膜沿第一方向、第二方向的各个搜索点与最近右心室内膜点的距离，当搜索点与最近右心室内膜点的距离的平方小于第三预设值时，确定所述室间隔起点及室间隔终点，
45.其中，所述第三预设值与所述右心室近地点与室间隔基点的距离相关。
46.在一种可能的实施方式中，所述对所述心尖典型层进行定位得到第三左心室节段集合，包括：
47.当右心室不可见时，确定左心室的中点；
48.确定心中典型层的室间隔起止点对应的第一角度、第二角度，
49.根据所述第一角度、所述第二角度在所述心尖典型层确定第三左心室节段集合中的第14左心室节段。
50.在一种可能的实施方式中，所述对所述心尖典型层进行定位得到第三左心室节段集合，包括：
51.将所述心尖典型层的预设心肌部分均匀划分为3个左心室节段，确定所述第三左心室节段集合中的第13左心室节段、第15左心室节段、第16左心室节段。
52.根据本公开的一方面，提供了一种左心室节段识别装置，所述装置包括：
53.获取模块，用于获取目标图像，所述目标图像包括心脏磁共振电影短轴图像；
54.分割模块，用于对所述目标图像进行分割，得到所述目标图像中多个目标区域的多个掩膜；
55.轮廓确定模块，用于根据所述多个掩膜得到多个目标轮廓；
56.左心室节段确定模块，用于对包括所述多个目标轮廓的目标图像进行四维重建后确定所述目标图像中的左心室节段。
57.根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
58.根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
59.本公开实施例可以获取目标图像，所述目标图像包括心脏磁共振电影短轴图像；对所述目标图像进行分割，得到所述目标图像中多个目标区域的多个掩膜；根据所述多个掩膜得到多个目标轮廓；对包括所述多个目标轮廓的目标图像进行四维重建后确定所述目标图像中的左心室节段，可以快速、自动、准确的实现对左心室节段的识别，以方便临床医
生精准判断左心室各心肌节段的功能和运动情况，大大提高临床医生的效率，对心脏磁共振影像的临床应用有极高价值。
60.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
61.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
62.图1示出了心脏左心室节段的划分示意图。
63.图2示出了根据本公开一实施例的左心室节段识别方法的流程图。
64.图3示出了根据本公开一实施例的分割神经网络的示意图。
65.图4示出了根据本公开一实施例的下采样单元的示意图。
66.图5示出了根据本公开一实施例的挤压与激励单元的示意图。
67.图6示出了根据本公开一实施例的上采样单元的示意图。
68.图7示出了根据本公开一实施例的对分割神经网络进行训练的示意图。
69.图8示出了根据本公开一实施例的目标轮廓示意图。
70.图9a、图9b、图9c示出了左心室节段的示意图。
71.图10示出了根据本公开一实施的左心室节段识别装置的框图。
72.图11示出了根据本公开一实施例的一种电子设备的框图。
73.图12示出了根据本公开一实施例的一种电子设备的框图。
具体实施方式
74.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
75.在本公开的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。
76.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
77.在本公开中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情
况理解上述术语在本公开中的具体含义。
78.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
79.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a 和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
80.另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
81.首先通过表1对本公开实施例中各个名词进行示例性说明。
82.表1
[0083][0084]
心脏磁共振影像是衡量心脏整体功能，特别是衡量左心室功能，确认心肌疾病的金标准(即当前临床医学界公认的判断疾病的最可靠、最准确、最好的诊断方法)。心脏磁共振影像是评估心脏结构、功能和运动的最有效影像检查技术，主要心功能指标包括左心室舒张末容积、左心室射血分数、左心室节段容积、左心室节段射血分数、左心室节段运动、右心室射血分数等。
[0085]
请参阅图1，图1示出了心脏左心室节段的划分示意图。
[0086]
按照相关标准(如美国心脏协会(aha)的标准)，如图1所示，左心室分为17左心室节段，包括心底部第1
‑
6段、心中部第7
‑
12段、心底部第13
‑
16段及心底第17段，对每个左心室节段进行心功能和运动功能的刻画和评估，对各种心肌病的诊断、冠脉血管的定位等至关重要，如图1所示，各个左心室节段与冠脉血管具有相应的对应关系，其中，主要三支冠脉血管包括右冠状动脉(rca)，左主冠状动脉分叉为左前降支(lad)和左回旋支(lcx)。
[0087]
心脏磁共振电影短轴4d影像由三维心脏和时间轴组成。为了获取心功能指标和心脏运动情况，首先需要对左心室内外膜和右心室内膜进行精准勾画，现有的基于传统图像处理技术的心脏磁共振影像分析技术，对心室内外膜的勾画很不准确，需要大量的手工修改，效率低，得到的心功能参数很有限，而且存在人为因素带来的误差，并且，相关技术采用传统的图像处理算法或者机器学习算法，然而，这种基于传统图像处理的心脏磁共振影像分析方式，不能实现全自动化，需要人工的辅助和手工操作，效率低，存在人为因素带来的误差，图像分割的准确率偏低，而且，临床上依然依靠人工进行大量修改，才能真正用于心脏功能指标的计算。
[0088]
本公开实施例基于对左右心室内外膜的精确勾画，可以快速精准定位左心室各心肌节段。以上功能可以在数秒内全自动完成，方便临床医生精准判断左心室各心肌节段的功能和运动情况，大大提高临床医生的效率，对心脏磁共振影像的临床应用有极高价值。
[0089]
请参阅图2，图2示出了根据本公开一实施例的左心室节段识别方法的流程图。
[0090]
如图2所示，所述方法包括：
[0091]
步骤s11，获取目标图像，所述目标图像包括心脏磁共振电影短轴图像；
[0092]
步骤s12，对所述目标图像进行分割，得到所述目标图像中多个目标区域的多个掩膜；
[0093]
步骤s13，根据所述多个掩膜得到多个目标轮廓；
[0094]
步骤s14，对包括所述多个目标轮廓的目标图像进行四维重建后确定所述目标图像中的左心室节段。
[0095]
通过以上方法，本公开实施例可以获取目标图像，所述目标图像包括心脏磁共振电影短轴图像；对所述目标图像进行分割，得到所述目标图像中多个目标区域的多个掩膜；根据所述多个掩膜得到多个目标轮廓；对包括所述多个目标轮廓的目标图像进行四维重建后确定所述目标图像中的左心室节段，可以快速、自动、准确的实现对左心室节段的识别，以方便临床医生精准判断左心室各心肌节段的功能和运动情况，大大提高临床医生的效率，对心脏磁共振影像的临床应用有极高价值。
[0096]
本公开实施例的方法可以应用于处理组件或包括处理组件的电子设备中，处理组件包括但不限于单独的处理器，或者分立元器件，或者处理器与分立元器件的组合。所述处理器可以包括电子设备中具有执行指令功能的控制器，所述处理器可以按任何适当的方式实现，例如，被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现。在所述处理器内部，可以通过逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器等硬件电路执行所述可执行指令。电子设备可以包括终端、服务器等，终端又称之为用户设
备(user equipment，ue)、移动台(mobile station，ms)、移动终端(mobile terminal，mt) 等，是一种向用户提供语音和/或数据连通性的设备，例如，具有无线连接功能的手持式设备、车载设备等。目前，一些终端的举例为：手机(mobile phone)、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internetdevice，mid)、可穿戴设备，虚拟现实(virtual reality，vr)设备、增强现实(augmentedreality，ar)设备、工业控制(industrial control)中的无线终端、无人驾驶(selfdriving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smarthome)中的无线终端、车联网中的无线终端等。
[0097]
在一个示例中，心脏磁共振影像中除了轴、矢、冠三个方向成像平面外，心脏还需要特殊的几种斜面成像，包括长轴位、短轴位、流入流出道等等，即心脏磁共振影像序列可以包括：长轴位序列、短轴位序列、右室流出道序列等等；在上述各心脏磁共振影像序列中，电影短轴序列是最重要的序列，提供最丰富的左心室信息，因此本公开实施例选取心脏磁共振影像中的电影短轴图像作为分析对象，以得到更加准确的处理分析及心脏病预测结果。
[0098]
本公开实施例在获取目标图像时，可以对目标图像进行预处理，例如，可以通过目标检测网络自动识别目标图像中的心脏区域，例如，可以将识别的心脏区域进行标记(如用方框等)，并且，可以将无关区域进行切除，以降低干扰，从而提高图像分割、左心室节段识别的准确性。
[0099]
本公开实施例对自动识别心脏区域、进行干扰区域切除的具体实施方式不做限定，例如，目标检测网络可以是全卷积神经网络，对此，本公开实施例不做限定。
[0100]
在一种可能的实施方式中，步骤s12对所述目标图像进行分割，得到所述目标图像中多个目标区域的多个掩膜，可以包括：
[0101]
将所述目标图像输入分割神经网络，通过所述分割神经网络的输出结果得到所述目标图像中多个目标区域的多个掩膜，
[0102]
其中，所述分割神经网络通过多张训练图像进行训练，所述训练图像的多个目标区域被提前标注，所述训练图像为心脏磁共振电影短轴图像。
[0103]
在一个示例中，所述分割神经网络可以为深度学习卷积神经网络模型，该卷积神经网络的设计融合了多种深度学习神经网络的思想和机器学习的思想，包括二维卷积神经网络、多尺度特征共享、挤压与激励机制(squeeze
‑
and
‑
excitation，se)、扩张卷积(dilated convolution or atrous convolution)，从而提高语义分割网络的准确性和泛化能力。
[0104]
请参阅图3，图3示出了根据本公开一实施例的分割神经网络的示意图。
[0105]
在一个示例中，如图3所示，该深度学习卷积神经网络，采用了全卷积神经网络的unet架构，并加入了多尺度特征共享、挤压与激励机制、扩张卷积，如图3所示，分割神经网络包括：多个扩张卷积(扩张卷积1
‑
4，用于扩大卷积的感受野(receptive field)，学习长距离特征，提高模型对图像的语义理解)、多个下采样单元(例如下采样单元1
‑
4，用于实现编码)、多个上采样单元(例如上采样单元1
‑
4，用于实现解码)、多个缩放单元(缩放单元1
‑
4，scale)、多个挤压与激励单元(挤压与激励单元1
‑
4，用于建立特征通道(channel)之间的
相互依赖关系的机制，通过学习的方式自动得知每个特征通道的重要程度，从而提升有用的特征抑制对当前任务贡献不大的特征，在通道维度上实现对原始特征的重新标定)、卷积层，且采用了跳跃式连接(skip connection)的方式，在多个尺度上实现了编码到解码的特征共享。通过运用该预先训练好的分割神经网络对上述目标图像进行语义分割，预测出多个目标区域的掩膜(掩码)，例如左心室内膜掩膜、左心室心肌掩膜(内膜和外膜之间区域)、右心室内膜掩膜和背景掩膜，再根据各个掩膜，本公开实施例可以由得到左心室内膜、左心室外膜和右心室内膜轮廓。
[0106]
请参阅图4，图4示出了根据本公开一实施例的下采样单元的示意图。
[0107]
在一个示例中，如图4所示，下采样单元可以包括卷积层(conv 3x3(dilation rate n1)、batchnorm、 relu)、卷积层(conv 3x3(dilation rate n2)、batchnorm、relu)一个池化层(max
‑
pool 3x3)，依次对输入图像进行处理，实现编码功能。
[0108]
在一个示例中，本公开实施例通过多个下采样单元实现对目标图像的特征提取，得到多个特征层。
[0109]
请参阅图5，图5示出了根据本公开一实施例的挤压与激励单元的示意图。
[0110]
在一个示例中，如图5所示，挤压与激励单元可以包括全局池化层(global pooling)、多个隐藏层 (dense)，各个隐藏层通过relu、sigmoid等激励函数对输入数据进行处理，建立特征通道(channel) 之间的相互依赖关系的机制，通过学习的方式自动得知每个特征通道的重要程度，从而提升有用的特征抑制对当前任务贡献不大的特征，在通道维度上实现对原始特征的重新标定。
[0111]
请参阅图6，图6示出了根据本公开一实施例的上采样单元的示意图。
[0112]
如图6所示，上采样单元可以包括多个卷积层(conv 3x3、batchnorm、relu)、拼接层、逆卷积层(convtranspose)，通过拼接层利用拼接(concatenate)的共享方式保留了更多的维度和位置信息，使得后续layer在浅层特征和深层特征之间自由选择，对语义分割更有优势。
[0113]
在一个示例中，本公开实施例利用多个上采样单元实现多次上采样操作得到上采样特征层，通过将各个上采样特征层与对应的下采样单元得到的特征层进行拼接，通过将富含高阶抽象特征的特征层与富含空间信息的上采样特征层进行跨层拼接，能够使得神经网络模型基于该信息进行学习，获得更为精确的输出，使得对目标图像的分割更为准确。
[0114]
在一个示例中，当最后一个上采样单元输出上采样结果后，本公开实施例可以利用1
×
1卷积进行处理，并执行softmax归一化处理，以提高对重要特征的关注度，提高神经网络模型的鲁棒性。
[0115]
请参阅图7，图7示出了根据本公开一实施例的对分割神经网络进行训练的示意图。
[0116]
在一种可能的实施方式中，如图7所示，所述分割神经网络通过多张训练图像进行训练，可以包括：
[0117]
步骤s21，获取多张心脏磁共振电影短轴图像；
[0118]
步骤s22，对多张心脏磁共振电影短轴图像进行数据清洗，得到多张样本图像；
[0119]
步骤s23，对多张样本图像的多个目标区域进行标注，得到所述多张训练图像；
[0120]
步骤s24，对所述多张训练图像进行预处理，得到预处理后的多张训练图像；
[0121]
步骤s25，将预处理后的多张训练图像划分按照预设比例划分为训练图像集、验证图像集、测试图像集，以对初始分割神经网络进行训练，得到所述分割神经网络。
[0122]
本公开实施例可以从多个数据中心(dc1～dcn)获取多张心脏磁共振电影短轴图像，对多张心脏磁共振电影短轴图像进行数据清洗，去除不符合要求的图像(例如去除缺层、缺时相、伪影严重的图像)，以得到多张样本图像，从而提高识别准确性及识别效率，在得到多张样本图像后，可以对多张样本图像的多个目标区域(如左心室内外膜、右心室内膜等)进行标注(如采用机器标注或人共标注等方式)，得到所述多张训练图像，对所述多张训练图像进行预处理(例如像素值归一化处理，以及对图像和标注掩膜都缩放到统一尺寸(256x256))，得到预处理后的多张训练图像，将预处理后的多张训练图像划分按照预设比例(如7:1:2)划分为训练图像集、验证图像集、测试图像集，以对初始分割神经网络进行训练，得到所述分割神经网络。
[0123]
当然，本公开实施例的心脏磁共振电影短轴图像还可以是根据心脏磁共振短轴视频得到的，本公开实施例的分割神经网络也可以是三维深度学习神经网络，以实现对短轴视频中心脏各个左心室节段进行识别，例如，在训练时可以对心脏磁共振短轴视频进行人工标注，在左心室心肌上勾画出左心室节段1
‑
16，建立语义分割数据集，将之切分为训练/验证/测试子集，搭建三维卷积神经网络模型对短轴视频进行语义分割，利用训练/验证数据集，训练分割模型，自动勾画出左心室心肌的16左心室节段。
[0124]
在一种可能的实施方式中，所述对初始分割神经网络进行训练，得到所述分割神经网络，可以包括：
[0125]
利用所述初始分割神经网络对所述训练图像集中的训练图像进行分割，得到所述训练图像集中的训练图像的多个目标区域的多个掩膜；
[0126]
利用所述训练图像集中的训练图像的多个区域的标注轮廓对所述初始分割神经网络的参数进行校正，以实现对所述初始分割神经网络的训练，得到训练后的初始分割神经网络；
[0127]
将所述验证图像集中的训练图像输入训练后的初始分割神经网络以对预测结果进行验证，实现对训练后的初始分割网络的超参数的调整及模型能力的评估；
[0128]
将所述测试集中的训练图像输入经验证评估后的初始分割神经网络以评估模型的泛化能力，并将评估结果符合预设条件的初始分割网络作为所述分割神经网络。
[0129]
在一个示例中，在进行训练时，本公开采用的损失函数可以为：
[0130][0131]
其中，x
i
和y
i
分别表示类i的预测区域和金标准区域，i＝1代表左心室内膜包含的区域，i＝2代表左心室心肌区域(左心室内膜和外膜之间的区域)，i＝3代表右心室内膜包含的区域。
[0132]
在一个示例中，本公开实施例可以使用adam优化器(optimizer),自动更新梯度的一阶矩和二阶矩。
[0133]
在一个示例中，本公开实施例对分割神经网络进行训练采用的学习率(learning rate)可以使用指数衰减式余弦退火(cosine annealing)机制，其原理如下，在epoch t的学习率η
t
由下列公式2得出：
[0134][0135]
其中，和分别表示第i次退火的最大和最小学习率，t
i
表示第i次退火周期含多少epoch， t
t
表示当前epoch t在第i次退火周期的索引，
[0136]
在一个示例中，本公开实施例设置t
i
为30，初始学习率为1e
‑
3,为1e
‑
4，和随着周期i阶跃式指数衰减，衰减因子γ为0.3。
[0137]
其中，和分别由公式3及公式4确定。
[0138][0139][0140]
在一种可能的实施方式中，所述掩膜包括左心室内膜掩膜、左心室心肌掩膜、右心室内膜掩膜和背景掩膜，步骤s13根据所述多个掩膜得到多个目标轮廓，可以包括：
[0141]
将所述左心室内膜掩膜和所述左心室心肌掩膜进行聚合处理，得到左心室外膜掩膜；
[0142]
对所述左心室内膜掩膜、所述左心室外膜掩膜、所述右心室内膜掩膜提取最外围轮廓，分别得到左心室内膜轮廓、左心室外膜轮廓和右心室内膜轮廓；
[0143]
对所述左心室内膜轮廓、所述左心室外膜轮廓和所述右心室内膜轮廓进行顺时针归一化处理，得到归一化处理后的所述左心室内膜轮廓、所述左心室外膜轮廓和所述右心室内膜轮廓。
[0144]
请参阅图8，图8示出了根据本公开一实施例的目标轮廓示意图。
[0145]
本公开实施例将所述左心室内膜掩膜和所述左心室心肌掩膜进行聚合处理，得到左心室外膜掩膜，对所述左心室内膜掩膜、所述左心室外膜掩膜、所述右心室内膜掩膜提取最外围轮廓，分别得到左心室内膜轮廓、左心室外膜轮廓和右心室内膜轮廓；对所述左心室内膜轮廓、所述左心室外膜轮廓和所述右心室内膜轮廓进行顺时针归一化处理，可以得到如图8所示归一化处理后的所述左心室内膜轮廓、所述左心室外膜轮廓和所述右心室内膜轮廓。
[0146]
在一种可能的实施方式中，本公开实施例在得到所述左心室内膜轮廓、所述左心室外膜轮廓和所述右心室内膜轮廓，可以对目标图像进行四维重建，例如，可以利用dicom的meta数据对心脏磁共振电影短轴图像进行排序，进而对含有(左心室内膜、左心室外膜和右心室内膜)轮廓的图像进行四维重建，其四维尺度为(h，w，t，s)。(h，w)为二维图像的尺度，t为一个心动周期，s为心脏短轴图像的层数。
[0147]
在一种可能的实施方式中，步骤s14对包括所述多个目标轮廓的目标图像进行四维重建后确定所述目标图像中的左心室节段，可以包括：
[0148]
对四维重建后的目标图像进行定位，确定所述目标图像中的心脏的心底典型层、心中典型层、心尖典型层；
[0149]
对所述心底典型层及所述心中典型层分别进行定位得到第一左心室节段集合及第二左心室节段集合；
[0150]
对所述心尖典型层进行定位得到第三左心室节段集合。
[0151]
本公开实施例通过对四维重建后的目标图像进行定位，确定所述目标图像中的心脏的心底典型层、心中典型层、心尖典型层；对所述心底典型层及所述心中典型层分别进行定位得到第一左心室节段集合(如左心室节段1～左心室节段6)及第二左心室节段集合(左心室节段7～左心室节段12)；对所述心尖典型层进行定位得到第三左心室节段集合(如左心室节段13～左心室节段16)。
[0152]
在一个示例中，心底层、心中层和心尖层各占心脏的1/3，而且心底层为心肌360
°
可见、左心室血池面积大的层，心尖层或有或无右心室。假设心底、心中和心尖的层数分别为s1，s2，s3，下面对确定心底典型层、心中典型层和心尖典型层的可能实现方式进行示例性介绍。
[0153]
在一种可能的实施方式中，所述对四维重建后的目标图像进行定位，确定所述目标图像中的心脏的心底典型层、心中典型层、心尖典型层，可以包括：
[0154]
确定所述左心室内膜轮廓内面积、所述左心室外膜轮廓内面积、所述右心室内膜轮廓内面积、所述左心室内膜轮廓的圆分度头、所述左心室外膜轮廓的圆分度头；
[0155]
当多个心底层中的其中一个心底层的所述左心室内膜轮廓内面积在满足第一预设条件且面积为最大时，将该心底层确定为所述心底典型层，其中，所述第一预设条件包括：最大时相下的右心室内膜轮廓内面积与最小时相下的右心室内膜轮廓内面积的比值小于第一预设值、最大时相下的左心室外膜轮廓的圆分度头小于所述第一预设值；
[0156]
当多个心尖层中的其中一个心尖层满足第二预设条件时，将该心尖层确定为所述心尖典型层，其中，所述第二预设条件包括：最大时相下的左心室外膜轮廓的圆分度头小于第二预设值、且最大时相下的左心室内膜轮廓的圆分度头小于所述第二预设值，其中所述第二预设值小于所述第一预设值；
[0157]
将所述心底典型层和所述心尖典型层的中间层确定为所述心中典型层。
[0158]
在一个实例中，通过如下方式确定所述左心室内膜轮廓内面积、所述左心室外膜轮廓内面积、所述右心室内膜轮廓内面积、所述左心室内膜轮廓的圆分度头、所述左心室外膜轮廓的圆分度头：
[0159]
在一个示例中，左心室内膜轮廓内面积lv_endo_area(s,t)＝左心室内膜轮廓包含的像素点总和；
[0160]
在一个示例中，左心室外膜轮廓内面积lv_epi_area(s,t)＝左心室外膜轮廓包含的像素点总和；
[0161]
在一个示例中，右心室内膜轮廓内面积rv_endo_area(s,t)＝右心室内膜轮廓包含的像素点总和；
[0162]
在一个示例中，左心室内膜轮廓圆分度头其中,r
j
是左心室内膜轮廓点，endo_center(s,t)是左心室内膜轮廓中心，其中，左心室内膜轮廓圆分度头表示非圆形形状逼近圆形的程度；
[0163]
在一个示例中，左心室外膜轮廓圆分度头其中,r
j
是左心室外膜轮廓点，epi_center(s,t)是左心室外膜轮廓中心。
[0164]
在一个示例中，第一预设值例如为1.8，对于心底诸层(s＝1,2,
…
,s1)，第一预设条件可以包括：
[0165][0166]
max
t epi_circ_index(s,t)<1.8
ꢀꢀꢀ
条件2；
[0167]
左心室内膜内面积lv_endo_area(s,t＝0)在满足以上条件1及条件2的层中最大，即可确定该层为心底典型层。
[0168]
在一个示例中，第二预设值例如为1.5，对于心尖诸层(s＝s1+s2+1,
…
,s),第二预设条件可以包括：
[0169]
max
t epi_circ_index(s,t)<1.5
ꢀꢀꢀ
条件3
[0170]
max
t endo_circ_index(s,t)<1.5
ꢀꢀꢀ
条件4
[0171]
在一个实例中，当同时满足条件3及条件4时，即最大时相下的左心室外膜轮廓的圆分度头小于第二预设值、且最大时相下的左心室内膜轮廓的圆分度头小于所述第二预设值的心尖层可以确定为心尖典型层。
[0172]
在确定所述目标图像中的心脏的心底典型层、心中典型层、心尖典型层后，本公开实施例可以对左心室节段进行定位、识别。
[0173]
在一种可能的实施方式中，所述对所述心底典型层及所述心中典型层分别进行定位得到第一左心室节段集合及第二左心室节段集合，可以包括：
[0174]
定位室间隔的起止点；
[0175]
将室间隔按照角度均匀划分，并将心肌部分按照角度均匀划分，得到所述第一左心室节段集合及所述第二左心室节段集合的各个左心室节段。
[0176]
在一种可能的实施方式中，所述定位室间隔的起止点，包括：
[0177]
根据左心室内膜点数目、外膜点数目及各个左心室内膜点、左心室外模点确定左心室的中点；
[0178]
确定室间隔基点，所述室间隔基点为距离右心室近地点最近的左心室外膜点；
[0179]
从所述室间隔基点触发，以第一方向及第二方向确定室间隔起点及室间隔终点。
[0180]
在一种可能的实施方式中，所述第一方向与所述第二方向的方向相反，所述从所述室间隔基点触发，以第一方向及第二方向确定室间隔起点及室间隔终点，包括：
[0181]
确定左心室外膜沿第一方向、第二方向的各个搜索点与最近右心室内膜点的距离，当搜索点与最近右心室内膜点的距离的平方小于第三预设值时，确定所述室间隔起点及室间隔终点，
[0182]
其中，所述第三预设值与所述右心室近地点与室间隔基点的距离相关。
[0183]
在一个示例中，定位室间隔的起止点通过以下步骤实现：
[0184]
在一个示例中，可以首先通过公式5确定左心室的中心点
[0185]
左心室中心
[0186]
其中，n
endo
、n
epi
、a
i
、b
j
分别表示对应图像的左心室内膜点个数、外膜点个数、左心室内膜点、外膜点。
[0187]
在一个示例中，可以找到右心室内膜上离左心室中心最近的点(称为右心室近地点)，然后找到离右心室近地点最近的左心室外膜点，作为室间隔基点。
[0188]
在一个示例中，右心室近地点可以通过公式6确定，室间隔基点可以通过公式7确定。
[0189]
右心室近地点
[0190]
其中，d
k
表示右心室内膜点。
[0191]
室间隔基点
[0192]
其中，b
j
表示左心室外膜点。
[0193]
在一个示例中，在确定室间隔基点后，可以从室间隔基点b0出发，沿着左心室外膜的两个相反方向分别找室间隔的起点和终点。
[0194]
示例性的，可以首先计算左心室外膜沿途每个点与最近右心室内膜点的距离，然后结束搜索的条件为连续两点满足以下公式：
[0195][0196]
th＝(d0‑
b0)2*3.0
ꢀꢀꢀ
公式9
[0197]
其中，是左心室外膜搜索点，是对应的最近右心室内膜点，th表示第三预设值。
[0198]
请参阅图9a、图9b、图9c，图9a、图9b、图9c示出了左心室节段的示意图。
[0199]
在完成搜索后，本公开实施例将室间隔按照角度均匀划分分成2个左心室节段，其它心肌部分按照角度均匀分成4个左心室节段，以得到第一左心室节段集合(如图9a所示)及第二左心室节段集合 (如图9b所示)。
[0200]
在一种可能的实施方式中，所述对所述心尖典型层进行定位得到第三左心室节段集合，可以包括：
[0201]
当右心室不可见时，确定左心室的中点；
[0202]
确定心中典型层的室间隔起止点对应的第一角度、第二角度，
[0203]
根据所述第一角度、所述第二角度在所述心尖典型层确定第三左心室节段集合中的第14左心室节段。
[0204]
在一种可能的实施方式中，所述对所述心尖典型层进行定位得到第三左心室节段集合，包括：
[0205]
将所述心尖典型层的预设心肌部分均匀划分为3个左心室节段，确定所述第三左心室节段集合中的第13左心室节段、第14左心室节段、第16左心室节段(如图9c所示)。
[0206]
在一个示例中，如果右心室不可见，14左心室节段的起止点通过以下步骤实现：
[0207]
在一个示例中，可以首先通过公式10确定左心室的中心点：
[0208]
左心室中心
[0209]
其中n
endo
、n
epi
、a
i
、b
j
分别表示对应图像的左心室内膜点个数、外膜点个数、左心室内膜点、外膜点。
[0210]
在一个示例中，当确定了左心室的中心点后，可以计算心中典型层的室间隔起止点对应的第一角度及第二角度(θ1，θ2)，然后在心尖典型层在左心室外膜通过如下公式找到对应的起止点对应的起止点
[0211][0212]
其它左心室节段(13、15、16)由其它心肌部分按照角度均匀分成3个左心室节段，如图9c所示。
[0213]
在一个示例中，当右心室可见时，本公开实施例可以采用前述的确定第一左心室节段集合、第二左心室节段集合的方式确定第三左心室节段集合中的左心室节段14的起止点，在此不在赘述。
[0214]
本公开实施例对目标图像进行四维重建后，实现对心底典型层、心中典型层、心尖典型层的定位，并对心底典型层、心中典型层舒张末时相的左心室节段定位，对室间隔起止点进行定位，对左心室节段1
‑
左心室节段12的起止点进行定位，并对心尖典型层舒张末时相的左心室节段定位，实现对第14左心室节段及其他左心室节段的起止点的定位。
[0215]
本公开实施例针对心脏磁共振电影短轴影像设计了最优的二维卷积神经网络模型(分割神经网络),此模型架构融合了多种神经网络设计思想，包括深层全卷积神经网络、多尺度特征共享、挤压与激励(通道权重)机制、扩张卷积等。而且二维模型的参数量取得了拟合能力和泛化性的良好平衡。模型训练采用了定制化的dice损失函数以及指数衰减式余弦退火学习率，并且据对左右心室的语义分割，设计了一套创新的、全自动的左心室心肌左心室节段识别算法。此套算法充分利用了左、右心室的几何关系、心脏运动的时间关联性，而且全面采用了自适应思想。此套算法简单、高效、性能卓越。
[0216]
本公开实施例利用深度学习神经网络技术，对心脏磁共振电影短轴影像实现了全自动左右心室的结构分割，而且大大提高了分割准确率，避免现有方案的大量人工参与和修正，并基于左右心室的结构分割，设计了创新的、全自动的左心室心肌左心室节段识别算法，对临床医生快速评估左心室心肌左心室节段功能和运动，快速定位冠脉的分支具有重要的临床价值。
[0217]
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0218]
请参阅图10，图10示出了根据本公开一实施的左心室节段识别装置的框图。
[0219]
如图10所示，所述装置包括：
[0220]
获取模块10，用于获取目标图像，所述目标图像包括心脏磁共振电影短轴图像；
[0221]
分割模块20，用于对所述目标图像进行分割，得到所述目标图像中多个目标区域的多个掩膜；
[0222]
轮廓确定模块30，用于根据所述多个掩膜得到多个目标轮廓；
[0223]
左心室节段确定模块40，用于对包括所述多个目标轮廓的目标图像进行四维重建后确定所述目标图像中的左心室节段。
[0224]
通过以上装置，本公开实施例可以获取目标图像，所述目标图像包括心脏磁共振电影短轴图像；对所述目标图像进行分割，得到所述目标图像中多个目标区域的多个掩膜；根据所述多个掩膜得到多个目标轮廓；对包括所述多个目标轮廓的目标图像进行四维重建后确定所述目标图像中的左心室节段，可以快速、自动、准确的实现对左心室节段的识别，以方便临床医生精准判断左心室各心肌节段的功能和运动情况，大大提高临床医生的效
率，对心脏磁共振影像的临床应用有极高价值。
[0225]
在一种可能的实施方式中，所述分割模块还用于：
[0226]
将所述目标图像输入分割神经网络，通过所述分割神经网络的输出结果得到所述目标图像中多个目标区域的多个掩膜，
[0227]
其中，所述分割神经网络通过多张训练图像进行训练，所述训练图像的多个目标区域被提前标注，所述训练图像为心脏磁共振电影短轴图像。
[0228]
在一种可能的实施方式中，所述分割神经网络通过多张训练图像进行训练，包括：
[0229]
获取多张心脏磁共振电影短轴图像；
[0230]
对多张心脏磁共振电影短轴图像进行数据清洗，得到多张样本图像；
[0231]
对多张样本图像的多个目标区域进行标注，得到所述多张训练图像；
[0232]
对所述多张训练图像进行预处理，得到预处理后的多张训练图像；
[0233]
将预处理后的多张训练图像划分按照预设比例划分为训练图像集、验证图像集、测试图像集，以对初始分割神经网络进行训练，得到所述分割神经网络。
[0234]
在一种可能的实施方式中，所述对初始分割神经网络进行训练，得到所述分割神经网络，包括：
[0235]
利用所述初始分割神经网络对所述训练图像集中的训练图像进行分割，得到所述训练图像集中的训练图像的多个目标区域的多个掩膜；
[0236]
利用所述训练图像集中的训练图像的多个区域的标注轮廓对所述初始分割神经网络的参数进行校正，以实现对所述初始分割神经网络的训练，得到训练后的初始分割神经网络；
[0237]
将所述验证图像集中的训练图像输入训练后的初始分割神经网络以对预测结果进行验证，实现对训练后的初始分割网络的超参数的调整及模型能力的评估；
[0238]
将所述测试集中的训练图像输入经验证评估后的初始分割神经网络以评估模型的泛化能力，并将评估结果符合预设条件的初始分割网络作为所述分割神经网络。
[0239]
在一种可能的实施方式中，所述掩膜包括左心室内膜掩膜、左心室心肌掩膜、右心室内膜掩膜和背景掩膜，所述轮廓确定模块还用于：
[0240]
将所述左心室内膜掩膜和所述左心室心肌掩膜进行聚合处理，得到左心室外膜掩膜；
[0241]
对所述左心室内膜掩膜、所述左心室外膜掩膜、所述右心室内膜掩膜提取最外围轮廓，分别得到左心室内膜轮廓、左心室外膜轮廓和右心室内膜轮廓；
[0242]
对所述左心室内膜轮廓、所述左心室外膜轮廓和所述右心室内膜轮廓进行顺时针归一化处理，得到归一化处理后的所述左心室内膜轮廓、所述左心室外膜轮廓和所述右心室内膜轮廓。
[0243]
在一种可能的实施方式中，所述左心室节段确定模块，还用于：
[0244]
对四维重建后的目标图像进行定位，确定所述目标图像中的心脏的心底典型层、心中典型层、心尖典型层；
[0245]
对所述心底典型层及所述心中典型层分别进行定位得到第一左心室节段集合及第二左心室节段集合；
[0246]
对所述心尖典型层进行定位得到第三左心室节段集合。
[0247]
在一种可能的实施方式中，所述对四维重建后的目标图像进行定位，确定所述目标图像中的心脏的心底典型层、心中典型层、心尖典型层，包括：
[0248]
确定所述左心室内膜轮廓内面积、所述左心室外膜轮廓内面积、所述右心室内膜轮廓内面积、所述左心室内膜轮廓的圆分度头、所述左心室外膜轮廓的圆分度头；
[0249]
当多个心底层中的其中一个心底层的所述左心室内膜轮廓内面积在满足第一预设条件且面积为最大时，将该心底层确定为所述心底典型层，其中，所述第一预设条件包括：最大时相下的右心室内膜轮廓内面积与最小时相下的右心室内膜轮廓内面积的比值小于第一预设值、最大时相下的左心室外膜轮廓的圆分度头小于所述第一预设值；
[0250]
当多个心尖层中的其中一个心尖层满足第二预设条件时，将该心尖层确定为所述心尖典型层，其中，所述第二预设条件包括：最大时相下的左心室外膜轮廓的圆分度头小于第二预设值、且最大时相下的左心室内膜轮廓的圆分度头小于所述第二预设值，其中所述第二预设值小于所述第一预设值；
[0251]
将所述心底典型层和所述心尖典型层的中间层确定为所述心中典型层。
[0252]
在一种可能的实施方式中，所述对所述心底典型层及所述心中典型层分别进行定位得到第一左心室节段集合及第二左心室节段集合，包括：
[0253]
定位室间隔的起止点；
[0254]
将室间隔按照角度均匀划分，并将心肌部分按照角度均匀划分，得到所述第一左心室节段集合及所述第二左心室节段集合的各个左心室节段。
[0255]
在一种可能的实施方式中，所述定位室间隔的起止点，包括：
[0256]
根据左心室内膜点数目、外膜点数目及各个左心室内膜点、左心室外模点确定左心室的中点；
[0257]
确定室间隔基点，所述室间隔基点为距离右心室近地点最近的左心室外膜点；
[0258]
从所述室间隔基点触发，以第一方向及第二方向确定室间隔起点及室间隔终点。
[0259]
在一种可能的实施方式中，所述第一方向与所述第二方向的方向相反，所述从所述室间隔基点触发，以第一方向及第二方向确定室间隔起点及室间隔终点，包括：
[0260]
确定左心室外膜沿第一方向、第二方向的各个搜索点与最近右心室内膜点的距离，当搜索点与最近右心室内膜点的距离的平方小于第三预设值时，确定所述室间隔起点及室间隔终点，
[0261]
其中，所述第三预设值与所述右心室近地点与室间隔基点的距离相关。
[0262]
在一种可能的实施方式中，所述对所述心尖典型层进行定位得到第三左心室节段集合，包括：
[0263]
当右心室不可见时，确定左心室的中点；
[0264]
确定心中典型层的室间隔起止点对应的第一角度、第二角度，
[0265]
根据所述第一角度、所述第二角度在所述心尖典型层确定第三左心室节段集合中的第14左心室节段。
[0266]
在一种可能的实施方式中，所述对所述心尖典型层进行定位得到第三左心室节段集合，包括：
[0267]
将所述心尖典型层的预设心肌部分均匀划分为3个左心室节段，确定所述第三左心室节段集合中的第13左心室节段、第14左心室节段、第16左心室节段。
[0268]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0269]
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
[0270]
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
[0271]
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
[0272]
电子设备可以被提供为终端、服务器或其它形态的设备。
[0273]
图11示出了根据本公开一实施例的一种电子设备的框图。
[0274]
例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
[0275]
参照图11，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0276]
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0277]
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0278]
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
[0279]
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
x
tm
)，多用户多进程的计算机操作系统(unix
tm
), 自由和开放原代码的类unix操作系统(linux
tm
)，开放原代码的类unix操作系统(freebsd
tm
)或类似。
[0289]
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
[0290]
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
[0291]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom 或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd
‑
rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0292]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0293]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
[0294]
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0295]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据
处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/ 或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0296]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0297]
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0298]
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0299]
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。