用于评估心脏图像的图像处理装置及心室状态识别方法与流程

1.本发明涉及一种图像识别技术，具体来说，涉及一种用于评估心脏图像的图像处理装置及心室状态识别方法。


背景技术：

2.在临床上，现阶段评估心脏状态优劣的方法有很多种，其中一个是测量左心室射血分数(left ventricular ejection fraction，lvef)，即测量在每次心跳时左心室中有多少血液的容积被射出。值得注意的是，测量左心室射血分数需要参考心脏收缩末期容积(end-systolic volume，esv)以及心脏舒张末期容积(end-diastolic volume，edv)。因此，必须要在心率周期中识别心脏收缩末期(end-systolic，es)以及心脏舒张末期(end-diastolic，ed)才能套用simpson公式计算出edv和esv。现今技术可以依据心电图(electrocardiogram，ecg)中的r波识别ed，此时左心室的容积为最大。此外，ecg的t波结束处可识别es，此时左心室的容积为最小。然而，在ecg中识别es并不容易。


技术实现要素：

3.在临床上，现阶段评估心脏状态优劣的方法有很多种，其中一个是测量左心室射血分数(left ventricular ejection fraction，lvef)，即测量在每次心跳时左心室中有多少血液的容积被射出。值得注意的是，测量左心室射血分数需要参考心脏收缩末期容积(end-systolic volume，esv)以及心脏舒张末期容积(end-diastolic volume，edv)。因此，必须要在心率周期中识别心脏收缩末期(end-systolic，es)以及心脏舒张末期(end-diastolic，ed)才能套用simpson公式计算出edv和esv。现今技术可以依据心电图(electrocardiogram，ecg)中的r波识别ed，此时左心室的容积为最大。此外，ecg的t波结束处可识别es，此时左心室的容积为最小。然而，在ecg中识别es并不容易。
附图说明
4.包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。
5.图1是依据本发明一实施例的图像处理装置的组件方块图；
6.图2是依据本发明一实施例的心室状态识别方法的流程图；
7.图3是依据本发明一实施例的左心室切割的示意图；
8.图4a是依据本发明一实施例的左心室的舒张末期(ed)的示意图；
9.图4b是依据本发明一实施例的左心室的舒张末期至收缩末期(es)之间的示意图；
10.图4c是依据本发明一实施例的左心室的收缩末期的示意图。
11.附图标号说明
12.100:图像处理装置；
13.110:存储器；
14.130:处理器；
15.s210～s250:步骤；
16.roi:感兴趣区；
17.401:前叶；
18.403:后叶。
具体实施方式
19.现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。
20.图1是依据本发明一实施例的图像处理装置100的组件方块图。请参照图1，图像处理装置100包括(但不仅限于)存储器110及处理器130。图像处理装置100可以是桌面计算机、笔记本电脑、智能手机、平板计算机、服务器、医疗检测仪器或其他运算装置。
21.存储器110可以是任何型态的固定或可移动随机存取内存(radom access memory，ram)、只读存储器(read only memory，rom)、闪存(flash memory)、传统硬盘(hard disk drive，hdd)、固态硬盘(solid-state drive，ssd)或类似组件。在一实施例中，存储器110用以记录程序代码、软件模块、组态配置、数据(例如，图像、灰阶值、统计值、状态、或容积等)或档案，并待后文详述其实施例。
22.处理器130耦接存储器110，处理器130并可以是中央处理单元(central processing unit，cpu)、图形处理单元(graphic processing unit，gpu)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，dsp)、可程序化控制器、现场可程序化逻辑门阵列(field programmable gate array，fpga)、特殊应用集成电路(application-specific integrated circuit，asic)、神经网络加速器或其他类似组件或上述组件的组合。在一实施例中，处理器130用以执行图像处理装置100的所有或部份作业，且可加载并执行存储器110所记录的各程序代码、软件模块、档案及数据。
23.下文中，将搭配图像处理装置100中的各项装置、组件及模块说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而随之调整，且并不仅限于此。
24.图2是依据本发明一实施例的心室状态识别方法的流程图。请参照图2，处理器130可自多张目标图像确定感兴趣区(regional of interest，roi)(步骤s210)。具体而言，那些目标图像是针对左心室(left ventricle)的心内膜轮廓内的像素。在一实施例中，处理器130可取得一个或数个心律周期且为连续帧(frame)的a4c(apical four chamber view)或是a2c(apical two chamber view)的心脏超声波图像(或称心脏超声波图(echocardiography)。这些连续帧的心脏超声波图像来源可以是将针对心脏所拍摄的影片分割成连续帧的心脏图像或是将超声波探头所检测到并通过无线或有线传输传送的多张帧的心脏图像。此外，连续图像是指超声波探头以特定帧率所撷取到依据时间排序的多张心脏图像。
25.在一实施例中，处理器130可将a4c或a2c的心脏超声波输入至机器学习模型(例如，基于深度学习、多层感知器(multi-layer perceptron，mlp)、或支持向量机(support vector machine，svm))，以将左心室的心内膜轮廓内的图像分割出来，并输出作为左心室
的心内膜图像。在其他实施例中，处理器130可基于尺度不变特征转换(scale-invariant feature transform，sift)、haar特征、adaboost或其他识别技术来识别心内膜轮廓，并据以分割出目标图像。
26.图3是依据本发明一实施例的左心室切割的示意图。请参照图3，左图所示为a2c的心脏超声波图像，其可经识别而得出如右图所示的左心室的心内膜轮廓。处理器130可基于心内膜轮廓自心脏超声波图像分割出目标图像。须说明的是，图3所示为单一帧的图像分割，针对其他帧的分割也可采用相同或相似的手段。
27.在一些实施例中，处理器130也可直接取得已自心脏图像分割出的目标图像。即，其他装置或医疗仪器先分割出目标图像。
28.在一实施例中，感兴趣区的边界大致位于心内膜轮廓的底部两侧，且感兴趣区对应于二尖瓣(mitral valve)。底部所指为心内膜的下半部、或其他比例或范围的部分。
29.在一实施例中，处理器130可对心内膜轮廓的二值化图像确定感兴趣区。这二值化图像中只有两种灰阶值(例如，全黑及全白的灰阶值)，因此处理器130可从左心室心内膜的底部开始分别计算左边以及右边第一个像素点在图像中的坐标位置(即，对应于底部两侧)。这两个像素点的位置即是感兴趣区的左右两侧边界。两侧边界大致位于在a4c或a2c的视图下二尖瓣的前叶(anterior leaflet)的最左侧与后叶(posterior leaflet)的最右侧。
30.在一实施例中，感兴趣区的厚度(即，a4c或a2c的视图下的垂直方向的宽度，或是顶侧与底侧边界)可以是二尖瓣的前叶或后叶的厚度。须说明的是，不同人可能因年纪、性别等因素而有不同的厚度。例如，年龄小于20岁的前叶厚度为1.3毫米(millimeter，mm)，年龄介于20至56岁之间的厚度为1.6毫米，且年龄大于60岁的厚度为3.2毫米。
31.图4a是依据本发明一实施例的左心室的舒张末期(ed)的示意图。请参照图4a，图中所示的感兴趣区roi大致对应于前叶401与后叶403。其中，感兴趣区roi的左侧边界对应到前叶401的最左侧，且感兴趣区roi的左侧边界对应到后叶403的最右侧。感兴趣区roi的厚度略大于或大约等于前叶401与后叶403的厚度。
32.须说明的是，感兴趣区roi的形状不限于图4a中所示长方形，在其他实施例中的感兴趣区可以是诸如椭圆形、菱形等几何形状或是对应于二尖瓣轮廓的不规则形状。
33.在另一实施例中，处理器130可基于图像识别技术(例如，神经网络或特征比对)确定感兴趣区的边界。例如，处理器130基于已标记二尖瓣位置的训练样本所得出的分类器或基于二尖瓣的图像特征识别出感兴趣区，其中感兴趣区大致对应于二尖瓣在完全开启的情况下的轮廓。
34.处理器130可确定那些目标图像中的感兴趣区中的多个像素的灰阶值变化(步骤s230)。具体而言，灰阶值变化相关于二尖瓣的动作。心脏在收缩与舒张的情况下，其二尖瓣会有打开与闭合的动作。在连续帧(frame)的心脏图像中会呈现二尖瓣完全打开至完全闭合(或是完全闭合至完全打开)的过程。值得注意的是，呈现a4c或a2c的心脏超声波图像通常采用b模式(b-mode)。因此，当超声波探头将音波发射出去后，回音反射回来的强度就可以用点的亮度当作代表。而这些点(作为像素)所组成的图像即是灰阶图像(gray-scale image)。在灰阶图像中，每个像素的强度(即，灰阶值)是0至255中的数值，其中数值0表示最黑，数值255表示最白。如图4a所示，二尖瓣(由前叶401及后叶403所组成)大致呈现白色。
35.以感兴趣区的观点而言(即，仅分析或观看感兴趣区内的图像)，二尖瓣的动作将会使图像中呈现不同面积的二尖瓣出现在感兴趣区内。例如，二尖瓣由完全打开至完全闭合的过程中，部分前叶或部分后叶将逐渐远离感兴趣区。
36.在一实施例中，处理器130可确定各目标图像中的感兴趣区中的那些像素的灰阶值的总和。值得注意的是，不同目标图像中的感兴趣区所包含到的二尖瓣的面积可能不同。灰阶图像中的二尖瓣大致呈白色(即，灰阶值较高)，且其周围大致呈黑色(即，灰阶值较低)。而灰阶值的总和即可反映出感兴趣区所包含到二尖瓣的面积。处理器130可确定那些目标图像之间的总和的差异(即，感兴趣区所包含到二尖瓣的面积的变化)。而这差异对应于前述灰阶值变化。即，灰阶值的总和的差异反应于二尖瓣的动作。
37.举例而言，图4b是依据本发明一实施例的左心室的舒张末期至收缩末期之间的示意图，且图4c是依据本发明一实施例的左心室的收缩末期的示意图。请参照图4a至图4c，在心脏收缩与舒张的过程中，感兴趣区roi所包含到前叶401及后叶403的面积可能不同。
38.在一些实施例中，处理器130可通过直方图均衡化(histogram equalization)或其他图像处理增强目标图像的对比度，再确定像素的灰阶值总和。
39.在一实施例中，处理器130可确定那些目标图像中总和的最大者与最小者。其中，前述总和的差异相关于最大者与最小者。值得注意的是，在临床上，二尖瓣完全关闭时为心脏的舒张末期(ed)，而二尖瓣完全打开时为心脏的收缩末期(es)。感兴趣区中灰阶值的总和最小者对应于二尖瓣为完全关闭的状态，即对应于左心室的舒张末期。而总和最大者对应于二尖瓣为完全开启的状态，即对应于左心室的收缩末期。处理器130可将灰阶值总和的最大者与最小者作为灰阶值变化的代表。即，处理器130将舒张末期与收缩末期作为代表。
40.在一些实施例中，处理器130可计算灰阶值总和的平均值、或最大灰阶值的数量，并据以确定这些目标图像中的最大者与最小者。例如，舒张末期对应的总和的平均值最小，且收缩末期对应的总和的平均值最大。或者，舒张末期对应的最大灰阶值的数量最少，且收缩末期对应的数量最多。
41.处理器130可依据灰阶值变化取得一张或更多张代表图像(步骤s250)。具体而言，这些代表图像可用于评估左心室的状态。在临床上，心脏舒张末期状态下的左心室的容积为最大(如图4a所示)，而心脏收缩末期状态下的左心室的容积为最小(如图4c所示)。在一实施例中，处理器130可取得前述灰阶值总和的最大者的目标图像及最小者的目标图像，以作为代表图像。即，这两张代表图像分别对应于收缩末期与舒张末期的状态。
42.由此可知，本发明实施例可针对感兴趣区内二尖瓣的动作变化来确定这目标图像是否为心脏的收缩末期或是心脏的舒张末期的图像。相较于分析隔环带(septal annulus)，本发明实施例可快速识别出收缩末期或舒张末期。例如，在一个心率周期中，本发明时实施例及可识别出收缩末期或舒张末期的状态。
43.在一实施例中，处理器130可分别计算代表图像中左心室的容积，并确定前述最大者与最小者之间的左心室的容积变化量(即，最大者与最小者在容积上的差异)。例如，处理器130可计算代表图像中左心室的心内膜轮廓内的像素所占面积。而容积变化量用于评估血液射出量。例如，处理器130可依据心脏收缩末期容积(esv)以及心脏舒张末期容积(edv)确定左心室射血分数(lvef)。
44.在其他实施例中，依据不同需求，处理器130也可能依据不同灰阶值总和取得心室
在其他状态的目标图像作为代表图像。
45.须说明的是，本发明实施例可对心脏图像在实时或非实时情况下识别出心脏的收缩末期或舒张末期。在一实施例中，在实时情况下，超声波探头将会传送数张帧的心脏图像，因此处理器130可能会累积约数个心跳周期的帧的图像数量才能识别出收缩末期或舒张末期。而在另一实施例中，在非实时的情况下，处理器130可将a4c或a2c的心脏超声波影片分割成数张心脏图像，取出数个心跳周期的帧的心脏图像，再进一步识别收缩末期或舒张末期。
46.综上所述，在本发明实施例的用于评估心脏图像的图像处理装置及心室状态识别方法中，分析图像中的感兴趣区中像素的灰阶值变化，以得出感兴趣区中二尖瓣的动作。此外，本发明实施例可基于像素的灰阶值总和识别出心脏在收缩末期或舒张末期的状态，并据以评估血液射出量。藉此，可快速且准确地识别出心脏在收缩和舒张的过程中的不同状态。
47.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。