心脏解剖学结构特征点的定位方法、定位装置与流程

1.本发明涉及计算机视觉技术领域，具体涉及一种心脏解剖学结构特征点的定位方法和一种心脏解剖学结构特征点的定位装置。


背景技术：

2.随着心脏超声技术的发展，医学图像分析需求越来越广，而依靠医师人工标注医学图像解剖学结构特征点又难以在短时间内完成大批量医学图像的分析工作。
3.目前，虽然有基于深度学习的医学图像分析技术，但其一般是采用坐标回归方法，该方式需要大量的训练数据，需要大量人力准备工作，并且网络深度不够，面对心脏错综复杂的解剖学结构，很难掌握每种结构特征点的全部语义信息，难以得到精确的、误差小的预测。


技术实现要素：

4.为解决上述技术问题，本发明的第一个目的在于提出一种心脏解剖学结构特征点的定位方法。
5.本发明的第二个目的在于提出一种心脏解剖学结构特征点的定位装置。
6.本发明采用的技术方案如下：本发明第一方面的实施例提出了一种心脏解剖学结构特征点的定位方法，包括以下步骤：获取心脏解剖学结构的超声心动图，所述超声心动图包括：特征点和特征点对应的语义信息；将超声心动图进行数据增强处理以形成增强图像；根据所述增强图像生成对应的真实热图，所述真实热图为与所述增强图像大小相同的多维矩阵，针对所述增强图像的每个特征点在所述真实热图中都设计一个基于二维高斯分布、以所述特征点为中心点且半径为r的高亮区域，r为正整数；将所述增强图像输入残差神经网络模型中进行训练，所述残差神经网络模型根据所述增强图像输出预测热图，并根据所述预测热图和所述真实热图计算所述残差神经网络模型的损失函数误差值，根据所述损失函数误差值进行梯度下降；重复以上步骤以训练所述残差神经网络模型，直至所述损失函数误差值达到设定要求；采用训练后的残差神经网络模型进行心脏解剖学结构特征点的定位。
7.本发明上述提出的心脏解剖学结构特征点的定位方法还可以具有如下附加技术特征：根据本发明的一个实施例，所述残差神经网络模型包括：7
×
7的卷积核，所述7
×
7的卷积核用于将所述增强图像进行卷积操作并进行batch norm（一种使神经网络在训练过程中使每一层神经网络的输入保持相同分布的算法）和relu（线性整流函数）操作，以得到64维图像数据；max pooling（最大池数）模块，所述max pooling模块与所述7
×
7的卷积核相连，所述max pooling模块用于对所述64维图像数据进行max pooling操作；串联的第一至第四残差学习模块，所述第一至第四残差模块分别用于将max pooling操作后的64维图像数据依次进行残差处理，以分别得到第一至第四图
像，所述第一至第四图像分别为64维、128维、256维、512维的图像数据；串联的第一至第三上采样模块，所述第一上采样模块用于对所述第四图像进行上采样操作后与所述第三图像进行连接操作，再使用1
×
1的卷积核进行降维操作，生成256维64
×
32的第五图像；所述第二上采样模块用于对所述第五图像进行上采样操作后与所述第二图像进行连接操作，再使用1
×
1的卷积核进行降维操作，生成128维64
×
128的第六图像；所述第三上采样模块用于对所述第六图像进行上采样操作后与所述第一图像进行连接操作，再使用1
×
1的卷积核进行降维操作，生成64维256
×
128的第七图像；sigmoid（一种神经网络激活函数）模块，所述sigmoid模块用于对所述第七图像进行sigmoid处理，以生成所述预测热图。
8.根据本发明的一个实施例，所述残差神经网络模型的损失函数采用focal loss损失函数。
9.根据本发明的一个实施例，不同语义信息的解剖学结构特征点对应不同的真实热图，其中，所述超声心动图为心尖四腔视图时，生成所述真实热图时采用第一高亮线将两个右心室心内膜连接起来，所述第一高亮线上的所有位置均被定义为右心室心内膜点，采用第二高亮线将两个右心室隔膜点连接起来，所述第二高亮线上的所有位置均被定义为右心室隔膜点。
10.根据本发明的一个实施例，所述特征点的语义信息包括心尖标注点，在训练所述残差神经网络模型时，心尖标注点设计3倍-10倍的loss权重。
11.本发明第二方面的实施例提出了一种心脏解剖学结构特征点的定位装置，包括：获取模块，所述获取模块用于获取心脏解剖学结构的超声心动图，所述超声心动图包括：特征点和特征点对应的语义信息；增强模块，所述增强模块用于将超声心动图进行数据增强处理以形成增强图像；生成模块，所生成模块用于根据所述增强图像生成对应的真实热图，所述真实热图为与所述增强图像大小相同的多维矩阵，针对所述增强图像的每个特征点在所述真实热图中都设计一个基于二维高斯分布、以所述特征点为中心点且半径为r的高亮区域，r为正整数；训练模块，所述训练模块用于将所述增强图像输入残差神经网络模型中进行训练，所述残差神经网络模型根据所述增强图像输出预测热图，并根据所述预测热图和所述真实热图计算所述残差神经网络模型的损失函数误差值，根据所述损失函数误差值进行梯度下降，直至所述损失函数误差值达到设定要求；定位模块，所述定位模块用于采用训练后的残差神经网络模型进行心脏解剖学结构特征点的定位。
12.本发明上述提出的心脏解剖学结构特征点的定位装置还可以具有如下附加技术特征：根据本发明的一个实施例，所述残差神经网络模型包括：7
×
7的卷积核，所述7
×
7的卷积核用于将所述增强图像进行卷积操作并进行batch norm和relu操作，以得到64维图像数据；max pooling模块，所述max pooling模块与所述7
×
7的卷积核相连，所述max pooling模块用于对所述64维图像数据进行max pooling操作；串联的第一至第四残差学习模块，所述第一至第四残差模块分别用于将max pooling操作后的64维图像数据依次进行残差处理，以分别得到第一至第四图像，所述第一至第四图像分别为64维、128维、256维、512维的图像数据；串联的第一至第三上采样模块，所述第一上采样模块用于对所述第四图像进行上采样操作后与所述第三图像进行连接操作，再使用1
×
1的卷积核进行降维操作，生成256维64
×
32的第五图像；所述第二上采样模块用于对所述第五图像进行上采样操作
后与所述第二图像进行连接操作，再使用1
×
1的卷积核进行降维操作，生成128维64
×
128的第六图像；所述第三上采样模块用于对所述第六图像进行上采样操作后与所述第一图像进行连接操作，再使用1
×
1的卷积核进行降维操作，生成64维256
×
128的第七图像；sigmoid模块，所述sigmoid模块用于对所述第七图像进行sigmoid处理，以生成所述预测热图。
13.根据本发明的一个实施例，所述残差神经网络模型的损失函数采用focal loss损失函数。
14.根据本发明的一个实施例，不同语义信息的解剖学结构特征点对应不同的真实热图，其中，所述超声心动图为心尖四腔视图时，生成模块生成所述真实热图时采用第一高亮线将两个右心室心内膜连接起来，所述第一高亮线上的所有位置均被定义为右心室心内膜点，采用第二高亮线将两个右心室隔膜点连接起来，所述第二高亮线上的所有位置均被定义为右心室隔膜点。
15.根据本发明的一个实施例，所述特征点的语义信息包括心尖标注点，所述训练模块在训练所述残差神经网络模型时，心尖标注点设计3倍-10倍的loss权重。
16.本发明的有益效果：本发明利用热图回归法定位心脏解剖学结构特征点，极大程度上降低了训练模型函数的复杂度，减少了对庞大训练数据集的依赖，减轻了标注医师的负担，使用残差神经网络提取热图语义信息，利用残差神经网络出色的学习能力加深网络深度，多尺度提取语义信息，提高了特征点定位的准确性、降低误差，保证医学图像分析的准确性。
附图说明
17.图1是根据本发明的一个实施例的心脏解剖学结构特征点的定位方法的流程图；图2是根据本发明的一个实施例的残差神经网络模型的方框示意图；图3是根据本发明一个实施例的心脏解剖学结构特征点的定位装置的方框示意图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.图1是根据本发明的一个实施例的心脏解剖学结构特征点的定位方法的流程图，如图1所示，该方法包括以下步骤：s1，获取心脏解剖学结构的超声心动图，超声心动图包括：特征点和特征点对应的语义信息。
20.具体地，医师预先在超声心动图将特征点（例如心尖标、右心室心内膜、右心室隔膜等）标注出来，并采用不同的标注形式代表不同的语义信息，例如采用不同的标注形状代表不同的语义信息，或者采用不同的标注颜色代表不同的语义信息，使用时直接获取标注过的超声心动图即可。
21.s2，将超声心动图进行数据增强处理以形成增强图像。
22.具体地，数据增强包括：缩放、平移和旋转等操作，以将超声心动图统一为1024
×
512作为下述的残差神经网络模型的输入图像。
23.s3，根据增强图像生成对应的真实热图，真实热图为与增强图像大小相同的多维矩阵，针对增强图像的每个特征点在真实热图中都设计一个基于二维高斯分布、以特征点为中心点且半径为r的高亮区域，r为正整数。
24.具体地，针对超声心动图中每一个特征点，在真实热图中使用二维高斯分布设计一块基于二维高斯分布，以p为中心点，半径为r的高亮区域（代表值从四周到中心是由0到1），为了方便表示起见，对此区域代表值进行归一化，则此区域中心点代表值最大，记为1，越靠近四周代表值逐渐减小，直至为0，这样设计的代表值含义为该点坐标与真实特征点坐标的相近程度。经过热图回归处理后，得到的预测点坐标越接近真实点坐标，其在热图中代表值越趋近于1，极大程度上方便了模型对预测点精确度的计算，对比传统的坐标回归法，热图回归不但提供了空间上更丰富的监督信息，还避免了网络学习的函数高度非线性，降低了对数据量的需求。
25.也就是说，真实热图为与增强图像尺度相同的矩阵，矩阵中进包含整数坐标，不包含浮点数，针对增强图像中的特征点在矩阵中都设计一块高亮区域，并以0到1的数值代表。
26.s4，将增强图像输入残差神经网络模型中进行训练，残差神经网络模型根据增强图像输出预测热图，并根据预测热图和真实热图计算残差神经网络模型的损失函数误差值，根据损失函数误差值进行梯度下降。
27.在本发明的一个具体实施例中，如图2所示，残差神经网络模型具体包括：7
×
7的卷积核、max pooling模块、串联的第一至第四残差学习模块、串联的第一至第三上采样模块和sigmoid模块。
28.其中，7
×
7的卷积核用于将增强图像（1024
×
512）进行卷积操作并进行batch norm和relu操作，以得到64维图像数据（512
×
256
×
64）；max pooling模块与7
×
7的卷积核相连，max pooling模块用于对64维图像数据进行max pooling操作，以压缩图片、消除噪声和减少计算量；第一至第四残差模块分别用于将max pooling操作后的64维图像数据依次进行残差处理，以分别得到第一至第四图像，第一至第四图像分别为64维（256
×
128
×
64）、128维（128
×
64
×
128）、256维（64
×
32
×
256）、512（32
×
16
×
512）维的图像数据；第一上采样模块用于对第四图像进行上采样操作后与第三图像进行concat连接操作，再使用1
×
1的卷积核进行降维操作，生成256维64
×
32的第五图像；第二上采样模块用于对第五图像进行上采样操作后与第二图像进行concat连接操作，再使用1
×
1的卷积核进行降维操作，生成128维64
×
128的第六图像；第三上采样模块用于对第六图像进行上采样操作后与第一图像进行concat连接操作，再使用1
×
1的卷积核进行降维操作，生成64维256
×
128的第七图像；sigmoid模块用于对第七图像进行sigmoid处理，以生成预测热图（256
×
128）。
29.s5，重复以上步骤（s1-s4）以训练残差神经网络模型，直至损失函数误差值达到设定要求。
30.具体地，将增强图像输入残差神经网络模型中，残差神经网络根据增强图像输出预测热图，同时将张真实热图作为训练模型中图像回归目标，将预测热图与真实热图进行比较，计算损失函数误差值，进行梯度下降，最终达到较好的回归效果。
31.s6，采用训练后的残差神经网络模型进行心脏解剖学结构特征点的定位。
32.由此，采用热图回归法，简化了网络模型需要学习的函数，极大程度上降低了训练模型函数的复杂度，减少了对庞大训练数据集的依赖，减轻了标注医师的负担，且易于捕捉到前景（特征点）与背景图的对比关系，使用残差神经网络提取热图语义信息，利用残差神经网络出色的学习能力加深网络深度，解决了可能出现的梯度消失、梯度爆炸等问题，多尺度提取图中特征信息，提高了特征点定位的准确性、降低误差，保证医学图像分析的准确性。
33.在本发明的一个实施例中，残差神经网络模型的损失函数采用focal loss损失函数，以平衡正负样本、加速回归。
34.在本发明的一个实施例中，特征点的语义信息包括心尖标注点，由于每一种解剖学结构特征点在定位中准确率不同，心尖标注点最容易造成误差，因此，在训练残差神经网络模型时，心尖标注点设计3倍-10倍的loss权重，使得模型训练时，着重学习心尖标注点的定位。
35.在本发明的实施例中，不同语义信息的解剖学结构特征点对应不同的真实热图，其中，超声心动图为心尖四腔视图时，生成真实热图时采用第一高亮线将两个右心室心内膜连接起来，第一高亮线上的所有位置均被定义为右心室心内膜点，采用第二高亮线将两个右心室隔膜点连接起来，第二高亮线上的所有位置均被定义为右心室隔膜点。第一高两线和第二高亮线的颜色不同。
36.具体地，为不同语义信息的解剖学结构特征点设计了不同的热图，为了降低心尖标注点、右心室心内膜、右心室隔膜标注点的偏差，在心尖四腔视图中，将右心室心内膜以及右心室隔膜点的热图进行修改，采用第一高亮线将两个右心室心内膜连接起来，表明该线上的所有位置均可被认定为右心室心内膜点，采用第二高亮线将两个右心室隔膜点连接起来，明该线上的所有位置均可被认定为右心室隔膜点，更加贴合了心内膜的医学语义信息。
37.也就说说，本发明可以针对热图进行修改，设计多个特征点相关关系，指导网络进行学习，得到更好的效果，保留更多的语义信息。
38.综上所述，根据本发明实施例的心脏解剖学结构特征点的定位方法，利用热图回归法定位心脏解剖学结构特征点，极大程度上降低了训练模型函数的复杂度，减少了对庞大训练数据集的依赖，减轻了标注医师的负担，使用残差神经网络提取热图语义信息，利用残差神经网络出色的学习能力加深网络深度，多尺度提取语义信息，提高了特征点定位的准确性、降低误差，保证医学图像分析的准确性。
39.与上述的心脏解剖学结构特征点的定位方法相对应，本发明还提出一种心脏解剖学结构特征点的定位装置的方框示意图，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。
40.图3是根据本发明一个实施例的心脏解剖学结构特征点的定位装置的方框示意图，如图3所示，该装置包括：获取模块1、增强模块2、生成模块3、训练模块4和定位模块5。
41.其中，获取模块1用于获取心脏解剖学结构的超声心动图，超声心动图包括：特征点和特征点对应的语义信息；增强模块2用于将超声心动图进行数据增强处理以形成增强图像；所生成模块3用于根据增强图像生成对应的真实热图，真实热图为与增强图像大小相
同的多维矩阵，针对增强图像的每个特征点在真实热图中都设计一个基于二维高斯分布、以特征点为中心点且半径为r的高亮区域，r为正整数；训练模块4用于将增强图像输入残差神经网络模型中进行训练，残差神经网络模型根据增强图像输出预测热图，并根据预测热图和真实热图计算残差神经网络模型的损失函数误差值，根据损失函数误差值进行梯度下降，直至损失函数误差值达到设定要求；定位模块5用于采用训练后的残差神经网络模型进行心脏解剖学结构特征点的定位。
42.根据本发明的一个实施例，残差神经网络模型包括：7
×
7的卷积核，7
×
7的卷积核用于将增强图像进行卷积操作并进行batch norm和relu操作，以得到64维图像数据；max pooling模块，max pooling模块与7
×
7的卷积核相连，max pooling模块用于对64维图像数据进行max pooling操作；串联的第一至第四残差学习模块，第一至第四残差模块分别用于将max pooling操作后的64维图像数据依次进行残差处理，以分别得到第一至第四图像，第一至第四图像分别为64维、128维、256维、512维的图像数据；串联的第一至第三上采样模块，第一上采样模块用于对第四图像进行上采样操作后与第三图像进行连接操作，再使用1
×
1的卷积核进行降维操作，生成256维64
×
32的第五图像；第二上采样模块用于对第五图像进行上采样操作后与第二图像进行连接操作，再使用1
×
1的卷积核进行降维操作，生成128维64
×
128的第六图像；第三上采样模块用于对第六图像进行上采样操作后与第一图像进行连接操作，再使用1
×
1的卷积核进行降维操作，生成64维256
×
128的第七图像；sigmoid模块，sigmoid模块用于对第七图像进行sigmoid处理，以生成预测热图。
43.根据本发明的一个实施例，残差神经网络模型的损失函数采用focal loss损失函数。
44.根据本发明的一个实施例，不同语义信息的解剖学结构特征点对应不同的真实热图，其中，超声心动图为心尖四腔视图时，生成模块3生成真实热图时采用第一高亮线将两个右心室心内膜连接起来，第一高亮线上的所有位置均被定义为右心室心内膜点，采用第二高亮线将两个右心室隔膜点连接起来，第二高亮线上的所有位置均被定义为右心室隔膜点。
45.根据本发明的一个实施例，特征点的语义信息包括心尖标注点，训练模块在训练残差神经网络模型时，心尖标注点设计3倍-10倍的loss权重。
46.综上所述，根据本发明实施例的心脏解剖学结构特征点的定位装置，利用热图回归法定位心脏解剖学结构特征点，极大程度上降低了训练模型函数的复杂度，减少了对庞大训练数据集的依赖，减轻了标注医师的负担，使用残差神经网络提取热图语义信息，利用残差神经网络出色的学习能力加深网络深度，多尺度提取语义信息，提高了特征点定位的准确性、降低误差，保证医学图像分析的准确性。
47.在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
48.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
49.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
50.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
51.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
52.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
53.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如
果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
54.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
55.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。