提取肝脏边缘的方法及电子设备与流程

1.本发明涉及图像处理技术领域，特别涉及一种提取肝脏边缘的方法及电子设备。


背景技术：

2.目前，采用腹腔镜下行肝脏肿瘤切除术仍存在一定的争议。支持行腹腔镜切除术者认为：腹腔镜手术减小手术创伤，减少常规开腹手术导致的腹腔内严重粘连，利于患者恢复。而反对者认为腹腔镜手术过程中缺乏手的触感，不易判定肿瘤位置，尤其对位于肝ⅰ、ⅳa、ⅶ、
ⅷ
段的肿瘤在腹腔镜下暴露较为困难，且这几段肝段的肿瘤靠近肝脏主要的脉管系统，操作过程中极易损伤周围脉管而导致出血，增加了手术风险。而导致争议的根源在于相较于开腹手术，腹腔镜手术医生更难定位肝脏病灶位置及其周围脉管组织分布情况，因此结合术前拍摄的三维ct影像，定位腹腔镜术野中的组织器官解剖结构变得极为关键。
3.为了准确的定位腹腔镜术野中肝脏病灶位置及其周围脉管组织分布情况，需要获取腹腔镜视频图像中肝脏边缘信息。
4.现有技术中，确定肝脏边缘信息的做法都是由经验丰富的医生手动在图像上进行分割的，所以导致肝脏边缘的分割效率较低。


技术实现要素：

5.本公开示例性的实施方式中提供一种提取肝脏边缘的方法及电子设备，用于提高肝脏边缘的分割效率。
6.本公开的第一方面提供一种提取肝脏边缘的方法，所述方法包括：
7.对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，其中，后一次特征提取输入的图像为前一次特征提取后得到的图像，且所述多个第一特征图包括各次特征提取得到的各图像中的部分或全部；
8.对前指定数量的各第一特征图分别进行特征提取，得到多个第二特征图，其中，所述第二特征图的数量与所述第一特征图进行特征提取的次数相同；并，
9.对除所述前指定数量的各第一特征图之外的第一特征图进行上采样，得到上采样后的第一特征图，并对所述上采样后的第一特征图，得到第三特征图；
10.将所述多个第二特征图和所述第三特征图进行融合，得到融合后的特征图；
11.对所述融合后的特征图进行融合分类操作，得到目标医学图像，其中，所述目标医学图像中包括所述肝脏的边缘以及所述边缘的类别。
12.本实施例中通过对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，然后基于分别基于部分第一特征图得到多个第二特征图和第三特征图，然后将所述多个第二特征图和所述第三特征图进行融合，得到融合后的特征图，最后基于融合后的特征图实现对肝脏边缘的提取以及肝脏边缘的分类。由此，本实施例中可自动提取肝脏的边缘，并不需要人工提取，提高了肝脏边缘提取的效率。
13.在一个实施例中，所述将所述多个第二特征图和所述第三特征图进行融合，得到
融合后的特征图，包括：
14.利用所述各第二特征图的权重和所述第三特征图的权重对所述各第二特征图和所述第三特征图进行共享串联融合，得到所述融合后的特征图。
15.本实施例通过对不同的第二特征图设置不同的权重，可以充分使用精准定位肝脏的边缘信息，从而在提高边缘精准度和尖锐程度的同时，抑制肝脏内部琐碎的边缘。
16.在一个实施例中，所述对所述融合后的特征图进行融合分类操作，得到目标医学图像，包括：
17.采用多个指定大小的卷积层对所述融合后的特征图分别进行特征提取，得到所述目标医学图像，其中，所述卷积层的数量与所述目标图像中边缘的类别的数量相同。
18.本实施例中通过多个指定大小的卷积层对所述融合后的特征图分别进行特征提取以实现对肝脏边缘的分割和分类。
19.在一个实施例中，所述对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，包括：
20.将所述肝脏的医学图像输入至肝脏分割神经网络中连续进行多次特征提取，得到所述多个第一特征图；
21.其中，通过以下方式对所述肝脏分割神经网络进行训练：
22.获取肝脏训练样本和肝脏测试样本，其中，所述肝脏训练样本和所述肝脏测试样本均包括预先标注好的肝脏图像，且所述肝脏图像中包括所述肝脏的边缘以及所述边缘的类别；
23.基于所述肝脏训练样本对所述肝脏分割神经网络进行训练，得到训练后的肝脏分割神经网络；
24.将所述肝脏测试样本输入至所述肝脏分割神经网络中，得到所述肝脏测试样本对应的预测肝脏图像，其中，所述预测肝脏图像中包括肝脏的预测边缘，以及所述预测边缘的类别；
25.根据所述预先标注好的肝脏图像和所述预测肝脏图像，得到误差值；
26.若所述误差值大于指定阈值，则结束对肝脏分割神经网络的训练。
27.本实施例通过肝脏训练样本对所述肝脏分割神经网络进行训练，得到训练后的肝脏分割神经网络，然后通过肝脏测试样本对训练后的肝脏分割神经网络进行测试，以提高训练后的肝脏分割神经网络的准确率。
28.在一个实施例中，所述获取肝脏训练样本和肝脏测试样本之前，所述方法还包括：
29.利用预设算法对所述肝脏训练样本和所述肝脏测试样本中预先标注好的肝脏图像进行图像预处理操作，其中，所述图像预处理操作包括图像增强、对比度调整、色彩饱和度调整以及图像分辨率调整中的至少一个。
30.本实施例通过对训练样本和测试样本中的肝脏图像先进行预处理操作，以减少误差，提高训练的准确率。
31.本公开第二方面提供一种电子设备，包括存储单元和处理器，其中：
32.所述存储单元，被配置为存储肝脏的医学图像；
33.所述处理器，被配置为：
34.对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，其中，后一次特
征提取输入的图像为前一次特征提取后得到的图像，且所述多个第一特征图包括各次特征提取得到的各图像中的部分或全部；
35.对前指定数量的各第一特征图分别进行特征提取，得到多个第二特征图，其中，所述第二特征图的数量与所述第一特征图进行特征提取的次数相同；并，
36.对除所述前指定数量的各第一特征图之外的第一特征图进行上采样，得到上采样后的第一特征图，并对所述上采样后的第一特征图，得到第三特征图；
37.将所述多个第二特征图和所述第三特征图进行融合，得到融合后的特征图；
38.对所述融合后的特征图进行融合分类操作，得到目标医学图像，其中，所述目标医学图像中包括所述肝脏的边缘以及所述边缘的类别。
39.在一个实施例中，所述处理器执行所述将所述多个第二特征图和所述第三特征图进行融合，得到融合后的特征图，具体被配置为：
40.利用所述各第二特征图的权重和所述第三特征图的权重对所述各第二特征图和所述第三特征图进行共享串联融合，得到所述融合后的特征图。
41.在一个实施例中，所述处理器执行所述对所述融合后的特征图进行融合分类操作，得到目标医学图像，具体被配置为：
42.采用多个指定大小的卷积层对所述融合后的特征图分别进行特征提取，得到所述目标医学图像，其中，所述卷积层的数量与所述目标图像中边缘的类别的数量相同。
43.在一个实施例中，所述处理器执行所述对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，具体被配置为：
44.将所述肝脏的医学图像输入至肝脏分割神经网络中连续进行多次特征提取，得到所述多个第一特征图；
45.其中，通过以下方式对所述肝脏分割神经网络进行训练：
46.获取肝脏训练样本和肝脏测试样本，其中，所述肝脏训练样本和所述肝脏测试样本均包括预先标注好的肝脏图像，且所述肝脏图像中包括所述肝脏的边缘以及所述边缘的类别；
47.基于所述肝脏训练样本对所述肝脏分割神经网络进行训练，得到训练后的肝脏分割神经网络；
48.将所述肝脏测试样本输入至所述肝脏分割神经网络中，得到所述肝脏测试样本对应的预测肝脏图像，其中，所述预测肝脏图像中包括肝脏的预测边缘，以及所述预测边缘的类别；
49.根据所述预先标注好的肝脏图像和所述预测肝脏图像，得到误差值；
50.若所述误差值大于指定阈值，则结束对肝脏分割神经网络的训练。
51.在一个实施例中，所述处理器，还被配置为：
52.所述获取肝脏训练样本和肝脏测试样本之前，利用预设算法对所述肝脏训练样本和所述肝脏测试样本中预先标注好的肝脏图像进行图像预处理操作，其中，所述图像预处理操作包括图像增强、对比度调整、色彩饱和度调整以及图像分辨率调整中的至少一个。
53.根据本公开实施例提供的第三方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于执行如第一方面所述的方法。
附图说明
54.为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
55.图1a为根据本公开一个实施例中的适用场景示意图之一；
56.图1b为根据本公开一个实施例中的适用场景示意图之二；
57.图2为根据本公开一个实施例的肝脏分割神经网络的训练方法的流程示意图；
58.图3为根据本公开一个实施例的预先标注好的肝脏图像的示意图；
59.图4为根据本公开一个实施例平均亮度值范围与目标色彩饱和度的对应关系示意图；
60.图5为根据本公开一个实施例的提取肝脏边缘的方法的流程示意图之一；
61.图6为根据本公开一个实施例的确定融合后的特征图的方法的流程示意图；
62.图7为根据本公开一个实施例的肝脏分割神经网络的结构示意图；
63.图8为根据本公开一个实施例的分类模块的结构示意图；
64.图9为根据本公开一个实施例的共享串联模块的工作示意图；
65.图10为根据本公开一个实施例的融合分类模块的结构示意图；
66.图11为根据本公开一个实施例的提取肝脏边缘的方法的流程示意图之二；
67.图12为根据本公开一个实施例的提取肝脏边缘装置示意图；
68.图13为根据本公开一个实施例的融合模块的结构示意图；
69.图14为根据本公开一个实施例的电子设备的结构示意图。
具体实施方式
70.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
71.本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
72.本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
73.由于现有技术中确定肝脏边缘信息的做法都是由经验丰富的医生手动在图像上进行分割的，所以导致肝脏边缘的分割效率较低。
74.因此，本公开提供一种提取肝脏边缘的方法，通过对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，然后基于分别基于部分第一特征图得到多个第二特征图和第三特征图，然后将所述多个第二特征图和所述第三特征图进行融合，得到融合后的
特征图，最后基于融合后的特征图实现对肝脏边缘的提取以及肝脏边缘的分类。由此，本公开中可自动提取肝脏的边缘，并不需要人工提取，提高了肝脏边缘的提取效率。下面，结合附图对本公开的方案详细的进行介绍。
75.如图1a所示，为本技术实施例中的一种提取肝脏边缘方法的应用场景示意图。图1a中包括：终端设备10、服务器20、存储器30；其中：
76.用户通过终端设备10发起提取肝脏边缘的请求，服务器20从存储器30中获取肝脏的医学图像，然后对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，其中，后一次特征提取输入的图像为前一次特征提取得到的图像，且所述多个第一特征图包括各次特征提取得到的各图像中的部分或全部；然后服务器20对前指定数量的各第一特征图分别进行特征提取，得到多个第二特征图，其中，所述第二特征图的数量与所述第一特征图进行特征提取的次数相同；并对除所述前指定数量的各第一特征图之外的第一特征图进行上采样，得到上采样后的第一特征图，并对所述上采样后的第一特征图进行特征提取，得到第三特征图。然后服务器20将所述多个第二特征图和所述第三特征图进行融合，得到融合后的特征图，并对所述融合后的特征图进行融合分类操作，得到目标医学图像。其中，所述目标医学图像中包括所述肝脏的边缘以及所述边缘的类别。最后服务器20将得到的目标医学图像发送至终端设备10中进行显示。
77.在另一种可能的应用场景中，如图1b所示，该应用场景中只有终端设备10和存储器30，执行主体为终端设备10，终端设备10从存储器30中获取肝脏的医学图像，然后对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，其中，后一次特征提取输入的图像为前一次特征提取得到的图像，且所述多个第一特征图包括各次特征提取得到的各图像中的部分或全部；然后终端设备10对前指定数量的各第一特征图分别进行特征提取，得到多个第二特征图，其中，所述第二特征图的数量与所述第一特征图进行特征提取的次数相同；并对除所述前指定数量的各第一特征图之外的第一特征图进行上采样，得到上采样后的第一特征图，并对所述上采样后的第一特征图进行特征提取，得到第三特征图。然后终端设备10将所述多个第二特征图和所述第三特征图进行融合，得到融合后的特征图，并对所述融合后的特征图进行融合分类操作，得到目标医学图像。其中，所述目标医学图像中包括所述肝脏的边缘以及所述边缘的类别。最后终端设备10将得到的目标医学图像通过自身屏幕进行显示。
78.本技术中的描述中仅就单个终端设备10、服务器20、存储器30加以详述，但是本领域技术人员应当理解的是，示出的终端设备10、服务器20、存储器30旨在表示本技术的技术方案涉及的终端设备10、服务器20、存储器30的操作。而非暗示对终端设备10、服务器20、存储器30的数量、类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本技术的示例实施例的底层概念。另外，虽然为了方便说明而在图1a、图1b中示出了从存储器30到服务器20的双向箭头，但本领域技术人员可以理解的是，上述数据的收发也是需要通过网络实现的。
79.需要说明的是，本技术实施例中的存储器例如可以是缓存系统、也可以是硬盘存储、内存存储等等。此外，本技术提出的界面显示方法不仅适用于图1a、图1b所示的应用场景，还适用于任何有界面显示需求的装置。
80.本技术提供的提取肝脏边缘的方法适用于各种电子设备，如包括但不限于计算
机、笔记本电脑、智能电话、平板电脑等电子设备。
81.在对本发明中的提取肝脏边缘的方法进行介绍之前，由于本发明中的提取肝脏边缘的方法是基于肝脏分割神经网络实现的，所以先对本发明中的肝脏分割神经网络的训练过程进行说明：
82.如图2所示，为本公开中的训练肝脏分割神经网络的流程示意图，包括以下步骤：
83.步骤201：获取肝脏训练样本和肝脏测试样本，其中，所述肝脏训练样本和所述肝脏测试样本均包括预先标注好的肝脏图像，且所述肝脏图像中包括所述肝脏的边缘以及所述边缘的类别。
84.例如，如图3所示，为预先标注好的肝脏图像，其中，预先分割出肝脏的边缘，并标注出肝脏边缘的类别，本实施中将肝脏的边缘分为前缘和后缘，其中，前缘是肝脏固定的解剖位置，但是由于可能会被脂肪或者手术器械等组织遮挡，因此前缘在部分情况下是不连续曲线，即图3中白色的实线条均表示前缘。后缘则主要取决于相机的位置和肝脏的形变，即图3中白色的虚线条表示后缘。本实施中将肝脏的前缘和后缘分别标记并一起使用，对于后续肝脏三维表征与腹腔镜视频图像肝脏边缘配准可以补充配准约束，缩小配准范围，减少配准过程的耗时。
85.需要说明的是：肝脏边缘的类别可以通过实线和虚线来区分，也可通过线的颜色来进行区分，可根据实际情况来进行设置，本实施仅用于举例说明，并不对肝脏边缘的类别的表示进行限定。
86.由于肝脏的医学图像来源于不同的医院、不同的机器和医生，因此各单帧的肝脏的医学图像的分辨率及色彩的差异较大，因此为了降低这种差异对提取肝脏边缘的影响，以及提高提取肝脏边缘的鲁棒性。在执行步骤201之前，在一个实施例中，利用预设算法对所述肝脏训练样本和所述肝脏测试样本中预先标注好的肝脏图像进行图像预处理操作，其中，所述图像预处理操作包括图像增强、对比度调整、色彩饱和度调整以及图像分辨率调整中的至少一个。下面，分别对图像增强、对比度调整、色彩饱和度调整以及图像分辨率调整进行介绍：
87.1、图像增强：
88.图像增强的方法根据增强处理过程所在的空间不同，可分为基于空域的算法和基于频域的算法两大类。其中：
89.基于空域的算法是对图像中的像素点进行操作，其分为点运算算法和邻域去噪算法。其中，点运算算法包括灰度级校正、灰度变换和直方图修正等。其目的使图像成像均匀，扩大图像动态范围以及扩展对比度等。邻域增强算法分为图像平滑和锐化两种。其中，图像平滑的目的是为了消除图像噪声。常用的图像平滑算法有均值滤波、中值滤波。锐化的目的为了突出物体的边缘轮廓，便于目标识别。常用的锐化算法有梯度法、算子、高通滤波、掩模匹配法和统计差值法等。
90.基于频域的算法是把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。即采用低通滤波法去掉图中的噪声，以及采用高通滤波法增强边缘等高频信号，使模糊的图像变得清晰。基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法。
91.需要说明的是：本实施例中并不对图像增强的具体方式进行限定，图像增强的具
体方式可根据实际情况来进行设置，本实施例在此并不进行限定。
92.2、对比度调整：
93.对比度调整的方式包括两大类，即基于直方图的对比度调整方式和基于像素直接调整的方法。其中，基于直方图的对比度调整方式包括直方图均衡化、自适应直方图均衡化、clahe(contrast limited adaptive histogram equalization，限制对比度自适应直方图均衡化)。基于像素直接调整的方法包括伽马变换和对数变换。下面，主要对基于直方图的对比度调整方式进行简单介绍：
94.直方图均衡化通过使用累积函数对灰度值进行“调整”以实现对比度的增强。直方图均衡化主要是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。直方图均衡化就是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同。直方图均衡化就是把给定图像的直方图分布改变成“均匀”分布直方图分布。
95.ahe是用来提升图像的对比度的一种计算机图像处理技术。和普通的直方图均衡算法不同，ahe算法通过计算图像的局部直方图，然后重新分布亮度来改变图像对比度。因此，该算法更适合于改进图像的局部对比度以及获得更多的图像细节。不过ahe有过度放大图像中相同区域的噪音的问题。
96.clahe对于图像中的每个小区域都必须使用对比度限幅。clahe主要是用来克服ahe的过度放大噪音的问题。这主要是通过限制ahe算法的对比提高程度来实现的。在指定的像素值周边的对比度放大主要是由变换函数的斜度决定的。这个斜度和领域的累积直方图的斜度成比例。clahe通过在计算cdf前用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的。这限制了cdf的斜度因此，也限制了变换函数的斜度。直方图被裁剪的值，也就是所谓的裁剪限幅，取决于直方图的分布因此也取决于领域大小的取值。
97.需要说明的是：对比度调整的具体方式可根据情况来进行设置，本实施在此并不对其具体方式进行限定。
98.3、色彩饱和度调整：
99.在一个实施例中，通过以下方式对医学图像进行色彩饱和度调整：
100.获取所述肝脏图像中各像素点亮度值，基于所述各像素点的亮度值得到所述肝脏图像对应平均亮度值，利用预设的平均亮度值范围与目标色彩饱和度的对应关系，确定与所述肝脏图像的平均亮度值所处的平均亮度值范围相对应的目标色彩饱和度，将所述肝脏图像的色彩饱和度调整为所述目标色彩饱和度。
101.例如，如图4所示，为平均亮度值范围与目标色彩饱和度的对应关系示意图，如图所示，若确定出肝脏的平均亮度值处于a～b之间，则确定出目标色彩饱和度为p。若确定出肝脏的平均亮度值处于b～c之间，则确定出目标色彩饱和度为m。若确定出肝脏的平均亮度值处于c～d之间，则确定出目标色彩饱和度为n。
102.需要说明的是，平均亮度值范围与目标色彩饱和度的对应关系可根据实际情况来进行设置，本实施例在此并不对其具体的对应关系进行限定。
103.4、图像分辨率调整：
104.获取肝脏图像的iso光感值，利用预设的图像的iso光感值与图像的解像力的对应关系，确定与肝脏图像的iso光感值相对应的解像力，基于所述解像力确定与所述肝脏图像
对应的目标分辨率，将所述肝脏图像当前的分辨率压缩为所述目标分辨率。
105.需要说明的是：本实施例中的色彩饱和度调整和图像分辨率调整的具体方式仅用于举例说明，其具体方式可根据实际情况来进行设置，本实施在此并不对其具体的方式进行限定。
106.其中，本实施例中样本中的肝脏图像的格式均为jpg(joint photographic experts group，联合图像专家组)格式的彩色图像。
107.需要说明的是：本实施例中的图像预处理操作仅用于举例说明，实际的图像预处理操作可根据实际情况来进行设置，本实施例在此并不对图像预处理操作的具体步骤进行限定。
108.步骤202：基于所述肝脏训练样本对所述肝脏分割神经网络进行训练，得到训练后的肝脏分割神经网络；
109.步骤203：将所述肝脏测试样本输入至所述肝脏分割神经网络中，得到所述肝脏测试样本对应的预测肝脏图像，其中，所述预测肝脏图像中包括肝脏的预测边缘，以及所述预测边缘的类别；
110.步骤204：根据所述预先标注好的肝脏图像和所述预测肝脏图像，得到误差值；
111.步骤205：若所述误差值大于指定阈值，则结束对所述肝脏分割神经网络的训练。
112.例如，若指定阈值为80％，误差值为85％，则确定误差值大于指定阈值，则可结束对所述肝脏分割神经网络的训练。否则，则需要继续对肝脏分割神经网络进行训练。
113.需要说明的是：本实施例中的指定阈值可根据实际情况来进行设置，本实施例在此并不对指定阈值的具体值进行限定。
114.如图5所示，为本公开的提取肝脏边缘的方法的流程示意图，可包括以下步骤：
115.步骤501：对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，其中，后一次特征提取输入的图像为前一次特征提取得到的图像，且所述多个第一特征图包括各次特征提取得到的各图像中的部分或全部；
116.步骤502：对前指定数量的各第一特征图分别进行特征提取，得到多个第二特征图，其中，所述第二特征图的数量与所述第一特征图进行特征提取的次数相同；
117.步骤503：对除所述前指定数量的各第一特征图之外的第一特征图进行上采样，得到上采样后的第一特征图进行特征提取，得到第三特征图；
118.步骤504：将所述多个第二特征图和所述第三特征图进行融合，得到融合后的特征图；
119.下面，对确定融合后的特征图的具体方式进行详细的叙述，如图6所示，为确定融合后的特征图的具体流程，包括以下步骤：
120.步骤5041：获取各第二特征图的权重以及第三特征图的权重；
121.步骤5042：利用所述各第二特征图的权重和所述第三特征图的权重对所述各第二特征图和所述第三特征图进行共享串联融合，得到所述融合后的特征图。
122.其中，第二特征图的权重和第三特征图的权重为在训练肝脏分割神经网络后已经确定好的，所以在实际使用时就可以直接获取到第二特征图和第三特征图各自的权重，其中，本实施例中在肝脏分割神经网络进行训练时使用权重学习器来对第二特征图和第三特征图的权重进行调整的，当对肝脏分割神经网络的训练结束后，则将权重学习器得到的第
二特征图和第三特征图的权重确定出在实际使用时各自的权重。由此，可以充分使用精准定位肝脏的边缘信息，从而在提高肝脏边缘的精准度和尖锐程度的同时抑制肝脏内部琐碎的边缘。
123.步骤505：对所述融合后的特征图进行融合分类操作，得到目标医学图像，其中，所述目标医学图像中包括所述肝脏的边缘以及所述边缘的类别。
124.在一个实施例中，通过以下方式得到目标医学图像：采用多个指定大小的卷积层对所述融合后的特征图分别进行特征提取，得到所述目标医学图像，其中，所述卷积层的数量与所述目标图像中边缘的类别的数量相同。
125.为了进一步了解本公开的方案，下面结合肝脏分割神经网络的结构对本方案中的提取肝脏边缘的方法进行详细的说明，如图7所示，为肝脏分割神经网络的结构示意图，包括5个残差块(包括残差块701、残差块702、残差块703、残差块704和残差块705)、1个分类模块706、3个特征提取模块(包括特征提取模块707、特征提取模块708和特征提取模块709)、1个共享串联模块710和1个融合分类模块711。
126.其中，利用残差块1对肝脏的医学图像进行特征提取，得到第一特征图，残差块701将得到的第一特征图分别发送给残差块702和特征提取模块707中，残差块702将残差块701得到的第一特征图继续进行特征提取，得到第一特征图，特征提取模块707对残差块701得到的第一特征图进行特征提取，得到第二特征图。残差块702将得到的第一特征图分别发送给残差块703和特征提取模块708，残差块703将残差块702发送的第一特征图继续进行特征提取，得到第一特征图，特征提取模块708对残差块702发送的第一特征图进行特征提取，得到第二特征图。然后残差块703将得到的第一特征图发送给残差块704和特征提取模块709，残差块704将残差块703发送的第一特征图继续进行特征提取，得到第一特征图，特征提取模块709对残差块703发送的第一特征图进行特征提取，得到第二特征图。然后残差块704将得到的第一特征发送给残差块705。残差块705将接收到的第一特征图进行特征提取，得到第一特征图，并将残差块705中得到的第一特征图发送给分类模块706进行上采样和特征提取，得到第三特征图，将所述第三特征图和各特征提取模块得到的三个第二特征图均发送至共享串联模块710中进行融合，得到融合后的特征图，然后将融合后的特征图发送至融合分类模块711中进行融合分类操作，得到目标医学图像。
127.下面，分别对分类模块706、共享串联模块710和融合分类模块711进行说明：
128.1、分类模块706：
129.如图8所示，为分类模块的结构示意图，其中该分类模块包括一个上采样层7061和一个1*1卷积层7062。
130.其中，分类模块706接收到残差块705发送的第一特征图之后，利用上采样层7061对所述第一特征图进行上采样，得到上采样后的第一特征图，然后利用1*1卷积层7062对所述上采样后的第一特征图进行特征提取，得到所述第三特征图。
131.2、共享串联模块710：
132.如图9所示，为共享串联模块的工作示意图，本实施例中利用共享串联模块710将第二特征图和第三特征图进行融合的，如图9所示，共享串联模块是将每一个第二特征图和第三特征图分别进行融合得到第一中间特征图，并将各第一中间特征图进行融合得到融合后的特征图。
133.3、融合分类模块711：
134.如图10所示，为融合分类模块的结构示意图，其包括两个1*1卷积层，其中，该融合分类模块的输入为融合后的特征图，然后通过融合分类模块中的两个1*1卷积层对所述融合后的特征图分别进行特征提取，得到目标医学图像。即得到肝脏的边缘以及边缘的类别，即不同颜色的矩形框代表不同类别的肝脏边缘，本实施例中的黑色矩形框代表肝脏的前缘，灰色矩形框代表肝脏的后缘。
135.需要说明的是：本实施例中采用两个1*1卷积层来进行融合分类，但不对1*1卷积层的数量来进行限定。其中，1*1卷积层的数量与肝脏边缘的类别的数量相同。
136.为了进一步的了解本公开的技术方案，下面结合图11进行详细的说明，可包括以下步骤：
137.步骤1101：利用预设算法对所肝脏训练样本和肝脏测试样本中预先标注好的肝脏图像进行图像预处理操作，其中，所述图像预处理操作包括图像增强、对比度调整、色彩饱和度调整以及图像分辨率调整中的至少一个；
138.步骤1102：获取肝脏训练样本和肝脏测试样本，其中，所述肝脏训练样本和所述肝脏测试样本均包括预先标注好的肝脏图像，且所述肝脏图像中包括所述肝脏的边缘以及所述边缘的类别；
139.步骤1103：基于所述肝脏训练样本对所述肝脏分割神经网络进行训练，得到训练后的肝脏分割神经网络；
140.步骤1104：将所述肝脏测试样本输入至所述训练后的肝脏分割神经网络中，得到所述肝脏测试样本对应的预测肝脏图像，其中，所述预测肝脏图像中包括肝脏的预测边缘，以及所述预测边缘的类别；
141.步骤1105：根据所述预先标注好的肝脏图像和所述预测肝脏图像，得到误差值；
142.步骤1106：若所述误差值大于指定阈值，则结束对所述肝脏分割神经网络的训练；
143.步骤1107：对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，其中，后一次进行特征提取输入的图像为前一次进行特征提取后得到的图像，且所述多个第一特征图包括各次进行特征提取得到的各图像中的部分或全部；
144.步骤1108：对前指定数量的各第一特征图分别进行特征提取，得到多个第二特征图，其中，所述第二特征图的数量与所述第一特征图进行特征提取的次数相同；
145.步骤1109：对除所述前指定数量的各第一特征图之外的第一特征图进行上采样，得到上采样后的第一特征图，并对所述上采样后的第一特征图进行特征提取，得到第三特征图；
146.步骤1110：获取各第二特征图的权重以及第三特征图的权重；
147.步骤1111：利用所述各第二特征图的权重和所述第三特征图的权重对所述各第二特征图和所述第三特征图进行共享串联融合，得到所述融合后的特征图；
148.步骤1112：对所述融合后的特征图进行融合分类操作，得到目标医学图像，其中，所述目标医学图像中包括所述肝脏的边缘以及所述边缘的类别。
149.基于相同的公开构思，本公开如上所述的提取肝脏边缘的装置还可以由一种提取肝脏边缘的装置实现。该提取肝脏边缘的装置的效果与前述方法的效果相似，在此不再赘述。
150.图12为根据本公开一个实施例的提取肝脏边缘的装置的结构示意图。
151.如图12所示，本公开的提取肝脏边缘的装置1200可以包括第一特征图确定模块1210、第二特征图确定模块1220、第三特征图确定模块1230、融合模块1240和目标医学图像确定模块1250。
152.第一特征图确定模块1210，用于对肝脏的医学图像连续进行多次特征提取，得到多个第一特征图，其中，后一次进行特征提取输入的图像为前一次进行特征提取后得到的图像，且所述多个第一特征图包括各次进行特征提取得到的各图像中的部分或全部；
153.第二特征图确定模块1220，用于对前指定数量的各第一特征图分别进行特征提取，得到多个第二特征图，其中，所述第二特征图的数量与所述第一特征图进行特征提取的次数相同；
154.第三特征图确定模块1230，用于对除所述前指定数量的各第一特征图之外的第一特征图进行上采样，得到上采样后的第一特征图，并对所述上采样后的第一特征图进行特征提取，得到第三特征图；
155.融合模块1240，用于将所述多个第二特征图和所述第三特征图进行融合，得到融合后的特征图；
156.目标医学图像确定模块1250，用于对所述融合后的特征图进行融合分类操作，得到目标医学图像，其中，所述目标医学图像中包括所述肝脏的边缘以及所述边缘的类别。
157.在一个实施例中，所述融合模块1240，具体用于：
158.利用所述各第二特征图的权重和所述第三特征图的权重对所述各第二特征图和所述第三特征图进行共享串联融合，得到所述融合后的特征图。
159.在一个实施例中，所述目标医学图像确定模块1250，具体用于：
160.采用多个指定大小的卷积层对所述融合后的特征图分别进行特征提取，得到所述目标医学图像，其中，所述卷积层的数量与所述目标图像中边缘的类别的数量相同。
161.在一个实施例中，所述第一特征图确定模块1210，具体用于：
162.将所述肝脏的医学图像输入至肝脏分割神经网络中连续进行多次特征提取，得到所述多个第一特征图；
163.其中，通过以下方式对所述肝脏分割神经网络进行训练：
164.获取肝脏训练样本和肝脏测试样本，其中，所述肝脏训练样本和所述肝脏测试样本均包括预先标注好的肝脏图像，且所述肝脏图像中包括所述肝脏的边缘以及所述边缘的类别；
165.基于所述肝脏训练样本对所述肝脏分割神经网络进行训练，得到训练后的肝脏分割神经网络；
166.将所述肝脏测试样本输入至所述肝脏分割神经网络中，得到所述肝脏测试样本对应的预测肝脏图像，其中，所述预测肝脏图像中包括肝脏的预测边缘，以及所述预测边缘的类别；
167.根据所述预先标注好的肝脏图像和所述预测肝脏图像，得到误差值；
168.若所述误差值大于指定阈值，则结束对所述肝脏分割神经网络的训练。
169.在一个实施例中，所述装置还包括：
170.图像预处理模块1260，用于所述获取肝脏训练样本和肝脏测试样本之前，利用预
设算法对所述肝脏训练样本和所述肝脏测试样本中预先标注好的肝脏图像进行图像预处理操作，其中，所述图像预处理操作包括图像增强、对比度调整、色彩饱和度调整以及图像分辨率调整中的至少一个。
171.如图13所示，为融合模块1140的结构示意图，其主要包括第一子融合单元1141和第二子融合单元1142。其中：
172.第一子融合单元1141，用于针对任意一个第二特征图，利用所述第二特征图的权重和所述第三特征图的权重对所述第二特征图和所述第三特征图进行融合，得到第一中间特征图像；
173.第二子融合单元1142，用于将得到的各第一中间特征图像进行融合，得到所述融合后的特征图。
174.在介绍了本公开示例性实施方式的一种提取肝脏边缘的方法及装置之后，接下来，介绍根据本公开的另一示例性实施方式的电子设备。
175.所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
176.在一些可能的实施方式中，根据本公开的电子设备可以至少包括至少一个处理器、以及至少一个计算机存储介质。其中，计算机存储介质存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本公开各种示例性实施方式的提取肝脏边缘的方法中的步骤。例如，处理器可以执行如图5中所示的步骤501-505。
177.下面参照图14来描述根据本公开的这种实施方式的电子设备1400。图14显示的电子设备1400仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
178.如图14所示，电子设备1400以通用电子设备的形式表现。电子设备1400的组件可以包括但不限于：上述至少一个处理器1401、上述至少一个计算机存储介质1402、连接不同系统组件(包括计算机存储介质1402和处理器1401)的总线1403。
179.总线1403表示几类总线结构中的一种或多种，包括计算机存储介质总线或者计算机存储介质控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
180.计算机存储介质1402可以包括易失性计算机存储介质形式的可读介质，例如随机存取计算机存储介质(ram)1421和/或高速缓存存储介质1422，还可以进一步包括只读计算机存储介质(rom)1423。
181.计算机存储介质1402还可以包括具有一组(至少一个)程序模块1424的程序/实用工具1425，这样的程序模块1424包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
182.电子设备1400也可以与一个或多个外部设备1404(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备1400交互的设备通信，和/或与使得该电子设备1400能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1405进行。并且，电子设备1400还可以通过网络适配器1406与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如
因特网)通信。如图所示，网络适配器1406通过总线1403与用于电子设备1400的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备1400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
183.在一些可能的实施方式中，本公开提供的一种提取肝脏边缘的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的提取肝脏边缘的方法中的步骤。
184.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(ram)、只读计算机存储介质(rom)、可擦式可编程只读计算机存储介质(eprom或闪存)、光纤、便携式紧凑盘只读计算机存储介质(cd-rom)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。
185.本公开的实施方式的提取肝脏边缘的程序产品可以采用便携式紧凑盘只读计算机存储介质(cd-rom)并包括程序代码，并可以在电子设备上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
186.可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
187.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
188.可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
189.应当注意，尽管在上文详细描述中提及了装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
190.此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者
暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
191.本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、cd-rom、光学计算机存储介质等)上实施的计算机程序产品的形式。
192.本公开是参照根据本公开的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
193.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中，使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
194.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
195.显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。