一种骨架提取方法及系统、存储介质

本发明涉及深度学习中的骨架提取技术，尤其涉及基于粗粒度骨架与w型网络的骨架提取方法及系统、存储介质。

背景技术：

1、骨架提取是众多计算机视觉任务中基本但重要的处理步骤，旨在从前景对象中提取骨架来表示其形状拓扑结构，以减少数据冗余。骨架作为一种紧凑、直观并且有效的图像表示方法，在农业生产、医学图像处理、数字博物馆和虚拟现实等领域有着广泛的应用前景。

2、现有二值图像骨架提取算法分为传统方式和深度学习方式两大类。传统的骨架提取算法容易受到二值图像边缘噪声的影响，出现过度分支的情况，因此需要复杂的后处理步骤。而采用深度学习的方式在训练过程中能够通过标签正确引导骨架的生成过程，减少过度分支。然而，前景对象的不同部位有不同的形状尺度。

3、在神经网络架构中，受到卷积核大小和下采样的影响，不同网络阶段所拥有的感受野大小不同。随着图像的不断下采样，图像尺寸越来越小，在卷积核大小相同的情况下，感受野就会变大。因此，网络的浅层阶段关注更多的是形状尺度较小部分的骨架特征，而网络深层关注的则是形状尺度较大部分的骨架信息。这就导致骨架如附图8所示容易在形状尺度变化较大处出现断裂的问题。

技术实现思路

1、为此，本发明的主要目的在于提供一种骨架提取方法及系统、存储介质，以解决对象在提取骨架过程中，由于对象不同部位的形状尺度变化较大，而导致的骨架断裂问题。

2、为了实现上述目的，根据本发明的第一个方面，提供了一种骨架提取方法，其步骤包括：

3、步骤s100 训练数据集，获取原始图像中对象的多边形轮廓及骨架关键点；以多边形轮廓为领域约束，令骨架关键点间进行触发波传播连接，获取初步骨架，并做膨胀操作，得到粗粒度骨架；

4、步骤s200建立w型网络，将原始图像的距离变换灰度图作为第一路编码器的输入，将粗粒度骨架作为二路编码器的输入，将原始真实骨架作为标签，采用权值逐层递减的混合损失函数来完成训练后，以供进行骨架提取。

5、根据权利要求1所述的骨架提取方法，其中步骤s100中获取多边形轮廓及骨架关键点的步骤包括：

6、步骤s110提取出原始图像中对象的骨架关键点作为第一真实标签、对象的多边形轮廓作为第二真实标签；

7、步骤s120建立多边形轮廓提取网络，以原始图像的二值图为输入，第二真实标签为标签进行训练，获取多边形轮廓；

8、步骤s130建立关键点元素提取网络，以原始图像的距离变换灰度图为输入，第一真实标签为标签进行训练，获取骨架关键点。

9、在可能的优选实施方式中，步骤s110中骨架关键点的提取步骤包括：将原始真实骨架拆解为起点、连接点以及骨架分支；将所有骨架分支分别进行均匀采样得到骨架分支点；将起点、连接点及骨架分支点作为骨架关键点。

10、在可能的优选实施方式中，步骤s110中多边形轮廓的提取步骤包括：将获得的所有起点连接形成闭合形状，并填充，以获取多边形轮廓。

11、在可能的优选实施方式中，其中w型网络的建立步骤包括：

12、步骤s210设置至少两路并行的编码器和两路并行的解码器，网络整体自上而下分成至少五个层级，且同一层级拥有相同的通道数量与分辨率；

13、步骤s220设置各路编码器的同路不同层级间，通过下采样来实现特征提取；设置各路编码器的不同路不同层级间分辨率从上至下递减，且通过上采样后进行特征拼接；

14、步骤s230设置各路解码器的同路不同层级间通过上采样来实现特征恢复；设置各路解码器的不同路不同层级间通过下采样后进行特征拼接；

15、步骤s240设置各路同层级的编码器和解码器节点均通过密集连接进行特征融合。

16、在可能的优选实施方式中，所述权值逐层递减的混合损失函数为：

17、；

18、其中 = ；

19、而 ，；

20、其中表示不同类别的样本loss的权重调节参数，表示易分类样本的loss调节参数，表示真实标签，表示预测值；作为防止除数与被除数为0的调节参数。

21、在可能的优选实施方式中，各编码器和解码器节点包含：两个卷积单元，且每个卷积单元均由一个卷积核大小为3×3的卷积层、batch normalization层、relu层组成。

22、对应上述方法，根据本发明的第二个方面，还提供了一种骨架提取系统，其包括：

23、存储单元，用于存储包括如上中任一所述骨架提取方法步骤的程序，以供数据集训练单元，传输单元，处理单元，适时调取执行；

24、数据集训练单元，用于获取原始图像中对象的获取多边形轮廓及获取骨架关键点，并将原始图像转换为距离变换灰度图，以经传输单元向处理单元发送；

25、处理单元，用于以多边形轮廓为领域约束，将骨架关键点进行触发波传播连接，获取初步骨架，并做膨胀操作，得到粗粒度骨架后，将其作为w型网络中第二路编码器的输入，同时将距离变换灰度图作为第一路编码器的输入，以及将原始真实骨架作为标签，采用权值逐层递减的混合损失函数来完成w型网络的训练；

26、传输单元，还用于获取需要提取骨架的图像，以输入处理单元经训练后的w型网络提取出图中对象的骨架。

27、在可能的优选实施方式中，所述数据集训练单元，包括：图像处理子单元，多边形轮廓提取网络子单元，关键点元素提取网络子单元，其中：

28、图像处理子单元，用于将原始图像的二值图经欧式距离计算获取距离变换灰度图；及提取出原始图像中对象的骨架关键点作为第一真实标签、对象的多边形轮廓作为第二真实标签；

29、多边形轮廓提取网络子单元，用于以原始图像的二值图为输入，第二真实标签为标签进行训练，以获取多边形轮廓；

30、关键点元素提取网络子单元，用于以原始图像的距离变换灰度图为输入，第一真实标签为标签进行训练，以获取骨架关键点。

31、对应上述方法，根据本发明的第三个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上中任一项所述骨架提取方法的步骤。

32、通过本发明提供的该骨架提取方法及系统、存储介质，能够通过标签引导骨架生成过程，有效避免了图像边缘噪声导致的过度分支问题，同时通过本案粗粒度骨架提取的设计，能够获得初步骨架，对其基本定位，从而有效解决骨架在形状尺度差异较大处的断裂问题。

33、此外值得一提的是，辅以上述步骤，通过本案创新的w型网络的设计，能够充分融合粗粒度骨架的位置信息和距离变换的拓扑信息，以利用多尺度侧输出的方式，使得每个侧输出都能够学习到符合其能够提取的尺度范围内的骨架信息，从而有效增强网络对目标不同形状尺度的提取能力，进一步检测形状尺度变化，籍此便可整体解决对象在提取骨架过程中，由于对象不同部位的形状尺度变化较大，而导致的骨架断裂问题。

技术特征：

1.一种骨架提取方法，其步骤包括：

2.根据权利要求1所述的骨架提取方法，其中步骤s100中获取多边形轮廓及骨架关键点的步骤包括：

3.根据权利要求2所述的骨架提取方法，其中步骤s110中骨架关键点的提取步骤包括：将原始真实骨架拆解为起点、连接点以及骨架分支；将所有骨架分支分别进行均匀采样得到骨架分支点；将起点、连接点及骨架分支点作为骨架关键点。

4.根据权利要求3所述的骨架提取方法，其中步骤s110中多边形轮廓的提取步骤包括：将获得的所有起点连接形成闭合形状，并填充，以获取多边形轮廓。

5.根据权利要求1所述的骨架提取方法，其中w型网络的建立步骤包括：

6.根据权利要求1所述的骨架提取方法，其中所述权值逐层递减的混合损失函数为：

7.根据权利要求5所述的骨架提取方法，其中，各编码器和解码器节点包含：两个卷积单元，且每个卷积单元均由一个卷积核大小为3×3的卷积层、batch normalization层、relu层组成。

8.一种骨架提取系统，其包括：

9.根据权利要求8所述的骨架提取系统，其中数据集训练单元，包括：图像处理子单元，多边形轮廓提取网络子单元，关键点元素提取网络子单元，其中：

10.一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述骨架提取方法的步骤。

技术总结
本发明提供了一种骨架提取方法及系统、存储介质，其中方法步骤包括：步骤S100训练数据集，获取原始图像中对象的多边形轮廓及骨架关键点；以多边形轮廓为领域约束，令骨架关键点间进行触发波传播连接，获取初步骨架，并做膨胀操作，得到粗粒度骨架；步骤S200建立W型网络，将原始图像的距离变换灰度图作为第一路编码器的输入，将粗粒度骨架作为二路编码器的输入，将原始真实骨架作为标签，采用权值逐层递减的混合损失函数来完成训练后，以供进行骨架提取。籍此以解决对象在提取骨架过程中，由于对象不同部位的形状尺度变化较大，而导致的骨架断裂问题。

技术研发人员：王斌,莫莉莎
受保护的技术使用者：上海大学
技术研发日：
技术公布日：2024/1/14