工业关键点定位方法、装置及视觉检测系统与流程

本技术属于关键点定位，尤其涉及一种工业关键点定位方法、装置及视觉检测系统。

背景技术：

1、工业场景中，通常需要对与生产过程中的安全、效率或质量密切相关的关键点进行定位，以实现计数统计、装配检测等任务，工业场景中对关键点定位具有高精度要求。

2、目前，通常采用目标检测方法来确定目标的中心点，长宽信息以实现定位任务，然而，在工业场景的定位任务中，对于目标的长宽回归是不必要的，额外回归目标的长宽信息以及检测框交并比的计算会降低检测速度，浪费检测资源，而且工业场景复杂，现有定位算法会出现关键点失衡，集中关注某些种类特征，忽视其它种类特征，造成关键点检测准确度低，出现漏检、定位错误等。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种工业关键点定位方法、装置及视觉检测系统，可以避免确定的目标关键点失衡，提高关键点定位的准确率，且不需要回归长宽信息，定位速度提升，系统资源占用少。

2、第一方面，本技术提供了一种工业关键点定位方法，该方法包括：

3、获取待检测的工业图像；

4、对所述工业图像进行特征提取和热力图转换，获得所述工业图像对应的第一特征热力图以及所述第一特征热力图上所述工业图像的各个特征点对应的特征点热力特征；

5、基于所述工业图像的各个特征点的类别信息，对所述第一特征热力图进行分层处理，得到多层第二特征热力图；

6、基于所述多层第二特征热力图的特征点热力特征，进行关键点筛选，得到所述工业图像的多个目标关键点以及各个目标关键点对应的关键点位置信息。

7、根据本技术的工业关键点定位方法，通过对工业图像进行特征提取，基于特征提取的结果，生成工业图像对应的第一特征热力图，并对第一特征热力图进行分层处理，得到多张第二特征热力图，使得工业图像中相同种类的特征点在同一张第二特征热力图上，不同种类的特征点在不同的第二特征热力图上，可以避免不同种类的特征点间相互干扰，基于第二特征热力图进行关键点筛选，可以避免确定的目标关键点失衡，提高关键点定位的准确率，且不需要回归长宽信息，定位速度提升，系统资源占用少。

8、根据本技术的一个实施例，所述对所述工业图像进行特征提取和热力图转换，获得所述工业图像对应的第一特征热力图以及所述第一特征热力图上所述工业图像的各个特征点对应的特征点热力特征，包括：

9、通过卷积网络对所述工业图像进行特征提取，得到所述工业图像对应的特征图；

10、对所述特征图进行上采样或者反卷积，扩大所述特征图的尺寸至目标特征图尺寸，创建所述第一特征热力图。

11、根据本技术的一个实施例，在所述基于所述工业图像的各个特征点的类别信息，对所述第一特征热力图进行分层处理，得到多层第二特征热力图之后，在所述基于所述多层第二特征热力图的特征点热力特征，进行关键点筛选，得到所述工业图像的多个目标关键点以及各个目标关键点对应的关键点位置信息之前，所述方法还包括：

12、对所述第二特征热力图进行局部最大值处理，确定所述第二特征热力图中每个目标区域对应的一个目标关键点。

13、根据本技术的一个实施例，所述基于所述多层第二特征热力图的特征点热力特征，进行关键点筛选，得到所述工业图像的多个目标关键点以及各个目标关键点对应的关键点位置信息，包括：

14、在所述第二特征热力图中的特征点对应的特征点热力特征大于热力特征阈值的情况下，将所述第二特征热力图中的特征点作为待选关键点；

15、遍历所述第二特征热力图中的所有特征点，得到多个待选关键点；

16、基于所述待选关键点对应的特征点热力特征，对所述多个待选关键点进行排序，将进行排序后的前目标数目个所述待选关键点确定为目标关键点；

17、将各个目标关键点的坐标映射至所述工业图像中，获得所述工业图像的多个目标关键点以及各个目标关键点对应的关键点位置信息。

18、根据本技术的一个实施例，所述关键点位置信息通过工业关键点定位模型得到，所述关键点定位模型包括特征提取结构和关键点筛选结构，所述特征提取结构与所述关键点筛选结构连接；

19、所述特征提取结构用于对所述工业图像进行特征提取和热力图转换，获得所述工业图像对应的第一特征热力图以及所述第一特征热力图上所述工业图像的各个特征点对应的特征点热力特征；

20、所述特征提取结构还用于基于所述工业图像各个特征点的类别信息，对所述特征热力图进行分层处理，得到多层第二特征热力图；

21、所述关键点筛选结构用于基于所述多层第二特征热力图的关键点热力特征，进行关键点筛选，得到所述工业图像各个目标关键点对应的关键点位置信息；

22、其中，所述工业关键点定位模型通过工业图像样本和所述工业图像样本对应的标签训练得到。

23、根据本技术的一个实施例，所述工业关键点定位模型基于以下步骤进行训练：

24、获取所述工业图像样本以及所述工业图像样本对应的标签信息；

25、基于所述工业图像样本以及所述工业图像样本对应的标签信息，进行热力图转换，得到所述工业图像样本的各个标签对应的标签热力特征；

26、将所述工业图像样本输入到待训练的所述工业关键点定位模型，得到所述工业关键点定位模型输出的关键点热力特征；

27、基于所述标签热力特征和所述关键点热力特征，更新所述工业关键点定位模型的参数，直至收敛。

28、第二方面，本技术提供了一种工业关键点定位装置，该装置包括：

29、获取模块，用于获取待检测的工业图像；

30、第一处理模块，用于对所述工业图像进行特征提取和热力图转换，获得所述工业图像对应的第一特征热力图以及所述第一特征热力图上所述工业图像的各个特征点对应的特征点热力特征；

31、第二处理模块，用于基于所述工业图像的各个特征点的类别信息，对所述第一特征热力图进行分层处理，得到多层第二特征热力图；

32、第三处理模块，用于基于所述多层第二特征热力图的特征点热力特征，进行关键点筛选，得到所述工业图像的多个目标关键点以及各个目标关键点对应的关键点位置信息。

33、根据本技术的工业关键点定位装置，通过对工业图像进行特征提取，基于特征提取的结果，生成工业图像对应的第一特征热力图，并对第一特征热力图进行分层处理，得到多张第二特征热力图，使得工业图像中相同种类的特征点在同一张第二特征热力图上，不同种类的特征点在不同的第二特征热力图上，可以避免不同种类的特征点间相互干扰，基于第二特征热力图进行关键点筛选，可以避免确定的目标关键点失衡，提高关键点定位的准确率，且不需要回归长宽信息，定位速度提升，系统资源占用少。

34、第三方面，本技术提供了一种视觉检测系统，该视觉检测系统包括：

35、图像采集装置，所述图像采集装置用于获取待检测的工业图像；

36、数据处理装置，所述数据处理装置与所述图像采集装置电连接，所述数据处理装置用于执行上述第一方面所述的工业关键点定位方法。

37、根据本技术的视觉检测系统，通过对工业图像进行特征提取，基于特征提取的结果，生成工业图像对应的第一特征热力图，并对第一特征热力图进行分层处理，得到多张第二特征热力图，使得工业图像中相同种类的特征点在同一张第二特征热力图上，不同种类的特征点在不同的第二特征热力图上，可以避免不同种类的特征点间相互干扰，基于第二特征热力图进行关键点筛选，可以避免确定的目标关键点失衡，提高关键点定位的准确率，且不需要回归长宽信息，定位速度提升，系统资源占用少。

38、第四方面，本技术提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的工业关键点定位方法。

39、第五方面，本技术提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的工业关键点定位方法。

40、第六方面，本技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的工业关键点定位方法。

41、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。