毛刺检测方法、系统和计算机可读存储介质与流程

1.本技术涉及图像识别技术领域，具体涉及一种毛刺检测方法、系统和计算机可读存储介质。


背景技术：

2.在产品加工领域，常常需要对产品表面产生的毛刺进行检测，比如，对新能源电池的极耳焊印产生的毛刺进行检测。
3.新能源电池的极耳与极片之间的连接方式通常采用超声波焊接或激光焊接的方式。极耳焊接后的焊印区域有时会存在毛刺，焊印区域上的毛刺过高会刺穿较薄的绿胶和隔离膜，造成阴阳极短路等电芯品质异常，严重时将引起电池起火爆炸。因此需要对极耳焊印区域的毛刺的高度进行检测。
4.现在多采用高度规或千分尺检测毛刺的高度，然而，毛刺通常比较细小，在检测过程中，细小的毛刺容易被挤压变形，从而使得检测出来的毛刺的高度不够准确。


技术实现要素：

5.本技术主要解决的技术问题是检测出的毛刺高度不准确的问题。
6.根据第一方面，一种实施例中提供一种毛刺检测方法，包括：
7.获取待检测产品的灰度图像和高度图像；
8.根据所述待检测产品的灰度图像，基于矩形拟合方式，获取所述待检测产品的焊印区域及所述焊印区域内的毛刺区域；
9.对所述高度图像的焊印区域进行自由曲面拟合处理；
10.根据高度图像中自由曲面拟合后的毛刺区域，获取所述高度图像的毛刺区域的基准面；
11.获取高度图像中自由曲面拟合后的毛刺区域中包含的所有像素点相对所述毛刺区域的基准面的最大高度值，得到所述毛刺区域对应的毛刺高度值。
12.根据第二方面，一种实施例中提供一种毛刺检测系统，包括：
13.毛刺检测设备，用于对待检测产品进行拍摄，得到所述待检测产品的灰度图像和高度图像；
14.图像处理设备，用于通过所述毛刺检测设备获取所述待检测产品的灰度图像和高度图像；根据所述待检测产品的灰度图像，基于矩形拟合方式，获取所述待检测产品的焊印区域及所述焊印区域内的毛刺区域；对所述高度图像的焊印区域进行自由曲面拟合处理；根据高度图像中自由曲面拟合后的毛刺区域，获取所述高度图像的毛刺区域的基准面；获取高度图像中自由曲面拟合后的毛刺区域中包含的所有像素点相对所述毛刺区域的基准面的最大高度值，得到所述毛刺区域对应的毛刺高度值。
15.根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述第一方面所述的方法。
16.依据上述实施例的毛刺检测方法、系统和计算机可读存储介质，由于激光扫描获取到的高度图像易受到表面反光等因素的影响而形成噪声等，因此根据待检测产品的灰度图像，基于矩形拟合方式，获取待检测产品的焊印区域及焊印区域内的毛刺区域，得到的待检测产品的焊印区域及焊印区域内的毛刺区域更加准确。对高度图像的焊印区域进行自由曲面拟合处理，根据高度图像中自由曲面拟合后的毛刺区域，获取高度图像的毛刺区域的基准面，自由曲面拟合处理能够对噪声点进行修复，从而使得毛刺区域的基准面准确，且获取的毛刺区域的基准面为待检测产品实际的表面，以毛刺区域的基准面为基准，获取高度图像中自由曲面拟合后的毛刺区域中包含的所有像素点相对所述毛刺区域的基准面的最大高度值，得到所述毛刺区域对应的毛刺高度值，得到的毛刺高度值精度高，检测速度快。另外通过本实施例的图像处理的方式获取待检测产品的高度值，检测过程中无需接触待检测产品表面，检测结果更加准确。再有，根据获取的待检测产品的正反面的高度图像可以实现对待检测产品的正反面的毛刺高度的检测，即实现正极耳和负极耳的正反面的高精度稳定检测。整个检测过程不受生产环境振动、环境光照等的影响以及人为主观因素的影响，提高了毛刺检测的稳定性。从而提高了毛刺检测的稳定性、兼容性、真实性和精确性。
附图说明
17.图1a为本技术实施例提供的一种极耳正极铝箔焊印区域；
18.图1b为本技术实施例提供的一种极耳正极的正面焊印区域的示意图；
19.图1c为本技术实施例提供的一种极耳正极的反面焊印区域的示意图；
20.图1d为本技术实施例提供的一种极耳负极铝箔焊印区域；
21.图1e为本技术实施例提供的一种极耳负极的正面焊印区域的示意图；
22.图1f为本技术实施例提供的一种极耳负极的反面焊印区域的示意图；
23.图2为本技术实施例提供的一种毛刺检测系统的结构示意图；
24.图3为本技术实施例提供的一种毛刺检测方法的流程示意图；
25.图4为本技术实施例提供的一种待检测极耳识别焊印区域和毛刺区域的示意图；
26.图5a为本技术实施例提供的一种一维边界提取示意图；
27.图5b为本技术实施例提供的一种一维灰度值剖面示意图；
28.图5c为本技术实施例提供的一种灰度值剖面的一阶导数值的示意图；
29.图6为本技术实施例提供的一种矩形拟合示意图；
30.图7为本技术实施例提供的一种毛刺区域检测模型的结构示意图；
31.图8为本技术实施例提供的一种焊印区域自由曲面拟合处理方向示意图；
32.图9为本技术实施例提供的一种焊印区域自由曲面拟合示意图；
33.图10为本技术实施例提供的一种基准面校准示意图；
34.图11为本技术实施例提供的一种毛刺高度和位置示意图。
具体实施方式
35.下面通过具体实施方式结合附图对本技术作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征
在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
36.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
37.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
38.本技术可以应用于对多种物品表面的毛刺的检验，例如，对金属工件上因某种原因产生的毛刺的检验，或者对极耳与极片焊印后在极耳表面产生的毛刺的检验等。下面以对极耳焊印区域的毛刺检验为例进行说明本技术提供的毛刺检测方法。
39.在新能源锂电池制造技术领域，锂电池的极片与极耳焊接一般采用超声波焊接或激光焊接，焊接完毕在焊印区域会有突起的毛刺，本技术中的毛刺是指相比其他区域高度值大的刺状物。下面以图1a-图1f所示的极耳示意图进行说明。
40.请参见图1a-图1c，图1a为本技术实施例提供的一种极耳正极铝箔焊印区域，其中，区域101为极耳正极的三个焊印区域。图1b为本技术实施例提供的一种极耳正极的正面焊印区域的示意图，图1c为本技术实施例提供的一种极耳正极的反面焊印区域的示意图。
41.请参见图1d-图1f，图1d为本技术实施例提供的一种极耳负极铝箔焊印区域，其中，区域102为极耳负极的三个焊印区域。图1e为本技术实施例提供的一种极耳负极的正面焊印区域的示意图，图1f为本技术实施例提供的一种极耳负极的反面焊印区域的示意图。
42.由此可知，在焊印区域中均会有毛刺存在。由于激光焊接功率的不稳定或超声波模具的磨损，有时焊印区域毛刺高度会超出规定的规格。因此，需要对电池极片上的极耳焊印区域的毛刺高度进行检测，确定毛刺的高度等信息。对于毛刺高度超过预设的高度阈值的极耳，可以认为其为不良产品，避免不良产品流至下一工序导致隔膜被刺破，造成批量不良，并引发进一步的危险。另外，可以对具有超过预设的高度阈值的毛刺的焊印区域进行红色位置标记并报警，同时对焊接工艺的改进有指导意义。进一步地，可以确定产线生产设备开机量产时极耳焊接的良率情况。目前，新能源行业的迅猛发展对极耳焊印区域的毛刺高度检测技术提出了更高的需求。
43.由于毛刺高度的尺寸它通常是微米级别的，比较细小，毛刺检测是一种高精度检测，传统使用千分尺或高度规等测量工具检测毛刺的高度，且接触式检测在检测的过程中会导致毛刺的变形，并不能准确的检测出毛刺的实际高度，检测过程的精确性和稳定性受到检测人员主观因素的影响，导致检测结果易出现误差。焊接后的焊印区域反面会凹陷变形，该种接触式检测并不能准确的确认检测基准，因此只适用于极耳焊印正面的毛刺高度检测。
44.未解决上述问题，本技术提供一种毛刺检测方法和系统。下面结合图2介绍本实施例提供的一种毛刺检测系统。
45.请参见图2，图2为本技术实施例提供的一种毛刺检测系统的结构示意图，本实施例提供的毛刺检测系统可以包括：毛刺检测设备21和电子设备22。毛刺检测设备21和电子设备22通信连接。
46.毛刺检测设备21可以获取到待检测极耳的灰度图像和高度图像，并将该待检测极耳的灰度图像和高度图像发送给电子设备22。
47.电子设备22通过待检测极耳的灰度图像获取待检测产品的焊印区域以及焊印区域内的毛刺区域，根据高度图像，对高度图像中的焊印区域进行自由曲面拟合处理，根据高度图像中自由曲面拟合后的毛刺区域，获取高度图像的毛刺区域的基准面，以毛刺区域的基准面为基准，根据高度图像中自由曲面拟合后的毛刺区域中包含的所有像素点的高度值，获取毛刺区域对应的毛刺高度值。从而确定除毛刺高度值。
48.进一步地，还可以确定出毛刺的位置信息。
49.进一步地，电子设备22还可以将得到的毛刺高度值和/或毛刺的位置信息发送给毛刺检测设备21进行显示。
50.实现了对产品表面毛刺的检测，非接触式检测，利用待检测极耳的灰度图像确定焊印区域和毛刺区域，通过高度图像对焊印区域进行自由曲面拟合，根据高度图像中自由曲面拟合后的毛刺区域，获取高度图像的毛刺区域的基准面，自由曲面拟合处理能够对噪声点进行修复，从而使得毛刺区域的基准面准确，且获取的毛刺区域的基准面为待检测产品实际的表面，以毛刺区域的基准面为基准，获取高度图像中自由曲面拟合后的毛刺区域中包含的所有像素点相对所述毛刺区域的基准面的最大高度值，得到所述毛刺区域对应的毛刺高度值，得到的毛刺高度值精度高，检测速度快。另外通过本实施例的图像处理的方式获取待检测产品的高度值，检测过程中无需接触待检测产品表面，检测结果更加准确。再有，根据获取的待检测产品的正反面的高度图像可以实现对待检测产品的正反面的毛刺高度的检测，即实现正极耳和负极耳的正反面的高精度稳定检测。整个检测过程不受生产环境振动、环境光照等的影响以及人为主观因素的影响，提高了毛刺检测的稳定性。从而提高了毛刺检测的稳定性、兼容性、真实性和精确性。
51.其中，电子设备22是具有图像处理能力的设备。可以为计算机或者服务器等。该电子设备22也可以为上位机。
52.下面以具体的实施例介绍本技术提供的毛刺检测方法。
53.请参见图3，图3为本技术实施例提供的一种毛刺检测方法的流程示意图，本实施例的方法由电子设备执行，该电子设备可以是直接获取待检测产品的灰度图像和高度图像的毛刺检测设备，也可以是与毛刺检测设备连接的电子设备，例如，如图2所示的电子设备22，本实施例以如图2所示的电子设备22来执行为例进行说明。本实施例提供的方法可以包括如下步骤：
54.步骤31：获取待检测产品的灰度图像和高度图像。
55.其中，灰度图像中图像的像素值为灰度值，表示该位置成像后的亮度。
56.其中，高度图像中图像的像素值为高度值，表示该位置相对于拍摄高度图像的相机的基准面的高度。
57.灰度图像和高度图像是对待检测产品进行拍摄的过程中得到的，灰度图像的尺寸和高度图像的尺寸相同，灰度图像的每个像素点与高度图像中的对应的像素点是拍摄的待
检测产品的相同位置。例如，待检测产品的灰度图像和高度图像可以是通过毛刺检测装置在一次对待检测产品的成像中获得。毛刺检测设备中可以包含三维线激光轮廓仪，即三维相机，通过三维相机获取灰度图像和高度图像。
58.步骤32：根据待检测产品的灰度图像，基于矩形拟合方式，获取待检测产品的焊印区域及焊印区域内的毛刺区域。
59.极耳和极片焊接后，无论是极耳的正面还是反面，焊接区域及焊印区域内的毛刺位置是不固定的，为了检测出焊印区域内所有毛刺的高度，需要精准的定位待检测产品的毛刺区域的位置。因在毛刺检测设备的三维相机进行激光扫描时存在激光折射，激光折射将对得到的高度图像的成像造成影响，会在高度图像中的非毛刺区域形成噪声，故毛刺区域的自适应查找是对灰度图进行处理。可以通过对灰度图像的识别，基于矩形拟合方式，获取待检测产品的焊印区域以及焊印区域内的毛刺区域。
60.其中，焊印区域是指待检测产品中可能包含毛刺的区域，例如，焊印区域是指极耳和极片焊接的部位。可以理解，焊印区域可以为一个或多个区域，例如图1a-图1f中的焊印区域为3个。
61.其中，毛刺区域是指毛刺所在的区域。可以理解，毛刺区域可以为一个或多个区域，毛刺区域的数量取决于待检测产品的情况。
62.步骤33：对高度图像的焊印区域进行自由曲面拟合处理。
63.自由曲面拟合处理是对三维相机采集的高度图进行的处理，极耳和极片进行焊接后，焊印区域的表面通常呈现出不规则的上下起伏且凹凸不平的曲面，由于存在毛刺和成像时的噪音干扰，提取该表面时不应将毛刺区域和噪声计算在内。因此，需要对焊印区域进行自由曲面拟合处理，得到自由曲面拟合后的高度图像。
64.请参见图4，图4为本技术实施例提供的一种待检测极耳识别焊印区域和毛刺区域的示意图。其中，图中示例性示出了两个焊印区域，分别为第一焊印区域42和第二焊印区域43。对极耳41的灰度图像进行识别，得到第一焊印区域42和第二焊印区域43，其中焊印区域的边界为边421，第二焊印区域43中的星型区域均为毛刺区域431。
65.步骤34：根据高度图像中自由曲面拟合后的毛刺区域，获取高度图像的毛刺区域的基准面。
66.通常极耳的焊印区域毛刺高度检测的基准均处于极耳的非焊印区域，使得检测的毛刺高度值非毛刺的真实高度。极耳经过焊接后，其正反面会贴一层绿胶，该层绿胶会紧贴焊印区域，因此毛刺的高度检测应取其底部作为基准。为了真实的检测出待检测产品的焊印区域内毛刺高度，则需以所被检测毛刺底部附近的表面作为基准进行检测。由于自由曲面拟合后的高度图像中滤除了一些噪音，并将高度图像中的不连续的区域进行修复，上述步骤已经对高度图像进行自由曲面拟合处理，因此，基于高度图像中自由曲面拟合后的毛刺区域，得到高度图像的毛刺区域的基准面。
67.其中，基准面是指计算毛刺高度的基准，即基准面的高度值为0，基准面也可以称为高度基准面。
68.需要说明的是，如果有多个毛刺区域，每个毛刺区域对应一个基准面。可以分别根据每个毛刺区域确定其对应的基准面。
69.步骤35：获取高度图像中自由曲面拟合后的毛刺区域中包含的所有像素点相对毛
刺区域的基准面的最大高度值，得到毛刺区域对应的毛刺高度值。
70.以毛刺区域的基准面为基准，可以得到毛刺区域每个像素点相对基准面的高度差值，其中的最大高度值即为毛刺区域对应的毛刺高度值。
71.其中，毛刺高度值为毛刺的最大高度值，也就是毛刺区域中包含的所有像素点的高度差值中最大的高度值。
72.本实施例，通过对获取待检测产品的灰度图像和高度图像，由于激光扫描获取到的高度图像易受到表面反光等因素的影响而形成噪声等，因此根据待检测产品的灰度图像，获取待检测产品的焊印区域及焊印区域内的毛刺区域，得到的待检测产品的焊印区域及焊印区域内的毛刺区域更加准确。对高度图像的焊印区域进行自由曲面拟合处理，根据高度图像中自由曲面拟合后的毛刺区域，获取高度图像的毛刺区域的基准面，自由曲面拟合处理能够对噪声点进行修复，从而使得毛刺区域的基准面准确，且获取的毛刺区域的基准面为待检测产品实际的表面，以毛刺区域的基准面为基准，获取高度图像中自由曲面拟合后的毛刺区域中包含的所有像素点相对所述毛刺区域的基准面的最大高度值，得到所述毛刺区域对应的毛刺高度值，得到的毛刺高度值精度高，检测速度快。另外通过本实施例的图像处理的方式获取待检测产品的高度值，检测过程中无需接触待检测产品表面，检测结果更加准确。再有，根据获取的待检测产品的正反面的高度图像可以实现对待检测产品的正反面的毛刺高度的检测，即实现正极耳和负极耳的正反面的高精度稳定检测。整个检测过程不受生产环境振动、环境光照等的影响以及人为主观因素的影响，提高了毛刺检测的稳定性。从而提高了毛刺检测的稳定性、兼容性、真实性和精确性。
73.在一些实施例中，同一极耳焊接后的正面或反面均存在多个焊印区域，因此，在步骤32中，可以先对整个焊印区域进行匹配，再对焊印区域内的毛刺区域进行匹配，以此做到毛刺区域的精确查找，亦可减少处理时间。下面以具体的实施例进行详细说明。
74.在上述实施例的基础上，进一步地，步骤32可以包括如下步骤321-步骤322：
75.步骤321：根据待检测产品的灰度图像，基于矩形拟合方式，确定待检测产品的焊印区域。
76.待检测产品的灰度图像中的焊印区域通常呈规则的矩形，且焊印区域的灰度值较非焊印区域的灰度值大，因此可以根据灰度图像的像素点的灰度值之间的差异，基于矩形拟合方式，提取焊印区域。
77.可选的，步骤321可以通过如下步骤3211和步骤3212：
78.步骤3211：对待检测产品的灰度图像进行一维边界提取，得到待检测产品的焊印区域的边界点。
79.请参见图5a，图5a为本技术实施例提供的一种一维边界提取示意图。图5中示例性的示出了极耳51中得到一个焊印区域52。灰度图像中的焊印区域52呈规则的矩形，且焊印区域52的灰度值较非焊印区域的灰度值大，则可以分别沿着灰度图像的x方向和y方向进行离散导数计算，得到待检测产品的焊印区域，其中，本技术中将图像定义了x方向和y方向，x方向也可以称为x向，y方向也可以称为y向。具体的一种实现方式如下：
80.在焊印区域52的四边设置边界提取感兴趣区域(region of interest，简称roi)，对每个感兴趣区域均进行类似处理，图5a中示例性的示出了焊印区域52右边界的边界提取感兴趣区域53，下面以焊印区域52的右边界所设置的边界提取感兴趣区域53进行说明。在
边界提取感兴趣区域53中包含多个像素点。边界提取方向55上的每行像素点为一段边界点提取段54。
81.设置边界点提取段的宽度w，沿边界提取方向55计算灰度平均值，得到一维灰度值剖面，如图5b所示，图中纵坐标为灰度平均值。
82.计算图5b中每三个连续灰度平均值点所拟合抛物线的中心点位置的导数。可以通过如下公式(1)得到每个灰度平均值点的导数：
[0083][0084]
其中，fi'是第i个灰度平均值点的导数，f
i+1
和f
i-1
分别为与第i个灰度平均值相邻的灰度平均值。
[0085]
边界点提取段54所有点的灰度值的导数可以通过如图5c直观表示，图5c为本技术实施例提供的一种灰度值剖面的一阶导数值的示意图，表示灰度值剖面的一阶导数值。由图5c可知，灰度值的导数在边界处降低，则可以根据该特征获取到边界位置。
[0086]
根据预设边界点提取阈值t，对一阶导数绝对值进行阈值分割，即当|fi'|≥t并且|f'i|＞|f'
i-1
|和|f'i|＞|f'
i+1
|时，该第i个像素点是边界点提取段54的边界点ni。
[0087]
依次计算焊印区域每条边界提取roi进行上述处理，即可提取焊印区域的n个边界点(xi,yi)。
[0088]
步骤3212：对边界点进行矩形拟合处理，得到焊印区域。
[0089]
可以根据边界点得到焊印区域，其中，由于焊印区域为矩形，可以对待检测产品的焊印区域进行矩形拟合处理，生成焊印区域的外包图形，通常焊印区域为矩形，因此，外包图形也可以为矩形，焊印区域在外包图形内。外包图形与焊印区域的重心重合。
[0090]
请参见图6，图6为本技术实施例提供的一种矩形拟合示意图，其中，图6示例性示出了一个焊印区域，根据上述得到的边界点61，可以获取到焊印区域的重心62，对灰度图像进行矩形拟合，得到外包矩形63。下面详细介绍一种得到外包矩形63的方式。
[0091]
根据如下公式(2)得到焊印区域的重心
[0092][0093]
其中，n为焊印区域边界点的数量，(xi,yi)为焊印区域边界点的坐标。
[0094]
通过重心坐标将所有边界点集划分为4个区域，如图5中示出的4个区域。对于该4个区域中的每个区域，分别确定区域内与重心距离最大的边界点，也就是离重心最远的边界点。从而共得到了4个边界点，可以称为顶点的初始值。下面求解顶点的坐标，顶点的坐标可以分别用c1、c2、c3和c4表示。
[0095]
以4个顶点为界将边界点集分为4组，这4组的像素坐标集个数分别为n1、n2、n3和n4，则每组边界点坐标表达式为：{pi|(x
ij
,y
ij
)}，其中，pi表示第i组的点集合，j表示第i组中第j个边界点。
[0096]
对图像进行矩形拟合，通过相互平行和垂直的几何特征可得到矩形四边所在的直线。可以通过如下公式(3)得到矩形四边所在的直线：
[0097][0098]
其中，k1、k2为直线方程的待估计系数；b1、b2、b3和b4分别为直线方程的待估计截距。将边界点坐标带入上述公式(3)，可以得到如下公式(4)的约束最小二乘方程：
[0099][0100]
其中，r
ij
表示第i组的点的集合中第j个点到第i条直线的距离。
[0101]
经过整理后可以表示为：ax＝b的形式，其中，x＝[b1,b2,b3,b4,k1,k2]
t
，b＝[r1,r2,r3,r4]
t
，其中，[r1,r2,r3,r4]为0向量，其维度与每组像素点的数量相同，矩阵a可以表示为：
[0102]
其中，
[0103][0104]
求解上述公式(4)最小二乘得到参数(b1,b2,b3,b4,k1,k2)
t
的值，将其带入公式(3)，计算出矩形拟合后的4个顶点坐标(c1,c2,c3,c4)，则焊印区域的中心坐标可以通过如下公式(5)得到：
[0105][0106]
其中，(x0,y0)是焊印区域的中心坐标，)是焊印区域的中心坐标，分别为顶点坐标。从而该4个顶点即为焊印区域所在矩形的4个顶点。从而得到了焊印区域。
[0107]
步骤322：根据焊印区域，得到焊印区域内的毛刺区域。
[0108]
一种可能的实现方式中，可以通过传统机器学习的方法识别焊印区域内的毛刺区域。
[0109]
另一种可能的实现方式中，也可以将标注有焊印区域位置的灰度图像输入到毛刺区域检测模型中，得到焊印区域内的毛刺区域。其中，毛刺区域检测模型是预先训练完成的
基于深度学习建立的深度学习分割模型，用于对输入至毛刺区域检测模型中的图像进行检测，得到该图像的毛刺区域。
[0110]
下面请参见图7，图7为本技术实施例提供的一种毛刺区域检测模型的结构示意图，毛刺区域检测模型包括特征编码器和特征解码器。将标注有焊印区域位置的灰度图像输入到毛刺区域检测模型中，经过特征编码器的多层特征提取层对输入的标注有焊印区域位置的灰度图像进行特征提取，得到特征图，对特征图进行分割，然后通过特征解码器进行特征图还原，从而得到毛刺区域。
[0111]
可选的，在预先训练毛刺区域检测模型时，训练样本图像中可以预先标注毛刺区域，作为训练样本图像的标签数据。
[0112]
本实施例，对毛刺区域自适应查找，可有效、稳定且精确的查找出待检测产品的毛刺区域所在的位置。
[0113]
在一些实施例中，焊印区域的识别可能不够准确，即有可能有的毛刺在焊印区域边缘外的区域中，因此，可以将焊印区域在扩大一些，再进行后续的识别。下面以具体的实施例进行详细说明。
[0114]
在上述实施例的基础上，进一步地，步骤322之前还可以包括如下步骤3220，相应的，步骤322可以通过如下步骤3221实现。
[0115]
步骤3220：根据待检测产品的焊印区域，生成外包图形。
[0116]
其中，焊印区域在外包图形内，外包图像的重心与待检测产品的焊印区域的重心重合。
[0117]
通常焊印区域为矩形，因此，外包图像可以为矩形可以对待检测产品的焊印区域进行矩形拟合处理，生成焊印区域的外包图形。
[0118]
设定焊印区域外包矩形的高为h，宽为w，使高h和宽w的值大于焊印区域的尺寸，以焊印区域的重心进行该外包矩形区域rs的生成。
[0119]
步骤3221：将标注外包图形的灰度图像输入到毛刺区域检测模型中，得到焊印区域内的毛刺区域。
[0120]
通过在焊印区域的外包图形中识别毛刺区域，使得识别出的毛刺区域更加全面，增加了检测准确性。
[0121]
本实施例，由于高度图像受到诸多因素影响可能产生噪声等影响，因此使用灰度图像识别出焊印区域和毛刺区域，使得识别出的焊印区域和毛刺区域更加准确，后续的检查结果更加准确，另外，因同一极耳焊接后的正面或反面均存在多个焊印区域，先对整个焊印区域进行匹配，再对焊印区域内的毛刺区域进行匹配，以此做到毛刺区域的精确查找，亦可减少处理时间。
[0122]
在一些实施例中，步骤33中可以分别对高度图像沿x方向和y方向分别进行自由曲面拟合处理，然后综合x方向和y方向的处理结果，得到自由曲面拟合后的高度图像。下面以具体的实施例进行详细说明。
[0123]
在上述实施例的基础上，进一步地，步骤33可以通过如下步骤331-步骤333得到。
[0124]
步骤331：对高度图像的焊印区域的每一行像素点分别进行自由曲面拟合处理，得到沿x方向拟合后的高度图像。
[0125]
请参见图8，图8为本技术实施例提供的一种焊印区域自由曲面拟合处理方向示意
图。在焊印区域的外包矩形区域84中包含焊印区域83，六角星型区域为毛刺区域82(图中示例性的标注出一个毛刺区域)。对高度图像中的焊印区域按照x方向，每次获取一行的像素点81进行处理，直到将焊印区域按照x方向的所有行都获取并处理完，从而按照x方向，对焊印区域的所有像素点都进行了处理，得到焊印区域中每个像素点的沿x方向拟合后的高度值，从而得到了沿x方向拟合后的高度图像。
[0126]
步骤332：对高度图像的焊印区域的每一列像素点分别进行自由曲面拟合处理，得到沿y方向拟合后的高度图像。
[0127]
对高度图像中的焊印区域按照y方向，每次获取一列的像素点85进行处理，直到将焊印区域按照y方向的所有列都获取并处理完，从而按照y方向，对焊印区域的所有像素点都进行了处理，得到焊印区域中每个像素点的沿y方向拟合后的高度值，从而得到了沿y方向拟合后的高度图像。
[0128]
步骤333：根据沿x方向拟合后的高度图像和沿y方向拟合后的高度图像，得到自由曲面拟合后的高度图像。
[0129]
可选的，自由曲面拟合后的高度图像中的每个像素点的目标高度值是沿x方向拟合后的高度值和沿y方向拟合后的高度值之间的平均值。
[0130]
可以根据如下公式(6)得到自由曲面拟合后的高度图像中的每个像素点的目标高度值：
[0131][0132]
其中，yi为第i个像素点的目标高度值，为第i个像素点沿x方向拟合后的高度值，为第i个像素点沿y方向拟合后的高度值。
[0133]
本实施例，通过对焊印区域的高度数据分别按照x方向和y方向分别进行自由曲面拟合处理，再综合x方向和y方向自由曲面拟合处理的结果，得到自由曲面拟合后的高度图像，由于待检测产品表面是连续的，在任何方向上均可以进行自由曲面拟合处理，本实施例中对x方向和y方向共两个方向进行自由曲面拟合处理，拟合过程速度快，且准确性高。另外，可排除焊印区域本身高度起伏、毛刺高度和高度噪声的影响，稳定精确的计算出每个毛刺区域对应的高度检测基准面。
[0134]
在一些实施例中，步骤331可以有多种实现方式，下面以具体的实施例说明本技术的步骤331的一种实现方式。
[0135]
在上述实施例的基础上，进一步地，步骤331可以通过如下步骤3311和步骤3312实现。
[0136]
步骤3311：对于高度图像的焊印区域的每一行进行如下处理步骤a-步骤c。
[0137]
步骤a：从高度图像的焊印区域获取第一像素点。
[0138]
其中，第一像素点是高度图像中的焊印区域的目标行的所有像素点。本技术中将每次获取的行称为目标行。
[0139]
步骤b：对第一待修正像素点进行插值处理，得到第一待修正像素点的插值处理后的高度值。
[0140]
其中，第一待修正像素点是位于毛刺区域或无效区域的第一像素点。由于高度图
像中常常存在一些无效像素点，无效像素点的高度值是无效的，例如，高度值超出了硬件的视野范围的数值的像素点是无效像素点。无效区域为高度图像中一些无效点所在的区域。
[0141]
其中，插值处理可以采用最近邻插值法或者双线性插值法等插值处理方法，本技术对此不做限定。
[0142]
对于目标行的所有像素点中位于毛刺区域和无效区域的第一待修正像素点进行插值处理，从而对毛刺区域和无效区域的像素点进行修正。经过上述插值处理完，所有的第一像素点的高度值可以称为插值处理后的高度值。即若所述第一像素点为第一待修正像素点，则所述第一像素点的插值处理后的高度值是所述第一待修正像素点的插值处理后的高度值，若所述第一像素点为除所述第一待修正像素点以外的第一像素点，则所述第一像素点的插值处理后的高度值是所述第一像素点的高度值。
[0143]
进一步地，在步骤b之后还可以包括如下步骤b1。
[0144]
步骤b1：根据抛物线拟合长度对目标行两端的第一像素点进行插值处理。
[0145]
其中，抛物线拟合长度可以是预先设置的，也可以称为抛物线拟合的段大小。预设抛物线拟合长度可以取奇数。
[0146]
根据预设抛物线拟合长度n，对轮廓数据两端的第一像素点进行插值处理，插值个数可以为(n-1)/2个。
[0147]
可选的，步骤b1中可以采用镜像插值法或者直线插值法等插值处理方法。
[0148]
步骤c：基于抛物线拟合，对第一像素点的插值处理后的高度值进行迭代处理，得到第一像素点的沿x方向拟合后的高度值。
[0149]
其中，第一像素点的插值处理后的高度值包括第一待修正像素点的插值处理后的高度值和除第一待修正像素点以外的第一像素点的高度值。
[0150]
基于抛物线拟合方法，通过迭代的方式对第一像素点进行迭代处理，以使拟合后的高度值更加接近抛物线拟合方程y＝ax2+bx+c，其中，y为第一像素点的高度值，x为第一像素点的x方向的坐标值，a，b，c分别为抛物线拟合方程的参数。
[0151]
可选的，步骤c中可以基于如下公式(7)所示的目标函数，通过迭代处理的方式，求解其中的参数a，b和c。
[0152][0153]
其中，yi为第i个第一像素点拟合后的高度值，xi为第i个第一像素点的x方向的坐标值，n为第一像素点的数量，a，b，c分别为抛物线拟合方程的参数。
[0154]
可选的，步骤c可以通过如下步骤c1-步骤c5得到：
[0155]
步骤c1：根据如下公式(8)得到抛物线拟合方程的初始参数：
[0156][0157]
其中，a，b，c分别为抛物线拟合方程的待求解初始参数，xi为第i个第一像素点的坐标，yi为第i个第一像素点的插值处理后的高度值，n为第一像素点的数量。
[0158]
步骤c2：根据抛物线拟合方程的初始参数得到的抛物线拟合方程和每个第一像素点的x方向坐标，得到每个第一像素点的拟合值。
[0159]
其中，第一像素点的拟合值为第一像素点的拟合后的高度值。
[0160]
可选的，可以通过根据如下公式(9)得到每个第一像素点的拟合值：
[0161][0162]
其中，y
′i为第i个第一像素点的拟合值，xi为第i个第一像素点的x方向坐标，a，b，c为抛物线拟合方程的参数。
[0163]
步骤c3：根据每个第一像素点的拟合值与插值处理后的高度值之间的残差和残差的标准差，得到每个第一像素点的权重系数。
[0164]
其中，第一像素点的权重系数可以采用胡贝尔(huber)或图基(tukey)等权重系数的表示方式。
[0165]
示例性的，可以根据如下公式(10)得到每个第一像素点的权重系数：
[0166][0167]
其中，ωi为第i个第一像素点的权重系数，di为第i个第一像素点的拟合值与插值处理后的高度值之间的残差，σ为残差的标准差，ρ为调节权重系数的参数。
[0168]
其中，迭代处理过程中ωi的初始值可以设置为1。
[0169]
步骤c4：根据如下公式(11)得到抛物线拟合方程的调节参数：
[0170][0171]
其中，a，b，c分别为抛物线拟合方程的调节参数，ωi为第i个第一像素点的权重系
数，xi为第i个第一像素点的坐标，yi为第i个第一像素点的插值处理后的高度值，n为第一像素点的数量。
[0172]
带入残差再次对焊印外包矩形区域的高度数据进行抛物线拟合。
[0173]
步骤c5：将抛物线拟合方程的初始参数更新为抛物线拟合方程的调节参数，返回执行根据抛物线拟合方程的初始参数得到的抛物线拟合方程和每个第一像素点的x方向坐标，得到每个第一像素点的拟合值，直到满足迭代停止条件，确定第一像素点的沿x方向拟合后的高度值是第一像素点的拟合值。
[0174]
其中，迭代停止条件可以是：前后两次迭代得到的累积误差的差值小于预设的阈值，或者，迭代次数达到预设的次数。
[0175]
在迭代停止以后，此时计算得出的y
′i即为x向的自由曲面拟合高度数据，可以用表示。
[0176]
步骤3312：根据所有的目标行的第一像素点沿x方向拟合后的高度值，得到沿x方向拟合后的高度图像。
[0177]
本实施例，对焊印区域进行自由曲面拟合处理，可排除焊印区域本身高度起伏、毛刺高度和高度噪声的影响，稳定精确的计算出每个毛刺区域对应的高度检测基准面。
[0178]
可选的，步骤332可以通过如下步骤3321和步骤3322实现。
[0179]
步骤3321：对于高度图像中的焊印区域的每一列进行如下处理：
[0180]
从高度图像中的焊印区域获取第二像素点，第二像素点是高度图像中的焊印区域的目标列的所有像素点。
[0181]
对第二待修正像素点进行插值处理，得到插值处理后的第二待修正像素点的高度值，第二待修正像素点是位于毛刺区域或无效的第二像素点。
[0182]
基于抛物线拟合，对第二像素点的插值处理后的高度值进行迭代处理，得到第二像素点的沿y方向拟合后的高度值，第二像素点的插值处理后的高度值包括第二待修正像素点的插值处理后的高度值和除第二待修正像素点以外的第二像素点的高度值。
[0183]
步骤3322：根据所有的目标列的第二像素点沿y方向拟合后的高度值，得到沿y方向拟合后的高度图像。
[0184]
需要说明的是，由于步骤3321的实现方式与步骤3311类似，步骤3322的实现方式与步骤3312类似，此处不再赘述。
[0185]
下面结合图9说明上述实施例的方法。
[0186]
请参见图9，图9为本技术实施例提供的一种焊印区域自由曲面拟合示意图，可以通过上述步骤b对于毛刺区域906中第一待修正像素点进行插值处理，得到插值处理后的数据。可以通过上述步骤b1得到焊印区域首部插值数据910和焊印区域尾部插值数据5。图9中的圆点均为高度值，焊印区域的外包矩形区域901中沿方向909进行拟合，其中，对于被拟合的段907，根据被拟合的段907内的被拟合的像素点904，以及目标像素点903经过抛物线拟合后得到的拟合后的目标高度值908，形成了高度数据拟合的抛物线902。
[0187]
在一些实施例中，可以对待检测产品进行多次扫描成像，在对焊印区域完成步骤33的自由曲面拟合后，得到的目标高度值在毛刺区域和噪声区域依然存在波动，为了使高度检测时的基准对象值更稳定，提高毛刺高度检测的稳定性，满足设备检测时的静动态重复性检测精度，需要对高度基准面进行校准。下面以具体的实施例对基准面校准的一种过
程进行详细说明。
[0188]
在上述实施例的基础上，进一步地，步骤34可以包括如下步骤341和步骤342。
[0189]
步骤341：对于高度图像中自由曲面拟合后的毛刺区域的每个像素点，在曲面拟合后的高度图像中，根据像素点的邻域内的像素点的高度值，得到像素点的修正后的高度值。
[0190]
可以对毛刺区域内的像素点的高度值进行四邻域或八邻域的均值计算，得到修正后的像素点的高度值。
[0191]
上述四邻域的均值可以通过如下公式(12)得到
[0192][0193]
其中，为第i个像素点的修正后的高度值，yi为第i个像素点的四邻域的像素点的高度值。
[0194]
上述八邻域的均值可以通过如下公式(13)得到
[0195][0196]
其中，为第i个像素点的修正后的高度值，yi为第i个像素点的八邻域的像素点的高度值。
[0197]
请参见图10，图10为本技术实施例提供的一种基准面校准示意图。其中，焊印外包矩形区域101中包含的焊印区域102中毛刺区域的像素点的四邻域为图中标灰色区域103，毛刺区域的像素点的八邻域为图中标灰色区域104。
[0198]
步骤342：对高度图像中曲面拟合后的的毛刺区域分别进行平面拟合，得到毛刺区域的基准面。
[0199]
分别对每个毛刺区域内的高度数据进行平面拟合得到，即为每个毛刺区域所对应的稳定的高度检测基准面。
[0200]
本实施例，通过对高度基准面进行校准的方法，可有效满足设备检测时的静动态重复性检测精度。
[0201]
在一些实施例中，步骤35可以通过如下步骤实现：
[0202]
步骤351：计算每个毛刺区域ri内所有像素点(xi,yi)到对应基准面pi的距离di。
[0203]
步骤352：获取最大距离max(di)，得到毛刺区域的毛刺高度值。
[0204]
请参见图11，图11为本技术实施例提供的一种毛刺高度和位置示意图。在焊印区域111中示例性示出了一个毛刺区域112，以每个毛刺区域的高度检测基准面pi为基准，计算毛刺区域ri内的最大高度值的像素点113，即为该毛刺高度值。
[0205]
进一步地，在步骤352可以包括如下步骤3521-步骤3522。
[0206]
步骤3521：获取最大距离max(di)对应的坐标(x
mi
,y
mi
)。
[0207]
步骤3522：对最大距离进行修正，得到毛刺高度值。
[0208]
可选的，可以以点(x
mi
,y
mi
)为中心，计算3
×
3区域114内的距离均值，即即为该毛刺区域的毛刺高度值。
[0209]
本实施例，通过对毛刺区域中最大高度值的像素点进行修正，使得毛刺高度值更
加准确。
[0210]
在一些场景中，需要对毛刺位置进行检测，从而可以通过毛刺确切的位置对待检测产品的生产设备或者工艺进行有针对性的指导。可以在获取毛刺高度值以外，获取到毛刺的重心点的位置即为毛刺位置。
[0211]
进一步地，毛刺位置的获取可以是由电子设备执行的，电子设备获取到毛刺位置和毛刺高度值以后，可以将毛刺位置和毛刺高度值发送给毛刺检测设备。下面以具体的实施例进行详细说明。
[0212]
在上述实施例的基础上，进一步地，在步骤35之后还可以包括如下步骤36和步骤37。
[0213]
步骤36：确定检测结果。
[0214]
其中，检测结果包括：毛刺区域的毛刺高度值和毛刺的重心点的位置信息。
[0215]
上述毛刺的重心点的位置信息可以是通过如上述方式得到的最大距离对应的坐标(x
mi
,y
mi
)。
[0216]
步骤37：向毛刺检测设备发送检测结果。
[0217]
进一步地，可以将检测结果发送至上位机，上位机软件将处理结果显示于与上位机相连的显示器上，并将检测数据存储于固定格式的数据表格中便于相关人员查阅，上位机进行后续记录和报警处理，完成极耳焊印区域毛刺高度检测的整个过程。
[0218]
本实施例，除了获取到毛刺高度值，还可以获取到毛刺的位置，对工艺的分析和改善具有良好的指导性，该方法可以检测出焊印区域内所有毛刺的高度，并对所有的毛刺位置在图像上进行标识，对最高的毛刺进行特殊标识，便于品质人员和工艺人员进行分心问题的分析和改善。
[0219]
在一些场景中，需要通过对待检测产品进行毛刺检测，从而确定待检测产品是否合格，下面以具体的实施例进行详细说明。
[0220]
在上述实施例的基础上，进一步地，在步骤35之后还可以包括如下步骤38。
[0221]
步骤38：判断所有毛刺高度值是否分别小于或等于高度阈值。
[0222]
若是，确定待检测产品合格。若否，确定待检测产品不合格。
[0223]
本实施例，在获取到待检测产品的所有毛刺区域对应的毛刺高度值以后，根据设定的极耳焊印区域毛刺高度检测的阈值d
t
，对以上计算的每个毛刺高度值进行公差判定，并进行坐标位置标记，根据高度阈值判断所有毛刺高度值是否过高，从而可以确定待检测产品是否合格。
[0224]
在一些实施例中，本技术提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述任一实施例的毛刺检测方法。
[0225]
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质
中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
[0226]
以上应用了具体个例对本技术进行阐述，只是用于帮助理解本技术，并不用以限制本技术。对于本技术所属技术领域的技术人员，依据本技术的思想，还可以做出若干简单推演、变形或替换。