图像处理方法和图像处理装置与流程

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法和图像处理装置。

背景技术：

随着社会的不断进步，现代化焊接技术已经得到了飞速的发展，极大的提高了焊接的效率和质量。其中，影响焊接效率和质量的最主要因素就是焊缝的视觉识别装置，视觉识别能力越高，焊接的自动化水平就越高。

一般来说，视觉识别技术分为硬件和软件。其中，硬件包括ccd相机、图像采集卡、工控机等装置；软件即对采集的图像数据进行加工处理、提取有用的图像数据来控制机器的机械运作，保证自动化焊接的质量。

经发明人研究发现，现有技术中由于对焊缝中心线的坐标进行确定的精度较低，而导致不能对焊接进行精确的控制，进而导致焊接效果较差的问题。

技术实现要素：

有鉴于此，本申请的目的在于提供一种图像处理方法和图像处理装置，以准确的确定焊缝中心线的坐标，从而基于该坐标对焊接进行精确的控制，进而保证具有较高的焊接效果。

为实现上述目的，本申请实施例采用如下技术方案：

一种图像处理方法，包括：

获取待处理的焊缝图像中的焊缝中心线；

基于斜率法在所述焊缝中心线上确定多个焊缝特征点；

根据所述多个焊缝特征点计算得到所述焊缝中心线的坡口坐标。

在本申请实施例较佳的选择中，在上述图像处理方法中，所述基于斜率法在所述焊缝中心线上确定多个焊缝特征点的步骤，包括：

针对所述焊缝中心线上的每一个像素点，根据第一预设公式计算该像素点对应的第一斜率和第二斜率的斜率差，其中，所述第一斜率为该像素点与相邻的前一个像素点连线的斜率，所述第二斜率为该像素点与相邻的后一个像素点连线的斜率；

针对每一个斜率差满足预设条件的像素点，将该像素点对应的位置确定为所述焊缝中心线上的一个焊缝特征点，以得到多个焊缝特征点。

在本申请实施例较佳的选择中，在上述图像处理方法中，所述第一预设公式具体为：

其中，k1为第一斜率，k2为第二斜率，δk为斜率差，当前像素点的坐标为(x，y)，相邻的前一个像素点的坐标为(xm+1，y+1)；相邻的后一个像素点的坐标为(xm-1，y-1)。

在本申请实施例较佳的选择中，在上述图像处理方法中，所述获取待处理的焊缝图像中的焊缝中心线的步骤，包括：

在待处理的焊缝图像中确定识别位置，其中，该识别位置为焊缝中心线所在位置；

通过图像细化算法对所述识别位置对应的图像进行处理得到所述焊缝中心线。

在本申请实施例较佳的选择中，在上述图像处理方法中，所述根据所述多个焊缝特征点计算得到所述焊缝中心线的坡口坐标的步骤，包括：

在所述多个焊缝特征点中确定左上坡口特征点、左下坡口特征点、右下坡口特征点以及右上坡口特征点；

根据所述左上坡口特征点、左下坡口特征点、右下坡口特征点以及右上坡口特征点对应的坐标按照第二预设公式计算得到所述焊缝中心线的坡口坐标。

在本申请实施例较佳的选择中，在上述图像处理方法中，所述坡口坐标包括上坡口中点坐标和下坡口中点坐标，所述第二预设公式具体为：

其中，上坡口中点坐标为(x1，y1)，下坡口中点坐标为(x2，y2)，左上坡口特征点坐标为(xa,ya)，左下坡口特征点坐标为(xb,yb)，右下坡口特征点坐标为(xc,yc)，右上坡口特征点坐标为(xd,yd)。

在本申请实施例较佳的选择中，在上述图像处理方法中，还包括：

根据所述多个焊缝特征点按照第三预设公式计算所述焊缝中心线的下坡口长度、上坡口长度以及打底到上坡口的长度。

在本申请实施例较佳的选择中，在上述图像处理方法中，所述第三预设公式包括：

l1＝yb-yc；

l2＝ya-yd；

其中，l1为下坡口长度，l2为上坡口长度，h1为打底到上坡口的长度，左上坡口特征点坐标为(xa,ya)，左下坡口特征点坐标为(xb,yb)，右下坡口特征点坐标为(xc,yc)，右上坡口特征点坐标为(xd,yd)。

本申请实施例还提供了一种图像处理装置，包括：

中心线获取模块，用于获取待处理的焊缝图像中的焊缝中心线；

特征点确定模块，用于基于斜率法在所述焊缝中心线上确定多个焊缝特征点；

坡口坐标计算模块，用于根据所述多个焊缝特征点计算得到所述焊缝中心线的坡口坐标。

在本申请实施例较佳的选择中，在上述图像处理装置中，所述特征点确定模块包括：

斜率差计算子模块，用于针对所述焊缝中心线上的每一个像素点，根据第一预设公式计算该像素点对应的第一斜率和第二斜率的斜率差，其中，所述第一斜率为该像素点与相邻的前一个像素点连线的斜率，所述第二斜率为该像素点与相邻的后一个像素点连线的斜率；

特征点确定子模块，用于针对每一个斜率差满足预设条件的像素点，将该像素点对应的位置确定为所述焊缝中心线上的一个焊缝特征点，以得到多个焊缝特征点。

本申请提供的图像处理方法和图像处理装置，通过采用斜率法在焊缝中心线上确定多个焊缝特征点，以使基于该多个焊缝特征点计算得到的坐标具有较高的精度，使得在基于该坐标对焊接进行控制时能够保证具有较高的焊接效果，避免由于对焊缝特征点确定不准确而导致出现焊接稳定性差的问题，具有极高的实用价值。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本申请实施例提供的电子设备和图像采集设备的应用方框示意图。

图2为本申请实施例提供的图像处理方法的流程示意图。

图3为图2中步骤s110的子流程示意图。

图4为图2中步骤s110的子流程示意图。

图5为图2中步骤s110的子流程示意图。

图6为本申请实施例提供的焊缝中心线上特征点的分布示意图。

图7为本申请实施例提供的另一图像处理方法的流程示意图。

图8为本申请实施例提供的图像处理装置包括的功能模块的方框示意图。

图9为图8中特征点确定模块包括的子功能模块的方框示意图。

图标：10-电子设备；12-存储器；14-处理器；20-图像采集设备；100-图像处理装置；110-中心线获取模块；130-特征点确定模块；131-斜率差计算子模块；133-特征点确定子模块；150-坡口坐标计算模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本申请的描述中，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为只是或暗示相对重要性。

如图1所示，本申请实施例提供了一种电子设备10，可以包括存储器12、处理器14和图像处理装置100。

所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像处理装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述图像处理装置100所包括的软件功能模块及计算机程序等，以实现对应的图像处理方法。

其中，所述存储器12可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器12用于存储程序，所述处理器14在接收到执行指令后，执行所述程序。

所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)、片上系统(systemonchip,soc)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

可选地，所述电子设备10的类型不受限制，可以根据实际应用需求进行选择，例如，可以包括，但不限于电脑、平板电脑、手机等终端设备、服务器以及工控机等具备数据处理能力的其它设备。

结合图2，本申请实施例还提供一种可应用于上述电子设备10的图像处理方法。其中，所述图像处理方法有关的流程所定义的方法步骤可以由所述电子设备10实现。下面将对图2所示的具体流程进行详细阐述。

步骤s110，获取待处理的焊缝图像中的焊缝中心线。

在本实施例中，在对焊缝进行焊接之前，可以先通过图像采集设备20采集对应的焊缝信息，以得到对应的一焊缝图像。为便于对焊接操作进行控制，需要先确定焊缝中心线的坐标。因此，为确定该坐标需要先在焊缝图像中获取具有的焊缝中心线。

其中，待处理的焊缝图像可以是指图像采集装置直接获取的具有焊缝的图像，也可以是指获取后经过预处理的图像，例如，可以采用高斯滤波法进行图像平滑处理，采用直方图均衡化方法进行图像增强处理，采用二值化方法进行光带信息凸显处理等。

步骤s130，基于斜率法在所述焊缝中心线上确定多个焊缝特征点。

在本实施例中，通过步骤s110获取到焊缝中心线之后，可以采用斜率法(也就是根据斜率的变化)对该焊缝中心线进行处理，以确定多个焊缝特征点，包括焊缝坡口两边的特征点。

其中，确定的焊缝特征点的具体数量不受限制，可以根据实际应用需求进行选择。例如，在精度要求较高或效率需求较低的时候，可以确定较多的焊缝特征点。又例如，在精度要求较低或效率需求较高的时候，可以确定较少的焊缝特征点。

步骤s150，根据所述多个焊缝特征点计算得到所述焊缝中心线的坡口坐标。

在本实施例中，通过步骤s130确定多个焊缝特征点之后，可以根据该多个焊缝特征点计算得到焊缝中心线对应的坡口坐标。在得到该坡口坐标之后，可以根据该坡口坐标对焊接操作进行定位指示，以便于对焊缝进行高精度的焊接，保证焊接具有较高的质量，如稳定性较高。

可选地，执行步骤s110获取焊缝中心线的具体方式不受限制，可以根据实际应用需求进行选择。例如，在一种可以替代的示例中，结合图3，步骤s110可以包括步骤s111和步骤s113，具体内容如下所述。

步骤s111，在待处理的焊缝图像中确定识别位置。

在本实施例中，识别位置为焊缝中心线所在位置。也就是说，为便于获取到焊缝中心线，可以先对待处理的焊缝图像进行识别，以确定焊缝特征较为明显的区域。并且，可以基于确定的结果进行图像切割，以得到包括识别位置(焊缝中心线)的图像。

步骤s113，通过图像细化算法对所述识别位置对应的图像进行处理得到所述焊缝中心线。

在本实施中，通过步骤s111确定识别位置，可以对切割得到的图像进行特征提取，以得到对应的焊缝中心线。具体地，可以通过图像细化法进行特征提取。

其中，图像细化也叫做图像骨骼化，是一种非线性图像学处理方法，用户提取图像的中心骨架(如本实施例中的焊缝中心线)。

可选地，执行步骤s130确定焊缝特征点的方式不受限制，可以根据实际应用需求进行选择。例如，在一种可以替代的示例中，结合图4，步骤s130可以包括步骤s131和步骤s133，具体内容如下所述。

步骤s131，针对所述焊缝中心线上的每一个像素点，根据第一预设公式计算该像素点对应的第一斜率和第二斜率的斜率差。

在本实施例中，通过步骤s110获取到焊缝中心线之后，为便于通过斜率变化确定焊缝特征点，可以分别计算焊缝中心线上的每一个像素点的斜率差，以确定斜率的变化。

其中，第一斜率为当前的像素点与相邻的前一个像素点连线的斜率，第二斜率为当前的像素点与相邻的后一个像素点连线的斜率。并且，由于属于焊缝中心线上的像素点，因此，前一个像素点也是前一行的像素点，对应的后一个像素点也是后一行的像素点。

并且，第一预设公式的具体内容不受限制，可以根据实际应用需求进行选择，例如，在一种可以替代的示例中，第一预设公式可以包括：

具体为：

其中，k1为第一斜率，k2为第二斜率，δk为斜率差，当前像素点的坐标为(x，y)，相邻的前一个像素点的坐标为(xm+1，y+1)；相邻的后一个像素点的坐标为(xm-1，y-1)。

步骤s133，针对每一个斜率差满足预设条件的像素点，将该像素点对应的位置确定为所述焊缝中心线上的一个焊缝特征点，以得到多个焊缝特征点。

在本实施例中，通过步骤s131得到每一个像素点对应的斜率差之后，以基于斜率差的大小关系判断是否满足预设关系，并将满足预设关系对应的像素点确定为焊缝特征点。

其中，预设条件的具体内容不受限制，可以根据实际应用需求进行选择，例如，在一种可以替代的示例中，可以将斜率差较大的n个像素点对应的位置确定为n个焊缝特征点。又例如，在另一种可以替代的示例中，可以将斜率差大于预设值的像素点对应的位置确定为焊缝特征点。

需要说明的是，预设值的具体数值不受限制，可以根据实际应用需求进行选择，例如，可以基于用户的经验值确定。

可选地，执行步骤s150确定坡口坐标的具体方式不受限制，可以根据实际应用需求进行选择。例如，在一种可以替代的示例中，结合图5，步骤s150可以包括步骤s151和步骤s153，具体内容如下所述。

步骤s151，在所述多个焊缝特征点中确定左上坡口特征点、左下坡口特征点、右下坡口特征点以及右上坡口特征点。

在本实施例中，考虑到步骤s151确定的焊缝特征点的数量一般较多，为保证在计算简便且计算结果准确，可以在多个焊缝特征点中确定左上坡口特征点、左下坡口特征点、右下坡口特征点以及右上坡口特征点，以通过确定的四个特征点计算焊缝中心线的坡口坐标。

例如，在图6所述的焊缝中心线上，a、b、c、d四个点分别为左上坡口特征点、左下坡口特征点、右下坡口特征点以及右上坡口特征点。

步骤s153，根据所述左上坡口特征点、左下坡口特征点、右下坡口特征点以及右上坡口特征点对应的坐标按照第二预设公式计算得到所述焊缝中心线的坡口坐标。

在本实施例中，在确定左上坡口特征点、左下坡口特征点、右下坡口特征点以及右上坡口特征点之后，可以获取四个特征点的坐标，然后，基于获取的坐标和第二预设公式进行计算，以的大焊缝中心线的坡口坐标。

具体地，焊缝中心线的坡口坐标可以包括上坡口中点坐标和下坡口中点坐标，以通过两个中点坐标表征该坡口坐标。

其中，第二预设公式的具体内容不受限制，可以根据实际应用需求进行选择。例如，在上述包括上坡口中点坐标和下坡口中点坐标的示例中，第二预设公式可以包括：

其中，上坡口中点坐标为(x1，y1)，下坡口中点坐标为(x2，y2)，左上坡口特征点坐标为(xa,ya)，左下坡口特征点坐标为(xb,yb)，右下坡口特征点坐标为(xc,yc)，右上坡口特征点坐标为(xd,yd)。

也就是说，上坡口中点就是左上坡口特征点与右上坡口特征点连线上的中点(如图6所示的e点)，下坡口中点就是左下坡口特征点与右下坡口特征点连线上的中点(如图6所示的f点)。

结合图7，本申请实施例还提供另一种可应用于上述电子设备10的图像处理方法。其中，所述图像处理方法有关的流程所定义的方法步骤可以由所述电子设备10实现。下面将对图7所示的具体流程进行详细阐述。

步骤s210，获取待处理的焊缝图像中的焊缝中心线。

步骤s230，基于斜率法在所述焊缝中心线上确定多个焊缝特征点。

步骤s250，根据所述多个焊缝特征点按照第三预设公式计算所述焊缝中心线的下坡口长度、上坡口长度以及打底到上坡口的长度。

需要说明的是，步骤s210和步骤s230的具体内容可以参照步骤s110和步骤s130，具体的处理方式相同。存在不同的是，待处理的焊缝图像不同。

其中，步骤s110中的焊缝图像是还未经过焊接处理的焊缝图像，步骤s210中的焊缝图像是指基于步骤s150获取的坡口坐标进行焊接后的焊缝图像。因此，步骤s250计算得到的焊缝中心线的下坡口长度、上坡口长度以及打底到上坡口的长度，用于在前述焊接的基础上进行相应的盖面焊接。

可选地，第三预设公式的具体内容不受限制，可以根据实际应用需求进行选择。例如，在一种示例中，在执行步骤s250时，可以根据确定的多个焊缝特征点得到对应的左上坡口特征点、左下坡口特征点、右下坡口特征点以及右上坡口特征点。然后，基于四个特征点的坐标按照第三预设公式进行计算，此时，第三预设公式可以包括：

l1＝yb-yc；

l2＝ya-yd；

其中，l1为下坡口长度，l2为上坡口长度，h1为打底到上坡口的长度，左上坡口特征点坐标为(xa,ya)，左下坡口特征点坐标为(xb,yb)，右下坡口特征点坐标为(xc,yc)，右上坡口特征点坐标为(xd,yd)。

结合图8，本申请实施例还提供一种可应用于上述电子设备10的图像处理装置100。其中，所述图像处理装置100可以包括中心线获取模块110、特征点确定模块130和坡口坐标计算模块150。

所述中心线获取模块110，用于获取待处理的焊缝图像中的焊缝中心线。在本实施例中，所述中心线获取模块110可用于执行图2所示的步骤s110，关于所述中心线获取模块110的相关内容可以参照前文对步骤s110的描述。

所述特征点确定模块130，用于基于斜率法在所述焊缝中心线上确定多个焊缝特征点。在本实施例中，所述特征点确定模块130可用于执行图2所示的步骤s130，关于所述特征点确定模块130的相关内容可以参照前文对步骤s130的描述。

所述坡口坐标计算模块150，用于根据所述多个焊缝特征点计算得到所述焊缝中心线的坡口坐标。在本实施例中，所述坡口坐标计算模块150可用于执行图2所示的步骤s150，关于所述坡口坐标计算模块150的相关内容可以参照前文对步骤s150的描述。

结合图9，在本实施例中，所述特征点确定模块130可以包括斜率差计算子模块131和特征点确定子模块133。

所述斜率差计算子模块131，用于针对所述焊缝中心线上的每一个像素点，根据第一预设公式计算该像素点对应的第一斜率和第二斜率的斜率差，其中，所述第一斜率为该像素点与相邻的前一个像素点连线的斜率，所述第二斜率为该像素点与相邻的后一个像素点连线的斜率。在本实施例中，所述斜率差计算子模块131可用于执行图4所示的步骤s131，关于所述斜率差计算子模块131的相关内容可以参照前文对步骤s131的描述。

所述特征点确定子模块133，用于针对每一个斜率差满足预设条件的像素点，将该像素点对应的位置确定为所述焊缝中心线上的一个焊缝特征点，以得到多个焊缝特征点。在本实施例中，所述特征点确定子模块133可用于执行图4所示的步骤s133，关于所述特征点确定子模块133的相关内容可以参照前文对步骤s133的描述。

综上所述，本申请提供的图像处理方法和图像处理装置100，通过采用斜率法在焊缝中心线上确定多个焊缝特征点，以使基于该多个焊缝特征点计算得到的坐标具有较高的精度，使得在基于该坐标对焊接进行控制时能够保证具有较高的焊接效果，避免由于对焊缝特征点确定不准确而导致出现焊接稳定性差的问题，具有极高的实用价值。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。