物体分选系统的图像处理方法、装置及物体分选系统与流程

[0001]
本发明涉及数据处理技术领域，具体涉及一种物体分选系统的图像处理方法、装置及物体分选系统。


背景技术：

[0002]
在煤炭生产过程中，原煤中不可避免的混有煤矸石。由于煤矸石的发热值低，与煤混在一起会降低煤炭的发热量，也是污染源之一，因此将煤矸石从煤炭中分拣出来是提高煤炭质量、清洁利用的一个必不可少的处理流程。目前基于信息传感、人工智能、视频监控等技术对原煤的洗选过程进行自动化、少人化操控是智能洗选系统的发展方向，因而亟需一种煤矸石分选系统对煤矸石自动识别并分选，大幅提高选矸石质量和分选效率，具有很好的社会效益和经济效益。


技术实现要素：

[0003]
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何提高物体如煤矸石分选效率与准确性的技术问题的物体分选系统的图像处理方法、装置及物体分选系统。
[0004]
第一方面，提供一种物体分选系统的图像处理方法，所述系统包括传送装置、图像获取/处理装置和物体抓取控制装置，所述物体抓取控制装置包括机器人和机器人控制器；
[0005]
所述图像获取/处理装置被配置成获取在图像检测区域内所述传送装置的传送区域的传送图像，对所述传送图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体；若存在，则根据所述传送图像获取所述目标物体在相机坐标系下的第一位置并且将所述第一位置发送至所述物体抓取控制装置；
[0006]
所述机器人控制器被配置成将所述第一位置转换成相应机器人坐标系下的第二位置，根据所述第二位置与所述传送装置的传送速度生成所述目标物体的抓取轨迹并且根据所述抓取轨迹控制所述机器人执行相应的抓取动作，以对所述目标物体进行抓取；
[0007]
所述图像处理方法包括：
[0008]
对所述传送图像进行图像分割处理得到所述传送图像中的背景区域与物体识别区域，获取所述物体识别区域对应的局部图像；
[0009]
利用质心算法获取所述局部图像中物体的质心位置；
[0010]
以所述质心位置的像素点为参考点，分别获取倾角是0
°
、45
°
、90
°
和135
°
时的灰度共生矩阵，根据所述灰度共生矩阵获取每个预设的特征参数各自对应的特征值；
[0011]
根据所述每个灰度共生矩阵各自对应的每个预设的特征参数的特征值计算所述每个预设的特征参数各自对应的特征均值，以及将所述每个预设的特征参数各自对应的特征均值设定为所述局部图像的纹理特征，以便于所述图像获取/处理装置能够根据所述纹理特征进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体。
[0012]
在上述图像处理方法的一个技术方案中，“根据所述灰度共生矩阵获取每个预设
的特征参数各自对应的特征值”的步骤具体包括：
[0013]
根据每个灰度共生矩阵分别获取对比度参数、相关性参数、能量参数和同质性参数各自对应的特征值；
[0014]
分别对每个灰度共生矩阵各自对应的特征值进行归一化处理。
[0015]
在上述图像处理方法的一个技术方案中，“对所述传送图像进行图像分割处理得到所述传送图像中的背景区域与物体识别区域，获取所述物体识别区域对应的局部图像”的步骤具体包括：
[0016]
获取预先构建的所述传送图像的背景图像帧以及所述图像获取/处理装置当前采集到的所述传送图像的实时图像帧；
[0017]
对所述背景图像帧与所述实时图像帧进行差分处理，得到所述传送图像的差分图像；
[0018]
利用otsu算法对所述传送图像中roi区域对应的差分图像区域进行阈值处理，得到对所述差分图像进行图像分割的第一灰度值分割阈值；
[0019]
根据所述第一灰度值分割阈值对所述差分图像进行图像分割处理，得到所述差分图像中的背景区域与物体识别区域，获取所述传送图像中与所述物体识别区域对应的局部图像。
[0020]
在上述图像处理方法的一个技术方案中，“根据所述第一灰度值分割阈值对所述差分图像进行图像分割处理，得到所述差分图像中的背景区域与物体识别区域”的步骤具体包括：
[0021]
根据所述第一灰度值分割阈值以及所述差分图像内每个像素各自对应的灰度值进行二值化处理，得到背景灰度值区域与物体识别灰度值区域；所述背景灰度值区域内每个像素各自对应的灰度值均小于等于所述第一灰度值分割阈值，所述物体识别灰度值区域内每个像素各自对应的灰度值均大于所述第一灰度值分割阈值；
[0022]
对所述物体识别灰度值区域进行形态学图像处理，随后利用邻域法对形态学图像处理结果进行连通性分析，根据连通性分析结果获取所述物体识别区域。
[0023]
在上述图像处理方法的一个技术方案中，所述图像处理方法还包括根据所述图像获取/处理装置获取的传送图像对所述物体分选系统进行系统坐标标定，具体包括：
[0024]
根据所述图像获取/处理装置建立相机坐标系，根据所述物体抓取控制装置建立机器人坐标系，以在所述图像获取/处理装置的相机视野中所述传送装置的传送区域所在的平面为xy平面坐标，建立传送装置三维坐标系；
[0025]
获取在所述传送装置对测试物体进行传送的过程中，所述物体抓取控制装置抓取测试物体时所述机器人在所述机器人坐标系下的机器人位置，以及获取在所述传送装置对测试物体进行传送的过程中所述传送装置三维坐标系的原点位置，根据所述机器人位置与所述原点位置，获取所述传送装置三维坐标系与所述机器人坐标系的第一转换矩阵；
[0026]
根据所述图像获取/处理装置获取的包含有测试物体的传送图像，获取所述测试物体在所述相机坐标系下的测试物体位置；获取在所述物体抓取控制装置抓取所述测试物体的过程中所述机器人接触到所述测试物体时所述机器人的第一机器人抓取位置；
[0027]
根据所述测试物体位置、所述第一机器人抓取位置以及所述第一转换矩阵，获取所述相机坐标系与所述传送装置三维坐标系的第二转换矩阵，以便于所述物体抓取控制装
置能够根据所述第一转换矩阵与所述第二转换矩阵将所述目标物体的第一位置转换成相应的第二位置，进而根据所述第二位置执行相应的抓取操作。
[0028]
在上述图像处理方法的一个技术方案中，所述第一转换矩阵如下式所示：
[0029]
其中，所述表示所述第一转换矩阵，所述表示在所述传送装置移动距离δl1后的传送装置三维坐标系与机器人坐标系之间的转换矩阵，所述表示在所述传送装置移动距离δl1前后的两个传送装置三维坐标系之间的转换矩阵；
[0030]
所述转换矩阵
[0031]
所述移动距离δl1＝(v
′
e3-v
e3
)factor
c
，所述v
e3
和v
′
e3
分别是所述传送装置移动距离δl1前后的起始位置和末端位置，所述factor
c
是传送装置比例因子，x1、y1、z1分别是将第一测试物体由初始位置移动到第一抓取位置之后抓取所述第一测试物体的过程中所述机器人接触到所述第一测试物体时所述机器人的第二机器人抓取位置中的x轴、y轴和z轴的坐标，所述v
e1
是所述第一测试物体由初始位置移动到第一抓取位置之后所述传送装置的位移；x2、y2、z2分别是将所述第一测试物体由所述第一抓取位置移动到第二抓取位置之后抓取所述第一测试物体的过程中所述机器人接触到所述第一测试物体时所述机器人的第三机器人抓取位置中的x轴、y轴和z轴的坐标，所述v
e2
是所述第一测试物体由所述第一抓取位置移动到所述第二抓取位置之后所述传送装置的位移；
[0032]
所述转换矩阵所述是将第二测试物体由初始位置移动到第三抓取位置之后抓取所述第二测试物体的过程中所述机器人接触到所述第二测试物体时所述机器人的第四机器人抓取位置，所述是在所述传送装置移动过程中所述传送装置三维坐标系的原点位置。
[0033]
在上述图像处理方法的一个技术方案中，所述第二转换矩阵如下式所示：
[0034]
其中，所述表示所述第二转换矩阵，所述是在所述物体抓取控制装置在抓取第三测试物体的过程中所述机器人接触到所述第三测试物体的第i个目标点时所述机器
人的第一机器人抓取位置，所述是根据所述图像获取/处理装置获取的包含有所述第三测试物体的传送图像，获取到的所述第三测试物体的第i个目标点在所述相机坐标系下的测试物体位置，i＝1,2,3,4。
[0035]
第二方面，提供一种存储装置，其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述图像处理方法的技术方案中任一项所述的物体分选系统的图像处理方法。
[0036]
第三方面，提供一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述图像处理方法的技术方案中任一项所述的物体分选系统的图像处理方法。
[0037]
第四方面，提供一种物体分选系统，所述系统包括传送装置、图像获取/处理装置、物体抓取控制装置以及上述控制装置技术方案，所述物体抓取控制装置包括机器人和机器人控制器；
[0038]
所述图像获取/处理装置被配置成获取在图像检测区域内所述传送装置的传送区域的传送图像，对所述传送图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体；若存在，则根据所述传送图像获取所述目标物体在相机坐标系下的第一位置并且将所述第一位置发送至所述物体抓取控制装置；
[0039]
所述机器人控制器被配置成将所述第一位置转换成相应机器人坐标系下的第二位置，根据所述第二位置与所述传送装置的传送速度生成所述目标物体的抓取轨迹并且根据所述抓取轨迹控制所述机器人执行相应的抓取动作，以对所述目标物体进行抓取。
[0040]
在上述系统的一个技术方案中，所述图像获取/处理装置包括ccd相机；所述机器人包括并联机器人，所述机器人控制器包括kemotion控制器。
[0041]
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0042]
在实施本发明的技术方案中，主要是通过包含有传送装置、图像获取/处理装置以及物体抓取控制装置的物体分选系统进行物体抓取以实现物体分选。图像获取/处理装置能够对传送装置的传送区域(例如：传送带)进行图像采集与识别以判断是否存在目标物体，物体抓取控制装置能够根据图像获取/处理装置的图像识别结果对目标物体进行抓取。其中，物体抓取控制装置可以包括机器人和机器人控制器。通过图像分割处理获取图像中物体识别区域的局部图像、以局部图像中物体的质心位置为参考点分别获取多个不同倾角的灰度共生矩阵、根据每个灰度共生矩阵各自对应的每个预设的特征参数的特征值计算每个预设的特征参数各自对应的特征均值，以及将上述特征均值设定为局部图像的纹理特征，以便于系统能够根据纹理特征进行物体识别，以提高物体分选系统抓取物体时的抓取精度，进而提高物体分选系统的分选效率与准确性。
[0043]
进一步，由于机器人的理想结构参数与实际结构参数通常存在偏差并且在系统安装过程中传送带移动方向与机器人坐标系的x轴，以及传送带与机器人坐标系的z轴垂直方向通常会存在角度偏差，而这些偏差都会影响机器人对目标物体的抓取精度。对此，本发明通过对传送装置、机器人和图像获取/处理装置中的图像采集装置如相机进行坐标标定，以使分选系统在将目标物体在相机坐标系下的第一位置转换到机器人坐标系下的第二位置之后，可以根据第二位置生成准确的物体抓取轨迹，完成目标物体抓取。具体而言，通过控制物体分选系统对测试物体进行抓取测试，根据测试结果获取传送装置三维坐标系与机器
人坐标系的第一转换矩阵，以及相机坐标系与传送装置三维坐标系的第二转换矩阵，从而能够根据第一转换矩阵与第二转换矩阵将测试物体在相机坐标系下的第一位置准确地转换到机器人坐标系下的第二位置，以进一步提高物体分选系统的抓取精度。
附图说明
[0044]
下面参照附图来描述本发明的具体实施方式，附图中：
[0045]
图1是根据本发明的一个实施例的物体分选系统的应用场景示意图；
[0046]
图2是根据本发明的一个实施例的物体分选系统的图像处理方法的主要步骤流程示意图；
[0047]
图3是根据本发明的一个实施例的纹理特征示意图；
[0048]
图4是根据本发明的另一个实施例的物体分选系统的图像处理方法的主要步骤流程示意图；
[0049]
图5是根据本发明的一个实施例的传送图像中roi区域的示意图；
[0050]
图6a是根据本发明的一个实施例的传送图像的背景图像帧的示意图；
[0051]
图6b是根据本发明的一个实施例的图像获取/处理装置当前采集到的传送图像的实时图像帧的示意图；
[0052]
图6c是根据本发明的一个实施例的差分图像的示意图；
[0053]
图6d是根据本发明的一个实施例的利用第一灰度值分割阈值对差分图像进行图像分割处理后的图像示意图；
[0054]
图6e是根据本发明的一个实施例的对物体识别灰度值区域进行形态学图像处理后的图像示意图；
[0055]
图6f是根据本发明的一个实施例的对形态学图像处理结果进行连通性分析后得到的物体识别区域的图像示意图；
[0056]
图7是根据本发明的一个实施例的物体分选系统的标定方法的主要步骤流程示意图；
[0057]
图8是根据本发明的一个实施例中的物体分选系统中相机坐标系、机器人坐标系和传送装置三维坐标系的坐标系示意图；
[0058]
图9是根据本发明的一个实施例中的传送装置三维坐标系的矢量示意图；
[0059]
图10是根据本发明的一个实施例中的传送装置三维坐标系与机器人坐标系之间的转换示意图；
[0060]
附图标记说明：
[0061]
1：roi区域的矩形边框。
具体实施方式
[0062]
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
[0063]
在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方
式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“a和/或b”表示所有可能的a与b的组合，比如只是a、只是b或者a和b。术语“至少一个a或b”或者“a和b中的至少一个”含义与“a和/或b”类似，可以包括只是a、只是b或者a和b。单数形式的术语“一个”、“这个”也可以包含复数形式。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0064]
首先对根据本发明一个实施例的物体分选系统进行说明，在该系统实施例中物体分选系统主要包括传送装置、图像获取/处理装置和物体抓取控制装置，物体抓取控制装置主要包括机器人和机器人控制器。传送装置指的是能够承载物体并且对物体进行输送的装置。一个实施方式中，传送装置可以包括传送带和驱动机构，传送带用于承载物体，驱动机构用于驱动传送带移动以实现对传送带上的物体进行输送。图像获取/处理装置指的是能够对传送装置的传送区域(例如：传送带)进行图像采集与识别以判断传送区域内是否存在目标物体的装置，物体抓取控制装置指的是能够根据图像获取/处理装置的图像识别结果对目标物体进行抓取的装置。在本实施例的一个可选实施方案中，图像获取/处理装置能够覆盖或能够进行图像检测的图像检测区域，以及物体抓取控制装置能够覆盖或能够进行物体抓取的物体抓取区域可以是没有交叉重合区域的，也可以是存在一部分交叉重合区域的。
[0065]
一个实施方式中，图像获取/处理装置可以被配置成获取在图像检测区域内传送装置的传送区域的传送图像，对传送图像进行图像识别并且根据图像识别结果判断传送区域内是否存在目标物体；如果传送区域内存在目标物体，则根据该传送图像获取目标物体在相机坐标系下的第一位置并且将第一位置发送至物体抓取控制装置。物体抓取控制装置指可以包括机器人和机器人控制器，机器人控制器可以被配置成将图像获取/处理装置发送的第一位置转换成相应机器人坐标系下的第二位置，根据第二位置与传送装置的传送速度生成目标物体的抓取轨迹并且根据抓取轨迹控制机器人执行相应的抓取动作，以对目标物体进行抓取。在本实施例的一个可选实施方式中，图像获取/处理装置可以包括ccd相机(charge coupled device camera)，该ccd相机用于获取在其图像检测区域内传送装置的传送区域的传送图像。机器人包括但不限于：并联机器人(例如：delta并联机器人)，机器人控制器包括但不限于：kemotion控制器。要说明的是，虽然本实施例仅提供了ccd相机、并联机器人和kemotion控制器这些具体实施方式，但是本领域技术人员能够理解的是，本发明的保护范围并不局限于这些具体实施方式，本领域技术人员能够根据实际需求选择使用其他类型的图像采集装置、机器人和机器人控制器，这些技术手段的更改或替换，均应落入本发明的保护范围之内。
[0066]
参阅附图1，图1是物体分选系统的一个应用场景示意图。如图1所示，传送装置可以包括两个传送带，1号传送带用于传输煤炭和煤矸石的混合物料，2号传送带用于传输机器人从1号传送带上抓取到的煤矸石，1号传送带按照自机器人远端向机器人靠近的方向带动物体移动(自图1左侧向右侧移动的方向)。图像获取/处理装置中的相机(例如：ccd相机)设置在传送带的机器人远端的区域附近(图1所示传送带的左侧)，图像获取/处理装置根据相机采集到的煤炭和煤矸石的混合物料的图像进行煤矸石识别，如果识别到煤矸石，则将煤矸石的位置发送到机器人控制器，机器人控制器根据煤矸石的位置生成抓取轨迹，控制
机器人按照抓取轨迹将煤矸石从1号传送带抓取到2号传送带上，最终实现对煤矸石的分选。
[0067]
参阅附图2，图2是根据本发明的一个实施例的物体分选系统的图像处理方法，在本实施例中可以按照以下步骤s101-步骤s104对图像获取/处理装置采集到的传送图像进行图像处理，以便于图像获取/处理装置能够获取传送图像中与物体识别区域对应的局部图像的纹理特征、根据该纹理特征对局部图像进行图像识别并且根据图像识别结果判断传送区域内是否存在目标物体。其中，步骤s101-步骤s104具体如下。
[0068]
步骤s101：对传送图像进行图像分割处理得到传送图像中的背景区域与物体识别区域，获取物体识别区域对应的局部图像。
[0069]
在本实施例中可以按照附图4所示的步骤s1011-步骤s1014对图像获取/处理装置采集到的传送图像进行图像处理，以便于图像获取/处理装置能够获取传送图像中与物体识别区域对应的局部图像。
[0070]
步骤s1011：获取预先构建的传送图像的背景图像帧以及图像获取/处理装置当前采集到的传送图像的实时图像帧。
[0071]
参阅附图6a和附图6b，附图6a与附图6b分别示出了本实施例中一个实施方式的背景图像帧与实时图像帧。在本实施例中可以采用图像处理技术领域中常规的背景图像建模方法构建传送图像的背景图像帧，为了描述简洁，在此不再赘述。
[0072]
步骤s1012：对背景图像帧与实时图像帧进行差分处理，得到传送图像的差分图像。
[0073]
参阅附图6c，附图6c示出了对上述实施方式中附图6a所示的背景图像帧以及附图6b所示的实时图像帧进行差分处理，得到传送图像的差分图像。其中，差分图像中每个像素点的像素值如下式(1)所示：d
n
(x,y)＝|f
n
(x,y)-a(x,y)|
ꢀꢀꢀ
(1)
[0074]
公式(1)中各参数含义是：
[0075]
d
n
(x,y)表示在第n个实时图像帧f
n
与背景图像帧a的差分图像d
n
中像素点(x,y)的像素值，f
n
(x,y)表示在第n个实时图像帧f
n
中像素点(x,y)的像素值，a(x,y)表示在背景图像帧a中像素点(x,y)的像素值。
[0076]
步骤s1013：利用otsu算法对传送图像中roi区域对应的差分图像区域进行阈值处理，得到对差分图像进行图像分割的第一灰度值分割阈值。
[0077]
otsu算法(大津算法或最大类间方差法)是图像处理技术领域中常规的阈值分割算法，该算法不仅操作简单，而且鲁棒性好，不受图像亮度和对比度影响，因此算法稳定性高且效果好。为了描述简洁，在此不再对otsu算法的具体计算原理进行说明。
[0078]
roi(region of interest)区域指的是图像处理技术领域中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域(感兴趣区域)。图像获取/处理装置采集到的传送图像中包含有复杂的背景部分，而此背景区域属于图像分割过程中需要去除的部分。同时，由于传送图像中相机和传送带背景的位置都是固定不变的，因此可以在图像检测区域中选取指定处理区域，该区域属于需要进行图像处理的工作区域(如图5中矩形边框1所示出的roi区域)。选择该区域能够避免复杂背景带来的干扰，提高了后期图像分割效率。而本实施例中可以采用常规的roi区域获取方法来获取传送图像中的roi区域，为
了描述简洁，在此不再对roi区域的获取方法进行赘述。
[0079]
步骤s1014：根据第一灰度值分割阈值对差分图像进行图像分割处理，得到差分图像中的背景区域与物体识别区域，以便于图像获取/处理装置能够获取传送图像中与物体识别区域对应的局部图像、对局部图像进行图像识别并且根据图像识别结果判断传送区域内是否存在目标物体，即通过图像分割处理去除传送图像中的背景部分，获取物体所在的局部图像。参阅附图6d，附图6d示出了对上述实施方式中附图6c所示的差分图像进行图像分割处理后的图像。其中，图像中的白色区域表示背景区域与物体识别区域。
[0080]
具体而言，在本实施例中可以按照以下步骤11-步骤12获取差分图像中的背景区域与物体识别区域：
[0081]
步骤11：根据第一灰度值分割阈值以及差分图像内每个像素各自对应的灰度值进行二值化处理，得到背景灰度值区域与物体识别灰度值区域。参阅附图6e，附图6e示出了对上述实施方式中附图6c所示的差分图像进行二值化处理后的图像。其中，图像中的白色区域表示背景灰度值区域与物体识别灰度值区域。
[0082]
在本实施例中背景灰度值区域内每个像素各自对应的灰度值均小于等于第一灰度值分割阈值，物体识别灰度值区域内每个像素各自对应的灰度值均大于第一灰度值分割阈值。
[0083]
步骤12：对物体识别灰度值区域进行形态学图像处理，随后利用邻域法对形态学图像处理结果进行连通性分析，根据连通性分析结果获取物体识别区域。参阅附图6f，附图6f示出了对上述实施方式中物体识别灰度值区域依次进行形态学图像处理与连通性分析后，得到的物体识别区域(图6f中两个封闭曲线所示的区域)。
[0084]
在实际应用中，物体(例如煤炭与煤矸石的混合物料)在传送带运输过程中由于物理碰撞造成物体的碎块会随着传送带一起进入图像检测区域。细小的碎块由于与物体具有相同的灰度特征，因此仅通过图像滤波(例如：采用自适应阈值滤波算法对图像进行滤波，以去除图像噪声)无法将这些碎块有效的分割。这些碎块会影响后续的图像特征提取等图像处理的准确性，从而进一步影响图像识别的准确性。而在本实施例中可以通过对物体识别灰度值区域进行形态学图像处理，有效去除物体轮廓周边的粉尘碎块的影响，以准确进行图像分割。
[0085]
在本实施例中可以采用图像处理技术领域中常规的形态学图像处理算法对物体识别灰度值区域进行形态学图像处理。例如：利用设定的模板来对物体识别灰度值区域进行相应的形态学代数运算，常用的四个基本的形态学运算有：膨胀(或扩张)、腐蚀(或侵蚀)、开启和闭合。同时在这些运算的基础上，进一步推导和相互组合衍生出各种其他有效的算法，例如开运算、闭运算。为了描述简洁，在此不再对上述对物体识别灰度值区域进行形态学图像处理的具体过程进行赘述。
[0086]
连通性分析指的是对图像中两个像素是否连通进行分析，具体包括利用邻域法分析两个像素的位置是否相邻，以及分析两个相邻的像素的灰度值是否满足特定的相似性约束条件或者相等，如果两个相邻的像素的灰度值满足特定的相似性约束条件或者相等，则判定这两个相邻的像素是连通的。根据连通性分析结果，获取相互连通的像素集合，就可以得到物体识别区域，即物体识别区域内每个像素之间的都是相互连通的。而在本实施例中可以采用常规的邻域法(例如：4邻域算法等)分析图像中的两个像素的位置是否相邻。为了
描述简洁，在此不再对上述利用邻域法分析两个像素的位置是否相邻的具体过程进行赘述。
[0087]
当目标物体是煤炭与煤矸石混合物料中的煤矸石时，煤中镜质体(微观层面中的玻璃成分)在光照下由于反光呈现的灰度值要偏高，而煤矸石中沾有煤粉的区域灰度值比未沾煤粉的区域灰度值要低很多。一个实施方式中，为了准确获取传送图像中的灰度特征，以便于区分煤炭与煤矸石，图1所示的图像获取/处理装置被配置成按照以下操作获取局部图像的灰度特征，以根据灰度特征进行图像识别，判断传送区域内是否存在目标物体(煤矸石)：
[0088]
步骤21：对传送图像中与物体识别区域(步骤s1014获取到的物体识别区域)对应的局部图像进行直方图均衡化处理，以扩展局部图像的灰度级数，即将局部图像的灰度级数从原来的基础上扩充至0～256，以增强图像对比度。在本实施例中可以采用图像处理技术领域中常规的直方图均衡化处理来对局部图像进行直方图均衡化处理，为了描述简洁，在此不再赘述。
[0089]
步骤22：利用otsu算法对经直方图均衡化处理后的局部图像进行阈值处理，得到对局部图像进行图像分割的第二灰度值分割阈值。其中，otsu算法与前述方法实施例描述的otsu算法相同，为了描述简洁，在此不再赘述。
[0090]
步骤23：根据第二灰度值分割阈值以及局部图像内每个像素各自对应的灰度值进行二值化处理，根据二值化处理结果判断是否存在煤矸石裸露区域。其中，煤矸石裸露区域内每个像素各自对应的灰度值均大于第二灰度值分割阈值。
[0091]
如果存在煤矸石裸露区域，则获取局部图像中与煤矸石裸露区域对应的区域图像、获取这个区域图像中每个子区域各自对应的每项灰度特征的灰度特征值、根据每个子区域各自对应的每项灰度特征的灰度特征值计算每项灰度特征各自对应的灰度特征均值，以及将每项灰度特征各自对应的灰度特征均值设定为这个局部图像的灰度特征。
[0092]
基于直方图均衡化后筛选阈值分割得到的局部图像中煤炭的灰度均值整体降低，煤矸石的灰度均值整体提高且灰度特征值变化范围显著降低，从而使得煤炭与煤矸石的灰度特征重合区间显著降低，差异性逐渐增大，呈现出较好的可分性。一个实施方式中，可以先对图像进行滤波处理以有效减轻煤中镜质体的干扰从而使得煤的灰度特征维持稳定，然后再执行上述步骤21-步骤23所描述的灰度特征获取步骤。
[0093]
步骤s102：利用质心算法获取局部图像中物体的质心位置。
[0094]
在本实施例中可以采用图像处理技术领域中常规的物体图像中物体的质心获取算法来获取局部图像中物体的质心位置，为了描述简洁，在此不再赘述。
[0095]
步骤s103：以质心位置的像素点为参考点，分别获取倾角是0
°
、45
°
、90
°
和135
°
时的灰度共生矩阵，根据灰度共生矩阵获取每个预设的特征参数各自对应的特征值。
[0096]
在本实施例中，预设的特征参数包括但不限于：对比度(contrast)、相关性(correlation)、能量(energy)和同质性(homogeneity)。
[0097]
对比度(contrast)主要用来度量图像中局部变化情况，即图像的清晰度和纹理沟纹的深浅程度；对比度越大，说明沟纹越深，视觉效果越明显；对比度越小说明沟纹越浅，纹理越不明显。其中，对比度(contrast)的计算公式如下式(2)所示：
[0098]
公式(2)中各参数含义是：
[0099]
n表示对比度(contrast)，p(i,j,d,θ)表示灰度共生矩阵，p(i,j,d,θ)＝{[(x,y),(x+a,y+b)|f(x,y)＝i,f(x+a,y+b)＝j]}，i表示局部图像中位置坐标是(x,y)的像素点f(x,y)的灰度值，j表示局部图像中位置坐标(x+a,y+b)是的像素点f(x+a,y+b)的灰度值，a＝dcosθ，b＝sinθ，θ表示像素点f(x,y)与像素点f(x+a,y+b)之间的倾角，d表示像素点f(x,y)与像素点f(x+a,y+b)之间的间隔距离，l表示局部图像的最高灰度级数。
[0100]
相关性(correlation)主要反映的是图像中某一个像素点与其相邻像素(行或者列方向上)彼此关联程度，该值越大表明图像局部相关性也越大。其中，相关性(correlation)的计算公式如下式(3)所示：
[0101]
公式(3)中各参数含义是：
[0102]
r表示相关性(correlation)，p(i,j,d,θ)表示灰度共生矩阵(具体参数含义可参见公式(2)中的相关参数含义)，l表示局部图像的最高灰度级数，
[0103]
能量(energy)主要反映图像灰度变化的稳定程度，其值越大表示灰度分布越不稳定，纹理越粗糙。其中，能量(energy)的计算公式如下式(4)所示：
[0104]
公式(4)中各参数含义是：e表示能量(energy)，其余各参数含义分别与公式(2)中的各相关参数含义相同，为了描述简洁，在此不再赘述。
[0105]
同质性(homogeneity)主要反映灰度共生矩阵中元素分布与对角线元素的紧密程度，其值越大表明图像灰度分布越紧密，内容也就越复杂。
[0106]
公式(5)中各参数含义是：h表示同质性(homogeneity)，其余各参数含义分别与公式(2)中的各相关参数含义相同，为了描述简洁，在此不再赘述。
[0107]
在步骤s103的一个实施方式中，可以按照以下步骤获取每个预设的特征参数各自对应的特征值：
[0108]
步骤31：根据每个灰度共生矩阵分别获取对比度参数、相关性参数、能量参数和同质性参数各自对应的特征值。其中，对比度参数、相关性参数、能量参数和同质性参数分别与前述对比度、相关性、能量和同质性的含义相同。
[0109]
步骤32：分别对每个灰度共生矩阵各自对应的特征值进行归一化处理。一个例子：通过归一化处理，将每个灰度共生矩阵各自对应的特征值变换成0-1之间的数值。
[0110]
步骤s104：根据每个灰度共生矩阵各自对应的每个预设的特征参数的特征值计算每个预设的特征参数各自对应的特征均值，以及将每个预设的特征参数各自对应的特征均值设定为局部图像的纹理特征，以便于图像获取/处理装置能够根据纹理特征进行图像识别并且根据图像识别结果判断传送区域内是否存在目标物体。
[0111]
由前述灰度共生矩阵p(i,j,d,θ)的计算公式可知，灰度共生矩阵分别与间隔距离d和角度方向θ有关，因此取不同的角度方向θ会产生不同的灰度共生矩阵，进而也会对基于灰度共生矩阵求取的纹理特征参数值造成影响。由于煤炭与煤矸石在传送带上摆放的位置具有随机性，因此为了解决方向因素带来的影响，根据灰度共生矩阵对称结构特性，本发明实施例分别获取倾角是0
°
、45
°
、90
°
和135
°
时的灰度共生矩阵，根据灰度共生矩阵获取每个预设的特征参数各自对应的特征值，最后利用四个方向上得到的特征值的平均值作为最终的纹理特征。
[0112]
参阅附图3，图3示例性示出了本发明的一个实施例中利用上述步骤s101-步骤s104所示的方法获取到的局部图像的纹理特征示意图。如图3所示，局部图像的纹理特征具有较好的差异性，其中对比度和熵的特征值重合区域较少，表现出较强的可分性。一个实施方式中，可以仅采用对比度与熵作为纹理特征进行图像识别，也可以同时选取对比度、相关性、熵和能量这个四个参数作为纹理特征进行图像识别。
[0113]
由于机器人的理想结构参数与实际结构参数通常存在偏差并且在系统安装过程中传送带移动方向与机器人坐标系的x轴，以及传送带与机器人坐标系的z轴垂直方向通常会存在角度偏差，而这些偏差都会影响机器人对目标物体的抓取精度。为了避免上述偏差对机器人抓取精度的影响，可以对传送装置、机器人和图像获取/处理装置中的图像采集装置如相机进行坐标标定，以使分选系统在将目标物体在相机坐标系下的第一位置转换到机器人坐标系下的第二位置之后，可以根据第二位置生成准确地物体抓取轨迹，完成目标物体抓取。具体而言，在根据本发明的一个物体分选系统的标定方法的实施例中，可以按照图7所示的步骤s201-步骤s203对上述系统实施例所述的物体分选系统进行标定：
[0114]
步骤s201：建立相机坐标系、机器人坐标系和传送装置三维坐标系。具体而言，根据图像获取/处理装置建立相机坐标系，根据机器人建立机器人坐标系，以在图像获取/处理装置的相机视野中传送装置的传送区域所在的平面为xy平面坐标，建立传送装置三维坐标系。参阅附图8，根据图像获取/处理装置中的图像获取装置如相机建立相机坐标系v(图8中x
v
,y
v
,z
v
所属的坐标系)，根据机器人建立机器人坐标系r(图8中x
r
,y
r
,z
r
所属的坐标系)，以图像获取/处理装置的相机视野中传送装置的传送区域所在的平面为xy平面坐标，建立传送装置三维坐标系c(图8中x
c
,y
c
,z
c
所属的坐标系)。
[0115]
步骤s202：获取传送装置三维坐标系与机器人坐标系的第一转换矩阵。
[0116]
在传送装置移动过程中(传送装置驱动传送带移动以实现对传送带上的物体进行输送)，传送装置三维坐标系是动态变化的，即传送装置三维坐标系的原点是随着传送装置移动而移动变化的。参阅附图8，在当前图8所示的传送装置状态下，传送装置三维坐标系c的原点位于传送装置的左侧，在传送装置自左向右移动时该原点也是随着传送装置的移动不断向右移动的。因而，为了准确获取传送装置三维坐标系与机器人坐标系的第一转换矩阵，需要获取传送装置移动过程传送装置三维坐标系的原点位置，进而根据该原点位置获取第一转换矩阵。具体而言，在本实施例中可以按照以下步骤获取第一转换矩阵：获取在传送装置对测试物体进行传送的过程中，物体抓取控制装置抓取测试物体时机器人在机器人坐标系下的机器人位置，以及获取在传送装置对测试物体进行传输的过程中传送装置三维坐标系的原点位置，根据上述机器人位置与原点位置，获取传送装置三维坐标系与机器人坐标系的第一转换矩阵。
[0117]
一个实施方式中，可以按照下式(6)所示的方法获取传送装置三维坐标系与机器人坐标系的第一转换矩阵：
[0118]
公式(6)中各参数含义是：
[0119]
参阅附图10，图10示例性示出了传送装置三维坐标系与机器人坐标系之间的转换示意图。其中，c
′
表示传送装置静止时传送装置三维坐标系，c表示传送装置移动距离δl1后的传送装置三维坐标系，r表示机器人坐标系。如图10所示，表示在传送装置移动距离δl1后的传送装置三维坐标系与机器人坐标系之间的转换矩阵，表示在传送装置移动距离δl1前后的两个传送装置三维坐标系之间的转换矩阵，表示传送装置三维坐标系与机器人坐标系的第一转换矩阵。
[0120]
移动距离δl1＝(v
′
e3-v
e3
)factor
c
，v
e3
和v
′
e3
分别是传送装置移动距离δl1前后的起始位置和末端位置，factor
c
是传送装置比例因子，x1、y1、z1分别是将第一测试物体由初始位置移动到第一抓取位置之后抓取第一测试物体的过程中机器人接触到第一测试物体时机器人的第二机器人抓取位置中的x轴、y轴和z轴的坐标，v
e1
是第一测试物体由初始位置移动到第一抓取位置之后传送装置的位移；x2、y2、z2分别是将第一测试物体由第一抓取位置移动到第二抓取位置之后抓取第一测试物体的过程中机器人接触到第一测试物体时机器人的第三机器人抓取位置中的x轴、y轴和z轴的坐标，v
e2
是第一测试物体由第一抓取位置移动到第二抓取位置之后传送装置的位移。
[0121]
转换矩阵如下式(7)所示：
[0122]
转换矩阵如下式(8)所示：
[0123]
公式(8)中各参数含义是：和分别是传送装置三维坐标系c的x、y和z轴方向的矢量分量。参阅附图9，图9示例性示出了本实施例中传送装置坐标的矢量图，是将第二测试物体由初始位置移动到第三抓取位置之后抓取第二测试物体的过程中机器人接触到第二测试物体时机器人的第四机器人抓取位置，是在传送装置移动过程中传送装置三维坐标系的原点位置(原点的动态位置)，根据图9所示的矢量图并且结合
和可以得到和的计算公式如下式(9)所示：
[0124]
公式(9)中的
“”
表示先对向量与向量作差，再计算作差得到的x、y和z轴方向的矢量分量的平方和，最后对平方和进行开根号运算；
“”
表示先对向量与向量作差，再计算作差得到的x、y和z轴方向的矢量分量的平方和，最后对平方和进行开根号运算。
[0125]
步骤s203：获取相机坐标系与传送装置三维坐标系的第二转换矩阵，以便于物体抓取控制装置能够根据第一转换矩阵与第二转换矩阵抓取目标物体。具体而言，可以按照以下步骤获取相机坐标系与传送装置三维坐标系的第二转换矩阵：
[0126]
步骤41：根据图像获取/处理装置获取的包含有测试物体的传送图像，获取测试物体在相机坐标系下的测试物体位置(利用图像获取装置如相机得到的测试物体位置)；获取在物体抓取控制装置抓取测试物体的过程中机器人接触到测试物体时机器人的第一机器人抓取位置(利用机器人得到的测试物体位置)。
[0127]
步骤42：根据测试物体位置、第一机器人抓取位置以及第一转换矩阵，获取相机坐标系与传送装置三维坐标系的第二转换矩阵，以便于物体抓取控制装置能够根据第一转换矩阵与第二转换矩阵将目标物体的第一位置转换成相应的第二位置，进而根据第二位置执行相应的抓取操作。
[0128]
一个实施方式中，可以按照下式(10)所示的方法获取第二转换矩阵：
[0129]
公式(10)中各参数含义是：
[0130]
表示第二转换矩阵，是在物体抓取控制装置在抓取第三测试物体的过程中机器人接触到第三测试物体的第i个目标点时机器人的第一机器人抓取位置，是根据图像获取/处理装置获取的包含有第三测试物体的传送图像，获取到的第三测试物体的第i个目标点在相机坐标系下的测试物体位置，i＝1,2,3,4。和的计算方法分别如公式(6)和(7)所示。
[0131]
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
[0132]
下面结合表1对在利用本发明一个实施例的物体分选系统的标定方法以及传统的
标定方法对图1所示的物体分选系统进行标定之后机器人的抓取位置偏差进行比较说明。表1
[0133]
在表1中，移动次序表示控制物体分选系统中的传送装置对测试物体进行5次等距离输送时每次等距离输送的序号，位置坐标1指的是利用本发明的标定方法标定的物体分选系统对测试物体进行一次等距离输送时该系统得到的用于生成抓取轨迹的第二位置(由测试物体在相机坐标系下的第一位置转换成的在机器人坐标系下的第二位置)，位置坐标2指的是利用传统标定方法标定的物体分选系统对测试物体进行一次等距离输送时该系统得到的用于生成抓取轨迹的第二位置，偏差1指的是根据本发明的标定方法标定的物体分选系统的机器人抓取位置偏差，偏差2指的是根据传统标定方法标定的物体分选系统的机器人抓取位置偏差。
[0134]
根据表1可知，根据本发明的标定方法标定的物体分选系统的机器人抓取位置偏差(偏差1)显著小于根据传统标定方法标定的物体分选系统的机器人抓取位置偏差(偏差2)。特别是，本发明的标定方法的最大累计偏差(3.448)远远小于传统标定方法的最大累计偏差(14.480)。由此可知，本发明提供的物体分选系统的标定方法不仅操作简单，易于实施，还能够显著提高物体分选系统进行物体抓取时的抓取精度。
[0135]
进一步，本发明还提供了一种存储装置。在根据本发明的一个存储装置实施例中，存储装置可以被配置成存储执行上述方法实施例的物体分选系统的图像处理方法的程序，该程序可以由处理器加载并运行以实现上述物体分选系统的标定方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该存储装置可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中存储是非暂时性的计算机可读存储介质。
[0136]
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的物体分选系统的图像处理方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的物体分选系统的标定方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
[0137]
进一步，本发明还提供了一种物体分选系统。在根据本发明的一个物体分选系统实施例中，该物体分选系统可以包括传送装置、图像获取/处理装置、物体抓取控制装置以
及上述标定装置实施例所述的标定装置，物体抓取控制装置包括机器人和机器人控制器。图像获取/处理装置可以被配置成获取在图像检测区域内传送装置的传送区域的传送图像，对传送图像进行图像识别并且根据图像识别结果判断是否存在目标物体；若存在，则获取目标物体在相机坐标系下的第一位置并且将第一位置发送至物体抓取控制装置。机器人控制器可以被配置成将第一位置转换成相应机器人坐标系下的第二位置，根据第二位置与传送装置的传送速度生成目标物体的抓取轨迹并且根据抓取轨迹控制机器人执行相应的抓取动作，以对目标物体进行抓取。一个实施方式中，传送装置、图像获取/处理装置、物体抓取控制装置与前述物体分选系统实施例中的传送装置、图像获取/处理装置、物体抓取控制装置相同，为了描述简洁，在此不再赘述。
[0138]
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0139]
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的系统的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
[0140]
本领域技术人员能够理解的是，可以对系统中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
[0141]
至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。