图像查找方法和装置与流程

1.本发明涉及机器视觉技术领域 ，尤其涉及基于二维特征点的相机自动标定算法。


背景技术：

2.由于机械加工误差、装配误差等因素的影响，选择顺应性装配机器手臂。机器人的实际臂长和理论臂长存在一定偏差，机器人的第一连杆和第二连杆也很难保证严格在一条直线上，从而造成零点偏移，这些因素都会影响机器人的绝对定位精度。参数标定是提高机器人绝对定位精度的重要方法。相机的标定是对其使用的第一步，也是必须的一步。现有的线阵相机标定需要制作特定的标定板，例如棋盘格形式的图案。现有技术如授权公告号为cn113459084a的中国发明专利申请，公开了一种机器人参数标定方法、装置、设备及存储介质。该方法包括：获取标定板上的至少三个标定点和机器人手臂的理论关节参数；获取机器人手臂末端所采集的标定板图像为目标图像时，机器人手臂末端的高度；控制所述机器人手臂末端在所述高度下依次移动至各所述标定点，并依次获取所述机器人手臂末端移动至各所述标定点时的第一坐标和所述机器人手臂的实际关节参数；根据所述实际关节参数、所述第一坐标和所述理论关节参数确定所述机器人手臂的关节参数补偿值，对机器人手臂的理论关节参数进行标定。


技术实现要素：

3.本发明的目的在于针对现有技术提供一种识别准确度高、可以自由采用多种标定板图案、节省人工、光线环境适应性好的图像查找方法，其包括，读取待查找图像示例并进行能降低强曝光和/或抖动造成不利影响的一致性优化处理，得到增强图像q；计算增强图像q的图像特征；根据图像特征数据库中的参考图像特征信息，计算增强图像q和参考图像特征信息之间的色调相似度，饱和度相似度和亮度相似度；将色调值相似度，饱和度值相似度和亮度相似度分别乘以相应的权重，求和生成相似度结果；最后，根据相似度结果确定两幅图像的相似度；如果确定为是，则输出与参考图像相对应的信息作为查找结果。通过从图像数据库中选择不同的参考图像并与输入图像进行比较，递归地执行上述图像搜索方法的步骤，直到产生正确的搜索结果。采用一致性优化降低曝光和抖动造成不利影响，能提高标定精度和速度，并且能赋予设备识别并比对带查找图像示例和数据库中的参考图像。
4.为了进一步优化技术方案，采取的优化措施还包括：所述的图像特征包括：色调不变矩、饱和度不变矩、亮度不变矩、与关键色调等级、关键饱和度等级、关键亮度等级。一幅图像的中心矩可以用来提取不变矩，这些不变矩对于移动，缩放和旋转是不变的，通过提取这些特征，来进行图像的特征区分。
5.上述一致性优化算法如下，1）分解图像i(x,y)的rgb通道，得到各通道图像的各尺度、方向子带系数；2）依据式（1）和式（2），利用低频子带系数，得到最终估计光照图
ꢀꢀ
；
3）根据式（3）至式（6），收缩各颜色通道的高频方向子带系数，并得到处理后的最终估计光照图 ；4）根据式（7），利用和实施逆变换得到增强图像q。在 nsct 域内，利用低频子带的估计光照图获得最终估计光照图；通过萎缩设置函数在高频子带中实现噪声与细节的系数分离、剔除。通过一致性优化处理，相似度、饱和度、亮度的区别特征被放大，能提高相似度结果的显著性，防止图像查找误判。
6.如权利要求1所述的图像查找方法和装置，其特征是：所述的查找图像示例为标定板图案；所述的标定板图案为多种。通过高效的图像查找方法，能实现快速的找到标定图案对照，并进行自动标定，且能通过多种标定图案进行标定。即使丢失了标定板，也不会影响标定。
7.本发明还公开了一种实现上述图像查找方法的计算机程序。
8.本发明还公开了存储有上述计算机程序的存储介质。
9.本发明还公开了一种机器人手臂标定装置，其特征是：包括，相机，用于拍摄标定图像，和，存储介质，上述计算机程序；所述的装置能标定图像为多种标定图案。标定板的多种图案能提高便利性，兼容不同机器的标定板。图像增强算法更适合标定板图案这类高对比度图案在复杂环境光下进行正常标定的需要。
10.由于本发明采用了读取待查找图像示例并进行能降低强曝光和/或抖动造成不利影响的一致性优化处理，得到增强图像q；计算增强图像q的图像特征；根据数据库中的参考图像特征信息，计算增强图像q和参考图像特征信息之间的色调相似度，饱和度相似度和亮度相似度等处理方式。通过从图像数据库中选择不同的参考图像并与输入图像进行比较，递归地执行上述图像搜索方法的步骤，直到产生正确的搜索结果。采用一致性优化降低曝光和抖动造成不利影响，能提高标定精度和速度，并且能赋予设备识别并比对带查找图像示例和数据库中的参考图像。因而本发明具有识别效率高、错误少、速度快的优点。
附图说明
11.图1为本发明实施例的步骤顺序示意图；图2为本发明实施例装置应用场景示意图；图3为本发明实施例标定板举例。
具体实施方式
12.以下结合附实施例对本发明作进一步详细描述。
13.实施例1：参照图1至图3，图像查找方法，其包括，读取待查找图像示例并进行能降低强曝光和/或抖动造成不利影响的一致性优化处理，得到增强图像q；计算增强图像q的图像特征；根据图像特征数据库中的参考图像特征信息，计算增强图像q和参考图像特征信息之间的色调相似度，饱和度相似度和亮度相似度；将色调值相似度，饱和度值相似度和亮度相似度分别乘以相应的权重，求和生成相似度结果；最后，根据相似度结果确定两幅图像的相似
度；如果确定为是，则输出与参考图像相对应的信息作为查找结果。通过从图像数据库中选择不同的参考图像并与输入图像进行比较，递归地执行上述图像搜索方法的步骤，直到产生正确的搜索结果。采用一致性优化降低曝光和抖动造成不利影响，能提高标定精度和速度，并且能赋予设备识别并比对带查找图像示例和数据库中的参考图像。
14.所述的图像特征包括：色调不变矩、饱和度不变矩、亮度不变矩、与关键色调等级、关键饱和度等级、关键亮度等级。一幅图像的中心矩可以用来提取不变矩，这些不变矩对于移动，缩放和旋转是不变的，通过提取这些特征，来进行图像的特征区分。
15.上述一致性优化算法如下，1）分解图像i(x,y)的rgb通道，得到各通道图像的各尺度、方向子带系数；2）依据式（1）和式（2），利用低频子带系数，得到最终估计光照图；3）根据式（3）至式（6），收缩各颜色通道的高频方向子带系数，并得到处理后的最终估计光照图；4）根据式（7），利用和实施逆变换得到增强图像q。在 nsct 域内，利用低频子带的估计光照图获得最终估计光照图；通过萎缩设置函数在高频子带中实现噪声与细节的系数分离、剔除。通过一致性优化处理，相似度、饱和度、亮度的区别特征被放大，能提高相似度结果的显著性，防止图像查找误判。
16.如权利要求1所述的图像查找方法和装置，其特征是：所述的查找图像示例为标定板图案；所述的标定板图案为多种。通过高效的图像查找方法，能实现快速的找到标定图案对照，并进行自动标定，且能通过多种标定图案进行标定。即使丢失了标定板，也不会影响标定。
17.实施例2:在上一实施例的基础上，本实施例进一步说明技术方案：图像特征数据库的特征数据计算：读取待搜索rgb图像并进行能降低强曝光和/或抖动造成不利影响一致性优化；将所述的待搜索图像预处理并转换为色相饱和度值（hsv）模式；生成累积直方图；选取关键色调等级、关键饱和度等级、关键亮度等级；计算上述各关键等级的不变矩；将计算所得的色调不变矩、饱和度不变矩和亮度不变矩、与关键色调等级、关键饱和度等级、关键亮度等级一起作为图像特征存储到所述的图像特征数据库。hu等人在“visual pattern recognition by moment invariants”，1962，指出一幅图像的中心矩可以用来提取不变矩，这些不变矩对于移动，缩放和旋转是不变的。有学者将关键色调水平，关键饱和度水平和关键亮度水平引入到不变矩的计算中，并从中提取图像特征。然而，通过进一步研究发现，当参考图像出现抖动或强曝光的情况下，上述不变矩的方式会出现很大的抽取误差。
18.将图像转换为色相饱和度值（hsv）模型的方法可以完成图片从 rgb 到 hsv 空间的转换，色相饱和度值（hsv）模型，每个像素包括色调等级（h）、饱和度等级（s）和亮度等级（v）。下式组合中q的取值范围是 0 到 360 度。
19.一致性优化算法如下，1）分解图像i(x, y)的rgb通道，得到各通道图像的各尺度、方向子带系数；2）依据式（1）和式（2），利用低频子带系数，得到最终估计光照图；先计算基础估计光照图：其中，max表示c
î
{r,g,b}三个颜色通道取最大值操作，e是一个小正数，用于保持不等于0，且有一个较小的限值，取值[0.03,0.09]。 表示低频子带系数，表示高频方向子带系数,包含了图像的边缘、纹理细节以及几乎全部的噪声信息。
[0020]
式（2）是对基础估计光照图实施gamma校准，然后进行均值滤波，得到最终估计光照图。mean()表示均值滤波操作， quote
ꢀꢀ
为取值[0.5,0.55]。
[0021]
3）根据式（3）至式（6），收缩各颜色通道的高频方向子带系数，并得到处理后的萎缩设置函数 ；在高频子带中实现噪声与细节的系数分离、剔除；kj表示分解尺度j对应阈值比例系数，t
j,s
表示频域中nsct各方向子带对应的均方根。 为图像各颜色通道的噪声方差。上述参数计算方法如下：m 表示与ic(x,y)具有相同m*n维数的矩阵。
[0022] 表示nsct使用相同的尺度与方向数分解mz得到的各尺度方向子带j,s系数， 表示二维傅里叶变换，|
ꢀ×ꢀ
|表示求绝对值操作。
[0023]
表示观测图像各颜色通道的噪声方差,由小波噪声估计经验公式得到。上式中mid () 取中位数操作，|
×
|表示绝对值，是“sym8”小波对ic (x, y)做单尺度分解得到高频子带系数。
[0024]
4）根据式（7），利用和实施逆变换得到增强图像。
[0025]
得到最终估计光照图和阈值收缩的高频子带系数，若不考虑突显部分高频子带细节的情况下，联合低频子带和萎缩的高频子带实施nsct逆变换，之后按式(7)计算即可获取目标增强图像。
[0026]
max()表示取最大值，i
l
(x,y) 和ih(x,y)分别为待增强图像的低频分量和高频分量。
[0027]
机器人手臂末端上的相机在标定板上方采集的标定板图像；目标图像可以为在机器人参数标定过程中，期望采集的标定板图像，例如可以是聚焦的标定板图像，或者清晰度最高的标定板图像。本发明技术方案仅涉及图像处理、识别与查找，机械部分参照现有技术不再赘述。
[0028]
实施例3:在上一实施例的基础上，本实施例进一步说明技术方案：机器人手臂标定装置，其包括，相机，用于拍摄标定图像，和存储介质，该存储介质存储有能实现本发明方法的计算机程序；机器人手臂标定装置能标定图像为多种标定图案。标定方法基本采用现有技术，获取标定板上的至少三个标定点和机器人手臂的理论关节参数；现有技术要确定获取机器人手臂末端所采集的标定板图像为目标图像及测试机器人手臂末端的高度，本发明则采用面积直径或边长已知的任意图案标定版，该图像的参考图像也存储在上述存储介质上，采用本发明方法进行一致性优化后查找比对，并确认拍摄到的标定板图像与参考图像匹配；控制机器人手臂末端在高度下依次移动至各标定点，并依次获取机器人手臂末端移动至各标定点时的第一坐标和机器人手臂的实际关节参数；根据实际关节参数、第一坐标和理论关节参数确定机器人手臂的关节参数补偿值，并根据关节参数补偿值对机器人手臂的理论关节参数进行标定，解决机器人参数标定需要依赖外部测量设备，操作繁琐，无法实现参数标定过程的全自动化，精度不高的问题，实现机器人参数标定过程全自动化，简化标定操作过程，提高机器人参数标定过程的效率和精度的效果。通过分发明方法预置在机器内的程序，可以选取任意已经预设的标定板进行标定，由于算法经过了改进，本发明技术方案标定板图案高对比度图形在低光照情况下仍然可以准确识别。
[0029]
当机器人携带相机到每个不同位置时，a矩阵可以通过相机拍摄到的校准板照片获得，例如使用zhang的校准方式。b矩阵可以从机器人系统中读取得到，因此整个校准过程中，需要求解出准确的x以及z的值。
[0030]
为了求解出该值，我们使用了两步计算方式，第一步得到初步的x以及z的矩阵。
[0031]
第一步计算方式一，当我们假设以下转换相等：机器人底座-》世界-》相机底座-》夹具-》相机那么我们可以达到以下公式成立：其中，i表示机器人去到的每一个位置。
[0032]
第一步计算方式二，当我们假设以下转换相等：世界-》相机世界-》机器人底座-》夹具-》相机其中，i表示机器人去到的每一个位置。
[0033]
可以看出，在以上两种计算公式中，我们仅仅考虑了各个坐标系中的相互转换关系。因此，在理论中e1和e2应该为0。因此我们使用非线性优化算法，可以求得其中的x以及z的矩阵。同时，有其他另外的校准方式同样可以得到x和z的值，例如tsai机器人手眼标定算法等。
[0034]
在初步得到x同z的校准矩阵之后，我们可以使用其他有用信息得到更为准确的预测值。其中，我们假设假设a与b矩阵为已知数据，但是实际中他们同样存在误差，尤其是a为从图像中计算得到，当图像数据存在模糊时，其将产生较大误差，同时当校准板比较小的时候，其预测的深度值往往不够精确。因此，为了解决以上问题，我们提出了以下优化算法。
[0035]
其中，i表示机器人去到的每一个位置，j表示校准板中的每个点的位置。x
ij
表示在第i个位置时，校准板上第j个点的三维坐标。xj表示，第j个点在世界坐标系，及校准板坐标系中的位置。
[0036]
理论上来讲，e3所得到的值应该为0，因此我们采用非线性优化的算法，可以优化得到更为准确的z矩阵，即抓手到相机的位置关系。
[0037]
尽管已结合优选的实施例描述了本发明，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围的情况下，能够对在这里列出的主题实施各种改变、同等物的置换和修改，因此本发明的保护范围当视所提出的权利要求限定的范围为准。