相机偏移量处理方法及装置与流程

1.本发明涉及监测处理技术领域，特别涉及一种相机偏移量处理方法及装置。


背景技术：

2.随着科技的飞速发展，计算机视觉技术不断发展，被广泛应用于各行各业，例如工业机器人和无人驾驶汽车，图像监测，工业检查，医学图像分析，人机互动的输入设备等等。
3.相机是计算机视觉领域必不可少的设备，所以对相机视角的监测成为视觉领域重要的一个环节。在使用时，相机通常被支架固定，但有的场景由于特定角度安装位置可触碰，支架质量，以及长期使用器械老化等原因，相机可能会出现被撞或者固定不牢固等现象，导致相机发生偏移相机视角改变，进而关注的目标区域偏移或直接不在相机画面中，从而影响了视觉检测结果。
4.目前通用的相机偏移量检测方法有手动调整法和imu检测法。然而，当相机安装位置过高时，手动调节将十分不方便，当相机数量增多时，相机偏移量处理将耗费大量的人力、物力和时间成本，并且存在发现偏移到完成偏移校正不及时等问题；imu检测法需要硬件成本高。
5.针对上述问题，目前尚未提出有效的解决方案。


技术实现要素：

6.本发明实施例提供了一种相机偏移量处理方法，用以高效低成本地检测相机偏移量，该方法包括：
7.获取相机的初始目标区域的基准图像和当前目标区域的检测图像；
8.提取基准图像的第一角点特征描述子，以及检测图像的第二角点特征描述子；
9.根据第一角点特征描述子和第二角点特征描述子，将基准图像和检测图像进行角点匹配处理，得到基准图像的角点匹配坐标，以及对应的检测图像的角点匹配坐标；
10.根据基准图像的角点匹配坐标，以及对应的检测图像的角点匹配坐标，得到基准图像与检测图像的坐标差异值；
11.若差异值大于或等于预设阈值，进行相机偏移量过大预警。
12.本发明实施例还提供了一种相机偏移量处理装置，用以高效低成本地检测相机偏移量，该装置包括：
13.获取单元，用于获取相机的初始目标区域的基准图像和当前目标区域的检测图像；
14.提取单元，用于提取基准图像的第一角点特征描述子，以及检测图像的第二角点特征描述子；
15.角点匹配处理单元，用于根据第一角点特征描述子和第二角点特征描述子，将基准图像和检测图像进行角点匹配处理，得到基准图像的角点匹配坐标，以及对应的检测图像的角点匹配坐标；
16.差异确定单元，用于根据基准图像的角点匹配坐标，以及对应的检测图像的角点匹配坐标，得到基准图像与检测图像的坐标差异值；
17.预警单元，用于若差异值大于或等于预设阈值，进行相机偏移量过大预警。
18.本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述相机偏移量处理方法。
19.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述相机偏移量处理方法的计算机程序。
20.本发明实施例提供的相机偏移量处理方案通过：首先，获取相机的初始目标区域的基准图像和当前目标区域的检测图像；其次，提取基准图像的第一角点特征描述子，以及检测图像的第二角点特征描述子；接着，根据第一角点特征描述子和第二角点特征描述子，将基准图像和检测图像进行角点匹配处理，得到基准图像的角点匹配坐标，以及对应的检测图像的角点匹配坐标；接着，根据基准图像的角点匹配坐标，以及对应的检测图像的角点匹配坐标，得到基准图像与检测图像的坐标差异值；最后，若差异值大于或等于预设阈值，进行相机偏移量过大预警，实现了高效低成本地进行相机偏移量处理。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明实施例中相机偏移量处理方法的流程示意图；
23.图2是本发明实施例中相机偏移量处理的原理示意图；
24.图3是本发明实施例中控制转动相机至原位姿的原理示意图；
25.图4是本发明实施例中相机偏移量处理装置的结构示意图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.现有的相机偏移量处理方案主要包括：
28.1.手动调整法：通过定期查看相机画面进行相机偏移量检测。
29.2.imu检测法：传统相机基于imu进行偏移检测与调整。
30.发明人发现上述两种相机偏移量处理方案存在的技术问题是：
31.1.手动调整法：该类方法虽然具有较高的检测精度，但是需要工作人员定期或不定期进行手动检查，尤其对于相机数量过多的场景，不仅工作量大，耗费人力，而且手动调整不能保证及时，从相机偏移再到实际调整需要的时间长，相机偏移量过大时，导致我们所关注的目标物不在图像中，从而带来一定的损失。
32.2.基于imu检测调整，具有局限性，imu对于长时间静止设备会产生噪声，并且imu属于硬件设备，增加了硬件投入成本。
33.由于发明考虑到了上述技术问题，因此，提出了一种相机偏移量处理方案，该方案为一种基于角点匹配的相机偏移量处理方案，即也是基于图像的检测方案，该方案实现了通过软件方法及时地监测相机实现相机偏移量检测校正，通过相机当前拍摄图像与基准图像(例如安装时捕捉的标准图像)进行角点检测实现相机偏移量的检测，实现图像关键点的匹配，当偏移量超过设定阈值时，则发出系统预警等处理。解决目前手动调整法及基于imu调整法的弊端，比如投入人力过多，耗费巨大财力，及检测不及时，即人工与imu检测法的硬件成本，大大缩短了相机偏移、发现偏移、及校正相机位姿的周期等等。本发明实施例提出的基于图像的检测方案可以解决长时间静止设备(拍摄设备，例如相机)的位姿自动调整，为计算机视觉领域发展起到推动作用。下面对该相机偏移量处理方案进行详细介绍。
34.图1是本发明实施例中相机偏移量处理方法的流程示意图，如图1所示，该方法包括如下步骤：
35.步骤101：获取相机的初始目标区域的基准图像和当前目标区域的检测图像；
36.步骤102：提取基准图像的第一角点特征描述子，以及检测图像的第二角点特征描述子；
37.步骤103：根据第一角点特征描述子和第二角点特征描述子，将基准图像和检测图像进行角点匹配处理，得到基准图像的角点匹配坐标，以及对应的检测图像的角点匹配坐标；
38.步骤104：根据基准图像的角点匹配坐标，以及对应的检测图像的角点匹配坐标，得到基准图像与检测图像的坐标差异值；
39.步骤105：若差异值大于或等于预设阈值，进行相机偏移量过大预警。
40.与现有手动调整法及基于imu检测调整法的相机偏移量处理方案相比较，本发明实施例提供的相机偏移量处理方法实现了高效低成本地进行相机偏移量处理。
41.下面结合附图2至图3，对本发明施例涉及的各个步骤进行详细介绍。
42.具体实施时，本发明实施例中相机可以是：广泛应用于各行各业中的例如工业机器人和无人驾驶汽车，图像监测，工业检查，医学图像分析，人机互动的输入设备等等中涉及的记录影像的设备。
43.一、首先，介绍上述步骤101。
44.具体实施时，如图2所示，初始目标区域的基准图像可以是从相机安装好后拍摄图像中选取的感兴趣区域roi(目标区域)的基准图像a，当前目标区域的检测图像可以是在当前时刻从拍摄图像中选取的感兴趣区域roi(目标区域)的检测图像b，利用初始目标区域的基准图像和当前目标区域的检测图像进行相机偏移量处理，提高了进行相机偏移量处理的效率。当然，也可以是利用初始拍摄的整张图像和当前拍摄的整张图像进行相机偏移量处理。
45.二、接着，介绍上述步骤102。
46.具体实施时，角点具有局部不变性的特征，图像的角点一般表示图像中的边缘轮廓点，拐点，在邻域具有两个主方向的特征点。检测基准图像a与检测图像b的角点特征描述子，进行后续相机偏移量处理，有利于高效准确地进行相机偏移量处理。
47.具体实施时，特征描述子的作用可以是图像的简化表示，包含有关图像的最重要信息，特征描述子可以包括：hog(方向梯度直方图)特征描述子，sift(尺度不变的特征变换)特征描述子，及surf(加速稳健特征)特征描述子等等。
48.三、为了方便介绍，下面对上述步骤103至步骤105进行一同介绍。
49.具体实施时，对上述基准图像a与检测图像b进行角点匹配，得到角点匹配对，即基准图像的角点匹配坐标，以及对应的检测图像的角点匹配坐标。
50.在一个实施例中，根据第一角点特征描述子和第二角点特征描述子，将基准图像和检测图像进行角点匹配处理，得到基准图像的角点匹配坐标，以及检测图像的角点匹配坐标，可以包括：
51.根据第一角点特征描述子和第二角点特征描述子，将基准图像和检测图像进行角点匹配处理，得到基准图像的最优角点匹配坐标，以及检测图像的最优角点匹配坐标；
52.根据基准图像的角点匹配坐标，以及检测图像的角点匹配坐标，得到基准图像与检测图像的坐标差异值，可以包括：
53.根据基准图像的最优角点匹配坐标，以及检测图像的最优角点匹配坐标，得到基准图像与检测图像的坐标差异值。
54.具体实施时，根据上述角点匹配对，找出最优的四个角点匹配对，利用这四个角点匹配对，进而进行后续相机偏移量处理，有利于高效准确地进行相机偏移量处理。当然，也可以利用其他数目的角点匹配对进行相机偏移量处理。
55.具体实施时，根据最优角点匹配对求得坐标前后差异度，差异度与预设差异阈值进行比较，若大于阈值则进行相机偏移量预警，系统预警，表示相机偏移量过大需要调整，详见下方实施例的介绍。
56.具体实施时，可以根据角点坐标求出图像坐标前后的变换矩阵，求图像前后坐标差异。
57.在一个实施例中，如图2所示，上述相机偏移量处理方法还可以包括：
58.根据基准图像的最优角点匹配坐标对应的图像坐标，确定基准图像的最优角点匹配坐标对应的基准相机坐标；
59.根据检测图像的最优角点匹配坐标对应的图像坐标，确定检测图像的最优角点匹配坐标对应的检测相机坐标；
60.根据基准相机坐标和检测相机坐标，得到相机偏移量；
61.根据所述相机偏移量，控制转动所述相机至原位姿。
62.具体实施时，如图3所示，若差异值大于或等于预设阈值，则进行相机偏移量过大预警，再通过检测出的最优角点对应的图像坐标反推出发生位姿变换的相机坐标。根据相机偏移前后相机坐标信息，求出相机偏移量。根据求出的相机偏移量，转动相机，实现相机偏移量校正，提高了相机偏移量校正的效率和准确率。
63.在一个实施例中，所述最优角点匹配坐标为最优角点匹配像素坐标；
64.根据基准图像的最优角点匹配坐标对应的图像坐标，确定基准图像的最优角点匹配坐标对应的基准相机坐标，可以包括：
65.根据基准图像的最优角点匹配像素坐标，确定基准图像的最优角点匹配图像坐标；
66.根据基准图像的最优角点匹配图像坐标，确定基准图像的最优角点匹配坐标对应的基准相机坐标；
67.根据检测图像的最优角点匹配坐标对应的图像坐标，确定检测图像的最优角点匹配坐标对应的检测相机坐标，可以包括：
68.根据检测图像的最优角点匹配像素坐标，确定检测图像的最优角点匹配图像坐标；
69.根据检测图像的最优角点匹配图像坐标，确定检测图像的最优角点匹配坐标对应的检测相机坐标。
70.具体实施时，如图3所示，当发生预警时，本发明实施例提供的相机偏移量处理方法中a像素坐标指基准图像a检测出的最优角点匹配坐标；b像素坐标表示检测图像b检测出的最优角点匹配坐标。如图3所示的相机偏移量校正方案进一步提高了相机偏移量校正的效率和准确率。
71.四、接着，介绍相机偏移量处理的优选方案。
72.在一个实施例中，如图2所示，上述相机偏移量处理方法还可以包括：
73.若差异值小于预设阈值，根据基准图像的最优角点匹配坐标，以及对应的检测图像的最优角点匹配坐标，确定基准图像到检测图像的图像坐标变换矩阵；
74.根据所述图像坐标变换矩阵，得到当前目标区域在检测图像对应拍摄图像中的位置信息；所述位置信息为下一周期相机偏移量处理时确定初始目标区域的依据。
75.具体实施时，若差异值小于预设阈值，证明相机偏移量若在允许偏移范围内，则无需对相机做校正处理，此时，可以将当前目标区域的检测图像作为下一周期相机偏移量处理时的初始目标区域的基准图像，并且求出目标区域的位置信息，即可以求解相机偏移前后的图像坐标变换矩阵，可以通过最优角点匹配对，求解图像坐标变换矩阵。根据图像坐标变换矩阵，求出相机偏移后的目标区域，即求出相机偏移后的目标区域在新图像中的坐标，获得目标区域在新图像中的位置，有利于提高相机偏移量处理的效率和准确率。
76.在一个实施例中，若差异值小于预设阈值，根据基准图像的最优角点匹配坐标，以及对应的检测图像的最优角点匹配坐标，确定基准图像到检测图像的图像坐标变换矩阵，可以包括：
77.若差异值小于预设阈值，根据基准图像的最优角点匹配坐标，以及对应的检测图像的最优角点匹配坐标，确定基准图像到检测图像的图像坐标旋转矩阵和图像坐标平移矩阵。
78.具体实施时，如图3所示，图像坐标变换矩阵可以包括：图像坐标旋转矩阵和图像坐标平移矩阵，明确指明了相机的偏移角度和平移距离，有助于高效准确地确定目标区域。
79.基于同一发明构思，本发明实施例中还提供了一种相机偏移量处理装置，如下面的实施例所述。由于相机偏移量处理装置解决问题的原理与相机偏移量处理方法相似，因此相机偏移量处理的实施可以参见相机偏移量处理方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
80.图4是本发明实施例中相机偏移量处理装置的结构示意图，如图4所示，该装置包
括：
81.获取单元11，用于获取相机的初始目标区域的基准图像和当前目标区域的检测图像；
82.提取单元12，用于提取基准图像的第一角点特征描述子，以及检测图像的第二角点特征描述子；
83.角点匹配处理单元13，用于根据第一角点特征描述子和第二角点特征描述子，将基准图像和检测图像进行角点匹配处理，得到基准图像的角点匹配坐标，以及检测图像的角点匹配坐标；
84.差异确定单元14，用于根据基准图像的角点匹配坐标，以及检测图像的角点匹配坐标，得到基准图像与检测图像的坐标差异值；
85.预警单元15，用于若差异值大于或等于预设阈值，进行相机偏移量过大预警。
86.在一个实施例中，所述角点匹配处理单元具体可以用于：根据第一角点特征描述子和第二角点特征描述子，将基准图像和检测图像进行角点匹配处理，得到基准图像的最优角点匹配坐标，以及检测图像的最优角点匹配坐标；
87.所述差异确定单元具体可以用于：根据基准图像的最优角点匹配坐标，以及检测图像的最优角点匹配坐标，得到基准图像与检测图像的坐标差异值。
88.在一个实施例中，上述相机偏移量处理还可以包括：
89.基准相机坐标确定单元，用于根据基准图像的最优角点匹配坐标对应的图像坐标，确定基准图像的最优角点匹配坐标对应的基准相机坐标；
90.检测相机坐标确定单元，用于根据检测图像的最优角点匹配坐标对应的图像坐标，确定检测图像的最优角点匹配坐标对应的检测相机坐标；
91.相机偏移量确定单元，用于根据基准相机坐标和检测相机坐标，得到相机偏移量；
92.控制单元，用于根据所述相机偏移量，控制转动所述相机至原位姿。
93.在一个实施例中，所述最优角点匹配坐标为最优角点匹配像素坐标；
94.基准相机坐标确定单元具体可以用于：
95.根据基准图像的最优角点匹配像素坐标，确定基准图像的最优角点匹配图像坐标；
96.根据基准图像的最优角点匹配图像坐标，确定基准图像的最优角点匹配坐标对应的基准相机坐标；
97.检测相机坐标确定单元具体可以用于：
98.根据检测图像的最优角点匹配像素坐标，确定检测图像的最优角点匹配图像坐标；
99.根据检测图像的最优角点匹配图像坐标，确定检测图像的最优角点匹配坐标对应的检测相机坐标。
100.在一个实施例中，上述相机偏移量处理装置还可以包括：
101.图像坐标变换矩阵确定单元，用于若差异值小于预设阈值，根据基准图像的最优角点匹配坐标，以及检测图像的最优角点匹配坐标，确定基准图像到检测图像的图像坐标变换矩阵；
102.位置信息确定单元，用于根据所述图像坐标变换矩阵，得到当前目标区域在检测
图像对应拍摄图像中的位置信息；所述位置信息为下一周期相机偏移量处理时确定初始目标区域的依据。
103.在一个实施例中，所述图像坐标变换矩阵确定单元具体可以用于：
104.若差异值小于预设阈值，根据基准图像的最优角点匹配坐标，以及对应的检测图像的最优角点匹配坐标，确定基准图像到检测图像的图像坐标旋转矩阵和图像坐标平移矩阵。
105.本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述相机偏移量处理方法。
106.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述相机偏移量处理方法的计算机程序。
107.本发明实施例提供相机偏移量处理方案的有益技术效果是：在不增加硬件成本的基础上，及时解决了静止相机设备的位姿调整，节省了硬件成本，满足了检测的及时性与自动适应性。
108.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
109.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
110.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
111.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
112.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。