基于消费级成像系统的图像处理方法、装置及存储介质与流程

1.本发明涉及成像技术领域，具体涉及一种基于消费级成像系统的图像处理方法、装置及存储介质。


背景技术：

2.传统的大视角3d传感感知技术，基本为专业级的装备。由于单体传感设备的成本昂贵，运用在大视野或规模化复杂场景中，需要采用高成本单元进行多次测量，在多次测量中需要利用辅助装置，例如高性能惯性制导单元、激光跟踪仪等，对昂贵的单体传感设备的位姿坐标进行测量。因此现有技术获取3d信息云的感知难度较大和实施成本较高。
3.此外，单体传感设备在利用辅助设备的同时还需要进行多次测量，其流程较为繁琐。因此需要提供一种新的处理方法来解决上述问题。


技术实现要素：

4.针对现有技术的不足之处，本发明的目的在于提供一种基于消费级成像系统的图像处理方法、装置及存储介质。
5.本发明的技术方案概述如下：
6.一方面，本发明提供一种基于消费级成像系统的图像处理方法，包括：
7.步骤一：多相机的系统标定，完成多视图像与被测目标的三维信息的映射关系；其中，所述消费级成像系统包括至少四个rgbd相机；
8.步骤二：基于多源图像特征匹配进行自适应拼接；
9.步骤三：三维场景的立体重建。
10.进一步地，所述多相机的系统标定包括：
11.确定标定件框架上参考点的位置及绝对坐标系，计算每个相机相对于绝对坐标系的外部参数矩阵；
12.使用标定件框架获得分离固定式方位参数；
13.利用多相机冗余信息全局优化外部参数矩阵中的旋转矩阵和平移矩阵，并通过刚体变换获得最终相机内外方位参数。
14.进一步地，所述基于多源图像特征匹配进行自适应拼接，包括：
15.基于至少四个rgbd相机中的二维图像得到图像曲面信息；
16.对所述图像曲面信息进行二维图像的特征点配准；
17.基于预先标定的二维图像与三维图像的关系，利用二维图像的特征点配准进行第一次拼接；
18.对第一次拼接的优化。
19.进一步地，所述对所述图像曲面信息进行二维图像的特征点配准，还包括：
20.对原图像的图像曲面信息进行尺度不变性特征点检测、描述，得到原图像的特征点集；
21.对目标图像的图像曲面信息进行尺寸不变性特征点检测、描述，得到目标的特征点集；
22.对所述原图像的特征点集和目标图像的特征点集进行匹配。
23.进一步地，所述第一次拼接包括：
24.获取对应于二维匹配点的三维数据集，并计算两个三维数据集的质心；其中，三维数据集的数量至少为两个；
25.基于协方差矩阵得到对称矩阵，并计算对称矩阵的特征值和特征向量，将最大特征值对应的特征向量为旋转向量，以此得到旋转矩阵；
26.基于旋转矩阵得到平移向量，并计算旋转矩阵和平移矩阵组成的两个视角三维数据的拼接关系，进行至少两个视角的拼接。
27.相应地，本发明还提供一种基于消费级成像系统的图像处理装置，其特征在于，包括：
28.标定模块，用于多相机的系统标定，完成多视图像与被测目标的三维信息的映射关系；其中，所述消费级成像系统包括至少四个rgbd相机；
29.拼接模块，用于基于多源图像特征匹配进行自适应拼接；
30.重建模块，用于三维场景的立体重建。
31.进一步地，所述拼接模块，还用于：
32.确定标定件框架上参考点的位置及绝对坐标系，计算每个相机相对于绝对坐标系的外部参数矩阵；
33.使用标定件框架获得分离固定式方位参数；
34.利用多相机冗余信息全局优化外部参数矩阵中的旋转矩阵和平移矩阵，并通过刚体变换获得最终相机内外方位参数。
35.进一步地，所述拼接模块，还用于：
36.基于至少四个rgbd相机中的二维图像得到图像曲面信息；
37.对所述图像曲面信息进行二维图像的特征点配准；
38.基于预先标定的二维图像与三维图像的关系，利用二维图像的特征点配准进行第一次拼接；
39.对第一次拼接的优化。
40.进一步地，对所述图像曲面信息进行二维图像的特征点配准，还包括：
41.对原图像的图像曲面信息进行尺度不变性特征点检测、描述，得到原图像的特征点集；
42.对目标图像的图像曲面信息进行尺寸不变性特征点检测、描述，得到目标的特征点集；
43.对所述原图像的特征点集和目标图像的特征点集进行匹配。
44.相应地，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有可执行程序，所述可执行程序被处理器执行时实现如上任一项所述的基于消费级成像系统的图像处理方法。
45.相比现有技术，本发明的有益效果在于：本发明基于消费级的至少四个rgbd相机而形成的消费级成像系统，该成像系统通过系统标定、自适应拼接和立体重建可以对产品
进行采集及成像；先采用基于冗余信息的多相机标定，充分利用冗余信息，通过全局优化外部参数，计算得到全局最优方位参数，有效减少了分步标定造成的累计误差。在自适应拼接中将三维拼接问题转化为二维图像匹配问题，根据二维图像匹配实现三维对应点的查找，并利用视角间的对应特征点实现三维数据拼接。且基于深度图的曲面特征不受旋转视角的影响，能够更加清晰反应三维物体的特征曲面信息，对图像曲面信息的配准能够适用视角变化大的场景，适合具备多rgbd相机的成像系统进行拼接。
46.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
47.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
48.图1为本发明的一种基于消费级成像系统的结构示意图；
49.图2为本发明的基于消费级成像系统的图像处理方法的流程示意图；
50.图3为本发明的基于消费级成像系统的三维拼接方法的流程示意图；
51.图4为本发明的基于消费级成像系统的三维拼接方法的拼接结果的示意图。
52.附图标记：1、成像系统；10、rgbd相机。
具体实施方式
53.下面结合附图对本发明做进一步的详细说明，本发明的前述和其它目的、特征、方面和优点将变得更加明显，以令本领域技术人员参照说明书文字能够据以实施。在附图中，为清晰起见，可对形状和尺寸进行放大，并将在所有图中使用相同的附图标记来指示相同或相似的部件。在下列描述中，诸如中心、厚度、高度、长度、前部、背部、后部、左边、右边、顶部、底部、上部、下部等用词为基于附图所示的方位或位置关系。特别地，“高度”相当于从顶部到底部的尺寸，“宽度”相当于从左边到右边的尺寸，“深度”相当于从前到后的尺寸。这些相对术语是为了说明方便起见并且通常并不旨在需要具体取向。涉及附接、联接等的术语(例如，“连接”和“附接”)是指这些结构通过中间结构彼此直接或间接固定或附接的关系、以及可动或刚性附接或关系，除非以其他方式明确地说明。
54.接下来，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
55.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
56.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
57.如图1
‑
4所示，本发明的一种基于消费级成像系统的图像处理方法，包括：
58.步骤一：多相机的系统标定，完成多视图像与被测目标的三维信息的映射关系；其
中，消费级成像系统包括至少四个rgbd相机；
59.步骤二：基于多源图像特征匹配进行自适应拼接；
60.步骤三：三维场景的立体重建。
61.可以理解为，本发明基于消费级的至少四个rgbd相机而形成的消费级成像系统，每个相机模块包括深度相机和彩色相机，相邻的相机模组的成像视角具有重叠。该成像系统通过系统标定、自适应拼接和立体重建可以对产品进行采集及成像。通过至少四个rgbd相机模组采集的数据进行拼接，满足了测量精度和测量范围之间的性能制约，即采用多个低成本单元进行一次测量。且由于该消费级成像系统可通过上述图像处理方法完成自拼接，减少了现有技术中多次测量的繁复流程。
62.步骤一即每个相机同时拍摄标定件，进行每个相机的单独标定；单独标定完成后，求多个相机之间的相对位置。具体求解多相机模型参数，可以包括相机本征参数、像差参数和多相机间的方位参数，进而建立多视图像与被测目标的三维空间信息之间的映射关系。
63.步骤一多相机的系统标定包括：
64.s11、确定标定件框架上参考点的位置及绝对坐标系，将全局数据统一，运用两步法计算每个相机相对于绝对坐标系的外部参数矩阵；
65.s12、使用标定件框架获得分离固定式方位参数，解决多次测量方位参数不一致问题；
66.s13、利用多相机冗余信息全局优化外部参数矩阵中的旋转矩阵和平移矩阵，并通过刚体变换获得最终相机内外方位参数。
67.传统采用标定物分层分步重建来校准多相机模块，但由于分步标定易造成误差累计。本发明采用基于冗余信息的多相机标定，充分利用冗余信息，通过全局优化外部参数，计算得到全局最优方位参数，有效减少了分步标定造成的累计误差。
68.优选地，s11包括：建立标定件框架的世界坐标系，绝对坐标系与世界坐标系重合；获取标定件框架上的参考点图像，并通过几何约束确定参考点在相机坐标系中的坐标；线性计算相机坐标系与绝对坐标系之间的旋转矩阵和平移矩阵的初始值；使1d棒在测量空间中做自由非平移运动，以三维重建距离做约束，图像点重投影误差为目标函数，lm算法非线性优化外部参数矩阵；重复上述步骤得到每个相机相对于绝对值坐标系的外部参数矩阵。
69.s12包括：使用1d棒线性计算两两相机之间的相对方位关系；引入相对方位固定约束，使用罗德里格公式修正两两相机之间的相对方位关系中多次测量方位参数不一致的问题。
70.s13包括：利用多摄像机冗余信息约束，全局优化每个相机相对于绝对值坐标系的外部参数，并通过刚体变换原理获得最终相机内外方位参数。
71.以四个3d模块相机系统为例，则最终获得包含所有相机相对绝对坐标系的旋转矩阵，其中旋转矩阵r具有正交性质强制约束，最后，通过≥12组相对旋转矩阵经svd分解，求得x的最优解，即获得每个摄像机的全局旋转参数。由于使用冗余旋转矩阵，可以有效地减少单个测量噪声对全局校准精度的影响。
72.参考图3，步骤二基于多源图像特征匹配进行自适应拼接，包括：
73.s21、基于至少四个rgbd相机中的二维图像得到图像曲面信息；
74.s22、对图像曲面信息进行二维图像的特征点配准；
75.s23、基于预先标定的二维图像与三维图像的关系，利用二维图像的特征点配准进行第一次拼接；
76.s24、对第一次拼接的优化。
77.其中，步骤s21中具体包括：对rgbd相机中的二维图像进行曲率滤波得到图像曲面信息；可通过高斯曲率滤波器计算高斯曲率。
78.rgbd相机的采集的深度图的曲面特征不受旋转视角变化的影响，通过计算深度图的三维曲率分布，其相关特征图能更加清晰的反映三维物体的特征曲面信息，因此本发明能够采用消费级的rgbd相机克服灰度图像信息不丰富的缺点。且参考图1，本发明中的具备多rgbd相机的成像系统1至少包括四个rgbd相机10，且每个rgbd相机10拍摄视角并不相同。
79.s22对图像曲面信息进行二维图像的特征点配准，还包括：
80.s221、对原图像的图像曲面信息进行尺度不变性特征点检测、描述，得到原图像的特征点集；
81.s222、对目标图像的图像曲面信息进行尺寸不变性特征点检测、描述，得到目标的特征点集；
82.s223、对原图像的特征点集和目标图像的特征点集进行匹配。
83.步骤s221对所述图像曲面信息进行尺度不变性特征点检测，包括：曲率是三维曲面的特征体现，基于深度图像的三维曲率的计算得到曲面的平均曲率和高斯曲率为：
[0084][0085][0086]
曲率的度计算可基于估计值h和k，该值作为局部曲率长度值的权值标识：
[0087][0088]
基于上述计算可以得到深度图及相关特征图，对其进行特征点位置、尺寸及方向的检测。
[0089]
特征检测是指从每一幅图像中寻找能再其他图像中较好匹配的位置。
[0090]
特征描述是把检测到的关键点周围的每一个区域转化成稳定的描述子。其中，本实施例中基于图像曲率图得到特征点并为特征点分配方向，并生成特征描述子。
[0091]
特征匹配即从多幅图像中提取特征及描述子，建立初始特征之间的匹配。其中，s223特征点集的匹配是通过计算两组特征点集的关键点的欧式距离实现的。欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，可以判定为匹配成功。
[0092]
在第一次拼接前还包括对匹配点的提纯，具体采用一致性算法对匹配点进行提纯。
[0093]
s23中的第一次拼接包括：
[0094]
s231、获取对应于二维匹配点的三维数据集，并计算两个三维数据集的质心；其中，三维数据集的数量至少为两个；
[0095]
s232、基于协方差矩阵得到对称矩阵，并计算对称矩阵的特征值和特征向量，将最大特征值对应的特征向量为旋转向量，以此得到旋转矩阵；
[0096]
s233、基于旋转矩阵得到平移向量，并计算旋转矩阵和平移矩阵组成的两个视角三维数据的拼接关系，进行至少两个视角的拼接。
[0097]
其中，步骤s231中是利用上述标定步骤中已标定好的二维与三维图像关系，获取对应于二维匹配点的三维数据集。
[0098]
参考图4，经过第一次拼接实现初始空间的定位。由于本实施例根据曲率图像的匹配，因此容易找到两视角的交接边界，两视角内的三维点集即是重叠区域边界。本发明先将三维拼接问题转化为二维图像匹配问题，利用视角间的对应特征点实现三维数据拼接，之后在对三维数据拼接进行迭代优化，可实现采用消费级的rgbd相机即可实现精确的三维图像的拼接。
[0099]
s24中对第一次拼接的优化具体包括：利用icp算法对第一拼接进行迭代优化。
[0100]
第二次拼接具体包括：
[0101]
s241、获取第一次拼接后的点云数据p1和q1，对点集采样获取点集对p2＝{p1、p2
···
pi}和q2＝{q1、q2
···
qi}；
[0102]
s242、固定曲面p2,利用k
‑
d tree搜索算法查找q2中到p2最小距离的最近点及最近距离，判断最近距离是否与当次的距离阈值对应，如果对应，提取对应点的集合：{di|i＝1,2,l,n
k
},{di(k)|i＝1,2,l,n
k
}。
[0103]
s243、采用四元数法求解r(k)和t(k),最后计算得到函数e(k)；
[0104][0105]
s244、判断收敛关系，当e(k
‑
1)
‑
e(k)≥ε，设置k+＝1；若0≤e(k
‑
1)
‑
e(k)≤ε，则记录r(k)和t(k)，其中ε为收敛精度。
[0106]
而本发明中通过上述方法来求解最优值，对第一次拼接进行优化，减少迭代的次数，并使用k
‑
d tree的搜索算法多次重采样对应点集，减少对应点的匹配时间。
[0107]
本发明基于消费级的至少四个rgbd相机而形成的消费级成像系统，该成像系统通过系统标定、自适应拼接和立体重建可以对产品进行采集及成像；先采用基于冗余信息的多相机标定，充分利用冗余信息，通过全局优化外部参数，计算得到全局最优方位参数，有效减少了分步标定造成的累计误差。在自适应拼接中将三维拼接问题转化为二维图像匹配问题，根据二维图像匹配实现三维对应点的查找，并利用视角间的对应特征点实现三维数据拼接。且基于深度图的曲面特征不受旋转视角的影响，能够更加清晰反应三维物体的特征曲面信息，对图像曲面信息的配准能够适用视角变化大的场景，适合具备多rgbd相机的成像系统进行拼接，且本发明先基于预先的标定，对二维配准后的结果进行第一次拼接，再采用迭代算法进行二次拼接提高其拼接精度，提高其多rgbd相机的成像系统的成像精度。
[0108]
相应地，本发明还提供一种基于消费级成像系统的图像处理装置，包括：
[0109]
标定模块，用于多相机的系统标定，完成多视图像与被测目标的三维信息的映射关系；其中，消费级成像系统包括至少四个rgbd相机；
[0110]
拼接模块，用于基于多源图像特征匹配进行自适应拼接；
[0111]
重建模块，用于三维场景的立体重建。
[0112]
拼接模块，还用于：确定标定件框架上参考点的位置及绝对坐标系，计算每个相机相对于绝对坐标系的外部参数矩阵；
[0113]
使用标定件框架获得分离固定式方位参数；
[0114]
利用多相机冗余信息全局优化外部参数矩阵中的旋转矩阵和平移矩阵，并通过刚体变换获得最终相机内外方位参数。
[0115]
拼接模块，还用于：基于至少四个rgbd相机中的二维图像得到图像曲面信息；
[0116]
对图像曲面信息进行二维图像的特征点配准；
[0117]
基于预先标定的二维图像与三维图像的关系，利用二维图像的特征点配准进行第一次拼接；
[0118]
对第一次拼接的优化。
[0119]
对图像曲面信息进行二维图像的特征点配准，还包括：
[0120]
对原图像的图像曲面信息进行尺度不变性特征点检测、描述，得到原图像的特征点集；
[0121]
对目标图像的图像曲面信息进行尺寸不变性特征点检测、描述，得到目标的特征点集；
[0122]
对原图像的特征点集和目标图像的特征点集进行匹配。
[0123]
该装置的实施例与方法实施例对应，在此不累赘。
[0124]
相应地，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有可执行程序，可执行程序被处理器执行时实现如上任一项的基于消费级成像系统的图像处理方法。
[0125]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0126]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0127]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0128]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。