一种外观检测多相机取图拼接的方法、系统及相关装置与流程

本技术涉及图像处理，尤其涉及一种外观检测多相机取图拼接的方法、系统及相关装置。

背景技术：

1、目前，多相机图像拼接和工业定位技术已被广泛应用于外观检测领域，特别是在大尺寸或超宽幅显示屏检测中。工业相机通过线缆连接至主控计算机或图像采集卡，标定板用作基准参考，光源用于均匀照明，机械移动平台确保标定板或显示屏的精确定位。每台相机拍摄显示屏局部图像，通过图像拼接算法重构整个显示屏的完整外观。系统启动后，标定模块获取每台相机的成像模型及其相对主相机的转换关系。图像拼接模块按照标定结果对多相机图像进行配准、融合，生成完整的显示屏外观图像，用以进行外观检测。

2、然而，在多相机系统中，当相机视域无交叠时，现有技术的图像拼接方法无法直接获取摄像机间的空间关系，导致标定和图像拼接准确度低。并且现有特征点提取算法在高分辨率图像中会生成大量冗余特征点，造成资源浪费，同时对于边缘点的提取和筛选不够精确，导致后续图像配准和拼接的准确度不高。

技术实现思路

1、本技术提供了一种外观检测多相机取图拼接的方法、系统及相关装置，用于提升在多相机视域无交叠场景中的图像拼接的整体质量和准确度。

2、本技术第一方面提供了一种外观检测多相机取图拼接的方法，包括：

3、通过标定板结合加权误差最小化模型分别对主相机和辅助相机进行标定，得到所述主相机由世界坐标系到像素坐标系的第一投影矩阵，和所述辅助相机由所述世界坐标系到所述像素坐标系的第二投影矩阵；

4、根据所述第一投影矩阵和所述第二投影矩阵确定所述辅助相机到所述主相机的像素平面变换矩阵；

5、获取所述主相机和所述辅助相机拍摄的初始图像，根据所述像素平面变换矩阵将所述辅助相机拍摄的初始图像变换到所述主相机的像素平面下，得到所述主相机的像素平面下的若干幅待拼接图像；

6、将所有相机的视域投影到所述世界坐标系中，并判断视域投影位置是否有重叠；

7、若是，则在所述待拼接图像中提取特征点，并通过距离阈值和质量阈值对所述特征点进行筛选，得到特征点对集合；

8、基于所述特征点对集合计算所述待拼接图像间的透视变换矩阵，并根据所述透视变换矩阵和所述视域投影位置对所述待拼接图像进行拼接融合。

9、可选的，所述根据所述第一投影矩阵和所述第二投影矩阵确定所述辅助相机到所述主相机的像素平面变换矩阵，包括：

10、确定所述第一投影矩阵和所述第二投影矩阵的相对变换矩阵；

11、将所述相对变换矩阵分解为旋转矩阵和平移向量，所述旋转矩阵用于描述所述主相机和所述辅助相机间的旋转关系，所述平移向量用于描述所述主相机和所述辅助相机间的平移关系；

12、根据标定阶段使用的标定点对构建优化问题求解所述旋转矩阵和所述平移向量，得到所述辅助相机到所述主相机的像素平面变换矩阵。

13、可选的，在所述待拼接图像中提取特征点，并通过距离阈值和质量阈值对所述特征点进行筛选，得到特征点对集合，包括：

14、基于所述待拼接图像构建图像金字塔，在所述图像金字塔的每一层上通过surf特征提取算法提取特征点，得到特征点集合；

15、根据距离阈值和质量阈值在所述特征点集合中进行筛选，得到特征点对集合，所述距离阈值用于筛选并移除距离小于所述距离阈值的特征点对，所述质量阈值用于筛选并移除响应值小于所述质量阈值的特征点。

16、可选的，所述基于所述特征点对集合计算所述待拼接图像间的透视变换矩阵，包括：

17、根据所述待拼接图像的分辨率和噪声水平确定内点筛选阈值，所述内点筛选阈值用于根据特征点对的投影误差筛选可靠点；

18、结合所述内点筛选阈值和预设内点率阈值，使用自适应迭代终止的ransac算法和所述特征点对集合计算所述待拼接图像间的透视变换矩阵。

19、可选的，所述结合所述内点筛选阈值和预设内点率阈值，使用自适应迭代终止的ransac算法和所述特征点对集合计算所述待拼接图像间的透视变换矩阵，包括：

20、使用ransac算法和所述特征点对集合计算所述待拼接图像间的透视变换矩阵，获取每一轮ransac迭代中计算出的单应矩阵；

21、根据所述单应矩阵计算所述特征点对集合中每一个特征点对的投影误差，并筛选出所述投影误差小于所述内点筛选阈值的内点集合；

22、根据所述内点集合中的特征点数量和所述特征点对集合中的特征点数量计算内点率；

23、当所述内点率大于预设内点率阈值时，终止迭代，并基于所述内点集合计算所述待拼接图像间的透视变换矩阵。

24、可选的，所述根据所述透视变换矩阵和所述视域投影位置对所述待拼接图像进行拼接融合，包括：

25、根据所述透视变换矩阵对所述待拼接图像进行透视变换，并确定透视变换后的所述待拼接图像之间的重叠区域；

26、根据所述重叠区域的像素点的坐标和预设权重变化幅度，通过高斯函数计算目标权重；

27、根据所述视域投影位置对所述待拼接图像进行拼接，并根据所述目标权重对所述重叠区域进行融合。

28、可选的，所述方法还包括：

29、若否，则根据所述视域投影位置对所述待拼接图像进行拼接。

30、本技术第二方面提供了一种外观检测多相机取图拼接的系统，包括：

31、标定单元，用于通过标定板结合加权误差最小化模型分别对主相机和辅助相机进行标定，得到所述主相机由世界坐标系到像素坐标系的第一投影矩阵，和所述辅助相机由所述世界坐标系到所述像素坐标系的第二投影矩阵；

32、确定单元，用于根据所述第一投影矩阵和所述第二投影矩阵确定所述辅助相机到所述主相机的像素平面变换矩阵；

33、获取单元，用于获取所述主相机和所述辅助相机拍摄的初始图像，根据所述像素平面变换矩阵将所述辅助相机拍摄的初始图像变换到所述主相机的像素平面下，得到所述主相机的像素平面下的若干幅待拼接图像；

34、判断单元，用于将所有相机的视域投影到所述世界坐标系中，并判断视域投影位置是否有重叠；

35、提取单元，用于在所述判断单元的判断结果为是时，在所述待拼接图像中提取特征点，并通过距离阈值和质量阈值对所述特征点进行筛选，得到特征点对集合；

36、拼接单元，用于基于所述特征点对集合计算所述待拼接图像间的透视变换矩阵，并根据所述透视变换矩阵和所述视域投影位置对所述待拼接图像进行拼接融合。

37、本技术第三方面提供了一种外观检测多相机取图拼接的装置，所述装置包括：

38、处理器、存储器、输入输出单元以及总线；

39、所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

40、所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的外观检测多相机取图拼接的方法。

41、本技术第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的外观检测多相机取图拼接的方法。

42、从以上技术方案可以看出，本技术具有以下优点：

43、通过标定板建立统一的世界坐标系，并结合加权误差最小化模型来分别对主相机和辅助相机进行标定。标定板提供了精确的几何特征以及明确的世界坐标系坐标，能够成为各相机确定空间关系的可靠参照，加权误差最小化模型则充分考虑了不同标定点的可信度，优化求解投影矩阵，极大地提高了标定精度，即便在摄像头视域无交叠的场景下，也能精准获取各相机间的空间关系，解决了传统标定方法无法在相机视域无交叠场景下有效应用的问题。

44、依据此空间关系，可进一步确定辅助相机到主相机的像素平面变换矩阵，并将辅助相机拍摄的初始图像映射到主相机的像素平面下得到待拼接图像，确保了各相机拍摄的图像间映射关系的准确性。在特征点提取与筛选方面，依据距离阈值和质量阈值对特征点进行筛选，实现冗余点剔除和特征点分布均匀化。最后基于筛选出的高质量特征点对集合，计算透视变换矩阵，并结合视域投影位置对待拼接图像进行拼接融合，极大的提升了多相机取图拼接的整体质量和准确度。