基于分区规划迭代特征点的矩阵优化求解和动态更新方法与流程

本发明涉及数字图像处理，具体为基于分区规划迭代特征点的矩阵优化求解和动态更新方法。

背景技术：

1、随着计算机硬件和摄像技术的发展，现如今计算机视觉技术的发展日新月异，同时对于其技术的要求也越来越高。为了能够实现在大视角场景下都能够保证高分辨率成像水准，将一组在空间上彼此关联视场相互重叠的图像进行配准，再经过融合和色彩平衡，最终得到一张新的符合上述需求的图像，上述这种技术就是图像拼接技术。图像拼接技术能够将一组在空间上彼此关联的图像序列合成为一幅无缝全景高清图像，在诸多使用场景都有其用武之地：诸如虚拟现实，遥感图像处理，医学图像分析，影像测量学，安防等领域都需要这样的技术。

2、目前主流的图像拼接技术可以分为图像配准和图像融合两个部分，其中图像配准方面有基于图像像素特征点和基于区域的提取方法(如轮廓和纹理等)，特征点提取的方法有主流的sift以及其衍生的surf，orb等算法，其中应用最为广泛的是sift算法，该算法对于旋转，缩放和尺度变化保持不变性，对于视角变化和噪声有也很好的鲁棒性。而另一种主流的方法基于区域的提取方法是利用纹理和轮廓进行配准，处理要简单的多，相比与特征点的方法速度也快很多，但是匹配精度不足，且时有发生误匹配的情况。以上两种方法因为相当依赖于特征点或者说是纹理信息的利用，所以遇到纹理信息缺失的区域的时候往往得不到准确的单应矩阵。

3、另外在计算完毕单应矩阵之后，在评估是否匹配成功的时候需要人来进行评断当前的计算是否准确，人的主观意识会对最终的结果带来不可控的影响，同时在一些人员无法实时监管的情况下出现了匹配不准的情况也无法完成纠正。针对上述问题，所以需要基于分区规划迭代特征点的矩阵优化求解和动态更新方法。

技术实现思路

1、本发明的目的在于提供基于分区规划迭代特征点的矩阵优化求解和动态更新方法。本发明应用于有限相机阵列的，利用分区规划并迭代优化的思想将待匹配的图像划分区块并不断迭代区块内的特征点的方式获取高精度配准模型的方法。本技术使用区域划分，分区处理的思想对待处理的图像进行分块迭代处理，不断迭代每个区域内的特征点，并通过训练卷积神经网络得到的特定应用场景图像评价模型对计算出来的拼接图像质量进行量化指标计算，能够自动判断是否更新单应矩阵，最终获取到高精度的单应矩阵。

2、本发明是这样实现的，本发明提供基于分区规划迭代特征点的矩阵优化求解和动态更新方法,具体按下步骤执行：

3、s1:使用摄相机拍摄目标场景系列图像，通过不断迭代计算重映射误差，计算出拟合的最好的单应矩阵h，使得以图像2的任意坐标p2，通过与单应矩阵相乘投影到图像1的对应坐标p1上；单应矩阵投影计算入式(1)；

4、

5、其中，(x2,y2,z2)是源图像的坐标点，z坐标视为1，(x1,y1,z1)则是源图像坐标点在目标坐标系内的投影坐标；

6、s2:以拟合最好的单应矩阵h作为满分，在迭代过程中得到的单应矩阵he与h，单应矩阵he与h有误差，将h和he看作3*3的矢量，通过计算h和he的余弦相似性作为一个图像的分数；具体如式(2)；

7、

8、其中，xi和xj分别对应标准的满分单应矩阵h和有一定误差的单应矩阵he的矩阵；最后求出的角度θ下的余弦值即为该单应矩阵的分数，根据具体情况决定保留若干位有效数字。

9、s3:每一对拼接图像生成一个满分样本和若干未满分样本，将这些数据经过人工挑选之后作为一个训练样本集合；

10、s4:构建一个分类网络，并划分为不同的分数作为类别进行标注，将拼接图像和对应的分类即分数标签送入卷积神经网络中进行训练直至收敛，训练出用于评价图像拼接状态的推理模型；具体按以下步骤执行：

11、s4.1:使用分区规划的方法迭代单应矩阵，在迭代之前，首先确认标定根据相机阵列中相机的数量，以及前面轮次迭代过程中是否已经存在区域划分和使用栅格保存区域内的特征点和特征区域；

12、s4.2:尚未进行过迭代的新加入相机需要进行区域划分，使用区域划分将图像划分区域，并将区域集合称之为c，单张图像的区域集合称之为ci，图像内单个区域称之为q，区域集合c中的区域q应均匀分布于整张图像；其目的是能够让计算得出的特征点以及其对应的区域能够覆盖整张图像；根据区域划分的结果建立栅格，一个区域对应一个栅格，其目的是为了在栅格内保存该位置相机每次迭代生成的特征点，以待后续迭代持续修正单应矩阵h；

13、s4.3:从当前相机阵列拍摄的图像中选取一组图像进行图像标定消除镜头畸变，获得标定后的图像组li，其中包含一个参考图像k和一个目标图像m；

14、s4.4:以图像中的纹理特征和高频信息为目标进行搜索，并将搜索到符合设定阈值的纹理特征和高频信息点及其周围的作为像素记作特征区域t，在目标图像和参考图像中搜索得到的特征区域集合分别记作tm和tk，再将tm和tk中的特征区域一一比对相似性，求出其中满足阈值thres的一对匹配区域出来，再根据区域内信息的疏密和强度分布情况为权重，求出特征区域的代表特征点；

15、s4.5:根据步骤s4.2中划分的区域q查看当前区域内是否有已经存在的特征点，若有则使用重投影误差的方式将判断已存在的特征点和本次迭代得到的特征点哪个更符合当前特征点集合所对应的单应矩阵，若区域内不存在特征点则将本次迭代出来的特征点放入当前划分区域的容器内。

16、当需要更新栅格内特殊点的时候，使用新的特征点进行投

17、影计算，两幅图像中的对应点应满足如式(3)：

18、x`i＝hxi 式(3)

19、其中，h是平面单应矩阵，x和xi是图像中的对应点；

20、其中，则重投影误差如式(4)-式(5)；

21、

22、

23、其中，是x的估计值，是h的估计；

24、计算得出的ε如果原本存储于栅格内的特征点，则将新的特征点更新进入栅格，并且更新迭代的单应矩阵hs，反之则保持原本的单应矩阵hs，之后继续计算剩下的待更新的特征点，直到所有的特征点完成计算。

25、s5:使用单应矩阵hs，将目标图像m投影到参考图像k的坐标系中，并使用图像加权融合以及色彩均衡等方法得出一张融合图像s；

26、s6:使用评价图像拼接状态的模型对当前的融合图像s中的融合区域进行评断，若大于之前单应矩阵的分数，则将当前参考图像和目标图像的单应矩阵hs作为更高精度单应矩阵更新h，并进行图片组li内的下一对参考图像和目标图像，当组内所有的图像均完成计算之后，输出本次迭代得到的所有单应矩阵，等待下一次调用该流程进行下一轮次的迭代。

27、进一步，本发明提供一种计算机可读存储介质，存储介质存储有计算机程序，所述计算机程序被主控制器执行时实现如上述中的任一项所述的方法。

28、与现有技术相比，本发明的有益效果是：

29、1、解决相机阵列成像后图像拼接过程中对图像的高频纹理信息要求高，拼接效果较差以及人员参与到拼接效果的判断中主观判断导致的不稳定的问题。在使用相机阵列拍摄的过程中可以调用该流程迭代当前单应矩阵：首先通过图像的纹理特征，或者说高频信息密度将细节图像划分区块，建立栅格以存储迭代中的特征区域，之后通过使用特征区域搜索窗口遍历图像中划分的区域找出匹配的特征区域并选出代表特征点，计算得出单应矩阵初始值，通过迭代计算重投影误差的方式实现精确的匹配，最终得出两个图像之间的高精度单应矩阵。针对图像之间由于摄像机角度不同导致的曝光不均匀等问题，使用基于色彩直方图均衡的方法平衡色彩，最后使用加权融合的方法对图像进行融合，再将融合得到的图像送入的卷积神经网络模型定义的度量算子进行判断是否符合更新单应矩阵的条件，在不断迭代过程中最终得到针对该相机阵列的高精度单应矩阵。

30、2、应用于有限相机阵列的，利用分区规划并迭代优化的思想将待匹配的图像划分区块并不断迭代区块内的特征点的方式获取高精度配准模型的方法。本技术使用区域划分，分区处理的思想对待处理的图像进行分块迭代处理，不断迭代每个区域内的特征点，并通过训练卷积神经网络得到的特定应用场景图像评价模型对计算出来的拼接图像质量进行量化指标计算，能够自动判断是否更新单应矩阵，最终获取到高精度的单应矩阵。