基于sopc的双目视频拼装置及双目视频拼接方法
【专利摘要】本发明的基于SOPC的双目视频拼接装置，包括以NiosII软核处理器为核心的SOPC系统，其一对CMOS图像传感器通过FPGA端口与一对双目视频采集模块分别连接；一对双目视频采集模块一起连接双目视频存储模块；双目视频存储模块输出端的一路经特征提取协处理器与双目视频输出模块相连接，另一路与双目视频显示模块相连接；双目视频输出模块还分别连接NiosII处理器和上位机，双目视频显示模块还连接VGA显示器。本发明的双目视频拼接方法，通过欧氏距离法对特征点进行粗匹配，然后使用KNN法提出部分误匹配点，最后采用RANSAC计算出单应性矩阵，再经由柱面空间转换及线型加权融合，实现一帧双目视频数据的实时拼接。
【专利说明】基于SOPC的双目视频拼装置及双目视频拼接方法
【技术领域】
[0001 ] 本发明涉及双目视觉技术，具体是一种基于SOPC的双目视频拼接装置及双目视频拼接方法。
【背景技术】
[0002]双目视觉技术作为机器视觉的重要组成部分，一直是视频拼接、工业检测及三维重建等领域的研究热点。近年来随着双目视觉技术的不断发展，基于视频采集卡与上位机的传统解决方案由于成本高、通用性差、处理速度慢等缺点已无法满足用户需求，尤其在双目视频采集传输部分，无论是采用轮询还是时分复用的方式，现有的设计方法都无法满足系统在同步性和实时性上的设计要求。
[0003]专利文件“一种基于SOPC的双路视频融合处理装置及其融合方法”(专利号CN102523389A)提出了一种通过SOPC系统实现双路视频融合的方法，但是其仍然使用传统的设计方法，没有将FPGA的并行性和SOPC在可编程性上的优势发挥出来，同步性及实时性无法保证，双路视频融合仅使用双线性插值法，融合效果不佳。
[0004]现阶段双目视频拼接装置大多上位机参与处理，无法实现真正意义上的嵌入式双目视频拼接装置，且又上位机软件实现视频拼接算法，执行效率不高，在实时性和拼接效果上无法平衡。
【发明内容】
[0005]本发明的目的旨在解决上述技术缺陷。为此，本发明的第一个目的在于提出一种以FPGA为核心基于SOPC的双目视频拼接装置，该装置通过NiosII软核处理器控制以Avalon-MM模块形式封装的各功能模块，将采集到的双路视频数据实时拼接并显示。
[0006]本发明的基于SOPC的双目视频拼接装置，包括视频采集装置、视频融合装置、视频传输装置和上位机，其特征在于:一对CMOS图像传感器通过FPGA端口与一对双目视频采集模块分别连接；一对双目视频采集模块一起连接双目视频存储模块；双目视频存储模块输出端的一路经特征提取协处理器与双目视频输出模块相连接，另一路与双目视频显示模块相连接；双目视频输出模块还分别连接NiosII处理器和上位机，双目视频显示模块还连接VGA显示器。
[0007]其中，双目视频采集模块主要包括CMOS图像传感器初始化控制器与Avalon流模式视频采集控制器，二者通过Avalon总线连接。一对双目视频采集模块分别连接至一对CMOS图像传感器CM0S_1和CM0S_2对应的DMA控制器DMA_1和DMA_2。
[0008]所述的双目视频显示模块主要包括VGA显示时序发生器和缓存数据的异步FIFO，二者通过Avalon总线连接；VGA显示时序发生器通过D/A转换芯片连接VGA显示器。
[0009]所述的双目视频输出模块主要包括异步FIFO缓存器和与之连接的Avalon流模式视频输出控制器。将USB芯片通过FPGA端口与双目视频输出模块连接，设置USB芯片为Slave FIFO从机模式。[0010]所述的双目视频存储模块主要是以两片SDRAM为核心的与之对应的两组DMA控制器DMA_1和DMA_2。双目视频存储模块通过FPGA端口与两片SDRAM相连。
[0011]所述的特征提起协处理器包括低通滤波模块及其后顺序连接的求导计算模块、兴趣值计算及邻域非极大值抑制模块；
[0012]低通滤波器模块采用改进后的模块:
[0013]
【权利要求】
1.基于SOPC的双目视频拼接装置，包括视频采集装置、视频融合装置、视频传输装置和上位机，其特征在于:一对CMOS图像传感器通过FPGA端口与一对双目视频采集模块分别连接；一对双目视频采集模块一起连接双目视频存储模块；双目视频存储模块输出端的一路经特征提取协处理器与双目视频输出模块相连接，另一路与双目视频显示模块相连接；双目视频输出模块还分别连接NiosII处理器和上位机，双目视频显示模块还连接VGA显示器。
2.根据权利要求1的装置，其特征在于:一对双目视频采集模块分别连接至一对CMOS图像传感器CM0S_1和CM0S_2对应的DMA控制器DMA_1和DMA_2 ;双目视频采集模块主要包括CMOS图像传感器初始化控制器与Avalon流模式视频采集控制器,二者通过Avalon总线连接。
3.根据权利要求1的装置，其特征在于:双目视频显示模块主要包括VGA显示时序发生器和缓存数据的异步FIFO，二者通过Avalon总线连接；VGA显示时序发生器通过D/A转换芯片连接VGA显示器。
4.根据权利要求1的装置，其特征在于 fUSB芯片通过FPGA端口与双目视频输出模块连接，设置USB芯片为Slave FIFO从机模式；双目视频输出模块主要包括异步FIFO缓存器和与之连接的Avalon流模式视频输出控制器。
5.根据权利要求1的装置，其特征在于:双目视频存储模块通过FPGA端口与两片SDRAM相连；双目视频存储模块主要是以两片SDRAM为核心的与之对应的两组DMA控制器DMA_1 和 DMA_2。
6.根据权利要求1的装置，其特征在于:特征提起协处理器包括低通滤波模块及其后顺序连接的求导计算模块、兴趣值计算及邻域非极大值抑制模块；低通滤波器模块采用改进后的模块:
7.基于SOPC的双目视频拼接方法，其特征在于，包括: A)双目视频配准，首先通过欧氏距离法对特征点进行粗匹配，然后使用KNN法踢出部分误匹配点，最后采用RANSAC计算出单应性矩阵；B)双目视频空间转换，将多张待拼接的图像投影到一个圆柱面上，并且以柱面图像的形式存储，得到统一坐标空间的柱面图像，然后将柱面序列图像进行拼接，构成一幅完整柱面全景图； C)双目视频融合，采用线性渐变融合算法，在重叠区域，依据权值相加，从一幅图像均匀过渡到另一幅图像。
8.根据权利要求7的方法，其特征在于，在步骤A)欧氏距离法计算各特征点之间的欧式距离，计算式为:
9.根据权利要求7的方法，其特征在于，在步骤B)，所述双目视频空间转换是，按下式将图像投影到以摄像机焦距为半径的柱面上，
10.根据权利要求7的方法，其特征在于，在步骤C)，所述线性渐变融合算法是:假设相邻图像I1, I2在区间[XpX2]上重叠，重叠区域中的对应点为I1(Xj)和I2(x，y)，赋予两个点不同的权重系数，权重系数f(x，y)为:
【文档编号】H04N5/262GK103442180SQ201310377399
【公开日】2013年12月11日 申请日期:2013年8月27日 优先权日:2013年8月27日
【发明者】欧阳宁, 张彤, 莫建文, 首照宇, 吕东欢, 袁华, 陈利霞 申请人:桂林电子科技大学