专利名称：一种视频图像自动拼接装置的制作方法
技术领域：
本实用新型涉及数字图象处理技术领域，具体涉及一种视频图像拼接的装置。
背景技术：
图像拼接是一种将多幅经过单帧采集的相关重叠图像进行无缝拼接从而获得宽视角全景图像的技术，被广泛应用于各种视频会议、虚拟现实、体育赛事和战场监控等。近年来，国内外对图像拼接技术的研究已经取得了一些成果，常见的方法有相位相关法、控制点配准算法、自动角点检测配准算法等。但这些算法在配准过程中都有其不足，相位相关法的缺点是对图像旋转特别敏感，当图像间存在有旋转量时，相关峰值迅速衰减，且该方法直接采用各个像素的灰度进行计算的，当被拼接图像之间的光照条件有较大差异时，不能得到理想的结果；控制点配准算法往往要借助人工选取初始匹配点，这大大降低了算法的速度和适用范围；自动角点检测配准算法对于数据的缺失比较敏感，要求两幅图像的对应轮廓要比较完整，对于轮廓特征不明显或噪声干扰较大的图像不适用。上述方法的承载装置主要是通过将两个摄像头的信号传递给图像采集芯片 LM1881，LM1881将信号重新编码通过串口通信芯片MAX232和串口通信接头将图像信息传给计算机，随后工作人员根据计算机显示的图片信息借助于图像拼接的软件选取初始匹配点，随后通过计算机上的拼接软件完成图像拼接，过程中需要人工选取匹配点，工作量大且效率低，而且精度也较差。目前，视频的稳定拼接仍是一个复杂的技术难题，在没有先验知识的条件下，根据不同视角、不同尺度和光照变化等因素，还没有一种有效的技术装置实现视频的自动拼接。通常获得的视频拼接，需要在拍摄时对摄像机位置、光圈和拍摄角度进行精确校准，这给视频采集带来不便，实践操作过程中也很难做到。
发明内容本实用新型的目的在于提供一种视频图像自动拼接装置，该装置能够快速地将采集到的图像通过芯片进行拼接，并将拼接后得到的图像传递给显示器，已达到快速获得全景画面的要求。为了实现上述技术任务，本实用新型采用如下技术方案得以实现—种视频图像自动拼接装置，该装置至少包括有图像采集模块、图形拼接处理模块和图像输出模块，所述图像采集模块、图形拼接处理模块和图像输出模块依次连接。所述图像采集模块至少包括有两组图像采集电路，所述两组图像采集电路并联于图形拼接处理模块上，所述两组图像采集电路并联于图形拼接处理模块上，所述图像采集电路至少包括有摄像头和LM1881图形芯片。所述图像拼接处理模块至少包括有MC9S12)(DP512芯片。所述图像输出模块至少包括有串口通信芯片MAX232。本实用新型所提供的装置可通过对至少两幅图像提取轮廓并运用图像的透视投影关系得到含有平移量和角位移的投影变换矩阵，即可通过图像采集模块将两幅图片信息
3传递给图形拼接处理模块，随后通过图形处理芯片进行图像拼接运算并将得到的拼接图像通过图像输出模块传递给显示器或者其他输出设备。与现有的技术相比较得到的图像更准确，图像拼接更流畅，可以根据不同视角、不同尺度和光照变化实现有效的技术视频的自动拼接。
图1为本实用新型的装置结构示意图；图2为本实用新型的图像采集模块硬件电路图；图3为本实用新型的图像输出模块硬件电路图；图4为本实用新型的图像拼接处理模块的工作流程图；图5为图像配准模块的工作流程图；图6为对每组候选平移量进行计算的流程图；图7为图像投影变换矩阵的优化求解的流程图；图8为参数优化模块的工作流程图。以下结合实施例与附图对本实用新型做进一步详细说明。具体的实施方式参见图1，本实用新型的装置包括至少有图像采集模块、图形拼接处理模块和图像输出模块，且上述三个模块依次连接。通过图像采集模块将至少两幅图片信息传递给图形拼接处理模块，通过图形处理芯片进行图像拼接运算得到拼接图像，而后将得到的拼接图像通过图像输出模块传递给显示器或者计算机等其他输出设备。参见图2，图像采集模块包括两组图像采集电路，所述两组图像采集电路并联于图形拼接处理模块上，该图像采集电路有摄像头、LM1881图形芯片以及4个电容和4个电阻等元件。参见图3，图像输出模块主要通过串口通信电路将处理后的图片传递给显示器或者其他输出设备。串口通信电路有串口通信芯片MAX232和5个电容和串口插座。图形拼接处理模块中使用图形拼接处理芯片MC9S12)(DP512。整个装置由一个稳压电源为整个系统供电，图像采集模块、图形拼接处理模块和图像输出模块均与该稳压电源相连接，稳压电源的输入电压为220V的交流电，输出为12V 和5V两种电压的直流电。其中12V供给摄像头，5V供给其他系统模块。本实用新型所提供的装置的具体图像拼接运算方法如下图像采集模块对所有摄像机拍摄的视频采集单帧图像以获取图像序列，相对应的两幅或多幅图像边界必须存在重叠区域，为了保证单帧之间的重叠区域能够满足拼接需求，通常设置采集速度为5 10帧/ S。目前采集单帧图像的软件很多，可以采用After Effect软件进行单帧图像的采集。参见图4，为图形拼接处理模块的工作流程示意图，其包括图像预处理模块，图像配准模块、参数优化模块和图像融合模块。所述的图像预处理模块实现对图像进行直方图均衡和分段线性直方图拉伸处理。 由于视频图像的采集和传输过程中会不可避免地出现噪声、畸变、失真和对比度低等状况， 使图像中所包含的有效信息减少，从而会影响图像配准和拼接的质量。因此在进行拼接工作之前，要针对不同图像的特点对图像进行预处理，包括对图像进行直方图均衡和分段线性直方图拉伸等处理。参见图5—图8，图像预处理模块中的图像配准模块实现对图像进行轮廓提取后采用傅立叶变换与逆变换图像初始定位平移量和角位移量的算法进行配准。该模块运用图像的透视投影关系列出投影变换矩阵，矩阵中应该包括水平位移量和旋转位移量，随后，提取出图像的轮廓，只对二值化的轮廓进行相位相关计算。提取两幅或多幅原始图像的轮廓，得到轮廓图像，轮廓图像是二值图像。可以使黑色表示边缘，白色表示非边缘。运用傅立叶变换与逆变换得出变换矩阵中的图像初始定位平移量和角位移量。根据图像的配准，再运用小波变换图像融合即可进行拼接得到完整的图像。由于获取的初始参数值可能存在误差，即使是误差值很小，也得不到理想的视频图像。为了使拼接更准确，其中的参数优化模块对初始参数进行优化，本实用新型采用 Levenberg-Marquard (L-M)优化算法来求精初始参数。其中的图像融合模块其任务就是把配准后的两幅图像拼接成一幅平滑无缝图像。 找到图像之间的重叠范围，如果只是简单的叠加，会造成图像模糊和明显的边界，而且拼接处会有一条接缝，本实用新型采用小波变换图像融合拼接得到完整的图像。图形拼接模块处理后得到的拼接后的图片通过图像输出模块的串口通信接头传递给显示器或计算机。实施例本实施例中的装置具体连接方式为此装置中的1号摄像头的视频信号线与图形采集芯片LM1881的2号引脚相连，使摄像头信号输入到芯片LM1881。随后将LM1881的引脚1与芯片MC9S12XDP512的引脚PTl相连，同时，LM1881的引脚7与芯片MC9S12XDP512的引脚PT2相连，以便将视频信号传递给芯片MC9S12)(DP512。2号摄像头的连接方式同1号摄像头连接方式相同，但是，2号摄像头的电路中的LM1881的引脚1与芯片MC9S12)(DP512 的引脚PT3相连，LM1881的引脚2与芯片MC9S12XDP512的引脚PT4相连。对于输出模块，芯片MC9S12)(DP512的引脚T)(D与串口通信芯片MAX232的引脚11 相连，芯片MC9S12XDP512的引脚RXD与MAX232的引脚12相连。MAX232的引脚14与串口通信接头的引脚2相连，MAX232的引脚13与串口通信接头的引脚3相连。随后将串口通信接头与计算机的串口通信接头相连。整个系统由一个稳压电源供电，该稳压电源为系统提供12V和5V两种电压，其中， 12V电压直接与摄像头的电源接头相连，为两个摄像头供电。而5V电压从稳压电源出来后分别接LM1881图形采集芯片的引脚8、MC9S12XDP512芯片的引脚VCC和串口通信芯片 MAX232的引脚16。以便为各个芯片供电。工作过程中用一台成像设备每隔固定的角度对同一场景进行拍摄获得的两张图像将相机固定在三角架上，将相机以镜头为轴，水平旋转一周连续拍摄第1层图像，再将摄像机往上仰一个角度拍摄第2层图像，并且保证相邻照片之间必须有一定的重叠区域。由于拍摄角度的变化，光照也会有差异。将第一张拍摄到的图像编号为
,即基准图像，将旋转成像设备拍摄的图像编号为^g2(Wj)、……、^(mv。这里为
了方便描述，仅取前两幅图像进行讲解，其余图像的拼接跟前面两幅图像的拼接方法完全相同。[0041]首先，提取出图像的轮廓，只提取图像的二值化轮廓。对两幅待拼接图像可以采用结合Carmy算子的图像二值化方法进行轮廓提取，得到了目标像素灰度值均勻的图像，可以使图中黑色部分为图像边缘，白色为图像的非边缘， 以方便识别。第二，通过运用傅立叶变换与逆变换公式得出变换矩阵中的图像初始定位平移量和角位移量。即对于图像ft(风V)和图像豹(W，v),两者之间不光存在平移而且相互之间也存在旋转。第三，通过对公式所得到的图像初始定位平移量和角位移量进行图像的配准，在运用小波变换图像融合进行图像的拼接。对于获取的初始参数值可能存在误差，为了使拼接更准确我们必须对初始参数进行优化，本实用新型采用Levenberg-Marquard (L_M)优化算法来求精初始参数。然后，运用(L-M)优化算法求精初始参数。在优化算法求精初始参数的基础上运用小波变换图像融合进行图像的拼接。最终，将拼接后得到的图像信息通过MAX232串口通信的串口通信接头传递给计算机，并在计算机上显示。
权利要求1.一种视频图像自动拼接装置，其特征在于，该装置至少包括有图像采集模块、图形拼接处理模块和图像输出模块，所述图像采集模块、图形拼接处理模块和图像输出模块依次连接。
2.如权利要求1所述的视频图像自动拼接装置，其特征在于，所述图像采集模块至少包括有两组图像采集电路，所述两组图像采集电路并联于图形拼接处理模块上，所述图像采集电路至少包括有摄像头和LM1881图形芯片。
3.如权利要求1所述的视频图像自动拼接装置，其特征在于，所述图像拼接处理模块至少包括有MC9S12XDP512芯片。
4.如权利要求1所述的视频图像自动拼接装置，其特征在于，所述图像输出模块至少包括有串口通信芯片MAX232。
专利摘要本实用新型涉及数字图象处理技术领域，尤其涉及一种视频图像拼接的装置。一种视频图像自动拼接装置,其特征在于，该装置包括至少图像采集模块、图形拼接处理模块和图像输出模块，所述图像采集模块、图形拼接处理模块和图像输出模块依次连接。该装置可通过对至少两幅图像提取轮廓并运用图像的透视投影关系得到含有平移量和角位移的投影变换矩阵。与现有的技术相比较得到的图像更准确，图像拼接更流畅，可以根据不同视角、不同尺度和光照变化实现有效的技术视频的自动拼接。
文档编号H04N5/74GK201957162SQ20112001795
公开日2011年8月31日 申请日期2011年1月20日 优先权日2011年1月20日
发明者孙文明, 孙纯, 毛亚峰, 韩毅 申请人:长安大学