专利名称：车载红外夜视系统及其多源图像融合方法
技术领域：
本发明涉及图像处理技术，具体为一种图像配准、融合及增强方法，应用于车载红外夜视装置中图像处理过程。
背景技术：
图像配准、融合及增强是首先确定在相同或不同时间、相同或不同传感器拍摄的两幅或多幅图像之间最佳匹配关系，然后对已配准的图像进行融合，接着对感兴趣的区域进行增强处理。配准结果给出了两幅图像之间相对位置关系，融合后的图象可以提供更加丰富的信息，增强后的图像会凸显出特征。目前，汽车在夜间行驶时，主要由近光灯和远光灯提供照明。其中，近光灯有效距离为40m左右，远光灯有效距离为IOOm左右，从人眼观察前方路面到采取措施的反应距离为70m左右。在夜晚行车，当出现紧急情况时，一方面驾驶员由于视力受限，容易发生交通事故，另一方面驾驶员由于不熟悉路况，容易发生危险情况。传统红外夜视辅助系统一般有两种类型，一种为被动式红外热像仪，通过获取被探测物体的温度成像，夜视效果很好，但是价格昂贵，另外一种为主动式红外摄像机，通过辅助红外灯照射被探测物体，接收被测物体反射光成像，价格便宜但是夜视效果较差。两种类型辅助系统均为将采集到的模拟视频信号直接显示，虽然直观，但是不能突出特征。
发明内容
本发明所要解决的技术问题是针对背景技术的缺陷，提供车载红外夜视行车系统中图像配准及增强的方法，计算量较小，精度较高，鲁棒性较强。本发明为解决上述技术问题采用以下技术方案
一种多源图像融合方法，用于车载红外夜视系统，该方法分别利用一可见光摄像装置以及一红外摄像装置同时获取观测区域的可见光图像和红外图像；然后将获取的可见光图像和红外图像进行融合，生成融合图像；具体步骤如下
步骤A、分别对可见光图像和红外图像进行预处理，预处理包括图像的均衡和滤波； 步骤B、采用多尺度Harris-Laplace特征点提取算法分别对预处理后的可见光图像和红外图像构建尺度空间图像集，并提取多尺度特征点及特征尺度；
步骤C、统计步骤B中得到的特征尺度数据，以重复出现最多的特征尺度数据作为最佳特征尺度，以该最佳特征尺度对原可见光图像和红外图像进行Carmy边缘提取，进行二值化后存储；
步骤D、分别在步骤C中获取的可见光与红外边缘二值化图像上，以步骤B中提取的多尺度特征点的坐标为中心，以步骤C得到的最佳特征尺度对应的数值为长度，构建正方形检测区域，对检测区域利用最小截平方HausdorfT距离为测度进行精确匹配，并获得精确匹配的特征点对；
步骤E、使用最小二乘法对获取到的精确匹配的特征点对拟合出仿射变换的参数，利用该参数对待匹配图进行仿射变换，并存储已配准的可见光图像和红外图像； 步骤F、将已配准的可见光图像和红外图像进行融合。进一步的，本发明的多源图像融合方法中，步骤C具体包括以下步骤
步骤C 1 .定义积分尺度的尺度变化函数
^ = ^.^^=0,1--^ ；其中，σ>为尺度变化函数，《》为常数因子，《为尺度空间图像序号，N为尺度空间图像总数；根据上述尺度变化函数分别统计出可见光图像对应的最佳特征尺度巧^与红外图像对应的最佳特征尺度CTijs ；
步骤C2.以可见光图像对应的最佳特征尺度为标准差，<6^_ri〉为模板尺寸，对预处理后的可见光图像进行高斯平滑滤波，获取到可见光图像的边缘特征尺度图像；以红外图像对应的最佳特征尺度为标准差，终心)为模板尺寸，对预处理后的红外图像进
行高斯平滑滤波，获取到红外图像的边缘特征尺度图像；其中，为向下取整；
步骤C3.在可见光边缘特征尺度图像上，以每个特征点为中心，以00；』>为长度划
定每个特征点的矩形区域子图像；在红外边缘特征尺度图像上，以每个特征点为中心，以
巧>》为长度划定每个特征点的矩形区域子图像；
将红外图像的每个矩形区域子图像插值或采样为与可见光图像相同区域大小；以可见光图像为基准图，在其每个特征点附近搜索红外图像的特征点，构成候选匹配点对； 步骤C4.对所有矩形区域子图像进行Carmy边缘提取，并进行二值化处理后存储。进一步的，本发明的多源图像融合方法中，步骤D所述对检测区域利用最小截平方Hausdorff距离为测度进行精确匹配的方法具体为
在候选匹配点对中，以特征点对应的矩形区域二值化子图像作为输入，其像素点对应的坐标为参数，使用最小截平方HausdorfT距离进行相似度测量，候选匹配点对中距离最小的匹配对为精确匹配对。进一步的，本发明的多源图像融合方法中，步骤F中所述将已配准的可见光图像和红外图像进行融合是采用改进模板的金字塔图像融合方法，具体包括以下步骤
步骤Fl.将经典的^、高斯模板分解为向量wO) = 4 6 4 1]； 5x516
步骤F2.使用构建高斯金字塔；
高斯塔式分解丨
权利要求
1.一种多源图像融合方法，用于车载红外夜视系统，其特征在于，该方法分别利用一可见光摄像装置以及一红外摄像装置同时获取观测区域的可见光图像和红外图像；然后将获取的可见光图像和红外图像进行融合，生成融合图像；具体步骤如下步骤A、分别对可见光图像和红外图像进行预处理，预处理包括图像的均衡和滤波； 步骤B、采用多尺度Harris-Laplace特征点提取算法分别对预处理后的可见光图像和红外图像构建尺度空间图像集，并提取多尺度特征点及特征尺度；步骤C、统计步骤B中得到的特征尺度数据，以重复出现最多的特征尺度数据作为最佳特征尺度，以该最佳特征尺度对原可见光图像和红外图像进行Carmy边缘提取，进行二值化后存储；步骤D、分别在步骤C中获取的可见光与红外边缘二值化图像上，以步骤B中提取的多尺度特征点的坐标为中心，以步骤C得到的最佳特征尺度对应的数值为长度，构建正方形检测区域，对检测区域利用最小截平方HausdorfT距离为测度进行精确匹配，并获得精确匹配的特征点对；步骤E、使用最小二乘法对获取到的精确匹配的特征点对拟合出仿射变换的参数，利用该参数对待匹配图进行仿射变换，并存储已配准的可见光图像和红外图像； 步骤F、将已配准的可见光图像和红外图像进行融合。
2.如权利要求1所述多源图像融合方法，其特征在于，步骤C具体包括以下步骤 步骤C 1 .定义积分尺度的尺度变化函数aI = h-a\n=0,i--M ；其中，巧为尺度变化函数，为常数因子，《为尺度空间图像序号，况为尺度空间图像总数；根据上述尺度变化函数分别统计出可见光图像对应的最佳特征尺度巧^与红外图像对应的最佳特征尺度^_is ；步骤C2.以可见光图像对应的最佳特征尺度巧j为标准差，为模板尺寸，对预处理后的可见光图像进行高斯平滑滤波，获取到可见光图像的边缘特征尺度图像；以红外图像对应的最佳特征尺度cr3_is为标准差，^crij^为模板尺寸，对预处理后的红外图像进行高斯平滑滤波，获取到红外图像的边缘特征尺度图像；其中，为向下取整；步骤C3.在可见光边缘特征尺度图像上，以每个特征点为中心，以Po^v^为长度划定每个特征点的矩形区域子图像；在红外边缘特征尺度图像上，以每个特征点为中心，以为长度划定每个特征点的矩形区域子图像；将红外图像的每个矩形区域子图像插值或采样为与可见光图像相同区域大小；以可见光图像为基准图，在其每个特征点附近搜索红外图像的特征点，构成候选匹配点对； 步骤C4.对所有矩形区域子图像进行Carmy边缘提取，并进行二值化处理后存储。
3.如权利要求1所述多源图像融合方法，其特征在于，步骤D所述对检测区域利用最小截平方Hausdorff距离为测度进行精确匹配的方法具体为在候选匹配点对中，以特征点对应的矩形区域二值化子图像作为输入，其像素点对应的坐标为参数，使用最小截平方HausdorfT距离进行相似度测量，候选匹配点对中距离最小的匹配对为精确匹配对。
4.如权利要求1所述多源图像融合方法，其特征在于，步骤F中所述将已配准的可见光图像和红外图像进行融合是采用改进模板的金字塔图像融合方法，具体包括以下步骤步骤Fl.将经典的《 高斯模板分解为向量= 4 6 4 1]； )χ516步骤F2.使用>Κ功构建高斯金字塔； 高斯塔式分解G1=Y w(n)d,(2i +.η,β ·.O <1<Ν,0 <i<Ct,0 <j<R,其中，为高斯分解第0层，#为高斯金字塔顶层的层号；^和爲分别是高斯金字塔第I层图像的行数和列数，Gi为第层的图像；对G1先进行每一行高斯分解，再进行每一列高斯分解，通过采样构成高斯金字塔； 步骤F3.由高斯金字塔建立Laplace金字塔对可见光图像与红外图像分解与融合。
5.如权利要求1-4任一项所述的多源图像融合方法，其特征在于，在步骤F后还包括确定可见光和红外融合图像中的道路范围，并对道路范围内的图像进行对比度增强和亮度增强的步骤。
6.一种车载夜视系统，其特征在于，包括一红外摄像装置、一可见光摄像装置、图像数据处理单元、显示装置；所述红外摄像装置、可见光摄像装置分别与图像数据处理单元的输入端连接；所述图像数据处理单元包括依次信号连接的图像预处理模块、特征提取模块、图像配准模块及图像融合模块；图像数据处理单元的输出端与显示装置的输入端连接；其中，所述图像预处理模块分别对可见光图像和红外图像进行预处理； 所述特征提取模块采用多尺度Harris-Laplace特征点提取算法分别对预处理后的可见光图像和红外图像构建尺度空间图像集，并提取多尺度特征点及特征尺度； 所述图像配准模块用于对可见光图像、红外图像进行特征匹配； 所述图像融合模块用于采用金字塔图像融合方法，将已配准的可见光图像和红外图像进行融合。
7.如权利要求6所述的车载夜视系统，其特征在于，所述红外摄像装置为主动红外摄像机，所述可见光摄像装置为可见光CXD摄像机。
全文摘要
本发明公开了一种车载红外夜视系统，包括一红外摄像装置、一可见光摄像装置、图像数据处理单元、显示装置；其中红外摄像装置、可见光摄像装置分别与图像数据处理单元的输入端连接；本发明还公开了采用该车载红外夜视系统进行多源图像融合的方法，步骤如下(1)读入可见光图像与红外图像的图像数据，分别进行预处理；(2)分别进行特征点选取，分别提取多尺度边缘并二值化；(3)在边缘处采用LTS-Hausdorff距离精确匹配；(4)仿射变换对待匹配图进行处理；(5)对配准输出图像进行改进Laplace金字塔图像融合。本发明使融合时间较少，效率更高，融合显示效果更好。
文档编号G06T5/50GK102567979SQ20121001795
公开日2012年7月11日 申请日期2012年1月20日 优先权日2012年1月20日
发明者储林臻, 孙思佳, 朱智超, 闫钧华, 陈少华 申请人:南京航空航天大学