基于帧累积的低照度成像方法
【专利摘要】本发明公开了一种基于帧累积的低照度成像方法。首先对进行前ISP处理后输出的多帧图像进行Surf特征点匹配获得校准图像；然后对多帧连拍图进行累加。由于简单的叠加会导致图像产生过曝现象，因而采用加权累积方式，每幅图像权重相等；最后基于自适应的局部Gamma校正方法，对待处理图像进行Gamma校正，并输出最终处理完毕的图像。本发明所述方法对静态的图像序列,利用各帧信号的相关性和噪声的不相关性,采用序列图像多帧累加技术,可大大改善图像的信噪比,提高清晰度。
【专利说明】
基于帧累积的低照度成像方法
技术领域
[0001 ]本发明涉及计算机视觉领域，具体涉及一种低照度成像方法。
【背景技术】
[0002] 大多数室外视觉系统，如视频监控、目标识别和卫星遥感监测等，都需要获取清晰 的图像特征。但是在低照度条件下(如夜间等环境），由于场景的照度低(光信号微弱），导致 能见度低，所观察的景物信号非常微弱，图像成像质量低，目标模糊不清，尤其在图像经过 存储、转换、传输等操作后，更进一步降低了低照度图像的质量，使成像系统无法正常工作。 因此，研究如何对低照度图像进行有效处理，降低光信号弱的环境对成像系统的影响具有 重要研究价值。
[0003] 低照度下获取的图像灰度范围窄、灰度变化不明显，且相邻像素的空间关联性高， 这些特点使得图像中的细节、背景和噪声等都包含在较窄的灰度范围之内。因此为了改善 低照度下获取的图像的视觉效果，将其转换为一种更适于人眼观察和计算机处理的形式， 便于提取有用信息，需要对被拍摄物在低照度下的成像进行增强处理。目前现行的低照度 成像方法大多是基于对低照度下获取的单幅图像进行先去噪再增强的算法，这样处理的弊 端就是会在一定程度上无法精确体现出图像细节，同时对于单幅低照度下获取的图像的增 强算法而言，由于低照度下图像信噪比已接近探测极限，同时输出图像不仅附加了严重的 量子噪声而且图像的对比度已接近视觉的灵敏限。因此采用常规的数字图像处理技术，将 很难获得预期的效果。针对这些特点，本发明提出一种基于帧累积的低照度成像算法，通过 增加积分时间的办法，提高低照度下获取的图像的信噪比。基于帧累积的处理算法，能够克 服随机噪声达到提高信噪比的目的。利用帧积分法对抑制低照度图像的时间域随机颗粒噪 声是非常有效的。同时采用低照度图像帧累积增强方法是克服随机噪声提高系统性能的最 直接、最简单也是最有效的方法。
【发明内容】
[0004] 本发明要解决的技术问题在于:针对低照度下成像这个特定问题，为了提高低照 度下获取的图像的质量和可辨识度，使其满足实时性需求，提出一种基于帧累积的低照度 成像方法。
[0005] -种基于帧累积的低照度成像方法，其特征在于:通过累积同一场景的连续帧图 像，提高图像的信噪比，从而提高低照度下获取图像的清晰度。
[0006] 具体的，包括如下步骤：
[0007] (1)对原始图像进行前ISP处理；
[0008] (2)对前ISP处理后输出的多帧图像进行Surf特征点匹配获得校准图像；
[0009] (3)对多帧连拍图进行累加；
[0010] ⑷基于自适应的局部Gamma校正方法，对待处理图像进行Gamma校正；
[0011] (5)输出处理完毕的图像。
[0012] 具体的，所述前ISP处理包括对原始图像进行白平衡处理，去马赛克，色彩校正，转 RGB格式彩图步骤。
[0013] 具体的，所述Surf特征点匹配包括如下步骤：
[0014] (1)检测特征点
[0015] 选取不同的箱式滤波器建立图像的尺度空间，使用Hession矩阵检测每一层图像 上的极值点，在三维空间中，对该点与邻近的3 X 3 X 3立体邻域内进行非极大值抑制，大于 邻近26个响应值的点称为Surf?特征点；
[0016] (2)确定特征点主方向
[0 017 ]以特征点为中心，计算半径为6圆形邻域内的点在X、y方向的H a r r小波响应，并给 这些响应值按距离赋予不同高斯权重系数，对加权后的Harr小波响应用直方图进行统计； 再将圆形区域以每5°为间隔，划分为72组，分别将每组60°范围内的响应加起来形成一个新 的矢量;遍历整个圆形区域，一共生成72个矢量，选择最长的矢量的方向为特征点的主方 向；
[0018] (3)特征点描述
[0019]以特征点为中心，将坐标轴旋转到主方向，按主方向选取20X20的正方形区域，将 该窗口区域划分为4 X 4个子区域，在每个子区域内计算Harr小波在y方向的响应dx、dy每个 子区域在x，y方向的响应分别求和并生成了一个Ed x，E |dx|，Edy，E |dy|的四维向量，这 样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子；
[0020] (4)特征点匹配
[0021] 采用基于最小欧氏距离来度量特征点间的相似性为：
[0023] 其中Alk表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，Blk表示 待匹配的第二幅图像的第i个特征点描述向量的第k维的值，n表示特征点描述子是一个n维 的描述向量;假设Tu，Tv分别为待匹配两幅图像的特征点集合，对于Tu中的任意一个特征点 Tin，若Tv中存在欧氏距离最小的两个特征点T Vj、$，且则g认为是Tu的匹配对，最后 采用穷举搜索算法找出所有的匹配对。
[0024] 具体的，所述对多帧连拍图进行累加，采用的是加权累加方式，每幅图像权重相 等。
[0025] 具体的，所述Gamma校正包含以下三个步骤：
[0026] (1)归一化:将像素值转换为0~1之间的实数；
[0027] (2)求输出值:根据预设的Gamma值所绘制的符合需求的Gamma曲线，将归一化后的 像素值代入曲线中，求得相应的输出值；
[0028] (3)反归一化:将经过预补偿的实数值反变换为图像的整数值；
[0029]最后得出相应的校正结果。
[0030]优选的，所述Tvj和靖的比值的取值范围为0.5~0.7。
[0031]优选的，在于对4帧连拍图进行累加。
[0032]本发明方法有益的效果是：
[0033] (1)可以大大改善图像的信噪比，提高清晰度，处理的夜拍低照度图像成像效果 好，亮度有明显提升，细节部分不丢失，且没有过曝现象。
[0034] (2)本发明中方法计算量不大，实际上可嵌入FPGA中实现，开发具有实时去雾功能 的相机或摄像机。
【附图说明】
[0035]图1是发明方法的流程图；
[0036] 图2-图4是实施例所述低照度下成像的对比图。
【具体实施方式】
[0037] 下面结合附图对本发明做进一步详细说明。
[0038] 图像的帧累积，即图像的多帧积累增加，是通过累积同一场景连续帧图像的办法， 提高图像的信噪比。在图像处理算法中，多帧累加就是将不同时刻两幅图像或多帧图像对 应像素点的灰度值相加，求取它们的时间均值图像。当所观察目标的环境照度太低，导致目 标能量小，噪声大，图像信噪比降低。对静态的图像序列，利用各帧信号的相关性和噪声的 不相关性，采用序列图像多帧累加技术，可大大改善图像的信噪比，提高清晰度。
[0039] 对于待处理的低照度下获取的图像，假定含有噪声图像中原始图像任一像素点在 一定时间内的平均光子数为推广到整幅图像中该像素点的原始图像信号S， m _ _
[0040] s i-1
[0041] 微弱光环境下，物体辐射的瞬时值则有所涨落，这种偏离平均值的随机起伏就构 成了辐射的噪声。根据概率论中描述随机变量的理论可知，到达探测器的光子流符合泊松 分布，量子数涨落值即量子噪声可以用方差1):.= &表不。每一个空间位置(X，y)的噪声n (X， y，t)在时间序列上是不相关的，所以不同时刻得到的噪声之间的协方差为零， m.
[0042] = mb iM
[0043] 图像噪声用标准差#表示，得到经过累加处理后的图像噪声为^,比较知，累 加处理前的图像信噪比和处理后的分别为SNR1，SNR2，
[0046]由式看出，对m帧图像序列取累加后可使信噪比提高&倍，能够有效地抑制噪声。 [0047]第一步:对进行前ISP处理后输出的低照度下获取的多帧图像进行Surf特征点匹 配获得校准图像。
[0048]前ISP处理中包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩 图，最后经过转RGB格式彩图后输出适合Surf特征点匹配的图像。SURF(Speed-Up Robust Features)是在SIFT(Scale Invariant Feature Transform)算法基础上提出的一种特征 检测描述算子，具有尺度不变、旋转不变性、对光照变化、噪声、局部遮挡保持一定的稳健性 等特点，且计算速度比SIFT快几倍。Surf特征点匹配方法分为4步：
[0049] (1)检测特征点。选取不同的箱式滤波器建立图像的尺度空间，使用Hession矩阵 检测每一层图像上的极值点，在三维空间中，对该点与邻近的3X3X3立体邻域内进行非极 大值抑制，大于邻近26个响应值的点称为Surf?特征点。
[0050] 以高斯滤波器为例，对于图像中的某一点p=(x，y)以及高斯滤波器的尺度，其 Hession矩阵H(p，〇)表达式如下： L..{p.,<j) L (p.a)
[0051] 贝/w)=广/ 、，/ 、 Lxy{p,<j) Lnip,cr)_
[0052] 其中Lxx(p，〇)，Lxy(p，〇)，Lyy(p，〇)是图像中p点与高斯二阶偏导数的卷积。Hession 矩阵的行列式为：
[0053]
[0054] 实际运算中由于高斯滤波器须离散化，故随着尺度的增大图像细节逐渐被过滤。 采用Surf算法以方框滤波(box filter)近似代替高斯二阶导数，用积分图像加速卷积后 Hession矩阵的行列式的近似表达式为：
[0055] del // = Di ( v Drr - 0.92 x D;.
[0056] 其中Dxx，Dyy，Dxy是图像中p点与方框滤波的卷积。
[0057] (2)确定特征点主方向。以特征点为中心，计算半径为6(为特征点所在的尺度值） 圆形邻域内的点在x、y方向的Harr小波响应，并给这些响应值按距离赋予不同高斯权重系 数，对加权后的Harr小波响应用直方图进行统计；再将圆形区域以每5°为间隔，划分为72 组，分别将每组60°范围内的响应加起来形成一个新的矢量;遍历整个圆形区域，一共生成 72个矢量，选择最长的矢量的方向为特征点的主方向。
[0058] (3)特征点描述。以特征点为中心，将坐标轴旋转到主方向，按主方向选取20X20 的正方形区域，将该窗口区域划分为4X4个子区域，在每个子区域内计算Harr小波在y方向 的响应dx、dy每个子区域在x，y方向的响应分别求和并生成了一个Edx，E |dx|，Edy，E |dy| 的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述 子；
[0059] (4)特征点匹配
[0060]采用基于最小欧氏距离来度量特征点间的相似性为：
[0062]其中Alk表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，Blk表示 待匹配的第二幅图像的第i个特征点描述向量的第k维的值，n表示特征点描述子是一个n维 的描述向量;假设Tu，Tv分别为待匹配两幅图像的特征点集合，对于Tu中的任意一个特征点 Tui，若Tv中存在欧氏距离最小的两个特征点TVj、^，且
的取值范围一般为〇. 5~ 0.7)，则7；,.认为是Tu的匹配对，最后采用穷举搜索算法找出所有的匹配对。
[0063] 第二步:对多帧连拍图（即第一步获得的校准图像)进行累加。由于简单的叠加会 导致图像产生过曝现象，因而采用加权累积方式，每幅图像权重相等。
[0064] -幅有噪声的图像g(x，y，t)可认为是由原始图像f (x，y，t)和噪声n(x，y，t)叠加 而成，即：
[0065] g(x,y,t)=f(x,y,t)+n(x,y,t)
[0066] 多帧累加就是将不同时刻两帧图像或多帧图像对应像素点相加后求取它们的图 像。m帧图像进行累加，得到图像a(x，y，t)， m
[0067] "(.V，j.，,）=.
[0068]基于上述原理，求得帧累积图像a(x，y，t)。
[0069] 第三步:基于Gamma校正方法，对待处理图像进行Gamma校正。
[0070] Gamma校正包含以下三个步骤：
[0071 ] (1)归一化:将像素值转换为0~1之间的实数；
[0072] (2)求输出值:根据预设的Gamma值所绘制的符合需求的Gamma曲线，将归一化后
[0073] 的像素值代入曲线中，求得相应的输出值；
[0074] (3)反归一化:将经过预补偿的实数值反变换为图像的整数值。
[00"75]最后得出相应的校正结果，Gamma校正主要为了提高图像的亮度。
[0076]第四步:输出最终处理完毕的图像。如图1~4所示，本发明处理的夜拍低照度图像 成像效果好，亮度有明显提升，细节部分不丢失，且没有过曝现象，较好的达到了所预期的 目标。
[0077]本发明中提出的方法实际上可嵌入FPGA实现，开发具有实时去雾功能的相机或摄 像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限 于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算 法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明 的保护范围。
【主权项】
1. 一种基于帖累积的低照度成像方法，其特征在于:通过累积同一场景的连续帖图像， 提高图像的信噪比，从而提高低照度下获取图像的清晰度。2. 如权利要求1所述的一种基于帖累积的低照度成像方法，其特征在于包括如下步骤： (1) 对原始图像进行前ISP处理； (2) 对前ISP处理后输出的多帖图像进行Surf特征点匹配获得校准图像； (3) 对多帖连拍图进行累加； (4) 基于自适应的局部Gamma校正方法，对待处理图像进行Gamma校正； (5) 输出处理完毕的图像。3. 如权利要求2所述的一种基于帖累积的低照度成像方法，其特征在于:所述前ISP处 理包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图步骤。4. 如权利要求2所述的一种基于帖累积的低照度成像方法，其特征在于，所述Sud特征 点匹配包括如下步骤： (1) 检测特征点 选取不同的箱式滤波器建立图像的尺度空间，使用化SSion矩阵检测每一层图像上的 极值点，在立维空间中，对该点与邻近的3X3X3立体邻域内进行非极大值抑制，大于邻近 26个响应值的点称为Surf特征点； (2) 确定特征点主方向 W特征点为中屯、，计算半径为6圆形邻域内的点在x、y方向的化rr小波响应，并给运些 响应值按距离赋予不同高斯权重系数，对加权后的化rr小波响应用直方图进行统计;再将 圆形区域W每5°为间隔，划分为72组，分别将每组60°范围内的响应加起来形成一个新的矢 量;遍历整个圆形区域，一共生成72个矢量，选择最长的矢量的方向为特征点的主方向； (3) 特征点描述 W特征点为中屯、，将坐标轴旋转到主方向，按主方向选取20 X 20的正方形区域，将该窗 口区域划分为4X4个子区域，在每个子区域内计算化rr小波在y方向的响应dx、dy每个子区 域在x，y方向的响应分别求和并生成了一个Edx, E Idxl，Edy, E Idyl的四维向量，运样每 个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子； (4) 特征点匹配 采用基于最小欧氏距离来度量特征点间的相似性为：其中Aik表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，Bik表示待匹配 的第二幅图像的第i个特征点描述向量的第k维的值，n表示特征点描述子是一个n维的描述 向量;假设Tu, Tv分别为待匹配两幅图像的特征点集合，对于Tu中的任意一个特征点Tui，若Tv 中存在欧氏距离最小的两个特征点Tw、巧，且馬書砖，则爲认为是Tu的匹配对，最后采用穷 举捜索算法找出所有的匹配对。5. 如权利要求2所述的一种基于帖累积的低照度成像方法，其特征在于:所述对多帖连 拍图进行累加，采用的是加权累加方式，每幅图像权重相等。6. 如权利要求2所述的一种基于帖累积的低照度成像方法，其特征在于，所述Gamma校 正包含W下=个步骤： 归一化:将像素值转换为O~1之间的实数； 求输出值:根据预设的Gamma值所绘制的符合需求的Gamma曲线，将归一化后的像素值 代入曲线中，求得相应的输出值； 反归一化:将经过预补偿的实数值反变换为图像的整数值； 最后得出相应的校正结果。7. 如权利要求4所述的一种基于帖累积的低照度成像方法，其特征在于所述Tv詞日1?的 比值的取值范围为0.5~0.7。8. 如权利要求5所述的一种基于帖累积的低照度成像方法，其特征在于对4帖连拍图进 行累加。
【文档编号】H04N9/69GK105913404SQ201610506192
【公开日】2016年8月31日
【申请日】2016年7月1日
【发明人】谭树人, 张斯尧, 马昊辰
【申请人】湖南源信光电科技有限公司