用于低照度图像处理的方法及装置与流程
本发明涉及计算机视觉领域，具体而言，涉及一种用于低照度图像处理的方法及装置。
背景技术：
多媒体、视频监控等技术发展迅猛，已成为人们交流以及记录的常用工具。但在夜晚、阴天、会议室等低照度环境下进行拍摄时，所得到的图片对比度低、信噪比小、视觉效果差，图像中的细节信息无法清晰体现出来，这使成像系统无法正常工作。因此，研究如何对低照度条件下的图像进行快速有效处理，如何提高图片的亮度，降低光照条件对成像系统的影响具有重要的研究意义。
现有的低照度条件下成像方法，大多仅通过对低照度下获取的单幅图像进行先去噪再增强的处理，采用该方法在一定程度上无法准确体现出图像细节，同时对于单幅低照度下获取的图像的增强算法而言，由于低照度下图像信噪比已接近探测极限，同时输出图像不仅附加了严重的量子噪声而且图像的对比度已接近视觉的灵敏限。而利用帧累积的方法，通过增加积分时间，提高低照度下获取的图像的信噪比，但在帧累积的过程中，需要对多帧图像进行每帧图像的特征点检测、匹配和校准，这过程需要消耗大量的时间，所以对算法实时性方面的改善很重要。近年来，基于surf算法的图像特征配对方法在图像处理等关键技术中得到了广泛的应用。基于特征的匹配首先寻找两幅图像中的关键特征(如关键点、线)，然后对这些关键特征做筛选、映射，得到准确的匹配。sift(scaleinvariantfeaturetransform)算法是一种鲁棒性好、具有尺度不变性的特征点检测方法，但算法复杂度高，实时性较差。
因此，需要一种新的用于低照度图像处理的方法及装置。
在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现要素：
有鉴于此，本发明提供一种用于低照度图像处理的方法及装置，能够提高了提取特征点的速度，从而提高了低照度下成像的效率。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明的一方面，提出一种用于低照度图像处理的方法，该方法包括：通过改进fast算法获取第一图像的特征点；确定特征点的主方向；通过特征点的主方向，获取特征点描述子；通过聚类算法对所述特征点进行聚类以去除所述特征点中的噪声点；以及进行特征点匹配，以获取校准图像。
在本公开的一种示例性实施例中，通过改进fast算法获取第一图像的特征点，包括：获取当前像素点的灰度与预定范围内的邻域点的灰度；获取当前像素点的灰度与预定范围内的邻域点的灰度差值超过预定阈值的邻域点的数量；通过原始图像中亮点与暗点的比重与邻域点的数量，获取第一特征点；通过剔除函数对第一特征点进行筛选，以获取特征点。
在本公开的一种示例性实施例中，通过原始图像中亮点与暗点的比重与邻域点的数量，获取第一特征点，包括：判断邻域点的数量是否超过预定数值；如果邻域点的数量超过预定数值，则判断当前像素点为第一特征点；获取原始图像中亮点与暗点的比重；以及通过比重与剔除函数，调整第一特征点以获取特征点。
在本公开的一种示例性实施例中，通过所述比重与剔除函数，调整第一特征点以获取特征点，包括：通过比重与剔除函数，调整第一特征点以获取第二特征点；以及通过最小约束策略，剔除第二特征点中的冗余点，以得到特征点。
在本公开的一种示例性实施例中，剔除函数为：
sb＝{n|hi≥h0+t}，sd＝{n|hi≤h0+t}，sb为较亮点区域，sd为较暗点区域，hi为第i个领域点的灰度值，h0为当前像素点的灰度，n为正整数，t为所述预定阈值。
在本公开的一种示例性实施例中，所述通过聚类算法对所述特征点进行聚类以去除所述特征点中的噪声点，包括：通过所述聚类算法对所述特征点进行聚类；以及将不满足预定条件的特征点做为噪声点进行去除处理。
在本公开的一种示例性实施例中，所述将不满足预定条件的特征点做为噪声点进行去除处理，包括：通过去噪判定公式进行所述噪声点判定；其中所述噪声判定公式为：
在本公开的一种示例性实施例中，还包括：对原始图像进行图像处理，以获取第一图像。
在本公开的一种示例性实施例中，还包括：对校准图像进行后续处理生成输出图像。
在本公开的一种示例性实施例中，对校准图像进行后续处理生成输出图像，包括：对校准图像进行加权累加以获得第二图像；以及对第二图像进行对比度调整，以生成输出图像。
在本公开的一种示例性实施例中，对第二图像进行对比度调整，以生成输出图像，包括：根据指定的对比度，对原始rgb色彩分类进行缩放，以生成输出图像。
根据本发明的一方面，提出一种用于低照度图像处理的装置，该装置包括：fast模块，用于通过改进fast算法获取第一图像的特征点；方向模块，用于确定特征点的主方向；特征子模块，用于通过特征点的主方向，获取特征点描述子；以及特征匹配模块，用于进行特征点匹配，以获取校准图像。
根据本发明的用于低照度图像处理的方法及装置，能够提高了提取特征点的速度，从而提高了低照度下成像的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种用于低照度图像处理的方法的流程图。
图2是根据另一示例性实施例示出的一种用于低照度图像处理的方法中特征点探测的模板图。
图3是根据另一示例性实施例示出的一种用于低照度图像处理的方法的流程图。
图4是根据一示例性实施例示出的一种用于低照度图像处理的方法处理前后对比图。
图5是根据另一示例性实施例示出的一种用于低照度图像处理的方法处理前后对比图。
图6是根据一示例性实施例示出的一种用于低照度图像处理的装置的框图。
具体实施例
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的，因此不能用于限制本发明的保护范围。
图1是根据一示例性实施例示出的一种用于低照度图像处理的方法的流程图。
如图1所示，在s102中，通过改进fast算法获取第一图像的特征点。
第一图像可例如为需要进行图像处理的原始输入图像，第一图像也可例如为，将原始图像利用现有技术中图像处理手段进行处理之后生成的图像，本发明不以此为限。
如上文所述，图像处理中，在局部特征点检测快速发展的时候，人们对于特征的认识也越来越深入，近几年来许多学者提出了许许多多的特征检测算法及其改进算法。从最早期的moravec，到harris，再到sift、susan、gloh、surf算法，可以说特征提取算法层出不穷。也有各种改进算法可例如：pca-sift、ica-sift、p-asurf、r-asurf、radon-sift。surf(speededuprobustfeatures)算法是继sift算法后的有一个稳定快速的特征提取算法，它除了具有sift算法的稳定性外，最突出的优点是算法速度快，实时性较强。surf特征也是一种尺度、旋转不变的特征描述方法。它对图像的卷积做相似处理，在特征点定位环节引入的积分图的概念，使求解hessian矩阵的计算量大大降低，运算时间相比sift大大减少。fast算法是surf算法中提取特征点算法的一种。
fast算法的提出者rosten等将fast角点定义为：若某像素与其周围邻域内足够多的像素点相差较大，则该像素可能是角点。fast算法步骤可例如：从图片中选取一个像素p，首先把它的亮度值设为i_p。设定一个合适的阈值t。考虑以该像素点为中心的一个半径等于3像素的离散化的bresenham圆，这个圆的边界上有16个像素，如果在这个大小为16个像素的圆上有n个连续的像素点，它们的像素值要么都比i_p+t大，要么都比i_p-t小，那么它就是一个角点。n的值可以设置为12或者9，实验证明选择9可能会有更好的效果。
在本发明实施例中，改进的fast算法可例如为：获取当前像素点的灰度与预定范围内的邻域点的灰度；获取当前像素点的灰度与预定范围内的邻域点的灰度差值超过预定阈值的邻域点的数量；通过原始图像中亮点与暗点的比重与邻域点的数量，获取第一特征点；通过剔除函数对第一特征点进行筛选，以获取特征点。通过原始图像中亮点与暗点的比重与邻域点的数量，获取第一特征点，包括：判断邻域点的数量是否超过预定阈值；如果邻域点的数量超过预定阈值，则判断当前像素点为第一特征点；获取原始图像中亮点与暗点的比重；以及通过比重与剔除函数，调整第一特征点以获取特征点。
在s104中，确定特征点的主方向。
在本实施例中，可例如对每个特征点分配一个主方向，保证其特征向量具有旋转不变性，以每个特征点为中心，并以6s为半径的圆形区域内，对图像进行以4s×4s模板大小的haar小波梯度运算，s为特征点的当前尺度；对haar小波的相应值使用σ＝2s的高斯加权函数进行加权运算，以每个特征点为中心、角度为π/3的扇形滑动窗口，获取特征点的主方向；对扇形滑动窗口以内的图像进行haar小波的变换后，haar小波的相应值在dx方向和dy方向进行累加，最终得到一个向量，特征点的主方向为最大的haar小波相应累加值对应的方向，也就是最长向量所对应的方向。
在s106中，通过特征点的主方向，获取特征点描述子。
以特征点为中心，将坐标轴旋转到主方向，按主方向选取20σ×20σ的正方形区域，将该正方形区域划分为4×4个子区域，在每个子区域内计算haar小波在x，y方向的响应dx、dy分别求和并生成了一个∑dx，∑|dx|，∑dy，∑|dy|的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子。
在s108中，进行特征点匹配，以获取校准图像。
在本实施例中，可例如采用基于马氏距离来度量特征点间的相似性为：
可例如采用如下公式：
其中，a为匹配阈值，ad与bd为两幅图像中特征点的马氏距离，若a接近于1，则说明这两个特征点相似度越高。在本实施例中，可例如，通过两个特征点之间马氏距离的数值，来进行特征点匹配，进而获得校准图像。
根据本发明的用于低照度图像处理的方法，通过改进fast算法获取第一图像的特征点并提取surf特征向量的方式，提高了提取特征点的速度，从而提高了低照度下成像的效率。
应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。
在本公开的一种示例性实施例中，通过改进fast算法获取第一图像的特征点，包括：获取当前像素点的灰度与预定范围内的邻域点的灰度；获取当前像素点的灰度与预定范围内的邻域点的灰度差值超过预定阈值的邻域点的数量；判断邻域点的数量是否超过预定数值；如果邻域点的数量超过预定数值，则判断当前像素点为第一特征点；获取原始图像中亮点与暗点的比重；以及通过比重与剔除函数，调整第一特征点以获取特征点；通过剔除函数对第一特征点进行筛选，以获取特征点。
在本实施例中，改进的fast获取特征点，原理是当前像素点与其邻域点进行比较判别。可例如，采用r＝3的图像模板(如图2所示)，即比较o点附近半径为3的圆环上的16个邻域点；再根据(1)式进行计算，如果存在n个点与o点的灰度差值超过阈值t，则判定o点为特征点。
当o为待检测特征点中心像素点时，它的圆环上的点检测结果有3种情况，即相似点s、较暗点d以及较亮点b。(1)式中：t0为圆环上对应的每种点的个数，hi为圆环上第i个点对应的灰度值，h0为待检测点对应的灰度值。
可例如，设f1和f2分别为图像中亮点和暗点在整幅图像中的比重，
式中：
在提取特征点时可能会检测到多个相邻的第一特征点，需计算其局部极值性来去除这些不是局部极值的点，可例如，通过所述比重与剔除函数，调整第一特征点以获取特征点，包括：通过比重与剔除函数，调整第一特征点以获取第二特征点；以及通过最小约束策略，剔除第二特征点中的冗余点，以得到特征点。可例如，定义一个函数w来进行非特征点的剔除。
其中，剔除函数为：
sb＝{n|hi≥h0+t}，sd＝{n|hi≤h0+t}，sb为较亮点区域，sd为较暗点区域，hi为第i个领域点的灰度值，h0为当前像素点的灰度，n为正整数，t为预定阈值。经过剔除函数的计算，通过第一特征点获取到第二特征点。
在本实时例中，最小约束策略可例如为最小距离约束策略。传统fast特征点数量极大，并极易在局部区域出现聚集现象，在一定程度上造成了图像局部细节信息的冗余，同时过多的特征点也会增加特征匹配耗时。在本实施例中，采用最小距离约束策略去除冗余的第二特征点。
可例如，设2个第二特征点之间的最小约束距离为dm，具体的取舍方法是：选取一个第二特征点，然后遍历其他所有第二特征点并进行距离计算。若2个第二特征点之间距离大于dm，则保留。否则，判断此第二特征点为冗余点并予以剔除。
根据本发明的用于低照度图像处理的方法，通过剔除函数剔除第一特征点获得第二特征点，以及通过最小距离策略法去除冗余的第二特征点以获得特征点的方式，能够迅速地完成图像特征点的检测，并剔除冗余点和噪声点。使图像特征点的数量适中且较为均匀地分布在目标区域。
在本公开的一种示例性实施例中，还包括：确定特征点主方向。
可例如，对每个特征点分配一个主方向，保证其特征向量具有旋转不变性。以每个特征点为中心，并以6s(s为特征点的当前尺度)为半径的圆形区域内，对图像进行以4s×4s模板大小的haar小波梯度运算。对haar小波的相应值使用σ＝2s的高斯加权函数进行加权运算。以每个特征点为中心、角度为π/3的扇形滑动窗口，获取特征点的主方向。对扇形滑动窗口以内的图像进行haar小波的变换后，haar小波的相应值在dx方向和dy方向进行累加，最终得到一个向量。特征点的主方向为最大的haar小波相应累加值对应的方向，也就是最长向量所对应的方向。
在本公开的一种示例性实施例中，还包括：特征点描述。
以特征点为中心，将坐标轴旋转到主方向，按主方向选取20σ×20σ的正方形区域，将该正方形区域划分为4×4个子区域，在每个子区域内计算harr小波在x,y方向的响应dx、dy分别求和并生成了一个∑dx，∑|dx|，∑dy，∑|dy|的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子；
在本公开的一种示例性实施例中，所述通过聚类算法对所述特征点进行聚类以去除所述特征点中的噪声点，包括：通过所述聚类算法对所述特征点进行聚类；以及将不满足预定条件的特征点做为噪声点进行去除处理。可例如，通过去噪判定公式进行所述噪声点判定；其中所述噪声判定公式为：
在本公开的一种示例性实施例中，还包括：特征点匹配。
在本发明实施例中，采用基于马氏距离来度量特征点间的相似性，可例如采用如下公式：
其中，a为匹配阈值，ad与bd为两幅图像中特征点的马氏距离，若a接近于1，则说明这两个特征点相似度越高。
在本公开的一种示例性实施例中，还包括：对原始图像进行图像处理，以获取第一图像。所述图像处理包括但不限于：白平衡处理，去马赛克处理，色彩校正处理，格式转换处理。
在本公开的一种示例性实施例中，还包括：对校准图像进行后续处理生成输出图像。
在本公开的一种示例性实施例中，对校准图像进行后续处理生成输出图像，包括：对校准图像进行加权累加以获得第二图像；以及对第二图像进行对比度调整，以生成输出图像。
可例如，对多帧连拍图(即校准图像)进行累加。由于简单的叠加会导致图像产生过曝现象，因而采用加权累积方式，每幅图像权重相等。
一幅有噪声的图像g(x,y,t)可认为是由原始图像f(x,y,t)和噪声n(x,y,t)叠加而成，即：
g(x,y,t)＝f(x,y,t)+n(x,y,t)(5)
其中，x，y是像素点坐标，t是时间变量，多帧累加就是将不同时刻两帧图像或多帧图像对应像素点相加后求取它们的图像。m帧图像进行累加，得到图像a(x,y,t)，
基于上述原理，求得帧累积图像a(x,y,t)。
在本公开的一种示例性实施例中，对第二图像进行对比度调整，以生成输出图像，包括：根据指定的对比度，对原始rgb色彩分类进行缩放，以生成输出图像。
在成像过程中由于光照不足，使得整幅图像变暗，或者成像时光照过强，使得整幅图像偏亮，这些情况就称为低对比度，即颜色聚集在一起，没有分散开。对比度调整就是使图像的颜色更符合需要，以实现一些效果。通常采用对比度增强，把感兴趣的颜色范围拉开，使得该范围内的像素，亮的越亮，暗的越暗，从而达到对比度增强的目的。实现原理：根据指定的一个对比度，分别与原始r、g、b色彩分量进行一定比例的缩放，从而拉开原色色彩亮度级别的分布，达到对比度增强的作用。主要为了提高图像的亮度。
根据本发明的用于低照度图像处理的方法，能够大大地减少成像时间，能够提高低照度下获取图像的效率和可辨识度，处理的夜拍低照度图像成像效果好，并满足实时性需求。
图3是根据另一示例性实施例示出的一种用于低照度图像处理的方法的流程图。
如图3所示，在s304中，对输入图像进行白平衡处理。
在s306中，去马赛克处理。
在s308中，色彩校正处理。
在s310中，转换图像格式为rgb。
在s312中，改进fast法图像匹配校准。
在s314中，进行多帧图像累积。
在s316中，调整图像对比度。
再本实施例中，对原始图像进行前isp处理；对处理后输出的多帧图像进行改进fast法特征点提取及匹配获得校准图像；其中用改进的fast检测特征点的方法可以提高算法的运行速度，减少大量的计算时间，再对多帧连拍图进行累加；最后对得到的帧累积图像进行对比度调整，并输出处理完毕的图像，本实施例所述方法改进了图像特征点匹配算法，提高低照度下获取图像的效率和可辨识度，使其满足实时性需求。本发明实时例中提出的方法可例如嵌入fpga实现，开发具有低照度成像功能的相机或摄像机。
图4、5是根据一示例性实施例示出的一种用于低照度图像处理的方法处理前后对比图。
如图4,5所示，根据本发明的用于低照度图像处理的方法，在夜拍低照度成像速度快，能够较快地进行改进的fast特征点检测并提取surf向量，并能准确地完成图像匹配，图像效果好，提高了图像亮度，较好的达到了所预期的目标。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由cpu执行的计算机程序。在该计算机程序被cpu执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图6是根据一示例性实施例示出的一种用于低照度图像处理的装置的框图。
其中，fast模块602用于通过改进fast算法获取第一图像的特征点。
方向模块604用于确定特征点的主方向。
特征子模块606用于通过特征点的主方向，获取特征点描述子。
聚类模块608用于通过聚类算法对所述特征点进行聚类以去除所述特征点中的噪声点；
特征匹配模块610用于进行特征点匹配，以获取校准图像。
根据本发明的用于低照度图像处理的装置，通过改进fast算法获取第一图像的特征点，能够大大地减少成像时间，提高低照度下获取图像的效率和可辨识度，处理的夜拍低照度图像成像效果好，并满足实时性需求。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施例的方法。
通过以上的详细描述，本领域的技术人员易于理解，根据本发明实施例的用于低照度图像处理的方法及装置具有以下优点中的一个或多个。
根据一些实施例，本发明的用于低照度图像处理的方法，通过改进fast算法获取第一图像的特征点并提取surf特征向量的方式，提高了提取特征点的速度，提高了低照度下成像的效率，调整了图像的对比度，提高了图像亮度。
根据另一些实施例，本发明的用于低照度图像处理的方法，通过剔除函数剔除第一特征点获得第二特征点，以及通过最小距离策略法去除冗余的第二特征点以获得特征点的方式，能够迅速地完成图像特征点的检测，并剔除冗余点和噪声点。使图像特征点的数量适中且较为均匀地分布在目标区域。
根据另一些实施例，本发明的用于低照度图像处理的方法，在夜拍低照度成像速度快，能够较快地进行改进的fast特征点检测并提取surf向量，并能准确地完成图像匹配，图像效果好，提高了图像亮度，较好的达到了所预期的目标。
以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
此外，本说明书说明书附图所示出的结构、比例、大小等，均仅用以配合说明书所公开的内容，以供本领域技术人员了解与阅读，并非用以限定本公开可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本公开所能产生的技术效果及所能实现的目的下，均应仍落在本公开所公开的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“第一”、“第二”及“一”等的用语，也仅为便于叙述的明了，而非用以限定本公开可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当也视为本发明可实施的范畴。
- 还没有人留言评论。精彩留言会获得点赞！