本发明实施例涉及图像处理领域，并且更具体地，涉及一种用于图像去噪方法及装置。
背景技术：
在低光照条件下，使用手持相机拍照通常很难获得高质量的照片。这是由于，一方面，如果使用较长时间的曝光，相机本身的震动或者场景中物体的运动，会导致画面的模糊；另一方面，如果使用较短的曝光时间和较高的感光度，则最终的图像会包含很大的噪声，并且随着传感器分辨率的增加，入射光亮的减少带来的噪声问题可能会更加的严重，并影响最终图像的质量。
现有的图像去噪技术主要包括两类：第一类技术是在单一帧内进行去噪，这会不可避免地造成图像饱和度的降低以及损失图像特征及细节。第二种技术是采用多帧图像进行去噪，但是该方法在含运动物体的场景中时会产生鬼影等问题。
因此，需要一种图像去噪方法及装置，以达到提高去噪效果的目的。
技术实现要素：
本发明实施例解决的问题是提供一种图像去噪方法及其装置，以提高去噪效果。
为解决上述问题，本发明实施例提供了一种图像去噪的方法，所述方法包括：获取至少两帧连续图像，第一帧图像为参考帧，每帧图像包括yuv空间中的三个平面分量；将参考帧的每个平面分为多个参考帧子平面，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域；根据参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子；根据所述平面权重因子，对参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域进行加权处理，得到修正后的图像。
可选的，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子之前，还包括对参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域进行降采样处理。
可选的，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子包括：获取参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域中相对于参考帧子平面的运动区域；对所述运动区域的边缘进行边缘处理；获取参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子；获取参考帧每个子平面的平面权重因子。
可选的，所述获取参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域中相对于该参考帧子平面的运动区域包括：获取参考帧每个子平面与参考帧以外各帧对应平面中的对应感兴趣区域的差值的绝对值，获得差值平面；对所述差值平面进行二值化处理，获得二值化平面；对所述差值平面进行canny算子计算，获取运动区域的边缘，并对其进行边缘处理。
可选的，边缘处理包括：对获取的运动区域的边缘进行形态学膨胀，获得边缘膨胀平面；将边缘膨胀平面与二值化平面进行合并处理，获得边缘处理平面。
可选的，所述图像去噪方法还包括：在边缘处理之后，对所述边缘处理平面进行去突变处理，获得去突变处理平面。
可选的，去突变处理包括：对边缘处理平面进行形态学闭操作、1填充操作以及取反操作。
可选的，所述图像去噪方法还包括：在去突变处理之后，对所述去突变处理平面进行平滑处理，获得平滑平面。
可选的，平滑处理包括：对去突变处理平面进行形态学腐蚀和滤波操作。
可选的，所述图像去噪方法还包括：对获得的平滑平面进行上采样处理，获得参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子。
可选的，所述获取参考帧每个子平面的平面权重因子包括：采用如下公式获取参考帧每个子平面的平面权重因子：
map(1)＝n-[map(2)+map(3)+…+map(n)]
其中，n表示获取的连续图像的帧数，map(1)表示参考帧的一个子平面的平面权重因子，map(2)、map(3)、...、map(n)分别表示该参考帧子平面在第2帧、第3帧、...、第n帧的对应平面的对应感兴趣区域的平面权重因子。
可选的，所述图像去噪方法还包括：将修正后的图像从yuv空间转换为rgb空间。
可选的，获取参考帧子平面及其在参考帧以外各帧对应平面中的感兴趣区域包括：分别计算每一帧平面在行列方向上的投影；根据所述投影，通过sad算法计算参考帧以外各帧对应平面相对于参考帧平面在行列方向上的位移；根据所述参考帧以外各帧对应平面相对参考帧平面在行列方向上的位移，获取所述参考帧子平面在参考帧以外各帧对应平面中对应的感兴趣区域。
为解决上述问题，本发明实施例还提供一种图像去噪的装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：获取至少两帧连续图像，第一帧图像为参考帧，每帧图像包括yuv空间中的三个平面分量；将参考帧的每个平面分为多个参考帧子平面，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域；根据参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子；根据所述平面权重因子，对参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域进行加权处理，得到修正后的图像。
可选的，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子之前，还包括对参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域进行降采样处理。
可选的，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子包括：获取参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域中相对于参考帧子平面的运动区域；对所述运动区域的边缘进行边缘处理；获取参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子；获取参考帧每个子平面的平面权重因子。
可选的，所述获取参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域中相对于该参考帧子平面的运动区域包括：获取参考帧每个子平面与参考帧以外各帧对应平面中的对应感兴趣区域的差值的绝对值，获得差值平面；对所述差值平面进行二值化处理，获得二值化平面；对所述差值平面进行canny算子计算，获取运动区域的边缘，并对其进行边缘处理。
可选的，边缘处理包括：对获取的运动区域的边缘进行形态学膨胀，获得边缘膨胀平面；将边缘膨胀平面与二值化平面进行合并处理，获得边缘处理平面。
可选的，所述图像去噪方法还包括：在边缘处理之后，对所述边缘处理平面进行去突变处理，获得去突变处理平面。
可选的，去突变处理包括：对边缘处理平面进行形态学闭操作、1填充操作以及取反操作。
可选的，所述图像去噪方法还包括：在去突变处理之后，对所述去突变处理平面进行平滑处理，获得平滑平面。
可选的，平滑处理包括：对去突变处理平面进行形态学腐蚀和滤波操作。
可选的，所述图像去噪方法还包括：对获得的平滑平面进行上采样处理，获得参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子。
可选的，所述获取参考帧每个子平面的平面权重因子包括：采用如下公式获取参考帧每个子平面的平面权重因子：
map(1)＝n-[map(2)+map(3)+...+map(n)]
其中，n表示获取的连续图像的帧数，map(1)表示参考帧的一个子平面的平面权重因子，map(2)、map(3)、...、map(n)分别表示该参考帧子平面在第2帧、第3帧、...、第n帧的对应平面的对应感兴趣区域的平面权重因子。
可选的，所述图像去噪方法还包括：将修正后的图像从yuv空间转换为rgb空间。
可选的，获取参考帧子平面及其在参考帧以外各帧对应平面中的感兴趣区域包括：分别计算每一帧平面在行列方向上的投影；根据所述投影，通过sad算法计算参考帧以外各帧对应平面相对于参考帧平面在行列方向上的位移；根据所述参考帧以外各帧对应平面相对参考帧平面在行列方向上的位移，获取所述参考帧子平面在参考帧以外各帧对应平面中对应的感兴趣区域。
与现有技术相比，本发明实施例的技术方案具有以下优点：
上述的方案，根据参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子。由于在获取平面权重因子时，可以将图像中的运动部分有效分离出来，从而在进行图像去噪的同时，可以避免其他去噪方法所产生的鬼影问题。
进一步，在去突变处理之后，对所述去突变处理平面进行平滑处理，获得平滑平面。可以使得参考帧以外各帧中分离出的运动区域与非运动区域的交界处的过渡更加平缓，从而避免噪声突变分层现象。
进一步，通过使用sad算法获得位移，以及对参考帧以外各帧的感兴趣区域进行的降采样处理，均有效减少了计算量。
附图说明
图1是本发明实施例中的一种图像去噪方法的流程示意图；
图2是图1中s12的具体实现方法的流程示意图；
图3是图1中s13的具体实现方法的流程示意图；
图4是本发明实施例中的一种图像去噪装置的结构示意图。
具体实施方式
本发明实施例提供了一种图像去噪方法，以提高图像去噪效果。
下面结合附图对本发明实施例的具体实施例做详细的说明。
图1是本发明实施例中一种图像去噪方法的流程图，包括以下步骤：
s11，获取至少两帧连续图像，第一帧图像为参考帧，每帧图像包括yuv空间中的三个平面分量。
本发明通过多帧融合进行图像去噪，因此需要至少获取两帧连续图像。所述至少两帧连续图像可以通过照相机、摄像机等设备获取。获取的至少两帧连续图像中第一帧作为参考帧。
在本发明实施例中，如果获取的图像属于rgb色彩空间。那么，s11还包括将获得的n帧图像由rgb色彩空间转换为yuv色彩空间。与rgb色彩空间相比，yuv色彩空间的优点是将图像信号中的亮度与色度进行分离，图像中的亮度信号(y)和色度信号(y、v)是相互独立，便于对yuv中的三个平面分别进行处理。此外，还可以根据人眼的视觉特点，对y、u、v平面使用不同的采样率进行采样，从而在保证图像质量的情况下减少计算量。
进行色彩空间转换后，每帧图像都会得到y、u、v三个矩阵平面，对每帧图像的各平面均进行以下步骤的操作。以下以其中一个平面为例进行说明，对其他2个平面进行的操作相似。
s12，将参考帧的每个平面分为多个参考帧子平面，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域。
在具体实施中，获取感兴趣区域的步骤结合降采样，一方面减少了计算量，另一方面尽可能地消除了图像中局部运动区域之外部分存在的微量位移与旋转，下面结合图2进行详细描述。
参见图2，图2给出了图1中s12的具体实现方法的流程示意图。所述获取参考帧以外各帧对应平面中的感兴趣区域(s12)，可以包括以下步骤：
s21，分别计算每一帧平面在行列方向上的投影。
例如，对于参考帧平面ref(1)，可以通过下式获取ref(1)在矩阵平面行列方向(x，y方向)上的投影向量：
prox(1)＝sum(ref(1)，1)
proy(1)＝sum(ref(1)，2)
其中，prox(1)和proy(1)分别表示ref(1)平面在行列方向上的投影向量，sum()表示对ref(1)平面中的各项元素进行累加，具体地，sum(ref(1)，1)表示对ref(1)平面中的元素进行列方向求和，sum(ref(1)，2)表示对ref(1)平面中的元素进行行方向求和。
s22，根据所述投影，通过sad算法计算参考帧以外各帧对应平面相对于参考帧平面在行列方向上的位移。
在获得每一帧图像中的y、u、v平面及其子平面的投影向量后，使用sad算法，计算所述参考帧以外各帧对应平面相对于参考帧平面的位移，目的在于找出图像局部运动区域之外部分的微量位移。以参考帧平面ref(1)及第二帧平面ref(2)为例，求两帧平面在行方向上的位移，即求得如下公式中最小值时的n：
sum(abs(prox2(1+n：end)-prox1(1：end-n)))/(end-n)或
sum(abs(prox1(1+n：end)-prox2(1：end-n)))/(end-n)
其中，abs()表示计算ref(2)与ref(1)在行方向上的投影的差值绝对值，sum()表示对上述差值绝对值进行求和，end表示投影后的向量长度，n表示整帧图像行列上的偏移量，prox1，prox2指的是参考帧平面ref(1)及第二帧平面ref(2)在行方向上的投影，1+n：end指的是投影向量中第(1+n)个到最后一个元素，1：end-n指的是投影向量中第1个到第(end-n)个元素。求出sum()值之后，再除以之前提取出的元素个数(end-n)，获得两向量的差值平均值。求得上式最小值时的n，即为两帧在行方向上的位移。采用类似的方法，可以获得每个帧平面在列方向上的位移。通过sad算法，可以获取参考帧外其余各帧相对于参考帧的在矩阵平面的行列方向上的整体位移。
在s22中获取了参考帧以外各帧对应平面相对参考帧每个平面在矩阵平面的行列方向上的位移，考虑了图像中局部运动区域之外部分的微量位移，但是局部运动区域之外的部分还存在微量旋转，下面要针对各帧图像的每个平面进行处理。
s23，根据所述参考帧以外各帧对应平面相对参考帧平面在行列方向上的位移，获取所述参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域。
图像中局部运动区域之外部分存在微量位移，但是局部运动区域之外的部分也存在微量旋转。因此，需要将参考帧进行分块处理，以获取参考帧子平面在参考帧以外各帧中对应的感兴趣区域。
例如，可以将8*8的参考帧y平面分割成4个4*4的子平面，本发明实施例中的分块方法，可以根据具体的场景灵活选择。
在具体实施中，分块处理之后，参考帧每个子平面根据s22中所获得的位移，在所述位移值一定的正负范围内，在参考帧以外的某帧平面中获取多个与所述参考帧子平面大小相同的备选区域。并通过sad算法，找出其中与对应的参考帧子平面最接近的一个备选区域，即为该参考帧子平面在该帧平面中的感兴趣区域。同理，可获得该参考帧子平面在参考帧以外各帧对应平面中的对应感兴趣区域。
例如，假设参考帧平面ref(1)为4*4的平面矩阵，将其均等分为4个2*2的子平面，其中左上角子平面为第一子平面，第二帧平面ref(2)相对于参考帧平面ref(1)的位移为(1，1)，设定所述位移值的正负范围为[-1，1]。获取所述第一子平面的感兴趣区域的步骤为，在ref(2)中获取9个与大小为的2*2备选区域，所述备选区域与第一子平面的位移分别为(0，0)，(0，1)，...，(2，2)。并通过所述sad算法，遍历所述ref(2)中的9个备选区域，找出与第一子平面最接近的一个，即差值平均值最小时的备选区域，此备选区域即为第一子平面在ref(2)中的感兴趣区域。同理可获得第一子平面在ref(3)，ref(4)，…，ref(n)中的感兴趣区域。
在具体实施中，在参考帧以外各帧对应平面中获取的备选区域可能超出该平面的边界，此时对该平面进行翻边操作。所述翻边操作是将该平面的边缘部分镜像复制到备选区域超出所述平面的部分。
采用类似的方法，可以获得参考帧的所有子平面在参考帧以外各帧对应平面中相对应的感兴趣区域。
s13，根据参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域，获取参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子。
参考图3，图3给出了图1中s13的一种具体实现的部分流程图，具体地，可以包括以下步骤：
s31，对参考帧每个子平面及其在参考帧以外各帧对应平面中的对应感兴趣区域进行降采样处理。
进行降采样处理的目的是为了降低计算量，降采样的方法并不唯一，比如可以采用根据实际采样率求平均的方式进行降采样。例如，如果实际降采样率为1/16，可以求平面中相邻的16个元素值的平均值作为降采样后平面中的元素值。
经过上述处理之后，需要确定图像中运动物体涉及的区域，为此需要对各帧的感兴趣区域进行如下步骤。
s32，获取参考帧每个子平面与参考帧以外各帧对应平面中的对应感兴趣区域的差值的绝对值，获得差值平面。
s33，对所述差值平面进行二值化处理，获得二值化平面。
在一些实施例中，二值化处理包括确定阈值，所述阈值根据具体场景确定，与当前获取的图像的亮度和噪声相关。
确定阈值之后，将所述差值平面与所述阈值做差，令差值平面中大于阈值的元素为1，小于阈值的元素为0，从而获得二值化平面。采用类似的方法，获得参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的二值化平面。
由于每一帧中的局部运动区域差异较大，对所述差值平面进行阈值二值化的操作，可以有效分离出图像中局部运动的部分，从而为后续的鬼影去除操作打下了基础。
s34，对所述差值平面进行canny算子计算，获取运动区域的边缘，并对其进行边缘处理。
通过canny算子求取差值平面的边缘，即求取图像中局部运动部分的边缘，并对其进行形态学膨胀，从而适当扩大所述边缘的范围，并消除所述边缘中可能出现的缝隙，获得边缘膨胀平面。所述canny算子为现有技术。
然后，将边缘膨胀平面与二值化平面进行合并处理，从而获得边缘处理平面。
所述合并处理为将边缘膨胀平面和二值化平面求并集，边缘膨胀平面与二值化平面大小相同，内部元素均为0或1。若两平面中的对应元素均为0，则在相应位置输出0，否则，输出1。采用类似的方法，获得参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的边缘处理平面。
s35，对所述边缘处理平面进行去突变处理，获得去突变处理平面。
其中，去突变处理包括：对边缘处理平面进行形态学闭操作、“1”填充操作以及取反操作。
形态学闭操作的目的是去除边缘处理平面中局部运动区域的细小缝隙。“1”填充操作是指将边缘处理平面中局部运动部分边缘以内的数值全部填充为“1”，从而去除局部运动部分中的突变噪声。采用类似的方法，获得参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的去突变处理平面。对合并处理后的平面进行取反操作意味着局部运动部分的数值由1变为0，实际上指挖去其余各帧中局部运动部分，最终融合的图像在该区域使用的是参考帧中相应的部分，从而有效地避免了局部运动所带来的鬼影问题。
s36，对所述去突变处理平面进行平滑处理，获得平滑平面。
其中，平滑处理包括：对去突变处理平面进行形态学腐蚀和滤波操作。
同直径形态学腐蚀可以将所述去突变处理平面中的局部运动的部分适当扩大。在本发明实施例中，可以选择高斯滤波或者中值滤波，实现图像中局部运动区域与其余区域的渐变过渡，从而避免两边不同的去噪强度带来的噪声突变分层现象。这样，获得参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的平滑平面。形态学腐蚀与滤波为图像处理领域的现有技术。
s37，对平滑平面进行上采样处理，获得参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子。
上采样操作的目的是，使得所获得的平面权重因子与降采样前的感兴趣区域大小一致。可以采取多种插值方式进行上采样操作，例如三次样条插值。这样，获得参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的。
s38，获取参考帧每个子平面的平面权重因子。
在一些实施例中，获取参考帧每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子之后，将其带入如下公式中，计算参考帧每个子平面的平面权重因子。
map(1)＝n-[map(2)+map(3)+...+map(n)]
其中，n表示获取的连续图像的帧数，map(1)表示参考帧一个子平面的平面权重因子，map(2)、map(3)、...，map(n)分别表示该参考帧子平面的第2帧、第3帧、...、第n帧的对应平面的对应感兴趣区域的平面权重因子。
采用上述方法，获得了参考帧每个子平面的平面权重因子及其在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子。
s14，根据所述平面权重因子，对所述至少两帧连续图像进行加权处理，得到修正后的图像。
经过上述处理之后，获得了参考帧所有子平面的平面权重因子和每个子平面在参考帧以外各帧对应平面中的对应感兴趣区域的平面权重因子，然后，根据所述平面权重因子，对所述至少两帧连续图像进行加权处理，得到修正后的图像。具体的加权处理包括：以参考帧子平面为基础，通过如下公式分别求出每个修正后图像的子平面，所述公式如下：
output＝[sref(1).*map(1)+sref(2).*map(2)+…+sref(n).*map(n)]./[map(1)+map(2)+…+map(n)]
其中，sref(1)指参考帧的一个子平面；sref(2)、...sref(n)指该子平面在第2帧...第n帧内的感兴趣区域；map(1)指该参考帧子平面的平面权重因子；map(2)、...、map(n)指与该子平面的在第2帧、...、第n帧的对应平面的对应感兴趣区域的平面权重因子。具体地，将参考帧子平面及其感兴趣区域中的元素与对应平面权重因子中的元素一一对应相乘，再除以各平面权重因子之和，从而对参考帧子平面进行加权处理，获得修正后的参考帧子平面。
采用同样的方式，对参考帧中每个子平面都进行上述步骤处理，即可获得修正后图像的所有子平面，即获得完整的修正后的图像，从而达到多帧融合去噪的目的。
上述得到的修正后的图像是在yuv空间，然后，将修正后的图像从yuv空间转换为rgb空间。
图4提供了本发明实施例中的一种图像去噪装置，包括存储器41、处理器42及存储在存储器上并可在处理器上运行的计算机程序，所述存储在存储器上的计算机程序即为实现上述方法步骤的程序，所述处理器执行所述程序时实现上文所述步骤。所述存储器可以包括：rom、ram、磁盘或光盘等。所述步骤请参见上文的步骤，此处不再赘述。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。