一种结合形态学和模糊c聚类的视频雨滴去除方法及其系统的制作方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，尤其涉及一种结合形态学和模糊C聚类的视频雨 滴去除方法及其系统。
【背景技术】
[0002] 雨对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视 频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的 视频图像进行修复处理有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、 分割和监控等技术的性能提高。而且视频图像去雨技术在现代军事、交通以及安全监控等 领域都有广泛的应用前景。
[0003] 有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究 也从2003年Starik等（Starik S, Werman M. Simulation of rainin videos [C]Proceeding of Texture Workshop, ICCV.Nice,France:2003, 2:406-409)提出的中值法开始得到了迅 速的发展，处理的方法已经不再局限于最初简单的中值计算，偏度计算、K均值聚类、卡尔 曼滤波、字典学习和稀疏编码、引导滤波、帧间亮度差、HSV空间、光流法、运动分割等很多 方法也逐渐开始应用在视频图像中雨滴检测与去除的算法中，雨滴去除的效果也逐渐被提 高。Garg等最先提出利用雨滴带来的帧间亮度差进行雨滴初检，然后利用雨滴的直线性和 方向一致的特点进一步筛选，最后根据前后帧的像素亮度去除雨滴影响，可以较好地满足 雨滴不覆盖连续帧图像情况下的雨滴检测与去除；Zhang等将雨滴给像素带来的色彩影响 考虑在内，从而提高雨滴检测的准确性，改善了基于亮度变化的去雨算法在彩色图像上的 应用效果；Liu等将雨滴的亮度影响和色彩影响同时应用在算法中，用两帧检测雨滴并去 除；Tripathi等先研究雨滴像素亮度变化的概率统计特性，然后利用雨滴像素亮度变化的 对称性实现雨滴检测，仅基于时域和另外考虑空间位置的影响时效果不完全相同；Kang等 首先利用双边滤波将雨图分成高频部分和低频部分，并对高频部分进一步处理得到非雨成 分，结合低频部分得到去雨图；Huang等首先利用上下文约束进行图像分割，并利用上下文 感知进行单幅图像去雨，并在此基础上提出了改进算法，文中首先用到了超完备的字典对 高频部分进行处理。
[0004] 特别是最近几年，视频图像去雨技术已成为新的研究热点。如何在保证高鲁棒性 的前提下提高去雨的准确率和实时性，是目前视频图像去雨领域的焦点。所以我们在此基 础上提出了一种利用高斯混合模型改进的有效去雨方法。该方案图像去雨算法具有很高的 准确度，更具有鲁棒性。
[0005] 目前存在的算法中，应用于静态场景视频雨滴检测与去除的算法有较为成熟的研 究成果，但是应用在动态场景中的视频上时，算法考虑的是视频中出现运动物体所带来的 干扰，对于与雨滴特性区别度不高的运动物体无法达到理想的检测效果。
【发明内容】
[0006] 基于此，本发明提供了一种结合形态学和模糊C聚类的视频雨滴去除方法，以有 效解决现有技术存在的问题。
[0007] 不能发明提供了一种结合形态学和模糊C聚类的视频雨滴去除方法，包括下述步 骤：
[0008] 获取视频图像中视频帧序列对应像素位置上的灰度强度序列；
[0009] 根据所述灰度强度序列，利用模糊C均值聚类算法将像素点分为雨滴类和背景 类；
[0010] 利用雨滴形态学特性计算所述雨滴类和背景类中的雨线对应的长宽比；
[0011] 根据所述长宽比区别雨滴区和运动目标区，如果背景类的像素的长宽比大，则判 断为雨滴区，否则该像素为运动目标区；
[0012] 将上述得到的雨滴区减去运动目标区得到纯雨滴区域；
[0013] 在所述纯雨滴区域中提取受雨滴污染的像素点；
[0014] 通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的 去除。
[0015] 在一些实施例中，其中，获取视频图像中视频帧序列对应像素位置上的灰度强度 序列，包括下述步骤：
[0016] 构建公式定量描述雨滴下落时产生的模糊，
[0017]
[0018] IJx，y)表示像素位置（X，y)的像素亮度，τ表示雨滴下落经过像素位置（X，y)所 需要的时间，T为相机曝光时间，艮(x，y)表示雨滴经过像素位置（x，y)的辐照度，E b(x，y) 为背景像素的平均辐照度；
[0019] 根据所述像素亮度，将所述视频图像中图像序列的像素分为背景类和雨区类。
[0020] 在一些实施例中，其中，根据所述灰度强度序列，利用模糊C均值聚类算法将像素 点分为雨滴类和背景类，具体包括下述步骤：
[0021] 定义目标函数为：
[0022]
[0023] 其中，平滑因子m控制着模糊类间的分享程度，m的最佳取值范围为[1.5,2.5]，
为隶属度矩阵，满足
为C个聚类 中心的集合，d(Xl，V])是第i个样本到第j个聚类的欧氏距离，聚类的准则一般取目标函数 J(U，V)的极小值；
[0024] 采用拉格朗日乘法求解上述公式如下：
[0025]
[0026] 采用最优化一阶必要条件，可得如下迭代优化公式：
[0027]
[0028] 所述最优化一阶必要条件为：
[0029] 基于上述迭代化优公式将像素点分为雨滴类和背景类。
[0030] 在一些实施例中，其中，利用雨滴形态学特性计算所述雨滴类和背景类中的雨线 对应的长宽比，具体为：
[0031] 构建雨滴的最终速度V和直径d的关系式，记为：
[0034] 根据上述关系式，计算出雨线对应的长宽比的范围：
[0032]
[0033]
[0035]
[0036] 其中，雨滴的直径为d，雨滴和相机的距离为z和相机的参数表示出了一条雨线的 长度1和宽度b，f表示相机的焦距，e表示相机的曝光时间。
[0037] 在一些实施例中，在所述纯雨滴区域中提取受雨滴污染的像素点，具体为：
[0038] 在所述纯雨滴区域中，根据雨滴的直线性来与其他快速运动物体相区别，最终得 出受雨滴污染的像素点。
[0039] 在一些实施例中，通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像 素点实现雨滴的去除，具体为：
[0040] 将替代雨滴的像素设为Inilx，令 Imix 〇 I Bcenter+ (l-α ) I Reenter ? 其中α是背景色B 中数目占总数目k的权重。
[0041] 另一方面本发明还提供了一种结合形态学和模糊C聚类的视频雨滴去除系统，包 括：
[0042] 灰度强度序列单元，获取视频图像中视频帧序列对应像素位置上的灰度强度序 列；
[0043] 模糊C均值聚类单元，根据所述灰度强度序列，利用模糊C均值聚类算法将像素点 分为雨滴类和背景类；
[0044] 雨滴长宽比计算单元，利用雨滴形态学特性计算所述雨滴类和背景类中的雨线对 应的长宽比；
[0045] 像素区别单元，根据所述长宽比区别雨滴区和运动目标区，如果背景类的像素的 长宽比大，则判断为雨滴区，否则该像素为运动目标区；
[0046] 纯雨滴单元，将上述初检得到的雨滴区减去运动目标区得到纯雨滴区域；
[0047] 像素点提取单元，在所述纯雨滴区域中提取受雨滴污染的像素点；
[0048]