一种基于机器学习的噪声图像显著性检测方法
【专利摘要】本发明涉及一种基于机器学习的噪声图像显著性检测方法，包括以下步骤：1、对每个幅度的噪声图像分别采用多种去噪参数，获得每个幅度的最佳去噪参数；2、对每幅噪声图像使用噪声评估算法进行特征提取，获得噪声值特征，组成噪声值特征集；3、将噪声值特征集作为机器学习算法的特征集，并通过机器学习算法和五等分交叉验证方法，获得噪声幅度预测模型；4、采用噪声幅度预测模型对相应的噪声图像进行预测，获得预测噪声幅度值；5、采用每幅噪声图像的预测噪声幅度值和对应的最佳去噪参数进行去噪处理，获得去噪图像集；6、对去噪图像集中的图像使用显著性检测方法，获得最终的显著性图。该方法可提高显著性检测方法在噪声图像中的检测性能。
【专利说明】
一种基于机器学习的噪声图像显著性检测方法
技术领域
[0001] 本发明涉及图像和视频处理以及计算机视觉技术领域，特别是一种基于机器学习 的噪声图像显著性检测方法。
【背景技术】
[0002] 人类感官主要包括视觉、嗅觉、味觉、听觉和触觉。人类依赖感官来接受外界传递 的信息。视觉感官在人类的感官中占了很重要的地位。人类的视觉系统能够在短时间内将 注意力关注在图像中最为重要的部分，也就是人眼最为感兴趣的部分。随着多媒体时代的 到来，各种数码产品的普及和网络时代数字化图像的传播，每天都产生和传递着大量的图 像资源。海量的图像数据虽然丰富了生活，但也带来了不少挑战。
[0003] 如何能够高效且准确的处理这些图像资源是一个很关键的问题。研究人员发现了 人类视觉系统的选择性注意机制后，试图让计算机模拟人类视觉系统，从而提出了显著性 检测方法。显著性检测已经应用到图像压缩与编码、图像检索、图像分割、目标识别和内容 感知图像缩放等。如在图像压缩与编码中，首先检测出显著区域，然后对显著区域保留更多 的细节，这样既压缩了图像，又能保留更多重要的细节。
[0004] 视觉显著性检测已经得到了比较好的研究，然而大多数显著性检测模型是针对无 失真图像提出的，并且实验数据是无失真图像集合。少数论文注意到了失真图像对显著性 检测的影响。Zhang等人发现噪声、模糊和压缩改变了图像低层特征，提出了基于图像低层 特征的自底向上的显著性检测模型。同时，Zhang等人发现图像质量失真会引起显著性图的 变化，并且显著性图的改变和主观的图像质量评估之间存在一定的联系。Gide和Karam在 图像质量评估的眼动数据集上评估了 5种显著性检测模型，被评估的失真类型包含模糊、噪 声和JPEG压缩失真。Mittal等人对图像亮度和对比度等低层特征进行提取，并基于这些特 征采用机器学习框架预测JPEG失真图像的显著性区域。Kim和Milanfar针对噪声图像提出 了基于非参数回归框架的显著性检测模型。
[0005] 实际生活中的图像大多是带有失真的，如由相机传感器、图像处理器等外设造成 的失真、拍照设备抖动造成的抖动失真和图像压缩失真等。为了提高显著性检测方法在噪 声图像上的应用，本发明提出一种基于机器学习的噪声图像显著性检测方法。
【发明内容】
[0006] 本发明的目的在于提供一种基于机器学习的噪声图像显著性检测方法，该方法可 以提高显著性检测方法在噪声图像中的检测性能。
[0007] 为实现上述目的，本发明的技术方案是：一种基于机器学习的噪声图像显著性检 测方法，包括以下步骤： 步骤S1:对每个幅度的噪声图像分别采用多种去噪参数进行去噪处理，获得每个幅度 相应的最佳去噪参数； 步骤S2:对每幅噪声图像使用噪声评估算法进行特征提取，获得每幅噪声图像的噪声 值特征，以此组成噪声值特征集p; 步骤S3:将噪声值特征集P作为机器学习算法的特征集，并通过机器学习算法和五等分 交叉验证方法，获得噪声图像的噪声幅度预测模型； 步骤S4:采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像的预 测噪声幅度值； 步骤S5:采用每幅噪声图像的预测噪声幅度值和该幅度对应的最佳去噪参数进行去噪 处理，获得去噪图像集； 步骤S6:对去噪图像集中的图像使用显著性检测方法进行检测，获得最终的显著性图。
[0008] 进一步地，所述步骤S1中，对每个幅度的噪声图像分别采用多种去噪参数进行去 噪处理，获得每个幅度相应的最佳去噪参数，具体包括以下步骤： 步骤S11:使用种高斯低通滤波去噪参数对每个幅度的噪声图像进行去噪处理，获得 每个幅度含种去噪参数的去噪后图像集合S; 步骤S12:对去噪后图像集合S使用显著性检测方法VA计算显著性图，获得去噪后图像 的显著性图集合T; 步骤S13:使用评价指标PR-AUC对去噪后图像的显著性图集合T进行评估，针对每个幅 度找出平均PR-AUC最高值时使用的去噪参数，得到每个幅度的最佳去噪参数。
[0009] 进一步地，所述步骤S2中，对每幅噪声图像使用噪声评估算法进行特征提取，获得 每幅噪声图像的噪声值特征，以此组成噪声值特征集八具体包括以下步骤： 步骤S21:对噪声图像进行灰度化处理，得到灰度图像I; 步骤S22:使用双边滤波处理灰度图像I，得到双边滤波结果图f; 步骤S23:计算灰度图像I和双边滤波结果图f的差值，得到差值图像认 步骤S24:对灰度图像I使用Canny边缘检测方法得到边缘图像凡对边缘图像i?使用膨胀 算子扩大边缘区域，得到扩大的边缘图像 步骤S25:计算噪声大小评估值图像#，计算公式为：
其中，队表示灰度图像中像素r的值，t表示像素点，^表示扩大的边缘图像，A表示扩 大的边缘图像i中像素点t的值为0的集合； 步骤S26:将噪声大小评估值图像麗均匀划分为3X3的网格区域，分别计算噪声大小评 估值图像^图及每个网格区域噪声大小评估值，计算公式为：
其中，备表示相对应的区域，i-1，2，…，10分别表示全图和9个网格区域，表示在 区域r中像素r的值;计算得到噪声值特征集/MA，乃，…，Ao}。
[0010] 进一步地，所述步骤S3中，将噪声值特征集P作为机器学习算法的特征集，并通过 机器学习算法和五等分交叉验证方法，获得噪声图像的噪声幅度预测模型，具体包括以下 步骤： 步骤S31:将噪声值特征集P中特征值A，乃，…，Ao按从小到大顺序排列后，作为机 器学习算法的特征集F，并将特征集F随机五等分为:FI、F2、F3、F4和F5; 步骤S32:将F2、F3、F4和F5作为机器学习的训练数据集，将其对应在图像质量评估数据 库的图像失真幅度作为机器学习的训练标签，学习得到噪声幅度预测模型Ml; 步骤S33:重复步骤S32,分别求出F1、F3、F4和F5作为训练数据集时的噪声幅度预测模 型M2，F1、F2、F4和F5作为训练数据集时的噪声幅度预测模型M3，F1、F2、F3和F5作为训练数 据集时的噪声幅度预测模型14^^2、？3和?4作为训练数据集时的噪声幅度预测模型15。
[0011] 进一步地，所述步骤S4中，采用噪声幅度预测模型对相应的噪声图像进行预测，获 得每幅噪声图像的预测噪声幅度值，具体包括以下步骤： 步骤S41:采用噪声幅度预测模型Ml对特征集F1对应的图像集进行预测，求出噪声幅度 值预测集合VI; 步骤S42:重复步骤S41的方法，分别采用噪声幅度预测模型M2、M3、M4、M5对特征集F2、 F3、F4和F5对应的图像集预测，得到噪声幅度值预测集合V2、V3、V4、V5; 步骤S43:综合噪声幅度值预测集合￥={￥1、￥2、￥3、￥4、￥5}，得到完整的图像集的噪声幅 度值预测集合V。
[0012] 进一步地，所述步骤S5中，采用每幅噪声图像的预测噪声幅度值和该幅度对应的 最佳去噪参数进行去噪处理，获得去噪图像集，具体包括以下步骤： 步骤S51:针对每幅噪声图像，从噪声幅度值预测集合V中找到该噪声图像对应的噪声 幅度值； 步骤S52:根据噪声幅度值，采用相对应的最佳去噪参数对噪声图像使用高斯低通滤波 处理，获得去噪图像集FI。
[0013] 相较于现有技术，本发明的有益效果是：首先利用机器学习预测噪声图像的噪声 幅度，然后使用适合该幅度的最佳去噪参数进行去噪处理，最后采用显著性检测方法计算 去噪后图像的显著性图，由于本发明考虑到噪声图像对显著性检测方法的影响，因此能够 有效的提高显著性检测方法在噪声图像上的检测性能，可应用于图像和视频处理、计算机 视觉等诸多领域。
【附图说明】
[0014] 图1是本发明方法的流程框图。
[0015] 图2是本发明一实施例的步骤S2中的示例图片（为更好的显示效果，图2中的（d)、 (g )和(h )的像素值被映射到[0，1 ])。
[0016] 图3是本发明一实施例的整体方法的实现流程图。
[0017] 图4是本发明一实施例中原噪声图像和经过步骤S5和S6的最终效果示例图片。
【具体实施方式】
[0018] 下面结合附图及具体实施例对本发明作进一步的详细说明。
[0019] 本发明提供一种基于机器学习的噪声图像显著性检测方法，如图1和图3所示，包 括以下步骤： 步骤S1:对每个幅度的噪声图像分别采用多种去噪参数进行去噪处理，获得每个幅度 相应的最佳去噪参数。在本实施例中，步骤S1具体包括以下步骤： 步骤S11:使用9种高斯低通滤波去噪参数(模板尺寸分别为{3X3, 5X5, 7X7}，标准 差分别为{0.5, 0.7, 0.9})对每个幅度的噪声图像进行去噪处理，获得每个幅度含9种去 噪参数的去噪后图像集合S; 步骤S12:对去噪后图像集合S使用显著性检测方法VA(Saliency detection via absorbing markov chain)计算显著性图，获得去噪后图像的显著性图集合T; 步骤S13:使用评价指标PR_AUC(the area under precision-recall curve)对去噪后 图像的显著性图集合T进行评估，针对每个幅度找出平均PR-AUC最高值时使用的去噪参数， 得到每个幅度的最佳去噪参数。
[0020]步骤S2:对每幅噪声图像使用噪声评估算法进行特征提取，获得每幅噪声图像的 噪声值特征，以此组成噪声值特征集八在本实施例中，如图2所示，步骤S2具体包括以下步 骤： 步骤S21:对噪声图像进行灰度化处理，得到灰度图像1(如图2(b)); 步骤S22:使用双边滤波处理灰度图像I，得到双边滤波结果图/ (如图2(c)); 步骤S23:计算灰度图像I和双边滤波结果图j的差值，得到差值图像汉如图2(d)); 步骤S24:对灰度图像I使用Canny边缘检测方法得到边缘图像K如图2(e))，对边缘图 像i?使用膨胀算子扩大边缘区域，得到扩大的边缘图像|(如图2(f)); 步骤S25:计算噪声大小评估值图像#，计算公式为：
其中，队表示灰度图像中像素r的值，t表示像素点，^表示扩大的边缘图像，A表示扩 大的边缘图像i中像素点t的值为0的集合； 步骤S 2 6 :将噪声大小评估值图像#(如图2 (g))均匀划分为3 X 3的网格区域（如图2 (h))，分别计算噪声大小评估值图像^图及每个网格区域噪声大小评估值，计算公式为：
其中，备表示相对应的区域，i-1，2，…，10分别表示全图和9个网格区域，表示在 区域r中像素r的值;计算得到噪声值特征集/MA，乃，…，Ao}。
[0021]步骤S3:将噪声值特征集P作为机器学习算法的特征集，并通过机器学习算法和五 等分交叉验证方法，获得噪声图像的噪声幅度预测模型。在本实施例中，步骤S3具体包括以 下步骤： 步骤S31:将噪声值特征集P中特征值A，乃，…，Ao按从小到大顺序排列后，作为机 器学习算法的特征集F，并将特征集F随机五等分为:FI、F2、F3、F4和F5; 步骤S32:将F2、F3、F4和F5作为机器学习的训练数据集，将其对应在图像质量评估数据 库TID2013的图像失真幅度作为机器学习的训练标签，学习得到噪声幅度预测模型Ml; 步骤S33:重复步骤S32,分别求出F1、F3、F4和F5作为训练数据集时的噪声幅度预测模 型M2，F1、F2、F4和F5作为训练数据集时的噪声幅度预测模型M3，F1、F2、F3和F5作为训练数 据集时的噪声幅度预测模型14^^2、？3和?4作为训练数据集时的噪声幅度预测模型15。
[0022] 步骤S4:采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像 的预测噪声幅度值。在本实施例中，步骤S4具体包括以下步骤： 步骤S41:采用噪声幅度预测模型Ml对特征集F1对应的图像集进行预测，求出噪声幅度 值预测集合VI; 步骤S42:重复步骤S41的方法，分别采用噪声幅度预测模型M2、M3、M4、M5对特征集F2、 F3、F4和F5对应的图像集预测，得到噪声幅度值预测集合V2、V3、V4、V5; 步骤S43:综合噪声幅度值预测集合￥={￥1、￥2、￥3、￥4、￥5}，得到完整的图像集的噪声幅 度值预测集合V。
[0023] 步骤S4:采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像 的预测噪声幅度值。具体包括以下步骤： 步骤S41:采用噪声幅度预测模型Ml对特征集F1对应的图像集进行预测，求出噪声幅度 值预测集合VI; 步骤S42:重复步骤S41的方法，分别采用噪声幅度预测模型M2、M3、M4、M5对特征集F2、 F3、F4和F5对应的图像集预测，得到噪声幅度值预测集合V2、V3、V4、V5; 步骤S43:综合噪声幅度值预测集合￥={￥1、￥2、￥3、￥4、￥5}，得到完整的图像集的噪声幅 度值预测集合V。
[0024]步骤S5:采用每幅噪声图像的预测噪声幅度值和该幅度对应的最佳去噪参数进行 去噪处理，获得去噪图像集。在本实施例中，如图4所示，步骤S5具体包括以下步骤： 步骤S51:针对每幅噪声图像，从噪声幅度值预测集合V中找到该噪声图像对应的噪声 幅度值； 步骤S52:根据噪声幅度值，采用相对应的最佳去噪参数对噪声图像使用高斯低通滤波 处理，获得去噪图像集FI。
[0025]步骤S6:对去噪图像集FI中的图像使用显著性检测方法VA进行检测，获得最终的 显著性图。
[0026]本发明提供的基于机器学习的噪声图像显著性检测方法，考虑到噪声图像对显著 性检测方法的影响，挖掘噪声大小评估值特征与图像质量评估数据库TID2013中的噪声幅 度的关联，设计得到机器学习噪声预测模型，并结合去噪方法和为该幅度设置的参数对图 像进行去噪处理，最后采用显著性检测方法VA计算去噪后图像的显著性图。该方法能够有 效的提高显著性检测方法在噪声图像上的检测性能，可应用于图像和视频处理、计算机视 觉等领域。
[0027]以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作 用未超出本发明技术方案的范围时，均属于本发明的保护范围。
【主权项】
1. 一种基于机器学习的噪声图像显著性检测方法，其特征在于，包括W下步骤： 步骤SI:对每个幅度的噪声图像分别采用多种去噪参数进行去噪处理，获得每个幅度 相应的最佳去噪参数； 步骤S2:对每幅噪声图像使用噪声评估算法进行特征提取，获得每幅噪声图像的噪声 值特征，W此组成噪声值特征集户； 步骤S3:将噪声值特征集户作为机器学习算法的特征集，并通过机器学习算法和五等分 交叉验证方法，获得噪声图像的噪声幅度预测模型； 步骤S4:采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像的预 测噪声幅度值； 步骤S5:采用每幅噪声图像的预测噪声幅度值和该幅度对应的最佳去噪参数进行去噪 处理，获得去噪图像集； 步骤S6:对去噪图像集中的图像使用显著性检测方法进行检测，获得最终的显著性图。2. 根据权利要求1所述的一种基于机器学习的噪声图像显著性检测方法，其特征在于： 所述步骤Sl中，对每个幅度的噪声图像分别采用多种去噪参数进行去噪处理，获得每个幅 度相应的最佳去噪参数，具体包括W下步骤： 步骤Sll:使用n种高斯低通滤波去噪参数对每个幅度的噪声图像进行去噪处理，获得 每个幅度含n种去噪参数的去噪后图像集合S; 步骤S12:对去噪后图像集合S使用显著性检测方法VA计算显著性图，获得去噪后图像 的显著性图集合T; 步骤S13:使用评价指标PR-AUC对去噪后图像的显著性图集合T进行评估，针对每个幅 度找出平均PR-AUC最高值时使用的去噪参数，得到每个幅度的最佳去噪参数。3. 根据权利要求1所述的一种基于机器学习的噪声图像显著性检测方法，其特征在于： 所述步骤S2中，对每幅噪声图像使用噪声评估算法进行特征提取，获得每幅噪声图像的噪 声值特征，W此组成噪声值特征集A具体包括W下步骤： 步骤S21:对噪声图像进行灰度化处理，得到灰度图像/; 步骤S22:使用双边滤波处理灰度图像/，得到双边滤波结果图/; 步骤S23:计算灰度图像巧日双边滤波结果图f的差值，得到差值图像化 步骤S24:对灰度图像/使用化nny边缘检测方法得到边缘图像i?，对边缘图像i?使用膨胀 算子扩大边缘区域，得到扩大的边缘图像￡^ 步骤S25:计算噪声大小评估值图像#，计算公式为：其中，化表示灰度图像中像素诚]值，t表示像素点，if表示扩大的边缘图像，A表示扩大 的边缘图像^中像素点t的值为O的集合； 步骤S26:将噪声大小评估值图像M匀匀划分为3 X 3的网格区域，分别计算噪声大小评 估值图像始^图及每个网格区域噪声大小评估值，计算公式为： 其中，做表示相对应的区域，1-1，Z,…，^巧刑巧不全图和9个网格区域，做,*^表示在 区域r中像素冲勺值;计算得到噪声值特征集片{A,巧，…，AoK4. 根据权利要求3所述的一种基于机器学习的噪声图像显著性检测方法，其特征在于： 所述步骤S3中，将噪声值特征集户作为机器学习算法的特征集，并通过机器学习算法和五等 分交叉验证方法，获得噪声图像的噪声幅度预测模型，具体包括W下步骤： 步骤S31:将噪声值特征集户+^特征值月，巧，…，月0按从小到大顺序排列后，作为机器 学习算法的特征集F，并将特征集F随机五等分为:Fl、F2、F3、F4和巧； 步骤S32:将F2、F3、F4和F5作为机器学习的训练数据集，将其对应在图像质量评估数据 库的图像失真幅度作为机器学习的训练标签，学习得到噪声幅度预测模型Ml; 步骤S33:重复步骤S32,分别求出F1、F3、F4和巧作为训练数据集时的噪声幅度预测模 型M2，F1、F2、F4和F5作为训练数据集时的噪声幅度预测模型M3，F1、F2、F3和F5作为训练数 据集时的噪声幅度预测模型14^1少2、。3和。4作为训练数据集时的噪声幅度预测模型15。5. 根据权利要求4所述的一种基于机器学习的噪声图像显著性检测方法，其特征在于： 所述步骤S4中，采用噪声幅度预测模型对相应的噪声图像进行预测，获得每幅噪声图像的 预测噪声幅度值，具体包括W下步骤： 步骤S41:采用噪声幅度预测模型Ml对特征集Fl对应的图像集进行预测，求出噪声幅度 值预测集合VI; 步骤S42:重复步骤S41的方法，分别采用噪声幅度预测模型12、13、14、15对特征集尸2、 F3、F4和巧对应的图像集预测，得到噪声幅度值预测集合V2、V3、V4、V5; 步骤S43:综合噪声幅度值预测集合V= {Vl、V2、V3、V4、V引，得到完整的图像集的噪声幅 度值预测集合V。6. 根据权利要求5所述的一种基于机器学习的噪声图像显著性检测方法，其特征在于， 所述步骤S5中，采用每幅噪声图像的预测噪声幅度值和该幅度对应的最佳去噪参数进行去 噪处理，获得去噪图像集，具体包括W下步骤： 步骤S51:针对每幅噪声图像，从噪声幅度值预测集合V中找到该噪声图像对应的噪声 幅度值； 步骤S52:根据噪声幅度值，采用相对应的最佳去噪参数对噪声图像使用高斯低通滤波 处理，获得去噪图像集FI。
【文档编号】G06T5/00GK105913427SQ201610222900
【公开日】2016年8月31日
【申请日】2016年4月12日
【发明人】牛玉贞, 林乐凝, 陈羽中
【申请人】福州大学