基于强化学习的图像增强方法与流程

本发明属于图像处理
技术领域：
，涉及一种基于机器学习技术，采用强化学习提高图像质量的方法。
背景技术：
：随着大数据时代的到来，图像信息因其更具有直观性，更加通俗易懂，已经是日常生活中必不可少的信息来源。然而通过图片去了解信息的必要条件是获得一张高质量的图片，降质的图片含有许多噪音，为之后的分析带来各种各样的障碍。随着人工智能的发展，人们对于图片质量的要求也越来越高。在计算机视觉领域，图像增强也一直是研究的热点。在许多数字图像处理应用中，经常需要用高质量的图片或者视频来进行处理和分析。由于现有技术的局限性，成像设备往往得到的是低质量的图片，包括但不仅限于带有高斯白噪声，分辨率过低，模糊等，这些都会给后续的图像处理和分析带来困难，而如何提升这些图片的质量就成了需要关注的重点。在最近几年，深度学习尤其是卷积神经网络被证明是一种高效的数据驱动框架，并且在底层图像处理问题上展示出了不错的效果。dong等人设计了一种卷积神经网络架构[1]来解决单张图片超分辨率重建问题，设计的三层卷积神经网络分别模拟基于稀疏编码超分辨率重建。wang等人把神经网络融入稀疏编码框架来解决超分辨率重建问题[2]，利用一种针对快速解稀疏编码的神经网络设计，巧妙地将这个设计应用到了图像超分辨率问题。schuler等人开发了一种通过解卷积构造的多层感知机方法[3]去除噪声和手工痕迹。xu等人使用一种深度卷积神经网络[4]来恢复带有噪声的图像，使用了奇异值分解的方法，减少了网络中的参数。kim等人[5]发现可以通过学习低分辨率图片和高分辨率图片之间的残差把更多的层加入到网络中，帮助神经网络收敛。[1]dongc,chencl,hek,etal.imagesuper-resolutionusingdeepconvolutionalnetworks[j].ieeetransactionsonpatternanalysis&machineintelligence,2016,38(2):295-307[2]wangz,liud,yangj,etal.deepnetworksforimagesuper-resolutionwithsparseprior[c].inproceedingoficcv,santiago,chile,2015:370-378.[3]schulercj,burgerhc,haemelings,etal.amachinelearningapproachfornon-blindimagedeconvolution[c].inproceedingofcvpr,portland,orusa,2013:1067-1074[4]xul,renjs,liuc,etal.deepconvolutionalneuralnetworkforimagedeconvolution[c].inproceedingofnips,montreal,quebec,canada,2014:1790-1798.[5]kimj,leejk,leekm.accurateimagesuper-resolutionusingverydeepconvolutionnetworks[c].inproceedingsofcvpr,lasvegas,nv,usa,2016:1646-1654技术实现要素：本发明的目的是提供一种基于强化学习的基于强化学习的图像增强方法，本发明选择最合适的图像增强方法，对图像进行处理，丰富图像的细节信息，增强图像质量，便于后续的处理，提高效率和准确率。技术方案如下：一种基于强化学习的图像增强方法，包括下列步骤：第一步：制作失真图片数据集将公开的图片数据集分为训练集，测试集，用matlab采用不同程度的三种类型处理方式对训练集和测试集进行预处理，生成失真图片，包含不同程度的jpeg压缩处理方式，不同程度的高斯噪音处理方式，不同程度的高斯模糊处理方式；第二步：设计图像增强处理工具针对不同类型或不同程度的失真图片，分别训练增强算法参数，并生成对应的meta文件，获得多个处理工具，每个工具对应处理特定程度、特定类型的失真，其中，针对不同程度的jpeg压缩处理方式，采用生成对抗网络恢复重建算法恢复；针对不同程度的高斯噪声处理方式，采用卷积神经网络去噪算法恢复；针对不同程度的高斯模糊处理方式，采用卷积神经网络去模糊算法恢复；第三步：训练最优处理工具选择网络对失真图像进行重建时，不同处理工具的恢复效果不同，不同的处理顺序恢复效果也不同，需要设计自主选择最优处理工具的网络；采用dqn强化学习算法，将选择问题看作马尔科夫过程，用回报函数来评价每一个动作，面对不同的当前状态，采取最合适的动作来转换状态使得回报函数最大化，将处理工具的选择视为离散的动作，面对不同程度的失真图片选择最合适的处理工具和处理顺序；确定训练最优处理工具选择网络参数调整方案：batch设置为32，学习率设置为0.0001，探索率初值0.1，迭代次数设置为100000次；测试时将batch设置为1，即每次只处理一张图像；训练最优处理工具选择网络参数，使得目标函数累计回报函数最大化；训练迭代结束或者累计回报函数收敛时，得到失真图片最优处理工具选择网络：输入失真图片，输出最优处理工具对应的标号和处理顺序；第四步：模型性能测试将测试集中的失真图片输入最优处理工具选择网络中，得到各图片处理工具对应的标号和处理顺序，并对失真图片进行对应操作，得到增强图片；通过计算没有失真的原始图片和增强后的图像之间的峰值功率信噪比psnr，对模型的性能进行评估，psnr值越高，恢复效果越好。本发明的有益效果如表1所示。表1结果统计表附图说明附图1图像增强模型结构图附图2jpeg压缩图附图3压缩图像模型增强结果图附图4高斯噪声图附图5噪音图像模型增强结果图附图6模糊处理图附图7模糊图像模型增强结果图具体实施方式为使本发明的技术方案更加清楚，下面结合附图对本发明具体实施方式做进一步地描述。第一步：制作失真图片数据集。将div2k数据集按照15∶1的比例分为训练集，测试集。用matlab采用12种处理方式对训练集和测试集进行预处理，生成失真图片，获得750张训练集图片，50张测试集图片，其中每张图片会经过多次处理。本发明中使用的12种方式，如表2所示。表2失真处理(1)高斯模糊处理1/n...1/n...1/n...1/n...1/n图1[n，n]高斯模糊卷积核利用图1所示的卷积核对图像进行遍历卷积，得到模糊处理后的图片。(2)加入高斯噪声对一幅输入图像f(x,y)进行处理，产生一幅退化后的图像g(x,y)。给定g(x,y)、退化函数h和加性噪声项η(x,y)，空间域中退化图像可由下式给出：g(x,y)＝h(x,y)*f(x,y)+η(x,y)在频域上：g(u,v)＝h(u,v)f(u,v)+n(u,v)第二步：设计图像增强处理工具。针对不同类型或不同程度的失真，分别训练增强算法参数，并生成对应的meta文件，获得12个处理工具，用于处理特定程度、特定类型的失真。本发明中，针对4种不同程度的jpeg压缩，采用生成对抗网络恢复重建算法恢复；针对4种不同程度的高斯噪声，采用卷积神经网络去噪算法恢复；针对4种不同程度的模糊，采用卷积神经网络去模糊算法恢复。第三步：训练最优处理工具选择网络。对失真图像进行重建时，不同处理工具的恢复效果不同，不同的处理顺序恢复效果也不同，所以应当设计自主选择最优处理工具的网络。强化学习算法，将选择问题看作马尔科夫过程，用回报函数来评价每一个动作。面对不同的当前状态，采取最合适的动作来转换状态使得回报函数最大化。本发明采用dqn强化学习算法，将处理工具的选择视为离散的动作，面对不同程度的失真图片选择最合适的处理工具和处理顺序，如图2所示。本发明dqn算法中，环境状态st＝{it,vt}，其中it表示输入的失真图片向量，vt表示历史动作向量，第一步时，vt为0向量；t时刻个体采取的动作at∈{12个工具}，采取动作即选择一种工具处理失真图片，获得重建后图片，转换状态至st+1，同时得到环境的奖励rt，计算公式如下：rt＝||itarget-it-1||2-||itarget-it||2其中itarget表示无失真原图；累计回报函数q(t)＝e(rt+1+λrt+2+λ2rt+3+…|st)，其中e是期望函数，λ是衰减因子，累计回报函数q(t)最大化与选择最优处理工具问题等价。由于本发明所使用的训练图片尺寸较大，经过多次实验结果，确定训练最优处理工具选择网络参数调整方案：batch设置为32，学习率设置为0.0001，探索率初值0.1，迭代次数设置为100000次。测试时将batch设置为1，即每次只处理一张图像。训练最优处理工具选择网络参数，使得目标函数累计回报函数q(t)最大化。实验环境为ubuntu16.04操作系统，利用nvidia公司6gb显存的rtx2060gpu进行训练并利用cuda进行训练的加速。训练迭代结束或者累计回报函数q(t)收敛时，得到失真图片最优处理工具选择网络：输入失真图片，输出最优处理工具对应的标号和处理顺序。第四步：模型性能测试。将测试集中的失真图片输入最优处理工具选择网络中，得到各图片处理工具对应的标号和处理顺序，并对失真图片进行对应操作，得到增强图片。通过计算没有失真的原始图片和增强后的图像之间的峰值功率信噪比psnr，对模型的性能进行评估，psnr值越高，恢复效果越好。psnr的定义为：其中m,n,c表示图像的尺寸，本发明中为256，256，8；x为无失真的原始图片，y为重建后的图片，maxi是像素最大值，即为255。对实验数据进行分析与处理，评价本发明图片质量增强性能。测试后结果如表1所示，对比可知，本发明对图片质量增强效果较好。当前第1页12