图像去噪方法、装置、电子设备及计算机可读存储介质与流程

文档序号:25590262发布日期:2021-06-22 17:06阅读:124来源:国知局
图像去噪方法、装置、电子设备及计算机可读存储介质与流程

本发明涉及图像处理技术领域,尤其涉及一种图像去噪方法、装置、电子设备及计算机可读存储介质。



背景技术:

文本图像去噪与修复是人工智能与图像处理领域较为重要的一种技术,其主要内容包括了对于受背景、噪声干扰的文档图像进行修复,并去除不需要的内容,最终得到的文档图像结果。文档图像噪声主要包含了以下几个部分:背景噪声干扰、水印干扰、红章干扰、低对比度、光线阴影、失焦模糊、运动模糊、图像压缩所导致的模糊等。

现有的图像去噪方法多为针对特定噪声训练特定模型进行去噪,但噪声的种类繁多,存在一张图像包含多种噪声的情况,目前现有的方法,通常只能处理某一种或者少数几种特定的噪声干扰,无法同时对上述的绝大多数噪声进行去除,因此训练出的去噪模型的泛用性和鲁棒性较低。



技术实现要素:

本发明提供一种图像去噪方法、装置及计算机可读存储介质,其主要目的在于解决文本去噪模型泛用性和鲁棒性较低的问题。

为实现上述目的,本发明提供的一种图像去噪方法,包括:

获取原始图像,对所述原始图像进行至少一种噪声添加,得到噪声图像;

对所述噪声图像进行噪声增强,得到增强噪声图像;

提取所述增强噪声图像的图像特征,根据所述图像特征从预设图像库中匹配得到与所述增噪噪声图像具有相似特征的参考图像,并获取所述参考图像的像素分布;

将所述像素分布作为预构建的图像去噪模型的参数对所述增强噪声图像进行去噪处理,得到去噪图像;

计算所述去噪图像与所述原始图像之间的像素损失值,根据所述像素损失值对所述预构建的图像去噪模型进行参数调整,得到训练完成的图像去噪模型;

获取待去噪图像,利用所述训练完成的图像去噪模型对所述待去噪图像进行去噪处理,得到去噪图像。

可选地,所述对所述原始图像进行至少一种噪声添加,得到噪声图像,包括以下一项或多项处理:

对所述原始图像进行噪声染色,得到第一增噪图像;

对所述第一增噪图像进行模糊扰动,得到第二增噪图像;

对所述原始图像进行局部遮掩,得到遮掩噪声图像。

可选地,所述对所述原始图像进行噪声染色,得到第一增噪图像,包括:

获取一种或者多种颜色参数;

遍历并获取所述原始图像中各像素点的像素值;

分别根据所述一种或者多种颜色参数对所述像素值进行数值调整,得到第一增噪图像。

可选地,所述对所述第一增噪图像进行模糊扰动,得到第二增噪图像,包括:

利用所述多种类型的模糊算法对所述第一增噪图像进行扰动计算,得到多种类型的扰动数据;

将多种类型的扰动数据分别与所述第一增噪图像进行卷积,得到多种类型的第二增噪图像。

可选地,所述对所述噪声图像进行噪声增强,得到增强噪声图像,包括:

遍历所述噪声图像以获取所述噪声图像的像素点;

利用预设的像素滤波器对所述像素点进行噪声像素筛选处理,得到噪声像素;

对所述噪声像素进行局部噪声增强,得到增强噪声图像。

可选地,所述对所述噪声像素进行局部噪声增强,得到增强噪声图像,包括:

利用n×n的图像窗口在所述噪声图像中依次执行区域选择,得到多个图像区域,其中,n为预设的窗口长度;

根据每个所述图像区域的噪声像素以及所述噪声像素的邻域像素,利用预设算法计算每个所述图像区域的噪声像素的二进制码元;

根据所述二进制码元对所述噪声像素进行像素增强,得到增强噪声图像。

可选地,所述计算所述去噪图像与所述原始图像之间的像素损失值,包括:

将所述原始图像中的像素点按照第一编码方式进行编码;

将所述去噪图像中的像素点按照与所述第一编码方式对应的第二编码方式进行编码;

根据编码后的原始图像与编码后的去噪图像中对应编码位置的像素值计算所述去噪图像与所述原始图像之间的像素损失值。

为了解决上述问题,本发明还提供一种图像去噪装置,所述装置包括:

噪声添加模块,用于获取原始图像,对所述原始图像进行至少一种噪声添加,得到噪声图像;

噪声增强模块,用于对所述噪声图像进行噪声增强,得到增强噪声图像;

相似图像匹配模块,提取所述增强噪声图像的图像特征,根据所述图像特征从预设图像库中匹配得到与所述增噪噪声图像具有相似特征的参考图像,并获取所述参考图像的像素分布;

第一去噪模块,用于将所述像素分布作为预构建的图像去噪模型的参数对所述增强噪声图像进行去噪处理,得到去噪图像;

参数调节模块,用于计算所述去噪图像与所述原始图像之间的像素损失值,根据所述像素损失值对所述预构建的图像去噪模型进行参数调整,得到训练完成的图像去噪模型;

第二去噪模块,用于获取待去噪图像,利用所述训练完成的图像去噪模型对所述待去噪图像进行去噪处理,得到去噪图像。

为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:

存储器,存储至少一个指令;及

处理器,执行所述存储器中存储的指令以实现上述所述的图像去噪方法。

为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的图像去噪方法。

本发明实施例通过对所述原始图像进行至少一种噪声添加,可以得到多种不同类型的噪声图像,有利于后续利用多种不同类型的噪声图像训练出泛用性更高的图像去噪模型;对噪声图像进行噪声增强,可实现对添加至噪声图像中的多种噪声的加强,有利于提高后续利用增强噪声图像训练出的图像去噪模型的鲁棒性;通过提取增强噪声图像的图像特征,匹配得到与增噪噪声图像具有相似特征的参考图像,并获取参考图像的像素分布,有利于后续根据与增强噪声图像具有相似特征的图像对增强噪声图像进行去噪,进而提高图像去噪的精确度;通过图像去噪模型对增强噪声图像进行去噪处理得到去噪图像,并通过计算去噪图像与原始图像之间的像素损失值,实现了像素级别的损失值对比,有利于提高训练出的图像去噪模型的精确性,进而提高图像去噪模型的鲁棒性。因此本发明提出的图像去噪方法、装置、电子设备及计算机可读存储介质,可以解决文本去噪模型泛用性和鲁棒性较低的问题。

附图说明

图1为本发明一实施例提供的图像去噪方法的流程示意图;

图2为本发明一实施例提供的计算像素损失值的流程示意图;

图3为本发明一实施例提供的原始图像和去噪图像的编码示意图;

图4为本发明一实施例提供的图像去噪装置的功能模块图;

图5为本发明一实施例提供的实现所述图像去噪方法的电子设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本申请实施例提供一种图像去噪方法。所述图像去噪方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述图像去噪方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。

参照图1所示,为本发明一实施例提供的图像去噪方法的流程示意图。

在本实施例中,所述图像去噪方法包括:

s1、获取原始图像,对所述原始图像进行至少一种噪声添加,得到噪声图像。

本发明实施例中,所述原始图像包括文本图像、物品图像、风景图像等。

详细地,可利用具有数据抓取功能的python语句从用于存储所述原始图像的区块链节点中获取所述原始图像,利用区块链对数据的高吞吐性,可提高获取所述原始图像的效率。

本发明实施例中,所述对所述原始图像进行至少一种噪声添加,得到噪声图像,包括:

对所述原始图像进行噪声染色,得到第一增噪图像;

对所述第一增噪图像进行模糊扰动,得到第二增噪图像;

对所述原始图像进行局部遮掩,得到遮掩噪声图像。

详细地,所述对所述原始图像进行噪声染色,得到第一增噪图像,包括:

获取一种或者多种颜色参数;

遍历并获取所述原始图像中各像素点的像素值;

分别根据所述一种或者多种颜色参数对所述像素值进行数值调整,得到第一增噪图像。

本发明实施例利用具有数据抓取功能的python语句从预先构建的数据库中获取一种或者多种颜色参数。

详细地,所述颜色参数是用于唯一标识不同色彩的参数,所述颜色参数为动态浮点数值,可根据目标像素的像素值将目标像素转化至预设的颜色范围内。

例如,红色的颜色参数为r,红色的颜色范围为(q,p),存在目标像素的像素值为k,且k不在(q,p)范围内,则利用颜色参数r对目标像素的像素值进行数值调整,使得所述目标像素的像素值落入(q,p)范围内。

本发明实施例中,分别利用多种颜色参数对原始图像中各像素点的像素值进行数值调整,得到包含多种不同颜色的第一增噪图像图像。

具体地,所述对所述第一增噪图像进行模糊扰动,得到第二增噪图像,包括:

利用所述多种类型的模糊算法对所述第一增噪图像进行扰动计算,得到多种类型的扰动数据;

将多种类型的扰动数据分别与所述第一增噪图像进行卷积,得到多种类型的第二增噪图像。

详细地,所述模糊算法包括但不限于运动模糊算法、高斯模糊算法和局部模糊算法。

其中,利用运动模糊算法对所述第一增噪图像进行扰动计算后,得到的扰动数据为随机数;利用高斯模糊算法对所述第一增噪图像进行扰动计算后,得到的扰动数据为卷积核矩阵;利用局部模糊算法对所述第一增噪图像进行扰动计算后,得到的扰动数据为随机数和卷积核矩阵。

具体地,当利用运动模糊算法进行扰动计算,且获取的扰动数据为随机数时,本发明实施例将所述随机数与所述第一增噪图像进行卷积,即可得到第二增噪图像。

当利用所述高斯模糊算法进行扰动计算,且获取的扰动数据为卷积核矩阵时,本发明实施例将所述卷积核矩阵与所述第一增噪图像进行卷积,即可得到第二增噪图像。

当利用局部模糊算法对所述第一增噪图像进行扰动计算,且获取的扰动数据为随机数和卷积核矩阵时,本发明实施例中,通过获取到的随机数将第一增噪图像转化为坐标调整图像,再将获取到的卷积核矩阵与所述坐标调整图像进行卷积,得到第二增噪图像。

详细地,所述通过获取到的随机数将第一增噪图像转化为坐标调整图像,包括:

获取所述第一增噪图像的尺寸;

根据所述尺寸利用网格采样点函数对所述第一增噪图像进行采样,得到所述第一增噪图像中每个像素的坐标值;

利用预设平面曲线函数对所述第一增噪图像中每个像素的坐标值进行调整,获取调整后得到的坐标调整图像。

具体地,所述网格采样点函数为一种根据预设间隔距离进行采样的函数,本发明实施例中,所述预设间隔距离为一个标准像素距离,预设采样最大距离为所述第一增噪图像的尺寸。

详细地,所述根据所述尺寸利用网格采样点函数对所述第一增噪图像进行采样,包括:

确定所述第一增噪图像中任一像素为原点;

确定从所述原点开始,每间隔预设间隔距离的像素点为采样点;

获取所述采样点的坐标值。

较佳地,所述平面曲线函数为:

其中,x为所述第一增噪图像中像素点的横坐标,为所述第一增噪图像中像素点的纵坐标,a,b为预设调整系数,为所述第一增噪图像中像素点调整后的横坐标,β为所述第一增噪图像中像素点调整后的纵坐标。

本发明实施例中,将所述多种类型的扰动数据分别与所述第一增噪图像进行合成,得到多种类型的第二增噪图像,得到包含多种类型噪声的第二增噪图像,提高了训练数据的多样性。

本发明实施例中,所述对所述第二增噪图像进行局部遮掩,得到噪声图像,即将所述第二增噪图像中部分像素点进行遮掩,例如,将所述第二增噪图像中单数行的像素点进行遮掩,或将所述第二增噪图像中偶数列中的像素点进行遮掩。

本发明实施例通过对所述原始图像进行至少一种噪声添加,可以得到多种不同类型的噪声图像,有利于后续利用多种不同类型的噪声图像训练出泛用性更高的图像去噪模型。

s2、对所述噪声图像进行噪声增强,得到增强噪声图像。

本发明实施例中,所述对所述噪声图像进行噪声增强,得到增强噪声图像,包括:

获取所述噪声图像中的每个像素点;

利用预设的像素滤波器对所述像素点进行噪声像素筛选处理,得到噪声像素;

对所述噪声像素进行局部噪声增强,得到增强噪声图像。

本发明实施可通过预设的java遍历语句对所述噪声图像进行遍历操作以获取所述噪声图像中的每个像素点。

本发明实施例中,所述滤波器包括但不限于最大值滤波器、最小值滤波器和中值滤波器,利用所述滤波器将所述噪声图像中的像素点进行噪声像素筛选处理,可实现对所述噪声图像中噪声像素点的选取。

进一步地,所述对所述噪声像素进行局部噪声增强,得到增强噪声图像,包括:

利用n×n的图像窗口在所述噪声图像中依次执行区域选择,得到多个图像区域,其中,n为预设的窗口长度;

根据每个所述图像区域的噪声像素以及所述噪声像素的邻域像素,利用预设算法计算每个所述图像区域的噪声像素的二进制码元;

根据所述二进制码元对所述噪声像素进行像素增强,得到增强噪声图像。

其中,所述每个所述图像区域中可能存在多个噪声像素,本发明依次选取多个噪声像素中的一个像素进行局部噪声增强,直至每个所述图像区域中的所有噪声像素完成局部噪声增强,得到增强噪声图像。

可选地,所述根据每个所述图像区域的噪声像素以及所述噪声像素的邻域像素,利用预设算法计算每个所述图像区域的噪声像素的二进制码元,包括:

利用如下算法计算所述图像区域的噪声像素的二进制码元

其中,p0为所述图像区域的噪声像素,pe为所述噪声像素的邻域像素的均值,n为所述邻域像素的个数,s(p0-pe)为量化运算。

本发明实施例对噪声图像进行细节加强处理,将噪声图像中噪声像素点进行筛选,并对图像中噪声像素进行局部噪声增强,有利于提高后续利用增强噪声图像训练出的图像去噪模型的鲁棒性。

s3、提取所述增强噪声图像的图像特征,根据所述图像特征从预设图像库中匹配得到与所述增噪噪声图像具有相似特征的参考图像,并获取所述参考图像的像素分布。

本发明实施例中,可利用具体特征提取功能的卷积神经网络提取所述增强噪声图像的图像特征,所述卷积神经网络包括但不限于包含多层卷积层的vgg网络、goolnet网络和resnet网络,其中,所述图像特征包括图像的颜色范围、像素分布和图像纹理等。

进一步地,本发明实施例利用从所述增强噪声图像中提取到图像特征与预设图像库中的图像进行匹配,从而获取与增噪噪声图像具有相似特征的参考图像,其中,所述预设图像库库包括但不限于neoj4数据库、tigergraph数据库和nettune数据库,所述图像库中存储多个标准图像及每个标准图像对应的标准特征。

详细地,所述根据所述图像特征从预设图像库中匹配得到与所述增噪噪声图像具有相似特征的参考图像,包括:

利用如下匹配算法计算所述增强噪声图像的图像特征与所述图像库中每个标准图像对应的标准特征之间的匹配度:

其中,l(x,y)为所述匹配度,x为所述增强噪声图像的图像特征,yi为图像库中第个i标准图像对应的标准特征。

确定所述匹配度大于预设匹配阈值的标准特征对应的标准图像为与所述增噪噪声图像具有相似特征的参考图像。

本发明实施例将利用具有数据分布提取功能的python语句提取所述参考图像的像素分布。

本发明实施例中,通过提取增强噪声图像的图像特征,匹配得到与增噪噪声图像具有相似特征的参考图像,并获取参考图像的像素分布,有利于后续根据与增强噪声图像具有相似特征的图像对增强噪声图像进行去噪,进而提高图像去噪的精确度。s4、将所述像素分布作为预构建的图像去噪模型的参数对所述增强噪声图像进行去噪处理,得到去噪图像。

本发明实施例中,所述图像去噪模型为具有多个相同尺寸卷积核组成的卷积层的卷积神经网络,例如,包含多个相同尺寸卷积核组成的卷积层的shufflenet网络。所述shufflenet网络为一种轻量级网络,比普通网络具有更加高效地计算能力。本发明实施例中,图像去噪模型去除shufflenet网络中的池化层,仅保留卷积层,减少了shufflenet网络中的网络结构,提高了计算效率。

详细地,所述将所述像素分布作为预构建的图像去噪模型的参数对所述增强噪声图像进行去噪处理,得到去噪图像,包括:

对所述像素分布进行参数转化,得到分布参数,并将所述分布参数输入至所述图像去噪模型;

利用所述图像去噪模型的前向卷积层对所述增强噪声图像进行卷积得到的前向卷积图;

利用所述图像去噪模型的后向卷积层对所述前向卷积图进行卷积,获得后向特征图;

直至所述图像去噪模型中所有的卷积层均完成卷积操作,得到去噪图像。

所述前向卷积层与所述后向卷积层是相对而言的,例如,图像去噪模型包括4个卷积层,第一个进行卷积的卷积层相对于第二个进行卷积的卷积层、第三个进行卷积的卷积层和第一个进行卷积的卷积层来说是前向卷积层;第二个进行卷积的卷积层相对于第一个对训练图像进行卷积的卷积层来说是后向卷积层,依此类推。

当前向卷积层为初始卷积层时,后向卷积的对前向得到的结果及前向卷积层的输入进行卷积,得到特征图。

当前向卷积层不为初始卷积通道时,后向卷积的对前向得到的结果及所有前向卷积通道的输入进行卷积,得到特征图。

具体地,例如,在第一卷积层中对所述训练图像进行卷积,得到第一卷积图;

在第二卷积层中对所述第一卷积图进行卷积,得到第二卷积图;

在第三卷积层中对所述第二卷积图进行卷积,得到第三卷积图;

在第四卷积层中对所述第三卷积图进行卷积,得到去噪图像。

其中,第一卷积层、第一卷积层、第一卷积层、第一卷积层为具有相同尺寸卷积核的卷积层。

本发明实施例通过图像去噪模型中多个相同尺寸卷积核组成的卷积层对增强噪声图像进行去噪处理,可保证图像去噪模型对所述增强噪声图像进行去噪处理后输出的去噪图像的尺寸与所述增强噪声图像的尺寸一致,有利于后续对所述增强噪声图像与所述去噪图像进行对比分析,以对所述图像去噪模型进行更新。

s5、计算所述去噪图像与所述原始图像之间的像素损失值,根据所述像素损失值对所述预构建的图像去噪模型进行参数调整,得到训练完成的图像去噪模型。

本发明实施例中,请参图2所示,所述计算所述去噪图像与所述原始图像之间的像素损失值,包括:

s51、将所述原始图像中的像素点按照第一编码方式进行编码;

s52、将所述去噪图像中的像素点按照与所述第一编码方式对应的第二编码方式进行编码;

s53、根据编码后的原始图像与编码后的去噪图像中对应编码位置的像素值计算所述去噪图像与所述原始图像之间的像素损失值。

详细地,所述第一编码方式与所述第二编码方式对应,参图3所示,例如,原始图像和去噪图像中均存在四个像素点,其中,第一编码方式为:将原始图像中的第一像素点编码为a像素点,原始图像中的第二像素点编码为b像素点,原始图像中的第三像素点编码为c像素点,原始图像中的第四像素点编码为d像素点;第二编码方式为将去噪图像中的第一像素点编码为a像素点,去噪图像中的第二像素点编码为b像素点,去噪图像中的第三像素点编码为c像素点,去噪图像中的第四像素点编码为d像素点。

进一步地,所述根据所述第一编码图像与所述第二编码图像中对应编码位置的像素值计算所述去噪图像与所述原始图像之间的像素损失值,包括:

利用如下损失函数计算计算所述去噪图像与所述原始图像之间的像素损失值:

其中,l(x,y)为所述,x为所述原始图像,y为所述去噪图像,n为所述原始图像中像素点的数量,ln为所述原始图像中第n个像素点与所述去噪图像中第n个像素点之间的差异值,xn为所述原始图像中第n个像素点的像素值,yn为所述去噪图像中第n个像素点的像素值。

本发明实施例中,所述根据所述像素损失值对所述预构建的图像去噪模型进行参数调整,得到训练完成的图像去噪模型,包括:

当所述损失函数的损失值大于预设的损失阈值,则利用优化算法对所述图像去噪模的参数进行优化;

当所述损失函数的损失值小于或等于所述损失阈值,得到训练完成的图像去噪模型。

本发明实施例中,当所述损失函数的损失值大于预设的损失阈值,使用adam优化算法对图像去噪模型的参数进行优化,adam优化算法可自适应调节图像去噪模型训练过程中的学习率,使得图像去噪模型更加精确,提升图像去噪模型的性能。

s6、获取待去噪图像,利用所述训练完成的图像去噪模型对所述待去噪图像进行去噪处理,得到去噪图像。

本发明实施例中,所述待去噪图像可为任何带有噪声的图像,例如,模糊的文本图像,局部区域被遮掩的附件图像等。

本发明实施例可利用具有数据抓取功能的python语句从用于存储所述待去噪图像的区块链中抓取所述待去噪图像,当获取到待去噪图像后,将所述待去噪图像输入至训练完成的图像去噪模型进行去噪处理,得到去噪图像。

本发明实施例通过对所述原始图像进行至少一种噪声添加,可以得到多种不同类型的噪声图像,有利于后续利用多种不同类型的噪声图像训练出泛用性更高的图像去噪模型;对噪声图像进行噪声增强,可实现对添加至噪声图像中的多种噪声的加强,有利于提高后续利用增强噪声图像训练出的图像去噪模型的鲁棒性;通过提取增强噪声图像的图像特征,匹配得到与增噪噪声图像具有相似特征的参考图像,并获取参考图像的像素分布,有利于后续根据与增强噪声图像具有相似特征的图像对增强噪声图像进行去噪,进而提高图像去噪的精确度;通过图像去噪模型对增强噪声图像进行去噪处理得到去噪图像,并通过计算去噪图像与原始图像之间的像素损失值,实现像素级别的损失值对比,有利于提高训练出的图像去噪模型的精确性,进而提高图像去噪模型的鲁棒性。因此本发明提出的图像去噪方法,可以解决文本去噪模型泛用性和鲁棒性较低的问题。对所述原始图像进行至少一种噪声添加

如图4所示,是本发明一实施例提供的图像去噪装置的功能模块图。

本发明所述图像去噪装置100可以安装于电子设备中。根据实现的功能,所述图像去噪装置100可以包括噪声添加模块101、噪声增强模块102、相似图像匹配模块103、第一去噪模块104、参数调节模块105及第二去噪模块106。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。

在本实施例中,关于各模块/单元的功能如下:

所述噪声添加模块101,用于获取原始图像,对所述原始图像进行至少一种噪声添加,得到噪声图像。

本发明实施例中,所述原始图像包括文本图像、物品图像、风景图像等。

详细地,可利用具有数据抓取功能的python语句从用于存储所述原始图像的区块链节点中获取所述原始图像,利用区块链对数据的高吞吐性,可提高获取所述原始图像的效率。

本发明实施例中,所述噪声添加模块101具体用于:

对所述原始图像进行噪声染色,得到第一增噪图像;

对所述第一增噪图像进行模糊扰动,得到第二增噪图像;

对所述原始图像进行局部遮掩,得到遮掩噪声图像。

详细地,所述对所述原始图像进行噪声染色,得到第一增噪图像,包括:

获取一种或者多种颜色参数;

遍历并获取所述原始图像中各像素点的像素值;

分别根据所述一种或者多种颜色参数对所述像素值进行数值调整,得到第一增噪图像。

本发明实施例利用具有数据抓取功能的python语句从预先构建的数据库中获取一种或者多种颜色参数。

详细地,所述颜色参数是用于唯一标识不同色彩的参数,所述颜色参数为动态浮点数值,可根据目标像素的像素值将目标像素转化至预设的颜色范围内。

例如,红色的颜色参数为r,红色的颜色范围为(q,p),存在目标像素的像素值为k,且k不在(q,p)范围内,则利用颜色参数r对目标像素的像素值进行数值调整,使得所述目标像素的像素值落入(q,p)范围内。

本发明实施例中,分别利用多种颜色参数对原始图像中各像素点的像素值进行数值调整,得到包含多种不同颜色的第一增噪图像图像。

具体地,所述对所述第一增噪图像进行模糊扰动,得到第二增噪图像,包括:

利用所述多种类型的模糊算法对所述第一增噪图像进行扰动计算,得到多种类型的扰动数据;

将多种类型的扰动数据分别与所述第一增噪图像进行卷积,得到多种类型的第二增噪图像。

详细地,所述模糊算法包括但不限于运动模糊算法、高斯模糊算法和局部模糊算法。

其中,利用运动模糊算法对所述第一增噪图像进行扰动计算后,得到的扰动数据为随机数;利用高斯模糊算法对所述第一增噪图像进行扰动计算后,得到的扰动数据为卷积核矩阵;利用局部模糊算法对所述第一增噪图像进行扰动计算后,得到的扰动数据为随机数和卷积核矩阵。

具体地,当利用运动模糊算法进行扰动计算,且获取的扰动数据为随机数时,本发明实施例将所述随机数与所述第一增噪图像进行卷积,即可得到第二增噪图像。

当利用所述高斯模糊算法进行扰动计算,且获取的扰动数据为卷积核矩阵时,本发明实施例将所述卷积核矩阵与所述第一增噪图像进行卷积,即可得到第二增噪图像。

当利用局部模糊算法对所述第一增噪图像进行扰动计算,且获取的扰动数据为随机数和卷积核矩阵时,本发明实施例中,通过获取到的随机数将第一增噪图像转化为坐标调整图像,再将获取到的卷积核矩阵与所述坐标调整图像进行卷积,得到第二增噪图像。

详细地,所述通过获取到的随机数将第一增噪图像转化为坐标调整图像,包括:

获取所述第一增噪图像的尺寸;

根据所述尺寸利用网格采样点函数对所述第一增噪图像进行采样,得到所述第一增噪图像中每个像素的坐标值;

利用预设平面曲线函数对所述第一增噪图像中每个像素的坐标值进行调整,获取调整后得到的坐标调整图像。

具体地,所述网格采样点函数为一种根据预设间隔距离进行采样的函数,本发明实施例中,所述预设间隔距离为一个标准像素距离,预设采样最大距离为所述第一增噪图像的尺寸。

详细地,所述根据所述尺寸利用网格采样点函数对所述第一增噪图像进行采样,包括:

确定所述第一增噪图像中任一像素为原点;

确定从所述原点开始,每间隔预设间隔距离的像素点为采样点;

获取所述采样点的坐标值。

较佳地,所述平面曲线函数为:

其中,x为所述第一增噪图像中像素点的横坐标,为所述第一增噪图像中像素点的纵坐标,a,b为预设调整系数,为所述第一增噪图像中像素点调整后的横坐标,β为所述第一增噪图像中像素点调整后的纵坐标。

本发明实施例中,将所述多种类型的扰动数据分别与所述第一增噪图像进行合成,得到多种类型的第二增噪图像,得到包含多种类型噪声的第二增噪图像,提高了训练数据的多样性。

本发明实施例中,所述对所述第二增噪图像进行局部遮掩,得到噪声图像,即将所述第二增噪图像中部分像素点进行遮掩,例如,将所述第二增噪图像中单数行的像素点进行遮掩,或将所述第二增噪图像中偶数列中的像素点进行遮掩。

本发明实施例通过对所述原始图像进行至少一种噪声添加,可以得到多种不同类型的噪声图像,有利于后续利用多种不同类型的噪声图像训练出泛用性更高的图像去噪模型。

所述噪声增强模块102,用于对所述噪声图像进行噪声增强,得到增强噪声图像。

本发明实施例中,所述噪声增强模块102具体用于:

获取所述噪声图像中的每个像素点;

利用预设的像素滤波器对所述像素点进行噪声像素筛选处理,得到噪声像素;

对所述噪声像素进行局部噪声增强,得到增强噪声图像。

本发明实施可通过预设的java遍历语句对所述噪声图像进行遍历操作以获取所述噪声图像中的每个像素点。

本发明实施例中,所述滤波器包括但不限于最大值滤波器、最小值滤波器和中值滤波器,利用所述滤波器将所述噪声图像中的像素点进行噪声像素筛选处理,可实现对所述噪声图像中噪声像素点的选取。

进一步地,所述对所述噪声像素进行局部噪声增强,得到增强噪声图像,包括:

利用n×n的图像窗口在所述噪声图像中依次执行区域选择,得到多个图像区域,其中,n为预设的窗口长度;

根据每个所述图像区域的噪声像素以及所述噪声像素的邻域像素,利用预设算法计算每个所述图像区域的噪声像素的二进制码元;

根据所述二进制码元对所述噪声像素进行像素增强,得到增强噪声图像。

其中,所述每个所述图像区域中可能存在多个噪声像素,本发明依次选取多个噪声像素中的一个像素进行局部噪声增强,直至每个所述图像区域中的所有噪声像素完成局部噪声增强,得到增强噪声图像。

可选地,所述根据每个所述图像区域的噪声像素以及所述噪声像素的邻域像素,利用预设算法计算每个所述图像区域的噪声像素的二进制码元,包括:

利用如下算法计算所述图像区域的噪声像素的二进制码元

其中,p0为所述图像区域的噪声像素,pe为所述噪声像素的邻域像素的均值,n为所述邻域像素的个数,s(p0-pe)为量化运算。

本发明实施例对噪声图像进行细节加强处理,将噪声图像中噪声像素点进行筛选,并对图像中噪声像素进行局部噪声增强,有利于提高后续利用增强噪声图像训练出的图像去噪模型的鲁棒性。

所述相似图像匹配模块103,用于提取所述增强噪声图像的图像特征,根据所述图像特征从预设图像库中匹配得到与所述增噪噪声图像具有相似特征的参考图像,并获取所述参考图像的像素分布。

本发明实施例中,可利用具体特征提取功能的卷积神经网络提取所述增强噪声图像的图像特征,所述卷积神经网络包括但不限于包含多层卷积层的vgg网络、goolnet网络和resnet网络,其中,所述图像特征包括图像的颜色范围、像素分布和图像纹理等。

进一步地,本发明实施例利用从所述增强噪声图像中提取到图像特征与预设图像库中的图像进行匹配,从而获取与增噪噪声图像具有相似特征的参考图像,其中,所述预设图像库库包括但不限于neoj4数据库、tigergraph数据库和nettune数据库,所述图像库中存储多个标准图像及每个标准图像对应的标准特征。

详细地,所述根据所述图像特征从预设图像库中匹配得到与所述增噪噪声图像具有相似特征的参考图像,包括:

利用如下匹配算法计算所述增强噪声图像的图像特征与所述图像库中每个标准图像对应的标准特征之间的匹配度:

其中,l(x,y)为所述匹配度,x为所述增强噪声图像的图像特征,yi为图像库中第个i标准图像对应的标准特征。

确定所述匹配度大于预设匹配阈值的标准特征对应的标准图像为与所述增噪噪声图像具有相似特征的参考图像。

本发明实施例将利用具有数据分布提取功能的python语句提取所述参考图像的像素分布。

本发明实施例中,通过提取增强噪声图像的图像特征,匹配得到与增噪噪声图像具有相似特征的参考图像,并获取参考图像的像素分布,有利于后续根据与增强噪声图像具有相似特征的图像对增强噪声图像进行去噪,进而提高图像去噪的精确度。

所述第一去噪模块104,用于将所述像素分布作为预构建的图像去噪模型的参数对所述增强噪声图像进行去噪处理,得到去噪图像。

本发明实施例中,所述图像去噪模型为具有多个相同尺寸卷积核组成的卷积层的卷积神经网络,例如,包含多个相同尺寸卷积核组成的卷积层的shufflenet网络。所述shufflenet网络为一种轻量级网络,比普通网络具有更加高效地计算能力。本发明实施例中,图像去噪模型去除shufflenet网络中的池化层,仅保留卷积层,减少了shufflenet网络中的网络结构,提高了计算效率。

详细地,所述第一去噪模块103具体用于:

对所述像素分布进行参数转化,得到分布参数,并将所述分布参数输入至所述图像去噪模型;

利用所述图像去噪模型的前向卷积层对所述增强噪声图像进行卷积得到的前向卷积图;

利用所述图像去噪模型的后向卷积层对所述前向卷积图进行卷积,获得后向特征图;

直至所述图像去噪模型中所有的卷积层均完成卷积操作,得到去噪图像。

所述前向卷积层与所述后向卷积层是相对而言的,例如,图像去噪模型包括4个卷积层,第一个进行卷积的卷积层相对于第二个进行卷积的卷积层、第三个进行卷积的卷积层和第一个进行卷积的卷积层来说是前向卷积层;第二个进行卷积的卷积层相对于第一个对训练图像进行卷积的卷积层来说是后向卷积层,依此类推。

当前向卷积层为初始卷积层时,后向卷积的对前向得到的结果及前向卷积层的输入进行卷积,得到特征图。

当前向卷积层不为初始卷积通道时,后向卷积的对前向得到的结果及所有前向卷积通道的输入进行卷积,得到特征图。

具体地,例如,在第一卷积层中对所述训练图像进行卷积,得到第一卷积图;

在第二卷积层中对所述第一卷积图进行卷积,得到第二卷积图;

在第三卷积层中对所述第二卷积图进行卷积,得到第三卷积图;

在第四卷积层中对所述第三卷积图进行卷积,得到去噪图像。

其中,第一卷积层、第一卷积层、第一卷积层、第一卷积层为具有相同尺寸卷积核的卷积层。

本发明实施例通过图像去噪模型中多个相同尺寸卷积核组成的卷积层对增强噪声图像进行去噪处理,可保证图像去噪模型对所述增强噪声图像进行去噪处理后输出的去噪图像的尺寸与所述增强噪声图像的尺寸一致,有利于后续对所述增强噪声图像与所述去噪图像进行对比分析,以对所述图像去噪模型进行更新。

所述参数调节模块105,用于计算所述去噪图像与所述原始图像之间的像素损失值,根据所述像素损失值对所述预构建的图像去噪模型进行参数调整,得到训练完成的图像去噪模型。

本发明实施例中,所述参数调节模块104具体用于:

将所述原始图像中的像素点按照第一编码方式进行编码;

将所述去噪图像中的像素点按照与所述第一编码方式对应的第二编码方式进行编码;

根据编码后的原始图像与编码后的去噪图像中对应编码位置的像素值计算所述去噪图像与所述原始图像之间的像素损失值。

详细地,所述第一编码方式与所述第二编码方式对应,参图3所示,例如,原始图像和去噪图像中均存在四个像素点,其中,第一编码方式为:将原始图像中的第一像素点编码为a像素点,原始图像中的第二像素点编码为b像素点,原始图像中的第三像素点编码为c像素点,原始图像中的第四像素点编码为d像素点;第二编码方式为将去噪图像中的第一像素点编码为a像素点,去噪图像中的第二像素点编码为b像素点,去噪图像中的第三像素点编码为c像素点,去噪图像中的第四像素点编码为d像素点。

进一步地,所述根据所述第一编码图像与所述第二编码图像中对应编码位置的像素值计算所述去噪图像与所述原始图像之间的像素损失值,包括:

利用如下损失函数计算计算所述去噪图像与所述原始图像之间的像素损失值:

其中,l(x,y)为所述,x为所述原始图像,y为所述去噪图像,n为所述原始图像中像素点的数量,ln为所述原始图像中第n个像素点与所述去噪图像中第n个像素点之间的差异值,xn为所述原始图像中第n个像素点的像素值,yn为所述去噪图像中第n个像素点的像素值。

本发明实施例中,所述根据所述像素损失值对所述预构建的图像去噪模型进行参数调整,得到训练完成的图像去噪模型,包括:

当所述损失函数的损失值大于预设的损失阈值,则利用优化算法对所述图像去噪模的参数进行优化;

当所述损失函数的损失值小于或等于所述损失阈值,得到训练完成的图像去噪模型。

本发明实施例中,当所述损失函数的损失值大于预设的损失阈值,使用adam优化算法对图像去噪模型的参数进行优化,adam优化算法可自适应调节图像去噪模型训练过程中的学习率,使得图像去噪模型更加精确,提升图像去噪模型的性能。

所述第二去噪模块106,用于获取待去噪图像,利用所述训练完成的图像去噪模型对所述待去噪图像进行去噪处理,得到去噪图像。

本发明实施例中,所述待去噪图像可为任何带有噪声的图像,例如,模糊的文本图像,局部区域被遮掩的附件图像等。

本发明实施例可利用具有数据抓取功能的python语句从用于存储所述待去噪图像的区块链中抓取所述待去噪图像,当获取到待去噪图像后,将所述待去噪图像输入至训练完成的图像去噪模型进行去噪处理,得到去噪图像。

本发明实施例通过对所述原始图像进行至少一种噪声添加,可以得到多种不同类型的噪声图像,有利于后续利用多种不同类型的噪声图像训练出泛用性更高的图像去噪模型;对噪声图像进行噪声增强,可实现对添加至噪声图像中的多种噪声的加强,有利于提高后续利用增强噪声图像训练出的图像去噪模型的鲁棒性;通过提取增强噪声图像的图像特征,匹配得到与增噪噪声图像具有相似特征的参考图像,并获取参考图像的像素分布,有利于后续根据与增强噪声图像具有相似特征的图像对增强噪声图像进行去噪,进而提高图像去噪的精确度;通过图像去噪模型对增强噪声图像进行去噪处理得到去噪图像,并通过计算去噪图像与原始图像之间的像素损失值,实现像素级别的损失值对比,有利于提高训练出的图像去噪模型的精确性,进而提高图像去噪模型的鲁棒性。因此本发明提出的图像去噪装置,可以解决文本去噪模型泛用性和鲁棒性较低的问题。对所述原始图像进行至少一种噪声添加

如图5所示,是本发明一实施例提供的实现图像去噪方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如图像去噪程序12。

其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(smartmediacard,smc)、安全数字(securedigital,sd)卡、闪存卡(flashcard)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如图像去噪程序12的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(centralprocessingunit,cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(controlunit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如图像去噪程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准(peripheralcomponentinterconnect,简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图5仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图5示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。

例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等,在此不再赘述。

进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(display)、输入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的图像去噪程序12是多个指令的组合,在所述处理器10中运行时,可以实现:

获取原始图像,对所述原始图像进行至少一种噪声添加,得到噪声图像;

对所述噪声图像进行噪声增强,得到增强噪声图像;

提取所述增强噪声图像的图像特征,根据所述图像特征从预设图像库中匹配得到与所述增噪噪声图像具有相似特征的参考图像,并获取所述参考图像的像素分布;

将所述像素分布作为预构建的图像去噪模型的参数对所述增强噪声图像进行去噪处理,得到去噪图像;

计算所述去噪图像与所述原始图像之间的像素损失值,根据所述像素损失值对所述预构建的图像去噪模型进行参数调整,得到训练完成的图像去噪模型;

获取待去噪图像,利用所述训练完成的图像去噪模型对所述待去噪图像进行去噪处理,得到去噪图像。

具体地,所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。

进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)。

本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:

获取原始图像,对所述原始图像进行至少一种噪声添加,得到噪声图像;

对所述噪声图像进行噪声增强,得到增强噪声图像;

提取所述增强噪声图像的图像特征,根据所述图像特征从预设图像库中匹配得到与所述增噪噪声图像具有相似特征的参考图像,并获取所述参考图像的像素分布;

将所述像素分布作为预构建的图像去噪模型的参数对所述增强噪声图像进行去噪处理,得到去噪图像;

计算所述去噪图像与所述原始图像之间的像素损失值,根据所述像素损失值对所述预构建的图像去噪模型进行参数调整,得到训练完成的图像去噪模型;

获取待去噪图像,利用所述训练完成的图像去噪模型对所述待去噪图像进行去噪处理,得到去噪图像。

在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。

因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。

最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1