一种图像处理方法和系统与流程

本发明涉及深度学习技术领域，更具体地，涉及一种图像处理方法和系统。

背景技术：

相关技术中，对于图像的预处理，如图像的分辨率放大、信号增强和去噪等，一般采用过滤器进行处理，但是，采用过滤器进行处理时，每种过滤器只能解决部分问题，这样，可能需要几十种过滤器，很难找到通用的过滤器。

技术实现要素：

鉴于上述问题，本发明提出了一种图像处理方法和系统，其可以通过深度卷积神经网络模型对图像进行处理，而该深度卷积神经网络模型可以将所有使用过滤器的效果包含在其中，从而简化图像的预处理过程，并且可以满足不同噪声环境下的图像处理需求。

根据本发明实施例的第一方面，提供一种图像处理方法，包括：

接收待处理的图像数据；

利用预设深度卷积神经网络模型对所述图像数据进行预处理操作，获得处理后的图像数据；

输出所述处理后的图像数据。

在一个实施例中，优选地，所述利用预设深度卷积神经网络模型对所述图像数据进行预处理操作，包括：

通过检测所述图像数据确定所需的预处理操作；

利用所述所需的预处理操作对应的预设深度卷积神经网络模型对所述图像数据进行预处理操作；

或者，

利用第一深度卷积神经网络模型对所述图像数据进行信号增强操作，得到信号增强图像数据；

通过检测所述信号增强图像数据判断是否进行进一步的预处理操作；

在确定需要进一步的预处理操作后，利用所需要的进一步预处理操作对应的预设深度卷积神经网络模型对所述图像数据进行预处理操作。

在一个实施例中，优选地，在接收图像数据之前，所述方法还包括：

根据深度学习算法训练得到所述预设深度卷积神经网络模型。

在一个实施例中，优选地，所述根据深度学习算法训练得到所述预设深度卷积神经网络模型，包括：

获取训练样本数据集合，所述训练样本数据集合包括多组训练样本数据，每组训练样本数据包括目标图像数据和输入图像数据；

将所述训练样本信号集合中的输入图像数据输入预设深度卷积神经网络模型中，得到每组训练样本信号对应的训练结果信号；

将每个所述训练结果信号与各自对应的训练样本信号中的所述目标图像数据进行对比，得到对比结果；

根据所述对比结果确定所述预设深度卷积神经网络模型的神经网络参数。

在一个实施例中，优选地，所述预设深度卷积神经网络模型用于进行以下任一项操作：信号去噪操作，信号增强操作和分辨率放大操作，

当所述预设深度卷积神经网络模型用于进行信号去噪操作时，所述输入图像数据中叠加有所述目标图像数据和至少一个类型的高斯噪声信号；

当所述预设深度卷积神经网络模型用于进行信号增强操作时，所述输入图像数据和所述目标图像数据的比特位数相同，所述输入图像数据由所述目标图像数据经部分比特位无效处理得到；

当所述预设深度卷积神经网络模型用于进行分辨率放大操作时，所述输入图像数据经由所述目标图像数据经分辨率缩小处理得到。

在一个实施例中，优选地，所述将每个所述训练结果信号与各自对应的训练样本信号中的所述目标图像数据进行对比，得到对比结果，包括：

计算每个所述训练结果信号与各自对应的训练样本信号中的所述目标图像数据之间的信号差值；

所述根据所述对比结果确定所述预设深度卷积神经网络模型的神经网络参数，包括：

根据各个信号差值确定当前神经网络的精度，在所述精度达到精度阈值时，将当前神经网络参数确定为目标神经网络参数；

在所述精度未达到精度阈值时，调整所述当前神经网络参数。

在一个实施例中，优选地，所述预设深度卷积神经网络模型用于进行以下任一项操作：信号去噪操作，信号增强操作和分辨率放大操作，

所述获取训练样本数据集合，包括：

获取目标图像数据并保存在内存中；

当所述预设深度卷积神经网络模型用于进行信号去噪操作时，获取输入图像数据，包括：

获取多个回波信号和至少一个类型的高斯噪声信号并保存在内存中；

从内存中分别读取各个目标图像数据、回波信号及各个类型的高斯噪声信号，按照预定的规则利用所述内存中的高斯噪声信号和回波信号对所述目标图像数据进行叠加，得到多个所述输入图像数据，将所述目标图像数据与对应的输入图像数据关联保存至位于预定存储空间的第一训练样本信号集合中；

当所述预设深度卷积神经网络模型用于进行信号增强操作时，获取输入图像数据，包括：

随机获取一个或多个比特位无效规则；

从内存中读取各个目标图像数据，按照所述比特位无效规则对所述各个目标图像数据进行部分比特位无效处理，得到多个所述输入图像数据，将所述目标图像数据与对应的输入图像数据关联保存至位于预定存储空间的第二训练样本信号集合中；

当所述预设深度卷积神经网络模型用于进行分辨率放大操作时，获取输入图像数据，包括：

随机获取一个或多个缩小系数；

从内存中读取各个目标图像数据，按照所述缩小系数对所述各个目标图像数据进行分辨率缩小处理，得到多个所述输入图像数据，将所述目标图像数据与对应的输入图像数据关联保存至位于预定存储空间的第三训练样本信号集合中。

在一个实施例中，优选地，至少一个类型的高斯噪声信号，包括：深度高斯噪声信号，平面位移高斯噪声信号和图像数据丢失噪声掩码。

在一个实施例中，优选地，所述输出所述处理后的图像数据，包括：

将所述处理后的图像数据存储至预定存储空间。

根据本发明实施例的第二方面，提供一种图像处理系统，包括：

一个或多个处理器；

一个或多个存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行如第一方面或第一方面任一实施例中所述的方法。

本发明实施例中，通过预设深度卷积神经网络模型对图像进行对应的预处理操作，如进行图像的去噪，信号增强和分辨率放大等操作，这样，不需要通过多个过滤器进行图像处理，而只通过深度卷积神经网络模型就可以实现图像处理，该深度卷积神经网络模型可以将所有使用过滤器的效果包含在其中，从而简化图像的预处理过程，并且可以满足不同噪声环境下的图像处理需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的图像处理方法流程图。

图2是本发明另一个实施例的图像数据处理方法的流程图。

图3是本发明另一个实施例的图像数据处理方法的流程图。

图4是本发明另一个实施例的图像数据处理方法的流程图。

图5是本发明另一个实施例的图像数据处理方法中步骤s401的流程图。

图6是本发明一个实施例的深度学习的单层网络定义参考图。

图7是本发明一个实施例的深度学习的单层网络定义示意图。

图8是本发明另一个实施例的图像数据处理方法的流程图。

图9是本发明一个实施例的图像数据处理方法中步骤s501的流程图。

图10是本发明另一个实施例的图像数据处理方法中步骤s501的流程图。

图11是本发明另一个实施例的图像数据处理方法中步骤s501的流程图。

图12是本发明另一个实施例的图像数据处理方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例的图像处理方法流程图，如图1所示，图像处理方法包括：

步骤s101，接收待处理的图像数据。

步骤s102，利用预设深度卷积神经网络模型对图像数据进行预处理操作，获得处理后的图像数据；

在一个实施例中，优选地，预设深度卷积神经网络模型包括以下任一项：具有图像还原功能的深度卷积神经网络模型，具有信号增强功能的深度卷积神经网络模型和具有去噪功能的深度卷积神经网络模型。则对应的预处理操作可以是图像去噪，增强，曝光增强，曝光不足，背光，黑夜增强，还原，弱信号增强，去雨，去雾，去雪等。其中，每个处理功能对应一个深度卷积神经网络模型，不同的处理功能对应不同的深度卷积神经网络模型。

步骤s103，输出处理后的图像数据。

在该实施例中，通过预设深度卷积神经网络模型对图像进行对应的预处理操作，如进行图像的分辨率放大，增强和去噪等操作，这样，不需要通过多个过滤器进行图像处理，而只通过深度卷积神经网络模型就可以实现图像处理，该深度卷积神经网络模型可以将所有使用过滤器的效果包含在其中，从而简化图像的预处理过程，并且可以满足不同噪声环境下的图像处理需求。

例如，在需要对图像进行去噪处理时，接收图像数据，并利用具有去噪功能的深度卷积神经网络模型对图像数据进行去噪处理操作，获得处理后的图像数据，并将处理后的图像数据进行输出或者存储。这样，不需要通过多个过滤器进行图像处理，而只通过深度卷积神经网络模型就可以实现图像处理，该深度卷积神经网络模型可以将所有使用过滤器的效果包含在其中，从而简化图像的预处理过程，并且可以满足不同噪声环境下的图像处理需求。

同样的，对于图像信号增强处理，可以通过深度学习算法，训练出具有图像增强功能的深度卷积神经网络模型，对图像进行信号增强处理，对于图像的去噪处理，可以通过深度学习算法，训练出具有去噪功能的深度卷积神经网络模型对图像进行去噪处理。每个处理功能对应一个深度卷积神经网络模型，不同的处理功能对应不同的深度卷积神经网络模型。

图2是本发明另一个实施例的图像数据处理方法的流程图。

如图2所示，在一个实施例中，优选地，上述步骤s102包括：

步骤s201，通过检测图像数据确定所需的预处理操作；

步骤s202，利用所需的预处理操作对应的预设深度卷积神经网络模型对图像数据进行预处理操作；

在该实施例中，可以检测图像数据的分辨率是否达到预设分辨率，图像数据的信号强度是否达到预设强度等，进而确定是否需要对图像数据进行信号增强，或者分辨率放大和信号还原等预处理操作，如果需要，则利用所需的预处理操作对应的预设深度卷积神经网络模型对图像数据进行预处理操作。

图3是本发明另一个实施例的图像数据处理方法的流程图。

如图3所示，在一个实施例中，优选地，上述步骤s102还包括：

步骤s301，利用第一深度卷积神经网络模型对图像数据进行信号增强操作，得到信号增强图像数据；

步骤s302，通过检测信号增强图像数据判断是否进行进一步的预处理操作；

步骤s303，在确定需要进一步的预处理操作后，利用所需要的进一步预处理操作对应的预设深度卷积神经网络模型对图像数据进行预处理操作。

在该实施例中，还可以先对图像数据进行信号增强操作，再根据信号增强图像数据判断是否进行进一步的预处理操作，如是否进行进一步的分辨率放大等，其中，在进行信号增强时，可以通过用于进行信号增强的预设深度卷积神经网络模型对图像数据进行处理。

图4是本发明另一个实施例的图像数据处理方法的流程图。

如图4所示，在一个实施例中，优选地，在步骤s101之前，方法还包括：

步骤s401，根据深度学习算法训练得到预设深度卷积神经网络模型。

在该实施例中，可以通过深度学习算法训练得到预设深度卷积神经网络模型。

图5是本发明另一个实施例的图像数据处理方法中步骤s401的流程图。

如图5所示，在一个实施例中，优选地，上述步骤s401包括：

步骤s501，获取训练样本数据集合，训练样本数据集合包括多组训练样本数据，每组训练样本数据包括目标图像数据和输入图像数据；

步骤s502，将训练样本信号集合中的输入图像数据输入预设深度卷积神经网络模型中，得到每组训练样本信号对应的训练结果信号；

步骤s503，将每个训练结果信号与各自对应的训练样本信号中的目标图像数据进行对比，得到对比结果；

步骤s504，根据对比结果确定预设深度卷积神经网络模型的神经网络参数。

在一个实施例中，优选地，神经网络参数包括以下至少一项：神经网络的层数和神经网络的节点数。

在该实施例中，可以通过端对端训练的方式训练得到预设深度卷积神经网络模型，具体地，通过预设深度卷积神经网络模型对输入图像数据进行处理，得到训练结果信号，再通过训练结果数据和目标图像数据的差异确定神经网络的层数和节点数，从而得到合适的深度卷积神经网络模型。

在一个实施例中，优选地，深度学习可以采用u-net网络，但是不限于u-net，深度学习的单层网络定义参考图6和图7。

在一个实施例中，优选地，预设深度卷积神经网络模型用于进行以下任一项操作：信号去噪操作，信号增强操作和分辨率放大操作，

当预设深度卷积神经网络模型用于进行信号去噪操作时，输入图像数据中叠加有目标图像数据和至少一个类型的高斯噪声信号；

当预设深度卷积神经网络模型用于进行信号增强操作时，输入图像数据和目标图像数据的比特位数相同，输入图像数据由目标图像数据经部分比特位无效处理得到；

当预设深度卷积神经网络模型用于进行分辨率放大操作时，输入图像数据经由目标图像数据经分辨率缩小处理得到。

图8是本发明另一个实施例的图像数据处理方法的流程图。

如图8所示，在一个实施例中，优选地，上述步骤s503包括：

步骤s801，计算每个训练结果信号与各自对应的训练样本信号中的目标图像数据之间的信号差值；

上述步骤s504包括：

步骤s802，根据各个信号差值确定当前神经网络的精度，在精度达到精度阈值时，将当前神经网络参数确定为目标神经网络参数；

步骤s803，在精度未达到精度阈值时，调整当前神经网络参数。

在该实施例中，根据每个训练结果信号与各自对应的训练样本中的目标图像数据之间的信号差值确定当前神经网络的精度，如果精度未达到精度阈值，则调整当前神经网络参数，直到精度达到精度阈值为止，从而训练出准确的深度卷积神经网络模型。

其中，预设深度卷积神经网络模型可以用于进行信号去噪操作，信号增强操作和分辨率放大操作等。其中，在进行不同的处理操作时，目标图像数据的获取方式可以相同，而对应的输入图像数据的获取方式不同，训练得到的神经网络模型也不同。

图9是本发明一个实施例的图像数据处理方法中步骤s501的流程图。

如图9所示，在一个实施例中，优选地，当预设深度卷积神经网络模型用于进行信号去噪操作时，上述步骤s501包括：

步骤s901，获取目标图像数据并保存在内存中。

步骤s902，获取多个至少一个类型的高斯噪声信号并保存在内存中；

在一个实施例中，优选地，至少一个类型的高斯噪声信号，包括：深度高斯噪声信号，平面位移高斯噪声信号和图像数据丢失噪声掩码。高斯噪声信号可以是随机生成之后存储在预定存储空间，也可以是存储了高斯噪声列表，随机或者按照某个规则从列表中选取高斯噪声。

步骤s903，从内存中分别读取各个目标图像数据、回波信号及各个类型的高斯噪声信号，按照预定的规则利用内存中的高斯噪声信号和回波信号对目标图像数据进行叠加，得到多个输入图像数据，将目标图像数据与对应的输入图像数据关联保存至位于预定存储空间的第一训练样本信号集合中。

当然，可以在目标图像数据中加入不同的回波信号，以模拟不同的地形，也可以加入不同的噪声信号，以模拟不同的气象，如下雨噪声，下雪噪声等。这样，就可以使得训练得到的预设深度卷积神经网络模型可以满足不同地形和不同气象条件下的数据处理需求。

可以在目标图像数据上加入回波信号，再加入深度高斯噪声信号，再加入平面位移高斯噪声信号，再加入图像数据丢失噪声掩码，这样，依次在目标图像数据中加入回波信号和多种高斯噪声信号，即可获得输入图像数据，从而扩大输入数据的数据集，得到较多的训练数据，使得训练得到的神经网络模型更加准确。

图10是本发明另一个实施例的图像数据处理方法中步骤s501的流程图。

如图10所示，在一个实施例中，优选地，当预设深度卷积神经网络模型用于进行信号增强操作时，上述步骤s501包括：

步骤s1001，获取目标图像数据并保存在内存中；

步骤s1002，随机获取一个或多个比特位无效规则；

步骤s1003，从内存中读取各个目标图像数据，按照比特位无效规则对各个目标图像数据进行部分比特位无效处理，得到多个输入图像数据，将目标图像数据与对应的输入图像数据关联保存至位于预定存储空间的第二训练样本信号集合中。

图11是本发明另一个实施例的图像数据处理方法中步骤s501的流程图。

如图11所示，在一个实施例中，优选地，当预设深度卷积神经网络模型用于进行分辨率放大操作时，上述步骤s501包括：

步骤s1101，获取目标图像数据并保存在内存中；

步骤s1102，随机获取一个或多个缩小系数；

步骤s1103，从内存中读取各个目标图像数据，按照缩小系数对各个目标图像数据进行分辨率缩小处理，得到多个输入图像数据，将目标图像数据与对应的输入图像数据关联保存至位于预定存储空间的第三训练样本信号集合中。

当然，除了对目标图像数据进行缩小处理外，还可以将目标图像数据作为输入图像数据，对目标图像数据进行分辨率放大，放大结果作为目标图像数据。

图12是本发明另一个实施例的图像数据处理方法的流程图。

如图12所示，在一个实施例中，优选地，上述步骤s103包括：

步骤s1201，将处理后的图像数据存储至预定存储空间。

在该实施例中，还可以将处理后的图像数据存储至预定存储空间，以便后续进行其他处理操作。

根据本发明实施例的第二方面，提供一种图像数据处理系统，包括：

一个或多个处理器；

一个或多个存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行如第一方面或第一方面任一实施例中所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种便携式多功能设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。