基于深度学习的图像融合方法与计算机存储介质与流程

本发明涉及计算机图像处理领域，特别是涉及一种基于深度学习的图像融合方法与计算机存储介质。

背景技术：

目前，日趋严重的毒品问题已经成为全球性的灾难。毒品不仅会严重损害人体健康，而且还从灵魂和心身摧残和毁灭滥用个体。一方面会导致滥用个体经济崩溃、家庭解体；另一方面还会不可避免地衍生盗窃、抢劫、暴力、凶杀等恶性犯罪，给公共社会带来了不可估量的灾难性危害。

但是目前主要通过网络报刊、电台，利用公益广告的版面和时段进行禁毒宣传，这些禁毒宣传的方式有很多缺点，例如信息传播的速度较慢，传播的范围不够广泛，同时宣传所需的成本很高。

技术实现要素：

本发明的一个目的是提供一种高效且低成本的禁毒宣传途径。

本发明一个进一步的目的是扩展图像融合的应用范围。

特别地，本发明提供了一种基于深度学习的图像融合方法，该方法包括：获取待处理图片，待处理图片中至少包括面部图像；利用预先深度学习得出的吸毒肖像特征对待处理图片进行图像融合处理，吸毒肖像特征由深度学习网络模型通过对样本图像训练得出，样本图像为吸毒人员的面部图像；以及输出经过图像融合处理的图片。

可选地，由深度学习网络模型通过对样本图像训练得出吸毒肖像特征的步骤包括：选取预定数量的吸毒人员的面部图像作为样本图像，并将样本图像传入卷积神经网络进行训练，以提取吸毒肖像特征。

可选地，选取样本图像的步骤还包括：对图片库中吸毒人员的面部图像进行图像质量筛选，提取出预定数量图像质量满足要求的图像作为样本图像。

可选地，卷积神经网络由19层vgg网络的16个卷积层和5个池层提供。

可选地，将样本图像传入卷积神经网络进行训练的步骤包括：获取卷积神经网络中特定层从样本图像中提取出来的图像内容，并用白色噪声图像执行梯度下降计算，以找到与样本图像的图像内容特征相匹配的图像；以及使用标准误差反向传播来计算相对于相匹配的图像的梯度，从而提取吸毒肖像特征。

可选地，对待处理图片进行图像融合处理的步骤包括：将待处理图片传入卷积神经网络进行训练，提取出待处理图片的图像内容；以及将待处理图片的图像内容与吸毒肖像特征进行融合。

可选地，将待处理图片传入卷积神经网络进行训练的步骤包括：获取卷积神经网络中特定层从待处理图片提取出来的图像风格；用白色噪声图像执行梯度下降计算，找到与待处理图片的内容特征相匹配的图像；以及通过使待处理图片矩阵与相匹配的图像的矩阵之间的均方距离最小化，提取出待处理图片的图像内容，并且将待处理图片的图像内容与吸毒肖像特征进行融合的步骤包括：使卷积神经网络中特定层从待处理图片提取出来的图像内容和多个层处理的吸毒肖像特征联合最小化，将图像内容与吸毒肖像特征融合，按照指定的卷积网络的迭代次数进行融合处理。

可选地，获取待处理图片的步骤包括：接收用户终端通过网络上传的图片，作为待处理图片。

可选地，输出经过图像融合处理的图片的步骤包括：保存图像融合处理的图片；以及通过网络将图像融合处理的图片发送至上传待处理图片的用户终端，以供用户终端展示。

根据本发明的另一个方面，还提供了一种计算机存储介质，其中存储有计算机程序，并且计算机程序运行时导致计算机存储介质的所在设备执行上述任一种基于深度学习的图像融合方法。

本发明的基于深度学习的图像融合方法，通过获取待处理图片，利用预先深度学习得出的吸毒肖像特征对待处理图片进行图像融合处理，然后输出经过图像融合处理的图片，其中待处理图片中至少包括面部图像，吸毒肖像特征由深度学习网络模型通过对样本图像训练得出，样本图像为吸毒人员的面部图像，通过图像融合技术来处理人的肖像，使之展现出吸毒后的效果，可以达到宣传吸毒有害身体健康的目的，宣传范围广泛，不仅提升了宣传效果，还有效降低了宣传成本。

进一步地，本发明的基于深度学习的图像融合方法与计算机存储介质，对图片库中吸毒人员的面部图像进行图像质量筛选，提取出预定数量图像质量满足要求的图像作为样本图像，通过提升样本图像的质量来提高图像融合处理的图片的质量以及处理图像的效率，上传自己的肖像作为待处理图片，经过图像融合处理后，以自己的肖像为输出，相比传统的以他人的事例为切入点，更加真实可信，有效提升警示效果。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的基于深度学习的图像融合方法的示意图；

图2是根据本发明一个实施例的基于深度学习的图像融合方法适用的硬件系统架构示意图；

图3是根据本发明一个实施例的基于深度学习的图像融合方法的详细流程图；以及

图4是根据本发明一个实施例的计算机存储介质的示意图。

具体实施方式

本发明实施例提供的基于深度学习的图像融合方法提供了一种低成本、高效的禁毒宣传途径，而且扩展了图像融合的应用范围，可以有效提高禁毒、缉毒的效果。

图1是根据本发明一个实施例的基于深度学习的图像融合方法的示意图。如图所示，该基于深度学习的图像融合方法包括以下步骤：

步骤s102，获取待处理图片；

步骤s104，利用预先深度学习得出的吸毒肖像特征对待处理图片进行图像融合处理；

步骤s106，输出经过图像融合处理的图片。

在以上步骤中，步骤s102中的待处理图片至少包括面部图像，并且可以是用户终端110通过网络上传。一般地，该待处理图片可以包括用户自己的面部图像，以在进行图像融合处理后，对输出的图片更加有代入感。用户终端110可以是具备照相功能的终端设备，直接将拍摄的图像作为图片，也可以是具有图片存储功能的设备，以从已存储的图片中选取本地图片作为待处理图片。

在一种具体的实施例中，在获取待处理图片后，可以相对待处理图片进行人脸检测，若检测到包括面部图像，则判定为合理图片；若没有检测到面部图像，则判定为不合理图片，与此同时，可以输出报错的提示信息，以提醒用户重新上传包括面部图像的合理图片。

另外，由于图像融合的结果与待处理图片的质量息息相关，提高待处理图片的质量可以提高图像融合结果的质量以及效率。因此，在进行图像融合之前可以首先进行图像预处理，一个具体图像预处理实例为：检测出面部图像的若干特征点，然后根据特征点，找到人双眼的位置。在找到人双眼位置之后，旋转图像，使其两眼水平对齐，再对图像进行切割，使其拥有合适的像素值，并且便于后续训练。

步骤s104中，吸毒肖像特征由深度学习网络模型通过对样本图像训练得出，样本图像为吸毒人员的面部图像。通过将吸毒人员的吸毒肖像特征与待处理图片进行图像融合处理，可以使处理后的图片展现出吸毒后的效果，在待处理图片为用户本人肖像的情况下，使得用户直面吸毒的后果，能够有效提升警示效果。

本实施例的基于深度学习的图像融合方法可以应用于禁毒、缉毒宣传中，其可以由用户终端直接执行，在另一些实施例中，基于深度学习的图像融合方法适用于一种包含网络设备的硬件系统，以网络为介质，可以更加迅速、广泛地进行禁毒、缉毒宣传。

图2是根据本发明一个实施例的基于深度学习的图像融合方法适用的硬件系统架构示意图。该硬件系统一般性地可以包括：用户终端110、网络设备120以及图像处理服务器130。图像处理服务器130的计算机存储介质存储有计算机程序，在该计算机程序运行时，可以导致图像处理服务器130执行基于深度学习的图像融合算法。

用户终端110和图像处理服务器130可以通过网络设备120进行数据交互，例如，用户终端110通过网络可以上传图片，作为待处理图片；图像处理服务器130在对待处理图片进行图像融合处理之后，可以将图像融合处理处理的图片保存，并通过网络将图像融合处理处理的图片发送至用户终端110，以供用户终端110展示。在一种具体的实施例中，网络设备120可以为路由器。通过本实施例的基于深度学习的图像融合算法处理人的肖像，使之展现出吸毒后的效果，可以达到宣传吸毒有害身体健康的目的。此外，以网络为介质进行吸毒贩毒的法律宣传，比传统的纸质介质更为迅速，传播也更为广泛。

步骤s106中输出经过图像融合处理的图片的过程具体可以是：保存图像融合处理的图片；以及通过网络将图像融合处理的图片发送至上传待处理图片的用户终端110，以供用户终端110展示。通过用户终端110上传图片，并且接收图像融合处理后的图片进行展示，使得禁毒宣传的范围更加广泛，禁毒宣传的方式更加便捷，在提升禁毒宣传效果的同时能够有效降低成本。

在一些可选实施例中，可以通过对上述步骤的进一步优化和配置使得基于深度学习的图像融合方法实现更高的技术效果，以下结合对本实施例的一个可选执行流程的介绍对本实施例的基于深度学习的图像融合方法进行详细说明，该实施例仅为对执行流程的举例说明，在具体实施时，可以根据具体实施需求，对部分步骤的执行顺序、执行条件进行修改。图3是根据本发明一个实施例的基于深度学习的图像融合方法的详细流程图。该基于深度学习的图像融合方法依次执行以下步骤：

步骤s302，接收用户终端110通过网络上传的图片，作为待处理图片；

步骤s304，将待处理图片传入卷积神经网络进行训练，提取出待处理的图片的图像内容；

步骤s306，将待处理图片的图像内容与预先深度学习得出的吸毒肖像特征进行融合；

步骤s308，保存图像融合处理的图片；

步骤s310，通过网络将图像融合处理的图片发送至上传待处理图片的用户终端110，以供用户终端110展示。

在以上步骤中，步骤s302中的待处理图片至少包括面部图像，并且可以是用户终端110通过网络上传。一般地，该待处理图片可以包括用户自己的面部图像，以在进行图像融合处理后，对输出的图片更加有代入感。在一种具体的实施例中，在获取待处理图片后，可以相对待处理图片进行人脸检测，若检测到包括面部图像，则判定为合理图片；若没有检测到面部图像，则判定为不合理图片，与此同时，可以输出报错的提示信息，以提醒用户重新上传包括面部图像的合理图片。

另外，由于图像融合的结果与待处理图片的质量息息相关，提高待处理图片的质量可以提高图像融合结果的质量以及效率。因此，在进行图像融合之前可以首先进行图像预处理，以下对一个具体实例进行介绍：首先检测出面部图像的68个特征点，然后根据特征点，找到人双眼的位置。在找到人双眼位置之后，将图像旋转，使其两眼水平对齐，再对图像进行切割，使其拥有合适的像素值。需要说明的是，上述特征点的具体数量仅为例举，而并非对本发明的限定，在其他一些实施例中，还可以根据实际需求设定其他数量的特征点。

步骤s304中将待处理图片传入卷积神经网络进行训练的具体步骤可以包括：获取卷积神经网络中特定层从待处理图片提取出来的图像风格；用白色噪声图像执行梯度下降计算，找到与待处理图片的内容特征相匹配的图像；以及通过使待处理图片矩阵与相匹配的图像的矩阵之间的均方距离最小化，提取出用户传入的待处理的图像内容。

步骤s306中的吸毒肖像特征通过预先深度学习得出，其具体提取步骤可以包括：对图片库中吸毒人员的面部图像进行图像质量筛选，提取出预定数量图像质量满足要求的图像作为样本图像；以及将样本图像传入卷积神经网络进行训练，以提取吸毒肖像特征。

其中对图片库中吸毒人员的面部图像进行图像质量筛选以选定样本图像，是由于图像融合处理图片的结果与吸毒人员的面部图片的质量息息相关，通过提升样本图像的质量可以提高图像融合处理的图片的质量以及处理图像的效率。具体地，可以根据吸毒人员的面部图像的类型以及大小来判断是否满足要求。此外，预定数量的具体数值可以根据实际需求进行预先设定。

将样本图像传入卷积神经网络进行训练的具体步骤可以包括：获取卷积神经网络中特定层从样本图像中提取出来的图像内容，并用白色噪声图像执行梯度下降计算，以找到与样本图像的图像内容特征相匹配的图像；以及使用标准误差反向传播来计算相对于相匹配的图像的梯度，从而提取吸毒肖像特征。并且，本实施例采用的卷积神经网络由19层vgg网络的16个卷积层和5个池层提供。

卷积神经网络(convolutionalneuralnetworks，简称cnn)广泛应用于模式分类领域，其基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

本实施例的基于深度学习的图像融合方法使用cnn，隐式地从训练数据中进行学习，无需显示特征的抽取，避免了特征提取和分类过程中数据重建的复杂度。

步骤s306中将待处理图片的图像内容与吸毒肖像特征进行融合的具体步骤可以包括：使卷积神经网络中特定层从待处理图片提取出来的图像内容和多个层处理的吸毒肖像特征联合最小化，将图像内容与吸毒肖像特征融合，按照指定的卷积网络的迭代次数进行融合处理。通过将吸毒人员的吸毒肖像特征与待处理图片进行图像融合处理，可以使处理后的图片展现出吸毒后的效果，在待处理图片为用户本人肖像的情况下，使得用户直面吸毒的后果，能够有效提升警示效果。

步骤s310中通过用户终端110展示图像融合处理后的图片，使得禁毒宣传的范围更加广泛，禁毒宣传的方式更加便捷，在提升禁毒宣传效果的同时能够有效降低成本。若用户在处理完一张图片之后想要处理其他的肖像图片，可以通过网络直接上传新的肖像图片即可，之后可以同样按照步骤s304至步骤s310依次执行。

本实施例的基于深度学习的图像融合方法与计算机存储介质，通过获取待处理图片，利用预先深度学习得出的吸毒肖像特征对待处理图片进行图像融合处理，然后输出经过图像融合处理的图片，其中待处理图片中至少包括面部图像，吸毒肖像特征由深度学习网络模型通过对样本图像训练得出，样本图像为吸毒人员的面部图像，通过图像融合技术来处理人的肖像，使之展现出吸毒后的效果，可以达到宣传吸毒有害身体健康的目的，并且宣传至传统方式达不到的盲区，不仅提升了宣传效果，还有效降低了宣传成本。

进一步地，本实施例的基于深度学习的图像融合方法与计算机存储介质，对图片库中吸毒人员的面部图像进行图像质量筛选，提取出预定数量图像质量满足要求的图像作为样本图像，通过提升样本图像的质量来提高图像融合处理的图片的质量以及处理图像的效率，上传自己的肖像作为待处理图片，经过图像融合处理后，以自己的肖像为输出，相比传统的以他人的事例为切入点，更加真实可信，有效提升警示效果。

本实施例还提供了一种计算机存储介质10，图4是根据本发明一个实施例的计算机存储介质10的示意图，该计算机存储介质保存有计算机程序11，并且计算机程序11运行时导致计算机存储介质10的所在设备执行上述任一实施例的基于深度学习的图像融合方法，例如上述图像处理服务器130可以执行上述任一实施例的基于深度学习的图像融合方法。

本实施例的计算机存储介质10可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。计算机存储介质10具有用于执行上述方法中的任何方法步骤的计算机程序11的存储空间。这些计算机程序11可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(cd)、存储卡或者软盘之类的程序代码载体。计算机存储介质10的所在设备运行上述计算机程序11时，可以执行上述描述的方法中的各个步骤。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。