一种基于深度学习的单幅图像手机源重辨识方法与流程

本发明涉及图像取证领域，尤其是涉及一种基于深度学习的单幅图像手机源重辨识方法。

背景技术：

随着信息科学技术的飞速发展，数字图像已经渗透到社会生活的每一个角落，用户可以随时使用便携式手机记录身边的点点滴滴。使得使用手机拍摄生活中有意义的图像或视频对于用户来说已经成为一种越来越便捷的行为。数字图像作为数字证据的一种形式，在司法体系和刑事调查过程中扮演着越来越重要的角色。如何合适地利用数字图像，也决定其能否在调查追溯任务起到关键的作用。不同手机相机在硬件设备^[1]、色彩插值算法^[2-4]、图像压缩算法、镜头径向畸变^[5]等方面都携带着各自的指纹信息，因此可利用遗留在图像上的指纹特征识别不同的相机源。

参考文献：

[1]identificationwithsvd.springerinternationalpublishing,2015。

[2]s.bayram,h.sencar,n.memon,andi.avcibas.sourcecameraidentificationbasedoncfainterpolation.inieeeinternationalconferenceonimageprocessing,pagesiii–69–72,2005。

[3]s.bayram,h.t.sencar,andn.memon.improvementsonsourcecamera-modelidentificationbasedoncfainterpolation.procofwg,2006。

[4]o.celiktutan,i.avcibas,b.sankur,andn.memon.sourcecellphoneidentification.ieeesignalprocessingandcommunicationsapplications,pages1–3,2005。

[5]k.s.choi,e.y.lam,andk.k.wong.automaticsourcecameraidentificationusingtheintrinsiclensradialdistortion.opticsexpress,14(24):11551–65,2006。

[6]aravindhmahendranandandreavedaldi.visualizingdeepconvolutionalneuralnetworksusingnaturalpre-images.internationaljournalofcomputervision,120(3):233–255,2016。

[7]minlin,qiangchen,andshuichengyan.networkinnetwork.arxivpreprintarxiv:1312.4400,2013。

[8]jiehu,lishen,andgangsun.squeeze-and-excitationnetworks.arxivpreprintarxiv:1709.01507,2017。

[9]hermansa,beyerl,leibeb.indefenseofthetripletlossforpersonre-identification.arxivpreprintarxiv:1703.07737,2017。

技术实现要素：

本发明所要解决的技术问题是提供一种基于深度学习的单幅图像手机源重辨识方法，使其适用于实际应用场景。

本发明包括以下步骤：

1)提出一种新的图像取证方法，解决基于分类的相机溯源方法中训练集类别不足问题；

2)基于传统数字图像指纹特征提取方法，提出利用多种自学习滤波器在单幅图像中提取手机指纹特征的方法，并解释深度神经网络对于数字图像指纹特征提取的可行性；

3)提出一种基于全局特征融合的深度网络结构，以高效提取数字图像指纹特征；

4)根据自学习滤波器和全局特征融合网络所提取的数字图像指纹特征，利用度量学习方法追溯拍摄该幅图像的具体手机源设备。

在步骤1)中，所述基于分类的相机溯源方法中，所有待测图像的类别必须在训练集中出现过，否则会出现判断错误的情况。但实际应用中，无法获得所有类别手机所拍摄的图像，提出重辨识方法，利用度量学习的思想，将特征分类转换为特征匹配工作。只需从待测数字图像中提取手机“指纹”特征，再与待定图像库中的图像一一匹配，确认与其特征相似度最高的图像，则认为两幅图像为同一手机拍摄，一定程度上解决基于分类的相机溯源方法中训练集类别不足的问题。

在步骤2)中，所述基于传统数字图像指纹特征提取方法可假设目标图像x是由原始图像内容x0、指纹特征η以及随机噪声ε组成，即：

x＝x0+η+ε，

其中，随机噪声与原始图片内容相关。对于同一手机源拍摄的k张不同相片，虽然原始图片内容和随机噪声不同，但是其中包含的手机相机指纹特征是不变的，故传统方法通过对多幅图像的噪声残差求平均的方式抑制图像内容，并获得指纹特征的估计如下：

其中，f(·)为去噪滤波器，如高斯滤波器或小波分解滤波器，k为同一手机源拍摄的图像张数，x^k为第k张图像的像素矩阵，即为该手机输出的指纹特征；

而对于单幅图像，无法实现以上操作，因此提出对单幅图像使用多种滤波器来替代多张同源数字图像，并以此估计数字图像指纹特征，即：

其中，s[·]是统计特征；j为滤波器数量；fj(x)指用第j个去噪滤波器对图像x做滤波操作后的输出，ωj是第j个去噪滤波器对应权重值；

由多个自学习滤波器构成的vgg-net^[6]中，每一层的卷积操作都是一个线性过程，且每一层的输出都是原图的近似^[6]。随着vgg-net层数的加深，每个阶段的特征图尺寸减小但数量增加，因此vgg-net网络可以在不同维度上学习更多原始图像的表达，同一层内的特征图是原始图像在同一个语义层中的不同映射，而不同层间的特征图则是原始图像在不同语义层的映射。vgg-net输出的所有特征图都与原始图像有关，皆可看作原始图像的另一种表现形式。故可将vgg-net每一层获得的特征图看作原图经过一个滤波器后输出的结果，即可通过vgg-net的多个自学习滤波器获得多个原图经过滤波的结果，构成

利用神经网络和监督学习训练合适的滤波器，相较于传统方法中所采用的高斯滤波器或者小波分解滤波器，是一个自学习的过程，更加适用于数字图像指纹特征提取任务。

在步骤3)中，所述基于全局特征融合的深度网络结构，由于vgg-net的每一层产生的滤波结果可近似为一个线性过程，故可将数字特征提取过程改写为：

其中，选择的统计特征s[·]为均值特征。j为所使用的滤波器数量，fj(x)指用第j个去噪滤波器对图像x做滤波操作后的输出，本发明中fj(x)通过监督学习训练vgg-net得到；通过监督学习方法，同时能够剔除冗余特征，并实现图像内容的抑制；ωj是第j个去噪滤波器对应权重值，本发明方法通过全连接层获得ωj，并实现加权线性组合输出，具体步骤如下：

第一步：将原图送入vgg-net提取特征，并将每一层特征图作为原图的不同滤波结果输出，即，获得

第二步：利用全局平均池化层(globalaveragepooling)对每一个特征图求均值特征，并将所有统计特征融合在一起，即，获得

第三步：将融合后的特征送入全连接层，利用合适的损失函数对其做监督学习，实现对第二步输出的均值特征做加权线性组合过程，输出即最终提取到的适用于手机源重辨识的特征。

在步骤4)中，所述度量学习即相似度学习，其目标在于找到合适的度量方法，使得不同类别的图片相似度小而相同类别的图片相似度大。由于线性度量学习具有简洁性和可扩展性，采用线性度量学习中的欧氏距离作为重辨识任务中相似度的衡量指标，即对于一对数字图像，若从两者提取到的手机指纹特征之间的欧氏距离小于一定值，则表示该对数字图像来源于同一手机；

使用三元组损失(tripletloss)^[9]作为度量学习损失函数，其输入一个三元组，所述三元组的构成如下：从训练数据集中随机选一个样本，该样本称为目标点(anchor)，然后再随机选取一个和anchor属于同一类的样本和不同类的样本，这两个样本分别称为正样本(positive)和负样本(negative)，由此构成一个(anchor，positive，negative)三元组，对应的损失函数为：

其中，n为训练样本个数，f(·)为数字图像指纹特征的映射表达函数，x^a、x^p、xⁿ分别为anchor样本、positive样本及negative样本，α为边界阈值常数，在本发明方法中设置为0.3，max(·)为求最大值函数。该损失函数的目的是通过监督学习使得x^a和x^p特征表达之间的距离尽可能小，而x^a和xⁿ的特征表达之间的距离尽可能大，并且要让x^a与xⁿ之间的距离和x^a与x^p之间的距离之间有一个最小的间隔α。

本发明针对基于数字图像中提取的手机相机指纹特征，提出一种基于深度学习的单幅图像手机源重辨识方法。数字图像手机源重辨识，即在待定图像库中匹配出与待测图像来源于同一手机设备的图像。当进行手机源重辨识任务时，重辨识系统将在用户所划定的嫌疑手机源所拍摄的图像集合中匹配出与待测图像指纹特征相似度最高的数字图像，以此确定待测图像的手机源。该任务旨在通过盲分析手段认证图像数据的原始性、鉴别和分析图像的来源，进而解决图像知识版权问题和信息安全问题。

附图说明

图1为本发明所述利用重辨识方法进行手机溯源的原理图。

图2为本发明所述的基于深度学习的手机源重辨识方法在一种实施方式下的工作流程示意图。

图3为本发明所述的基于深度学习的手机源重辨识方法在一种实施方式下的网络结构化流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1示意了重辨识方法进行手机溯源的原理图，即在待定图像库中匹配出于待测图像属于同一手机拍摄的图片，并以此确定拍摄待测图像的手机源。

图2示意了本发明所描述的基于深度学习的手机源重辨识方法在一种实施方法下的工作流程。图3示意了基于深度学习的手机源重辨识方法在一种实施方式下的网络结构化流程图。

如图2和3所示，本实施方法的基于深度学习的手机源重辨识方法包括利用深度学习方法进行特征提取和利用度量学习方法进行特征相似度匹配两个步骤。工作流程包括：

步骤1：根据表1构建传统深度神经网络vgg-net，获得多个自学习滤波器。再利用全局特征融合网络将多个自学习滤波器输出的每一张特征图进行统计特征提取和特征融合。完整网络框架如图3所示。

本发明所述基于深度学习的手机源重辨识方法在一种实施方式下的网络参数设置如表1。

表1

为了融合vgg-net中不同尺度的特征图，在全局特征融合前，使用全局平均池化层(globalaveragepooling)来统计每一张特征图的平均值，除了获得不同滤波结果的统计特征以外，还可以解决不同尺度特征层之间的融合问题，也在一定程度上也限制了模型的复杂性、有助于泛化。相比于全连接层或1×1的卷积操作，全局平均池化层可以集成来自特征层的所有信息而无需任何参数进行优化，并在一定程度上避免网络过拟合。另外，全局平均池化层将每个特征图转换为具有全局感受野的实数，表征每个输出特征图上全局分布的响应。这可看作对每一个局部感受野的融合，进而得到一个全局的统计特征。

全局特征融合的具体步骤如下：

1)将vgg-net所有的n个特征图(包括中间层及输出层)输出；

2)对n个特征图分别进行全局平均池化操作，得到n个1×1的特征值；并将n个1×1的特征值进行串联融合操作，得到一个n维的特征向量；

3)将上述n维特征向量送入全连接层，利用全连接层将n维特征向量映射到新的特征空间中，得到更利于任务的特征向量。

步骤2：本发明采用度量函数进行深度神经网络的监督学习。

利用三元组损失函数进行监督学习的具体步骤如下：

1)随机选取目标点样本(anchor)、正样本(positive)及负样本(negative)，将三者分别送入深度神经网络分别得到各自的指纹特征的特征表达向量；

2)分别将目标点样本(anchor)、正样本(positive)及负样本(negative)的特征向量代入三元组损失函数(tripletloss)，计算网络输出的误差值，并利用梯度下降法计算各参数的回传梯度；

3)使用各个参数的回传梯度更新网络中的参数，更新公式为：

θt+1＝θt+λδθ，

其中，θt、θt+1、λ、δθ分别为当前时刻的网络参数、更新后的网络参数、学习率以及网络回传梯度。

使用度量学习方法完成深度网络训练。之后，在进行重辨识任务测试时，可直接将网络输出特征向量的欧式距离作为衡量两样本相似度的指标。即，一对样本经过网络后得到的特征向量之间的欧式距离小于特定阈值，则认为该对样本来自同一部手机。重辨识方法进行手机溯源任务的步骤如图2所示。本发明基于此，完成手机溯源任务。

本发明的创新点包括：

1)利用重辨识方法进行手机溯源任务，更适用于实际场景；

2)从传统数字图像指纹特征提取方法延伸，解释深度神经网络对于数字图像指纹特征提取的可行性，并提出单幅手机图像结合多种滤波器提取指纹特征的方法；

3)提出全局特征融合网络框架，对网络性能有明显提高。

本发明能够依靠单幅数字图像追踪拍摄该图像的具体手机设备，本发明建立在深度神经网络的基础上，根据单幅手机图像所提取的指纹特征进行的手机源重辨识，在给定指标下的测试结果达到可接受的程度，相较于基于分类任务的相机溯源工作，更适用于实际应用场景。