检测之前压缩过的图像中的合成的制作方法

专利名称：检测之前压缩过的图像中的合成的制作方法
技术领域：
本发明一般涉及数字图像处理领域，更具体涉及检测之前压缩过的 图像中的合成的方法和系统。
背景技术：
在图像处理领域，经常发生必需为期望的应用调整图像大小的情
况。例如，特定的打印机可能具有250dpi (每英寸的点数)的固定分辨 率。为了在这种打印机上将由500x750像素构成的图像打印到4x6英寸 的打印输出，必须用因子2调整图像的大小。类似地，很多显示器装置 具有按每英寸像素数量的固定分辨率。换言之，必须确定图像在原始样 本点之间的位置的值。确定不与图像的原始样本符合的位置处的图像信 号的值的过程称为插值或重新采样。插值的因子N,指的是输出图像的 采样率与输入图像的采样率的比值。在之前的示例中，插值因子N二2。
插值过程产生期望数量的行和列像素的图像。然而，插值过程涉及 在很多位置"猜测"信号值。结果，经过插值的图像通常质量没有以期 望的分辨率原始地捕捉的图像那么高。例如，以500x750像素捕捉并接 着插值到1000x1500像素的图像，通常看起来比从原始地以1000x1500 像素捕捉同 一场景得到的图像更柔和且质量差。
由于插值的图像通常较低的质量，会期望知道图像是已经经过插值 以便在后续的数字处理和其它程序中更好地处理图像。授予Gallagher 的美国专利No. 6904180，结合在这里作为参考，揭示了确定数字成像信 道是否使用与图像的相邻像素的值相关的信号进行了插值的方法。该方 法查找从具有指示了插值的周期的提取信号计算的傅里叶变换信号中 的峰值。该方法不处理过去的压缩-解压缩对图像的影响。
随着低成本和高分辨率数字相机和复杂的编辑软件的出现，可以容 易地处理和改变数字图像。数字伪造品通常没有篡改的视觉迹象，并且 不能与真正的照片区分开。结果，照片不再保持作为事件的确定记录的 独特地位。例如，在2003年3月，Los Angeles Times在其首页上发表了一张戏剧性的照片， 一名士兵指挥一个伊拉克市民来接管(take cover)。然而，该照片是伪造的，它是通过将两张照片拼接在一起而 数字地创造的。这和类似的事件自然的使人想知道每天看到的图像有多 少经过了数字修改。对于关于数字伪造品的更多。
尽管已经提出了数字水印技术来验证图像的真实性，这些技术产生 的标记必须被预先植入到原始图像中。这些标记也容易受到图像处理的 操作，这些操作可以将标记着色成不可检测。因此，需要这样一种技术， 用于在完全没有任何形式的数字水印或签名的情况下检测数字篡改的 痕迹。
尽管数字伪造品可能没有留下已经被篡改的视觉迹象，然而，它们 可能改变图像的基本统计。例如，考虑在同一图像中显示一对脸的数字 伪造品的创建。这种图像可能是通过合成制作的，例如，拼接来自一张 原始照片的脸部，并对其重新采样来匹配目标图像的构成，并插入它。 为了产生使人相信的匹配，通常需要对图像的各部分进行调整大小，旋 转或者拉伸。该过程需要将原始图像重新采样或者插值到新的采样点阵 上。尽管该重新采样通常是觉察不到的，但它改动了图像像素值的统计 关系，这种改动在祐j企测到时可以作为数字篡改的证据。"Exposing digital forgeries by detecting traces of resampling，， , A.C.Popescu andH. Farid， IEEE Transact ions on Signal Process ing, Vol. 53， No. 2 pages 758-767， 2005就是针对冲企测由于伪造产生的重新采样。
大部分数字图像或者以压缩形式存储，或者在其存在期限中的某个 点处受过图像压缩。很多基于块的图像压缩技术是已知的。最常见的图 像压缩形式为JPEG压缩。另一种基于块的图像压缩为矢量量化(参见 R.M.Gray, "Vector Quantization" , IEEE ASSP Magazine, pages 4 -29， (April 1984 ))。基于块的图像压缩产生伪像，这对数字水印 的检测，以及具有被压缩过的历史的图像中插值的检测提出挑战。
授予Yu等的美国专利No. 6643410，在这里引入作为参考，揭示了 才企测数字图像中方块效应(blocking artifact)程度的方法。
从而期望提供检测合成的方法和系统，即使图像之前经过压缩也能 检测到图像插值。

发明内容
本发明由权利要求定义。本发明在广的方面提供了用于才企测数字图 像合成的方法和系统，其中在未经压缩的数字图像中检测第一伪像。第 一伪像是之前用预定的压缩算法对数字图像压缩的特征。评估图像中的
插值标记来提供插值结果。在该评估期间，4氐消(counteract )压缩算 法的第二伪像。根据插值结果对图像分类。第一伪像可以是方块效应， 而第二伪像和插值标记可以是图像中不同的周期性。
本发明针对于克服上面提出的一个或多个问题。本发明的一个有益 效果是提供了用于检测合成的改进的方法和系统，即使图像之前经过压 缩该方法和系统也能检测到图像插值。


通过参考结合附图做出的本发明的实施例的下列描述，本发明的上 迷和其它特征和目标以及获得它们的方式将变得明显，并且本发明本身 将更容易理解，附图中
图1是本方法的实施例的流程图。
图2是本系统的实施例的示意图。仅示出了对应于图l的方法的特 征逻辑组件。
图3是图2的插值检测器用来检测插值的信号的曲线图。该信号是 用于经JPEG压缩但是没有插值的图像。
图4是图2的插值检测器用来检测插值的信号的曲线图。该信号是 用于经JPEG压缩并且用因子2. 8插值的图像。
图5是图2的压缩检测器使用的程序的流程图。
图6是包括两张脸的图像的示例数字图像的部分图解 (semi-diagrammat ical view)图。
图7是与图6相同的图示，但是感兴趣的区域用方框示出。
图8是示出现有技术插值检测方法的概览的框图。
图9和图IO是示出图8所示信号生成器的两个替代的框图。
图11是图8的插值确定器的框图。
图12是一图像处理链的框图，其具有几个分支并且使用图8的插 值才企测方法的输出。
图13是另一图像处理链的框图，其包括从图8所示的插值检测方法的输出中恢复原始的数字图像信号。
图14是示出图1的系统的物理组件的部分图解图。
具体实施例方式
在本发明的方法和系统中，使用数字图像合成来检测数字图像是否 用插值重新采样过，即使该重新采样在图像压缩之前发生。(除非明显 与上下文内容相反，可以假定这里讨论的图像压缩是广意的，其包括编 码和解码数字图像的步骤。)这使得在特定图像用插值重新采样过的情
况下将该特定的图像分类为经过插值的，或者在该特定图像没有被重新 采样过的情况下将其分类为没有经过插值的。在特定的使用中，在经过 插值和没有经过插值之间分类等价于在"伪造品"和"非伪造品"之间 分类。从而，除了用于识别由于之前的重新采样而不适合特定的图像处 理技术的真实图像之外，该方法和系统可以应用于为了恶意的目的而准 备的假冒品或者伪造图像的检测。
在下面的描述中，将本发明或者本发明的 一 部分描述为软件程序。 本领域技术人员将容易理解也可以以硬件构造这种软件的等价体。由于 图像处理算法和系统是熟知的，本描述将特别针对形成根据本发明的方 法的一部分或者更直接与该方法协作的算法和系统。数字静态和视频摄 像机以及数据库硬件特征同样也是熟知的，本说明书 一般限于与本发明 的方法直接相关的那些方面。这里没有具体说明或描述的这种算法和装 置的其它方面，以及用于产生或者处理其中涉及的图像信号的硬件和/ 或软件，可以从本领域已知的这种系统，算法，组件和元件中选择。给 出如在下面的说明书中呈现的描述，其所有的软件实施是传统的并且在 该领域的普通技术之内。
本发明可以计算机硬件和计算机化的设备实施。例如，可以使用包 括一个或多个扫描仪或者其它捕捉装置以及一个或多个个人计算机的 系统执行该方法。参照图14,示出了用于实施本发明的计算机系统110。 尽管为了示出优选实施例的目的示出了计算机系统110,本发明不限于 示出的计算机系统110,而是可以与任何电子处理系统一起使用，诸如 建立在数码相机，蜂窝摄像机电话以及其它移动设备，家用计算机，售 货亭，零售或批发照片洗印服务中的电子处理系统，或者用于数字图像 的处理的任何其它系统。计算机系统110包括基于微处理器的单元112(这里也称为数字图像处理器)，用于接收和处理软件程序并用于执行
其它处理功能。显示器114电连接到基于微处理器的单元112,用于显 示与软件关联的用户相关信息，例如通过图形用户界面。键盘116也连 接到基于微处理器的单元112,用于允许用户输入信息到软件。作为使 用键盘116来输入的替代，可以使用鼠标118在显示器114上移动选择 器120并选择选择器120位于其上的项目，如本领域所熟知的。
可以包括任何形式的移动存储器，示出为光盘只读存储器(CD-ROM) 124,其可以包括软件程序，该移动存储器被插入基于微处理器的单元， 以便提供输入软件程序和其它信息到基于微处理器的单元112的手段。 可以提供多种类型的移动存储器(这里用软盘126表示)，并且数据可 以写到任何适合类型的移动存储器。存储器可以是外部的并且可以使用 有线或者无线连接，或者直接或者经由局域网或者诸如因特网的广域网 访问。更进一步，可以编程基于孩i处理器的单元112,如本领域所熟知 的，来内部地存储软件程序。打印机128或者其它输出装置也可以连接 到基于微处理器的单元112，用于打印从计算机系统110的输出的硬拷 贝。基于微处理器的单元112可以具有网络连接127,诸如电话线或者 无线链接，到外部网络，诸如局域网或者因特网。
图像也可以经由存储器卡，诸如个人计算机卡(PC卡)130显示在 显示器114上，PC卡130诸如以前所知的PCMCIA卡(基于个人计算机 存储卡国际协会的规定)，其包含电子地内含在卡130中的数字化的图 像。PC卡130最终被插入到基于微处理器的单元112,以便允许在显示 器ll4上可视地显示图像。替代的，可以将PC卡130插入连接到基于 微处理器的单元112的位于外部的PC卡读卡器132。也可以经由光盘 124,软盘126或者网络连接127输入图像。PC卡130,软盘126或者 光盘124中存储的，或者通过网络连接127输入的任何图像，可以从各 种源得到，诸如数码相机(未示出)或者扫描仪(未示出)。也可以经 由连接到基于微处理器的单元112的摄像机对接端口 136直接从数码相 机134,或者经由到基于微处理器的单元112的电缆连接138或者经由 到基于微处理器的单元112的无线连接140直接从数字相机134,输入 图像。本发明可以与多个产生数字图像的捕捉装置一起使用。例如，图 14可以代表数字照片沖洗系统或者具有扫描仪的售货亭。
输出装置提供最终的图像或者输出信号。输出装置可以是打印机或者是提供纸张或者其它硬拷贝最终图像的其它输出装置。输出装置也可 以是作为数字文件提供最终图像的输出装置。输出装置也可以包括输出
的组合，诸如打印的图像和在存储器单元，诸如CD或者DVD上的数字 文件。
数字图像包括一个或多个数字图像通道或者色彩分量。每个数字图 像通道是像素的二维阵列。尽管数字图像通道被描述为按照行和列布置 的像素值的二维阵列，本领域技术人员将理解本发明可以应用于非直线 阵列而具有同等的效果，并且本发明可以应用于但不限于这里提到的任
何应用的数字图像通道。
作为这里所使用的，术语"数字图像"指的是所有通道的二维阵列， 或者任何单独的阵列，或者单独地对待的阵列的任何部分。诸如视频序 列的图像序列的每个帧也被认为是"数字图像"。
为了方便起见，这里一般或者关于红，绿和蓝像素值的二维阵列， 或者对应于光强的单色值的阵列讨论数字图像。为了讨论方便的分辨率 为1024行像素和1536线像素的图像，尽管本领域技术人员将理解可以 使用不同分辨率和尺寸的数字图像而具有同等的或者至少可接受的成 功。对于图像通道的其他组合也是一样。
关于命名法的问题，数字图像位于坐标(x, y)处的像素值，这里 应当分别包括值[r(x，y),g(x,y),b(x，y)]的三元组，坐标(x, y)是指 数字图像的第x行和第y列,[r(x，y),g(x，y),b(x，y)]分别指在位置(x, y)处红色，绿色和蓝色数字图像通道的值。在此方面，认为数字图像 包括红色，绿色和蓝色二维阵列或者红色，绿色和蓝色通道。可以从色 彩通道形成亮度通道p。数字图像通道n位于坐标(x, y)处的像素值 这里应当是称为p (x, y)的单个值，坐标(x, y)指数字图像通道的 第x行和第y列。
图14所示的通用控制计算机可以存储具有存储在计算机可读存储 介质中的程序的计算机程序产品，计算机可读存储介质例如可以包括 诸如磁盘(诸如软盘)或磁带的磁存储介质；诸如光盘，光带或者机器 可读条形码的光存储介质；诸如随机访问存储器(RAM),或者只读存 储器(ROM)的固态电子存储装置。相关的计算机程序也可以存储在由 离线存储器装置表示的用来存储计算机程序的任何其它物理装置或介 质上。还应当注意，本发明可以软件和/或硬件的组合来实施，并且不限
于物理地连接的和/或位于同一物理位置的装置。图3示出的一个或多 个装置可以位于远程的位置并可以经由网络连接。 一个或多个装置可以 无线地连接，诸如或者直接地或者经由网络地通过射频链接。
本发明可以用于各种用户情境和环境。示例的情境和环境不限制地 包括，批发数字照片冲洗(涉及诸如胶片进入，数字处理，印出的示例 处理步骤或阶段)，零售数字照片冲洗(胶片进入，数字处理，印出)， 家庭打印(家庭扫描的胶片或者数字图像，数字处理，打印出)，桌面 软件(对数字打印输出应用算法以使它们更好或者甚至就是改变它们的 软件)，数字实现(数字图像输入-从介质或者甚至在web上，数字处 理，图像输出-以介质上的数字形式，web上的数字形式，或者打印在 硬拷贝打印输出上)，售货亭(数字或扫描的输入，数字处理，数字或 硬拷贝输出)，移动装置(例如可以用作处理单元，显示器单元，或者 给出处理指令的单元的摄像机，PDA,或者蜂窝电话)，以及经由万维 网提供的业务。
在每种情境中，本发明可以是独立的或者可以是较大系统解决方案 中的一个组件。此外，人界面，例如扫描或输入、数字处理、显示给用 户(如果需要)、用户请求或者处理指令的输入(如果需要)、输出， 每个可以在相同或者不同的装置和物理位置上，这些装置和位置之间的 通信可以是经由公用或者私人的网络连接，或者基于介质的通信。在符 合本发明的前述揭示的情况下，本发明的方法可以是完全自动的，可以 具有用户输入(完全或者部分手动)，可以让用户或操作员查看以便接 受/拒绝结果，或者可以由元数据(可以是用户提供的，测量装置(例 如在摄像机内)提供的，或者由算法确定的元数据)协助。此外，(多 个)算法可以与各种工作流程用户界面方案相接口。
现在参考图1-2，在一特定实施例中，提供(10)数字图像给系统 存储器的单元12,并做出确定(14)该数字图像当前是否被压缩。如果 发现该数字图像是被压缩的，解压缩(16)该数字图像。用于确定图像 当前是否^L压缩的协议对于本领域技术人员是熟知的。例如，数字图像 可以作为包括图像信息以及指示最终的状态是压缩的还是未压缩的元 数据，以及解压缩该图像所需要的信息和与图像相关的其它元数据的数 字文件被提供。现在参考图2，可以将数字图像接着发送到兴趣区域选择器18,如 下文将会详细讨论，兴趣区域选择器18确定感兴趣的区域。可以在用 户的选择下绕开兴趣区域选择器，在此情况下使用整个图像。替代的， 兴趣区域选择器可以从系统中省略，如图1的实施例所示的。
再次参考图1和2,接着将不知道之前被压缩过的数字图像发送到 压缩检测器20,并确定(22)该图像是否在其历史上的某个点受过压缩。 这通过确定是否存在第一压缩伪像而完成。该第一压缩伪像是由基于块 的压缩技术造成的方块效应。已知很多基于块的图像压缩技术。最常见 的图像压缩格式为JPEG标准下的JPEG压缩。另一种基于块的图像压缩 为矢量量化，诸如R.M. Gray, "Vector Quantization" ， IEEE ASSP Magazine,4-29页，(1984年4月)中揭示的方法。
将数字图像直接发送到压缩检测(22)的替代路径(24)由图1中 的虚线箭头指示。该替代路径(24)如果在提供的图像已知是未经压缩 的情况下是有用的。例如，如果在解压缩图像或者排除压缩过的图像的 的较早图像处理之后接收图像的情况下，替代路径可以是有用的。该替 代路径可以作为选择提供，或者是自动的，基于较早的图像处理等，或 者作为用户选项，例如当用户知道大的批次中的所有图像都是未经压缩 的时。如果知道在接收的时候将要接收的所有图像都将是未经压缩的， 那么可以省略确定图像是否被压缩以及解压缩该图像的步骤。
如果没有检测到压缩，数字图像被发送到第一插值检测器26。如果 检测到压缩，数字图像被发送到第二专用插值检测器28。在两个插值检 测器中都评估(30)数字图像中插值标记的存在。只有在第二插值检测 器中，抵消(32)第二压缩伪像。插值评估的结果被发送到结果分析器 -分类器34,其分析(36)该结果并接着分类该数字图像。
数字图像中方块效应的存在可以用各种技术确定，诸如美国专利 No. 6427031和No. 6643410中所揭示的(美国专利No. 6427031结合在这 里作为参考)。
授予Yu等的美国专利No. 6643410中揭示了 一种当前优选的方法， 其联系具有亮度分量的灰阶图像或者具有RGB分量的彩色图像进行描 述。对于彩色图像，可以在图像压缩之前进行色彩转换以利用人类视觉 系统(HVS)在色彩感知上的冗余度。例如，在JPEG压缩中，首先用以 下方程将彩色图像从RGB转换到YCbCr色空间Y=16+65. 481*R+128. 553*G+24. 966*B; Cb=128-37. 797*R-74. 203*G+112*B; Cr=128+112*R-93. 786*G-18. 214*B; 其中
Y为亮度分量，
Cb和Cr为两个色度分量，并且 R， G和B都归一化到1。
图5示出使用美国专利No. 664341 0的程序来;f企测JPEG压缩方块效 应。该程序也可以用于检测其它基于块的图像压缩，诸如矢量量化。对 于每个图像分量，首先在步骤1110通过计算两个相邻列之间的绝对差 生成列差(column difference)图像。例如通过从图像的第 一列的像 素值减去图像的笫二列的像素值以生成一差值列，并接着将列差图像的 第一列的像素值设定为该差值列的绝对值，生成列差图像。重复同一程 序来设定列差图像除了最后一列之外的其他列，最后一列的所有值被设 为零。
进一步在步骤1112中在垂直方向平均该列差图像以生成一维列差 阵歹']VA。假定原始图像具有M行和N列图像数据，列差阵列VA应当具 有N个条目。为了防止图像边缘贡献于检测，在原始图像分量中的对应 像素的亮度梯度的幅度大于阈值T的情况下放弃列差图像中的像素的贡 献。使用Sobel算子作为亮度梯度算子来生成亮度梯度图像，其中亮度 梯度等于来自水平和垂直Sobel算子的绝对值的和。在本发明的当前实 施例中，计算亮度梯度图像的标准偏差(SD),并且阈值T设定为标准 偏差SD的两倍。
进一步在步骤III4中使用JPEG块宽度的周期性平均该列差阵列 VA,以生成块平均列差阵列VAA,其具有8个条目。换言之，每八个列 差阵列VA的条目将被平均，结果将被用于设定块平均列差阵列VAA的 八个条目。根据JPEG图像压缩通常使用的，块尺寸为8x8个像素。替 代的，可以使用16x16的块。类似地，在其它基于块的压缩方案中也可 以使用其它块尺度。
首先在步骤1116中从块平均列差阵列VAA定位最大值，并将其定 义为列峰值，接着在步骤1118计算块平均列差阵列VAA排除峰值的均 值。该均值被定义为列基值。最后，在步骤1120计算列峰值和列基值之间的比率，以生成列比率。
类似地在步骤1110， - 1120，的系列中计算行峰值，行基值和行比率，
其中共用的附图标记表示对行进行的对应的操作类似于对列进行的那 些操作。更具体地，分别在块1112，和1114，生成行差阵列HA和块平均 行差阵列HAA,并且在块1116， - 1120，中展开类似的基于这些阵列的度量。
列和行比率分别是列和行方向上存在方块效应的良好指示器。因 此，方块效应的程度的优选度量(在步骤1122中计算的)为，具有统 计上平均分布的水平和垂直结构的图像的列和行比率的平均值。更积极 的度量为列和行比率的最小值。
方块效应的可见性会依赖于图像中的实际结构。例如，带有紋理的 区域趋向于比平坦区域更好地隐藏方块效应。列和行基值是紋理量的良 好指示器。为了实现较高程度的稳健性，方块效应程度的度量可以被定 义为行/列比率和行/列基值两者的函数。 一般，基值越高，表示越高程 度的紋理活动(能够隐藏较大程度的方块效应)，对于伪像度量应当使 用较高的阈值。实际上，可以建立查找表以便量化地表征基值和阈值之 间的关系。
如果方块效应的程度的度量超过了预定阈值，则检测到JPEG压缩。 此外，块平均列差阵列VAA和块平均行差阵列HAA中的峰值的索引，为 图像分量的水平和垂直方向上JPEG块边界位置。例如，如果块平均列 差阵列VAA的峰值的索引为4,那么假定JPEG块边界将在该图像分量中 的第4, 12，...列出现。(注意，在该实施例中，对于图像分量的列， 以及对于块平均列差阵列VAA和块平均行差阵列HAA的索引从零开始)。
在数字图像在原始数据压缩操作之后不仅经过裁剪还经过缩放(收 缩或放大)的情况下，块尺寸不再是原始的JPEG块尺寸8。对于可能经 过放大的数字图像，上面的确定JPEG方块效应的程度的过程可以被重 复假定块宽度值的预定系列，以便产生一 系列峰值和基值之间的比率。 产生最大伪像度量的假定块宽度被选择为缩放之后的有效块尺寸。接着 缩放因子被确定为有效块尺寸和原始块尺寸(即8)之间的比率。
具有压缩引起的方块效应的数字图像还遭受到作为图像数据中的 特定周期所呈现的第二伪像。两种伪像都是之前用在该数字图像上的特 定压缩方案的特征。从而，检测到第一伪像证明图像中存在第二伪像。在本发明的方法和系统中，对特定压缩方案的第 一 伪像的存在的检测被 假定为确定该数字图像中该压缩方案的使用以及相关的第二伪像的存
在。认识到方块效应可能潜在地由与压缩无关的其它程序产生；然而， 已经确定作为大部分使用的事实，可以认为特定的压缩方案的方块效应 特征的存在是过去使用该压缩方案或者等同的压缩方案而不是与压缩 无关的技术的决定性的证据。
插值检测器评估插值标记来提供插值结果。插值结果可以是二元的 或者可以提供插值因子。特定数字图像的后续分类可以类似地为检测到 或者未检测到的二元分类，或者可以提供多点尺度上的值，诸如该数字 图像经过或没有经过插值的概率。JPEG压缩通常具有类似于在每个维度 上以因子8插值图像的效果。当JPEG编码实施中等或者大的量化时， 本发明常常会将该图像分类为用因子8插值过。
两个插值检测器都评估特定数字图像中的周期性。第二检测器还消 除作为图像之前的压缩结果在数字图像中存在的周期性，即第二伪像的 影响。该消除通过将由于第二伪像的周期性从插值的考虑中排除而执 行。相对于第一检测器，这稍微损害(compromise) 了第二检测器，但是 消除了图像压缩而不是插值导致的伪信号。由于第二检测器的操作相对 于第 一 检测器稍微受到了损害，不期望也不需要对从来没有被压缩过的 图像使用笫二插值检测器。
第一插值检测器可以美国专利6904180中揭示的方式工作，如图8 -ll所示。参照图8所示的插值检测器的概览，数字图像通道p(x, y) 输入到信号生成器210。数字图像通道p (x， y)或者落在没有经过插 值的图像范畴或者落在经过插值的图像的范畴。如果已经从一些其它的 源数字图像通道m(x， y)得出(derive from),并且如果p(x, y)的 采样率高于m (x, y)的采样率，那么数字图像通道p (x, y)是经过 插值的图像。此外，除非涉及裁剪步骤， 一般地，数字图像通道p(x, y)的尺寸(在数字图像通道中的像素数量方面)将大于源数字图像通 道m(x, y)。输入图像通道信号生成器210从输入的数字图像通道p (x, y)创建并输出一维信号mddp (k)。如果数字图像通道p(x， y) 是在被输入到信号生成器210之前的插值操作的结果，那么信号mddp (k)包含对应于插值因子N和方法的周期性，如下文将进一步详细讨 论的。然而，如果数字图像通道m(x， y)是没有经过插值的数字图像通道，那么信号mddp(k)将不包含任何特定的周期性。信号生成器210 的用途是仅在输入的数字图像通道p (x, y)已被插值的情况下，产生 包含对应于插值因子N的周期分量的信号。信号生成器210在下文将更 详细地描述。注意输入的数字图像通道p ( x, y )由R行像素和C列像 素构成。
从信号生成器210输出的数字信号mddp (k)被输入到DFT计算机 216来计算离散傅里叶变换。时间或空间信号的离散傅里叶变换是信号 的频域表示。mddp (k)信号中的周期性可以通过查找DFT计算才几216 输出的DFT[mddp (k)]信号中的峰值而确定。mddp (k)信号的离散傅 里叶变换DFT[mddp (k)],被输入到插值确定器222来进行分析。离散 傅里叶变换的计算是信号处理领域熟知的，从而不再进一步讨论。在该 优选实施例中，用零填充mddp (k)信号直到其长度是2的幂。DFT的 样本的数量这里将称为M,其中M是等于或大于C-2的最小的2的幂。
分析输入到插值确定器222的DFT[mddp(k)]信号来确定是否存在 显著的峰。DFT[mddp (k)]信号中存在峰指示了数字图像通道p (x, y) 是经过插值的数字图像通道。插值确定器的输出是图像p (x, y)是否 是经过插值的数字图像通道的指示，并且是在p(x， y)是经过插值的 数字图像通道的情况下的插值因子N的指示。下面描述插值确定器222 的操作。
插值确定器222接受信号DFT[mddp (k)]作为输入。插值确定器 222检查输入信号的幅度来确定是否存在任何峰。图11示出了插值确定 器的详细视图，其中示出峰值检测器246,其定位输入的信号DFT[mddp
(k)]的各峰，以及阈值检测器252，其将峰值检测器输出信号的幅度 与特定的阈值比较。存在很多峰值检测方法。本领域技术人员将理解峰 值检测器2"可以使用任意数量的峰值检测算法来确定信号DFT[mddp
(k)]的最大峰的位置k。。在该优选实施例中，对于要分类为峰的位置 k。， k。必须在M/x-l和M/2+l之间，其中在该优选实施例中x = 12。此外， 信号DFT[mddp (k)]的幅度必须大于在k。的(M) /12个样本中所有位 置处的幅度。此外，阈值应用器252要求信号DFT[mddp (k)]的幅度必 须大于Tcj ,其中cj为DFT[mddp ( k)]信号的幅度在(M) /12 - 1到(M) /2 + 1之间估值的标准偏差。C7的值由统计计算器258确定。本领域才支 术人员将理解统计计算器258的4艮多变化，例如平均绝对偏差而不是标准偏差，将得到可接受的结果。T为任意的常数。在一特定实施例中，T =4。插值因子N的估计N。st的值，用对应于最大幅度的峰值k。的位置确 定。如果插值确定器222没有找到与信号DFT[mddp (k)]关联的峰，那 么插值确定器输出指示相信数字图像通道p (x， y)没有经过插值的信 息。或者，如果插值确定器222找到一个或多个峰，那么插值确定器222 输出指示相信数字图像通道p (x, y)经过了插值的信息。此外，插值 确定器222输出N。st。用下面的公式找到Nwt的值，其中k。是峰值的索引 而M是DFT[mddp (k)]信号中样本的数量
<formula>formula see original document page 17</formula>
注意关于DFT的索引，索引O指的是DFT的第一样本，从而是DC项。
图9示出信号生成器210的详细框图。如之前所说明的，信号生成 器210的目的是，从仅在数字图像通道被插值的情况下会表现出周期属 性的数字图像通道提取信号。数字图像通道p(x, y)被输入到lD差分 器228i。 1D差分器228,的用途是计算图像中局部的像素到像素变化。在 一特定实施例中，这些像素到像素差异通过沿数字图像通道的每一行计 算两个相继的导数来确定。注意处理可以沿图^f象列扭J亍而获得同样的成 功。1D差分器228,计算数字图像通道每行的导数来建立导数数字图像通 道dp(x, y) 。 1D差分器228d吏用下面的公式建立导数数字图像通道 dp ( x， y)。
dp(x, y) =p(x + l, y) -p(x, y)
接着，将导数数字图像通道dp (x, y)输入到第二 1D差分器2282来第 二次计算每行的导数。该第二 1D差分器2282的输出为代表数字图像通 道p(x, y)的每一行的二阶导数的数字图像通道。1D差分器2282使用 下面的公式建立二阶导数数字图像通道ddp (x, y):
ddp (x, y) =dp(x + l, y) -dp(x, y) =p(x + 2, y) -2p(x+l， y ) +p (x， y )
注意到可以组合1D差分器的两级来直接从p ( x, y )计算ddp ( x， y),如之前的等式所示。
1D差分器228的两级的用途是在平均起来的信号值在对应于原始 数字图像通道m (x, y) (p (x, y)是从m (x, y)插值的)的样本的像素位置具有不同属性的情况下生成二维信号。该信号ddp (x, y) — 般在对应于原始数字图像通道m (x, y)的样本的位置具有大的平均值， 而在原始数字图像通道的样本之间的位置具有小的平均值。
ddp(x, y )信号接着被输入到1D痕迹提取器240。 1D痕迹提取器 的用途是从ddp (x, y)信号产生高信噪比一维痕迹，其表现出与插值 因子N直接相关的周期性。在该优选实施例中，1D痕迹提取器240通过 跨列对各值的大小进行平均来产生一维痕迹mddp (k),如下面的公式 所示
<formula>formula see original document page 18</formula>
本领域技术人员将理解信号生成器21G的用途可以通过很多方法实 现。本领域技术人员还将理解目的是从数字图像通道p (x, y)产生表 现出与插值因子N相关的周期性的信号的方法，不偏离本发明的范围。
图10示出信号生成器210的替代实施例，其中仅使用单个ID差分 器228。该实施例产生精确的结果，尽管不像优选实施例那么相当可靠。
对于1D痕迹提取器240同样存在;f艮多替代实施例。例如，信号mddp (k)可以通过找到输入ID痕迹提取器240的信号的每行或每列的标准 偏差(或方差)来计算。 一般，输入ID痕迹提取器240的数字图像通 道的列或行的方差，在该行或该列与从其插值p (x， y)的原始数字图 像通道m(x, y)的样本一致时最高。从而ID痕迹提取器240可以用以 下基于方差的公式计算mddp (k)信号
<formula>formula see original document page 18</formula>
通过重新排列已经示出的框图还有其它替代实施例。例如，可以计
算ddp (x, y)信号每行的DFT,并接着将这些DFT —起平均，以产生 一维信号输入到插值确定器222。类似地，也可以计算ddp (x, y)信 号每行的DFT，并接着输入每个DFT到插值确定器222进行峰值检测。 从而数字图像通道p(x， y )的每行将具有N。st。接着可以用图案识别领域的技术人员熟悉的方法组合这些多个N^的值，来获得整个图像的单
个N。st值。
第一插值检测器即使在插值因子N不是整数值的情况下也能成功地 检测N。插值检测的一种替代方法包括步骤基本地选择数字图像通道 p (x, y)的样本(以规则的间隔)，以及建议这些采样点构成原始图 像通道。接着可以利用各种插值方法来从这些样本重构"高分辨率，，图 像。接着可以将该插值的版本与数字图像通道比较来进行相关。高的相 关性将指示正确地确定了插值方法和因子。尽管该替代方法将直观地提 供期望的结果，检测随机的非整数插值因子将是困难的。
第二插值检测器可以与第 一插值检测器相同的方式操作，除了第二 插值检测器包括抵消第二伪像第二压缩伪像的影响的特征。目前优选的 是需要第二插值检测器一般以图8 - 11上描述的方式操作。在该情况下， 抵消第二伪像可以通过修改从图像中提取的信号来去除与图像之前的 压缩相关的周期性而执行。接着检查该修改过的信号查找插值的证据。 在一特定实施例中，第二插值检测器中插值的估计包括步骤从图像生 成一维周期性信号；计算该周期性信号的离散傅里叶变换(DFT信号)； 从DFT信号排除对应于第二伪像的峰来产生经过修改的DFT信号；以及 评估该经过修改的DFT信号来查看与压缩的类型关联的第一组峰的存 在，该压缩是由之前4企测到的方块效应证实的。
例如，当将利用8x8编码块的JPEG压缩应用到图像时，即使没有 插值已被应用到该图像，得到的DFT[ mddp (k)]信号(图3中所示) 也具有位于频i普的1/8, 1/4, 3/8, 5/8， 3/4，和7/8处的峰。因此， 为了避免可能通过检测这些伪峰而发生错误检测的问题，专门的插值检 测器124首先确保信号mddp ( k)的长度是2的幂，并且可以由8整除，
从而这些峰的能量集中在DFT[]信号中的单个点上。接着，在频谱的位 置1/8, 1/4, 3/8， 5/8， 3/4,和7/8处将DFT [ mddp ( k )]的值设定 为0。这允许检测到与实际的插值关联的峰，而同时忽略与图像压缩关 联的峰值。然而，这使得更难才企测8， 4, 8/3, 8/5， 4/3和8/7的插值 率。图4示出与用因子2. 8插值，接着经过JPEG压缩的图像关联的示 例DFT[mddp (k)]信号。通过忽略与JPEG压缩关联的峰，正确地识别 了与插值关联的峰值(用箭头指示)。
在较少可能发生的其中JPEG编码块不是8x8,例如是16x16的情况中，这种信息可以通过压缩检测器IIO获得，并传送到专门的插值检测
器124。在该示例中，得到的DFT[ mddp (k)]信号将具有位于频谱的 1/16, 1/8, 3/16, 1/4, 5/16， 3/8, 7/16, 9/16, 5/8, 11/16， 3/4， 13/16, 7/18和15/16处的峰。
如之前所讨论的，该方法中提供的分类可以是在真实的或者非伪造 的图像和伪造图像之间进行。也可以提供其它分类。可以使用该分类以 便在不同的参数组之间选择。例如，锐化算法会在输入图像是没有插值 过的情况下要求一组参数，而在输入图像已插值过的情况下要求第二组 参数。该分类可以确定将与图像关联的元数据。例如，如果数字图像通 道p(x, y)用因子4插值过，那么该历史信息可以附加到与该数字图 像通道关联的元数据上。元数据可以但不一定存储在与数字图像通道数 据相同的文件中。
图12示出具有分支步骤的图像处理链，其中从两个分支中的一个 选择(40)到图像转换程序42或44的图像处理路径，是基于相应的插 值检测器的输出的。例如，很多web照片冲洗站点包含在顾客请求低于 150dpi的分辨率的照片打印时的分辨率警告。不了解情况的顾客可能试 图通过使用图像处理软件来插值图像并增加图像分辨率而避免该警告， 相信引起"分辨率警告"的问题已经被解决了。本发明的方法将识别出 图像经过了插值并允许系统发出分辨率警告给顾客。此外，本发明的方 法允许系统教育顾客，以便解释尽管插值增加了数字图像通道中的像素 数量，但一般并不引入新的信息。
检测插值图像的本方法的另一个应用示于图13中。如之前提到的， 图像插值通常通过双三次和双线性插值来进行。然而，存在过多的声称 提供改进的图像插值的算法。例如，很多时候，当或者使用双三次或者 使用双线性插值时以整数因子N的插值在图像p (x, y)中保留数字图 像通道m(x, y)的每个采样点的值。接着可以用本方法指示图像p (x, y)是插值过的图像的情况。在它是插值过的图像的情况下，那么当N 是整数的时候通常可以确切地恢复原始数字图像通道m (x， y)。这通 过用图像采样器46以Ne"指示的比率采样图像p (x， y)来实现。接着 可以用图像插值器48使用比之前用过的更先进的图像插值算法，将该 低分辨率版本p (x, y)插值到p (x， y)的图像尺寸。
如之前提到过的，数字图像可以是较大的图像中感兴趣的区域。感兴趣的区域可以使用兴趣区域选择器自动确定或者由操作员手动确定。 兴趣区域选择器可以替代地或者附加地选择并在图形用户界面上呈现 一个或多个感兴趣的区域给用户，用户可以在呈现的区域中进行选择， 手动地选择区域，或者选择整个图像。将区域呈现给用户的方式不重要。 例如，可以可3见i也列出区;或。
兴趣区域选择器可以对整个图像操作，或者各种尺寸的扫描窗口可 以滑过数字图像以自动找到感兴趣的区域。可以使用各种兴趣区域选择
器，诸如脸部检测器，主题(main subject)检测器，皮肤区域检测器， 天空检测器，其它目标(汽车，道路，草地，建筑等)检测器，或者这 些检测器的组合。
兴趣区域选择器选择一个或多个感兴趣的区域，和，可选地，比4交 区域或多个比较区域。该比较区域或多个比较区域可以是或者可以不是 较不感兴趣的或者在图像的背景中。在检测伪造品的使用中，有时候优 选比较区域是背景，或者手动选择的、相比感兴趣的区域不太可能是插 值过的区域。这一般是图像的背景的一部分。在一些使用中，将来自两 个或多个选定的感兴趣的区域的插值进行比较是方便的。在对所有图像 插值评估之后，单独地或者一起分析插值结果，或者都进行。在该分析 中，可以将感兴趣的区域的插值结果与比较区域的插值结果比较，来确 定结果中是否有差异。同样的插值检测器对来自同一大图像的两个不同 的"图像指示"的响应的差异，是从超过一个源进行的图像合成存在的 证据。
参考图6-7，在一特定实施例中，使用脸部检测来找到感兴趣的区 域。伪造的图像通常涉及人脸。很多不同的脸部检测技术是已知的(参 见Ming-Hsuan Yang, David Kriegman,和Narendra Ahuja, "Detecting Faces in Images: A Survey" , IEEE Transact ions on Pat tern Ana lys i s and Machine Intelligence ( PAMI) , Vol.24， no. 1, pp. 34-58， 2002 )。 使用的特定脸部检测技术并不重要。
图6示出示例数字图像310，包含第一脸部330和第二脸部334。 图7示出具有与两个脸部关联的两个感兴趣的区域340， 341以及比较 区域342的图像，感兴趣的区域340, 341和比较区域342适合用于确 定图像310是否是由来自其它源图像的内容构成的伪造品。尽管这些区 域被示出为矩形，本领域技术人员将理解，可以使用包括任意形状的其它形状。检查数字图像310是否之前压缩过，接着使用两个插值检测器 中的一个在不同的区域评估插值，得到对每个区域的插值的估计。如之 前所述，插值检测器确定是否用另一个采样点阵对图像进行过重新采
样。例如如果发现区域340插值过而确定区域341和342没有插值过， 那么将该图像分类为伪造品。此外，可以辨别出伪造区域为区域340。 然而，如果发现所有三个区域都插值过(例如，旋转10度)，那么该 图像不被划分为伪造品，因为可以用在整个图像上一致地应用了重新采 样格点而没有添加新内容，来解释该情况。
本发明适用于数字视频，数字视频是以快速的连续性，例如以每 1 / 3 0秒一个图像的帧速率捕捉的各个的帧的序列。可以对视频序列中的 每个帧执行该方法。如果对于帧的一部分4企测到插值，那么该一见频是合 成过的或者伪造的。此外，物体趋向于在视频中逐渐移动，如果在多个 帧的期间上的场景中的同 一物体或区域的检测到插值，则是更合成或伪 造的强烈的指示。
已经特别参照其特定的优选实施例详细描述了本发明，但是将理解 在本发明的精神和范围内可以实现很多修改和变化。部件列表
4 插值检测器
10 信号生成器
16 DFT计算器
22 插值确定器
28 1D差分器
40 1D痕迹提取器
46 峰值;险测器
52 阈值应用器
58 统计计算器
70 图像采样器
76 图像插值器
110数字图像
114兴趣区域选择器
120压缩检测器
124专门的插值检测器
126结果分析器
128伪造品分类
130第一脸部
134笫二脸部
140示出感兴趣的区域的图像
142与第一脸部关联的区域
144与第二脸部关联的区域
146背景区域
1110形成列差图像
1112产生列差阵列
1114产生块平均的列差阵列
1116定位列峰值
1118计算列平均值
1120计算列比率
1122计算图像分量的方块效应的程度的度量1110'形成行差图像
1112，产生行差阵列
1114，产生块平均的行差阵列
1116，定位行峰值
1118'计算行平均值
1120，计算行比率
权利要求
1. 一种检测数字图像合成的方法，所述方法包括步骤在未经压缩的数字图像中检测第一伪像，所述第一伪像是之前用预定的压缩算法对所述数字图像压缩的特征；评估所述图像中的插值标记来提供插值结果；在所述评估期间，抵消所述压缩算法的第二伪像；以及响应所述插值结果对所述图像分类。
2. 根据权利要求1所述的方法，其中所述第二伪像和所述插值标 记是所述图像中不同的周期性。
3. 根据权利要求2所述的方法，其中所述第一伪像是方块效应。
4. 根据权利要求1所述的方法，其中所述第一伪像是方块效应。
5. 根据权利要求1所述的方法，其中所述提供还包括解压缩所述 数字图像。
6. 根据权利要求1所述的方法，其中所述未经压缩的数字图像是 较大数字图像的一部分。
7. 根据权利要求6所述的方法，还包括使用兴趣区域检测器在所 述较大数字图像中找到所述未经压缩的数字图像。
8. 根据权利要求7所述的方法，其中所述兴趣区域检测器选自包 括脸部检测器，主题检测器，皮肤区域检测器，天空检测器，其它目标 才企测器的组，以及所述组中的所述冲企测器的两个或多个的组合。
9. 根据权利要求1所述的方法，还包括以两个或更多另外的数字 图像重复所述提供、检测、评估和抵消步骤。
10. 根据权利要求9所述的方法，其中所述未经压缩的数字图像以 及所述另外的数字图像每个都是较大数字图像的不同部分；并且其中所 述分类还包括响应于所述插值结果分类所述较大数字图像。
11. 根据权利要求10所述的方法，还包括接受指定所述未经压缩 的数字图像以及所述另外的数字图像中的一个或多个的用户输入。
12. 根据权利要求9所述的方法，其中所述未经压缩的数字图像以 及所述附加的数字图像每个都是视频序列的帧。
13. 根据权利要求1所述的方法，其中所述评估还包括 从图像生成一维周期性信号；计算所述周期性信号的离散傅里叶变换；以及检测所述离散傅里叶变换中的第一组峰值；以及其中所述抵消还包括从所述检测排除所述离散傅里叶变换中的第 二组峰值。
14. 一种用于检测数字图像合成的计算机程序产品，该计算机程序 产品包括其上存储了计算机程序的计算机可读存储介质，该计算机程序 用于执行根据权利要求1所述的步骤。
15. —种检测数字图像合成的系统，所述方法包括步骤 提供未经压缩的数字图像的装置；在所述数字图像中检测第 一伪像的装置，所述第 一伪像是之前用预 定的压缩算法对所述数字图像压缩的特征；评估所述图像中的插值标记来提供插值结果的装置； 在所述评估期间，抵消所述压缩算法的第二伪像的装置；以及 响应于所述插值结果对所述图像分类的装置。
16. —种检测数字图像合成的方法，所述方法包括步骤 提供未经压缩的数字图像；在所述数字图像中检测第 一伪像的存在，所述第 一伪像是之前用预 定的压缩算法对所述数字图像压缩的特征；评估所述图像中两个或更多不同区域中的插值标记来提供每个所 述区域的插值结果；当所述第 一伪像存在于所述数字图像中时，在所述评估期间抵消所 述压缩算法的第二伪像；以及响应于所述插值结果对所述图像分类。
17. 根据权利要求16所述的方法，其中所述第一伪像是方块效应， 所述第二伪像和所述插值标记是所述图像中不同的周期性。
18. 根据权利要求16所述的方法，还包括使用兴趣区域检测器在 所述未经压缩的数字图像中找到 一个或多个所述区域。
19. 根据权利要求16所述的方法，其中所述分类还包括比较每个 所述区域的插值结果。
20. 根据权利要求16所述的方法，其中每个所述区域的所述评估 还包括从图像生成一维周期性信号；计算所述周期性信号的离散傅里叶变换；以及 检测所述离散傅里叶变换中的第一组峰值；以及 其中所述抵消还包括从所述检测排除所述离散傅里叶变换中的第 二组峰值。
21. —种检测数字图像合成的方法，所述方法包括步骤 检测未经压缩的数字图像中的方块效应； 确定与所述方块效应关联的压缩导致的周期性伪像；评估所述图像中的周期性来提供插值结果； 在所述评估期间，抵消所述压缩导致的周期性伪像；以及 响应于所述插值结果分类所述图像。
22. 据权利要求21所述的方法，其中所述未经压缩的数字图像是 较大数字图像的一部分。
23. 根据权利要求22所述的方法，还包括使用兴趣区域检测器在 所述较大数字图像中找到所述未经压缩的数字图像。
全文摘要
在检测数字图像合成的方法和系统中，在未经压缩的数字图像中检测第一伪像。第一伪像是之前用预定的压缩算法对数字图像压缩的特征。评估图像中的插值标记来提供插值结果。在该评估期间，抵消压缩算法的第二伪像。根据插值结果对图像分类。第一伪像可以是方块效应，而第二伪像和插值标记可以是图像中不同的周期性。
文档编号G06K9/00GK101443785SQ200780009882
公开日2009年5月27日 申请日期2007年3月12日 优先权日2006年3月21日
发明者A·C·加拉赫尔, J·罗 申请人:伊斯曼柯达公司