用于提供图像处理以追踪数字信息的方法和系统的制作方法

专利名称：用于提供图像处理以追踪数字信息的方法和系统的制作方法
用于提供图像处理以追踪数字信息的方法和系统
相关申请
本申请要求于2006年10月25日提交的序列号为ll/552757的美国专利申请的优先权，其内容结合于此作为参考。
背景技术：
随着计算机和网络技术的发展，用户能够生成并共享非常大量的表示文档、音频、图像和视频以及任意这些组合的文件。此外，可存在许多版本的文档和文件。因此，这些文档和文件的管理面临巨大的
挑战。例如，如果文档包括图像，则文档的传统的基于文本的追踪和搜索就会无效。而且，对于图像的搜索被限制为描述所述图像的文本信息，而不是图像本身。这是因为传统的图像处理方法的计算成本很
因此，需要一种用于使用图像处理技术追踪文档和文件的改进方法。


在附图中以示例而非限制的方式对本发明进行图示，其中相同的附图标记表示类似的部分，其中
图l是依据本发明实施例的能够处理压缩数字信息的追踪系统的
示图2是依据本发明实施例的用于生成哈希值参考集合的过程的流程图，所述哈希值参考集合被用来识别数字信息；
图3是示出依据本发明实施例的用于生成哈希值参考集合的哈希函数的示图4是依据本发明实施例的用于生成哈希值子集的过程的流程图；图5是依据本发明实施例的用于追踪文档的过程的流程图；图6是依据本发明实施例的利用图1的追踪系统所生成的索引的搜索引擎过程的示图；并且 (
图7是能够被用来实施本发明各个实施例的计算机系统的示图。
具体实施例方式
描述了用于提供图像处理以追踪数字信息的装置、方法和软件。出于解释的目的，在以下描述中给出了多个特定细节以便提供对于本发明的全面理解。然而，对于本领域技术人员显而易见的是，可以没有这些特定细节或利用等同配置来实践本发明。在其它实例中，以框图的形式示出了已知结构和设备以避免对本发明造成不必要的混淆。
虽然关于表示文档的文件对本发明的各个实施例进行了描述，但是可以预期这些实施例通常可应用于压缩数字信息的追踪。
图l是依据本发明实施例的能够处理压縮数字信息的追踪系统的示图。在该示例中，数字压縮器101输出压縮数字信息103以及相关的辅助信息105。信息103的源可以为任意类型，包括视频源107、图像源109和音频源111，或者文本源113。在视频馈给的情况下，数字压缩器IOI将形式为诸如MPEG (运动图像专家组)、MPEG-2等的数字视频格式的压縮数字信息103输出。或者，如果所述源是图像源109或文本源113，则所述压縮数字信息103可以为JPEG (联合图像专家组)格式。该文件格式是用于有效存储和传输数字静止图像所通常使用的格式。音频源111可产生MP3 (运动图像专家组第3层)格式。文本源113可以是文字处理器(或其它基于文本的应用)、语音-文本应用等。
如所示出的，压縮数字信息103具有相关联的辅助信息105，所述辅助信息105传递与压缩数字信息103相关的信息。以示例的方式，辅助信息105包括数据元素105a、元数据105b和控制结构信息105c。在示例性实施例中，元数据105b提供与用来生成压縮数字信息103的压缩机制有关的信息。
例如，关于JPEG，该技术使用嵌入在图像文件中的一组控制、标
准和管理数据。这些信息在ITU建议T.81 "信息技术数字压缩和连续静态图像编码的要求和指南(Information Technology Digital Compressionand Coding of Continuous Still Images Requirements and Guidelines)"中有所描述，其全部内容结合于此作为参考。该建议提供了用于压縮、存储和表示数字形式的照片图像的一组标准。所认可的是，在创建数字图像时所产生的部分信息留下了特定的轨迹或"指纹"。这样的识别手段或签名可被追踪系统115所提取，如稍后在图2-3中的更全面解释。传统上，图像的自动识别和分类在计算上是困难的问题。在算法上对信息进行提取、识别和分类的能力对该过程中的自动化大有帮助。
有效地，追踪系统115检査多个数据结构，执行一组计算并接着将所述信息与来自已知成像设备的一组参考数据进行比较。然后，该信息可被用来以高度的确定性识别例如所述设备的型号和样式。该技术还可以被用来确定用来产生两幅不同图像的照相机、扫描仪等的相似度。例如，所述签名可被用来确定这些图像是否源自同一照相机。
因此，为了执行该识别技术，追踪系统115包括提取模块117以从压縮数字信息103提取辅助信息105。系统115还采用合成模块119和识别模块121，它们相结合操作来产生用于识别压縮数字信息103的独特(unique)数值。此外，归类模块123允许追踪系统115对所述独特数值进行归类(或分类)，所述独特数值指示压缩数字信息103的各种特征。例如，可通过这些特征对压縮数字信息103进行适当聚组(to group)。所述独特数值可以被存储在数据库125中。
如所解释的，除图像特定信息之外，产生数字图片的过程创建了数据元素、元数据和控制结构。虽然根据工业标准进行构建，但是该信息具有结构和内容信息，其能够被用来识别用于捕捉图像的设备的特定型号和样式。对元数据和控制结构进行提取和合成以识别图像设备并不被所述标准有意地支持，而是所述标准的灵活性以及不明确性
的非自然形式(artifact)，并且是适应多个和可交互操作的实施方式的机会。需要在JPEG文件中对元数据和控制信息进行复杂的组合和合成以执行所述识别。
追踪系统115能够支持多种应用。如所看到的， 一个这样的应用是支持文档自动识别或文件夹关系的文档管理应用127。由于能够通过计算上高效的方式识别特定图像，所以使得文档内的图像检查和关联是可行的。从所述辅助信息自动得出图像源之间的关联的能力使得能够对多种形式的文档关系进行精确追踪(例如，定位文档的较早版本)。此外，搜索引擎应用129能够利用追踪系统的能力提供图像的自动追踪和索引，如图6中更为全面的解释。
如之前所指出的，其它应用可出于司法目的而涉及照相机的识别。例如，追踪系统115可被实现为识别拍摄特定图片的照相机的型号和样式，所述特定图片可以用于我们的执法、版权争议以及知识产权权利要求的验证中。
现在关于图2对追踪系统115的操作进行描述。
图2是依据本发明实施例的用于生成用来识别数字信息的哈希值的参考集合的过程的流程图。如步骤201中，追踪系统115针对从已知源获取的压縮数字信息103构建例如哈希值的独特数值的集合。在示例性实施例中，所述哈希值是校验和，其可使用任意的标准程序(例如，UNIX校验和命令)来产生。
"校验和"是按照错误校验机制执行的SUMmation CHECK的首字母缩写形式。例如，对数字文件内的位进行加和，以便提供该文件的"签名"。也就是说，基于文件中的所有字符所计算的数字。这样的数字或校验和的另一特征在于，如果文件中的任意字符发生变化，则 其以高概率进行变化。已经研发了很多标准算法来生成校验和，例如， 循环冗余校验(CRC)。
在步骤203中，将所述哈希值(例如，校验和)与来自已知源的哈 希值进行比较；而且，来自已知源的这些哈希值并不是参考集合的一 部分。要注意的是，并非所有来自已知源的哈希值都被用来形成所述 参考集合。所述参考集合用作统计控制集合。该比较步骤确保了所述 参考集合是稀疏的，以便使得处理时间最小化。在步骤205，如果确定 了新信息是通过所述哈希值所提供，则将特定哈希值添加到哈希值的 参考集合。也就是说，如步骤207，当每个新图像被比较时，如果其提 供了新的信息，则其将被添加到所述参考集合。
图3是示出依据本发明实施例的用于生成哈希值参考集合的哈希 函数的示图。在这种情形下，压縮文件(例如，图像文件)具有被划 分为元数据子集303的相关元数据。根据该应用，能够利用任意数量N
(整数)的子集。每个元数据子集303接着被馈给到哈希函数(例如， 校验和)305以输出一系列哈希值子集307。除了与元数据子集303相对 应的独立哈希值之外，由哈希函数305产生整体哈希值。这些数值307 接着被存储在数据库125中以便与已知文件的哈希值进行比较。
利用以上过程，经由明确对图像重新格式化的机制对所述图像进 行的转换不改变校验和。
图4是依据本发明实施例的用于生成哈希值子集的过程的流程图。 出于说明的目的，压縮数字信息103是JPEG文件。使用图2的过程，创 建初始参考集合。例如，参考数据集合包括己知成像器(例如，相机 电话、数码相机、图像处理器、扫描仪等)所生成的图像集合的校验 和。所述校验和的集合覆盖了可能在成像器之间进行区分的JPEG文件 中的信息类型。该信息是来自相同成像器的图像之间不发生变化的字段的集合。追踪系统115使用覆盖了多种数据子集的校验和以及覆盖整 个集合的整体校验和。
对于每个做为所述参考集合一部分的图像，如下生成校验和。首
先，在步骤401中，由提取模块117对文件进行分析，提取模块117提取 JPEG图像的非特定图像部分作为ASCII文本行的集合(步骤403)。每 行在开始处具有分类字段，所述归类字段指示其所来自的JPEG文件的 部分。通过基于其分类字段从所述文件选择行而生成子集校验和，接 着在步骤405对所选择的行求校验和。由于子集校验和目前仅指示JPEG 图像的哪些部分具有最大数值，所以并不特别关注所使用的特定子集。 例如，在步骤407中，在该输出文件上使用Unix校验和程序生成整体校 验和。
图5是依据本发明实施例的用于追踪文档的过程的流程图。在该示 例中，文档管理应用127 (图l)允许用户通过利用追踪系统115进行操 作以输入、识别并分类文档而轻易地对文档迸行追踪。在步骤501，由 应用127接收对文档的查询。该查询被传送到追踪系统115，如步骤503， 所述追踪系统115基于所接收的查询确定所请求文档的特征(即，搜索 参数)。在步骤505，这些特征被映射到一个或多个哈希值。数据库125 接着搜索所存储的哈希值的参考集合(步骤507)。在步骤509中，搜 索结果被提供给文档管理应用127，其能够以对用户具有意义的顺序输 出结果。例如，所述搜索结果可以通过确信度等级或匹配程度进行排 序。
图6是依据本发明实施例的利用图1的追踪系统所生成的索引的搜 索引擎过程的示图。以示例的方式，搜索引擎应用129是基于网络的搜 索引擎并且采用网络爬行器(web spider) 601来构建在万维网即数据网 络603内所找到的图像列表。爬行器601是往返因特网603内的网络服务 器(未示出)并生成图像周围的词语以及这些词语的位置的列表605的 机器人程序。所生成的列表605被提供给追踪系统115，其通过对列表605中所指 定的图像进行检索并且使用图2-4的过程而输出图像的索引607。这些索 弓I607接着被存储在搜索引擎数据库609内以便由搜索引擎应用129访 问。
如所描述的，除了文档追踪和搜索引擎应用之外，由于该过程的 计算功效，追踪系统115的图像处理具有对其它应用的广泛应用性。
这里所描述的用于提供图像处理和追踪的过程可经由软件、硬件 (例如，通用处理器、数字信号处理(DSP)芯片、专用集成电路(ASIC)、 现场可编程门阵列(FPGA)等)、固件或其组合来实现。以下详细给 出用于执行所描述的功能的示例性硬件。
图7示出能够在其上实施依据本发明的实施例的计算机系统700。 例如，这里所描述的过程可使用计算机系统700来实施。计算机系统700 包括总线701或用于传输信息的其它通信机构以及耦合到总线701用于 处理信息的处理器703。计算机系统700还包括耦合到总线701用于存储 要由处理器703所执行的信息和指令的主存储器705，诸如随机访问存 储器(RAM)或其它动态存储设备。主存储器705还可被用于在由处理 器703执行指令期间存储临时变量或其它中间信息。计算机系统700可 进一步包括耦合到总线701用于存储处理器701的静态信息和指令的只 读存储器(ROM) 707或其它静态存储设备。诸如磁盘或光盘之类的存 储设备709耦合到总线701用于持久存储信息和指令。
计算机系统700可经由总线701耦合到显示器711，诸如阴极射线管 (CRT)、液晶显示器、有源矩阵显示器或等离子显示器，以用于向计 算机用户显示信息。诸如包括字母数字和其它按键的键盘之类的输入 设备713被耦合到总线701以用于向处理器703传输信息和命令选择。另 一种类型的用户输入设备是诸如鼠标、轨迹球或光标方向键之类的光标控制715，以用于向处理器703传输方向信息和命令选择并用于控制 显示器711上的光标移动。
根据本发明的一个实施例，这里所描述的过程由计算机系统700 响应于处理器703执行主存储器705中所包含的指令配置来执行。这些 指令可以从诸如存储设备709之类的另一计算机可读介质读入主存储 器705。主存储器705中所包含的指令配置的执行使得处理器703执行这 里所描述的过程步骤。也可以采用多处理配置中的一个或多个处理器 来执行主存储器705中所包含的指令。在可选实施例中，可使用硬线电 路来替代软件指令或与软件指令相结合来实施本发明的实施例。因此， 本发明的实施例并不局限于硬件电路和软件的任意特定组合。
计算机系统700还包括耦合到总线701的通信接口717。通信接口 717提供耦合到网络链路719的双路数据通信，所述网络链路719连接到 本地网络721。例如，通信接口717可以是数字用户线路(DSL)卡或调 制解调器、综合服务数字网(ISDN)卡、有线调制解调器、电话调制 解调器或用来向相应类型的通信线路提供数据通信连接的任意其它通 信接口。如另一个示例，通信接口717可以是(例如，用于以太网 (Ethernet )或异步传输模式(ATM)网络的)局域网(LAN)卡以 便向兼容的LAN提供数据通信连接。也可以实现无线链路。在任意这 样的实施方式中，通信接口717发送和接收携带表示各种信息的数字数 据流的电、电磁或光信号。此外，通信接口717可包括外部接口设备， 诸如通用串行总线(USB)接口、 PCMCIA (个人计算机存储卡国际协 会)接口等。虽然在图7中描绘了单个通信接口717，但是也可以采用 多个通信接口。
典型地，网络链路719通过一个或多个网络向其它数据设备提供数 据通信。例如，网络链路719可通过本地网络721向主机计算机723提供 连接，所述主机计算机723具有到网络725 (例如，广域网(WAN)或 现在一般被称作"因特网"的全球分组数据通信网络)或服务提供商所操作的数据设备的连接。本地网络721和网络725均使用电、电磁或 光信号来传递信息和指令。通过各种网络的信号以及网络链路719上且 通过通信接口717的信号为承载信息和指令的载波的示例性形式，所述 通信接口717与计算机系统700传输数字数据。
计算机系统700可通过(多个)网络、网络链路719和通信接口717 发送消息并接收包括程序代码在内的数据。在因特网示例中，服务器 (未示出)可通过网络725、本地网络721和通信接口717传送属于用于 实施本发明实施例的应用程序的所请求代码。处理器703可在所传送代 码被接收时执行所述代码和/或将所述代码存储在存储设备709或其它 非易失性存储器中以便后续执行。以这种方式，计算机系统700可获取 载波形式的应用代码。
这里所使用的术语"计算机可读介质"是指涉及向处理器703提供 指令用于执行的任意介质。这样的介质可采用任意形式，包括非易失 性介质、易失性介质和传输介质，但并不局限于此。例如，非易失性 介质包括光或磁盘，诸如存储设备709。易失性介质包括动态存储器， 诸如主存储器705。传输介质包括同轴线缆、铜线和光纤，包括包含总 线701在内的线路。传输介质可采用诸如在射频(RF)和红外(IR)数 据通信期间所生成的声音、光或电磁波的形式。例如，计算机可读介 质的一般形式包括软盘、可折叠磁盘、硬盘、磁带、任意其它磁性介 质、CD-ROM、 CDRW、 DVD、任意其它光学介质、打孔卡、纸带、 光学标记页、任意其它具有孔或其它可光学识别标记图案的物理介质、 RAM、 PROM和EPROM、 FLASH-EPROM、任意其它存储器芯片或盒、 载波、或者计算机能够从其进行读取的任意其它介质。
各种形式的计算机可读介质可被用于向处理器提供指令用于执 行。例如，用于执行本发明至少一部分的指令最初可承载在远程计算 机的磁盘上。在这样的情形中，所述远程计算机将指令加载到主存储 器并且使用调制解调器通过电话线路发送指令。本地计算机系统的调制解调器在电话线路上接收到数据，并且使用红外传送器将所述数据 转换为红外信号并将所述红外信号传送到诸如个人数字助理(PDA) 或膝上计算机之类的便携式计算设备。所述便携式计算设备上的红外 检测器接收到红外信号所承载的信息和指令，并且将数据置于总线上。 所述总线将所述数据传递到主存储器，处理器从所述主存储器进行检 索并执行所述指令。主存储器所接收的指令可任选地在被处理器执行 之前或之后被存储在存储设备上。
在之前的说明书中，已经参考附图对各个优选实施例进行了描述。 然而将显而易见的是，可对其进行各种修改和变化，并且可实现其它 的实施例而不会背离在以下权利要求中所给出的本发明较为宽泛的范 围。因此，说明书和附图被认为是说明性的而不没有限制意义。
权利要求
1.一种方法，包括获取与压缩的数字信息相对应的辅助信息；基于所述辅助信息输出多个文本行；使用哈希函数对所述文本行的子集生成单独的哈希值；以及对所述多个文本行生成整体哈希值，其中所述单独的哈希值和所述整体哈希值被有选择地包括在哈希值参考集合中以识别其它压缩的数字信息。
2. 如权利要求l所述的方法，其中使用校验和方案执行所述哈希 函数。
3. 如权利要求2所述的方法，进一步包括 接收与文本文档相关联的未知的压縮的数字文件； 从所述未知的压縮的数字文件提取辅助信息；使用所述辅助信息对所述未知的压縮的数字文件生成一个或多个 校验和；将所述未知的压缩的数字文件的校验和与所述参考集合的校验和 进行比较；以及基于所述比较输出匹配的压縮的数字文件的搜索结果。
4. 如权利要求l所述的方法，进一步包括-基于相对应的哈希值追踪所述压缩的数字信息。
5. 如权利要求l所述的方法，其中所述压縮的数字信息表示图像、 音频或视频之一，并且从所述压縮的数字信息的已知源生成所述哈希 值参考集合。
6. 如权利要求l所述的方法，其中所述辅助信息包括指定与用来产生所述压縮的数字信息的压缩过程相关联的信息的元数据。
7. 如权利要求l所述的方法，其中所述文本行符合ASCII (美国信息交换标准码)格式。
8. —种装置，包括提取模块，其被配置为获取与压縮的数字信息相对应的辅助信息； 合成模块，其被配置为基于所述辅助信息输出多个文本行；以及识别模块，其被配置为使用哈希函数对所述文本行的子集生成单 独的哈希值，并且对所述多个文本行生成整体哈希值，其中所述单独 的哈希值和所述整体哈希值被有选择地包括在哈希值参考集合中以识 别其它压縮的数字信息。
9. 如权利要求8所述的装置，其中使用校验和方案执行所述哈希 函数。
10. 如权利要求9所述的装置，其中接收与文本文档相关联的未知 的压縮的数字文件，所述提取模块从所述未知的压缩的数字文件提取 辅助信息，所述识别模块使用所述辅助信息对所述未知的压縮的数字 文件生成一个或多个校验和，其中将所述未知的压縮的数字文件的校验和与所述参考集合的校 验和进行比较；其中基于所述比较输出匹配的压縮的数字文件的搜索结果。
11. 如权利要求8所述的装置，其中基于相对应的哈希值追踪所述压縮的数字信息。
12. 如权利要求8所述的装置，其中所述压縮的数字信息表示图 像、音频或视频之一，并且从所述压缩的数字信息的已知源生成所述 哈希值参考集合。
13. 如权利要求8所述的装置，其中所述辅助信息包括指定与用来 产生所述压缩的数字信息的压缩过程相关联的信息的元数据。
14. 如权利要求8所述的装置，其中所述文本行符合ASCII (美国 信息交换标准码)格式。
15. —种方法，包括接收对于所请求文档的查询；基于所述查询确定所请求文档的特征；将所述特征映射到一个或多个哈希值；使用所述一个或多个哈希值搜索数据库，所述数据库被配置为存 储与多个文档相对应的哈希值参考集合，其中通过从所述多个文档的 压缩的数字文件提取辅助信息来生成所述哈希值参考集合；以及响应于所述查询输出搜索结果。
16. 如权利要求15所述的方法，其中对于所述多个文档中的每一 个文档，通过以下步骤进一步生成所述参考集合，基于相对应的辅助信息输出多个文本行， 使用哈希函数为所述文本行的子集生成单独的哈希值，以及 对所述多个文本行生成整体哈希值。
17. 如权利要求16所述的方法，其中所述文本行符合ASCII (美国 信息交换标准码)格式。
18. 如权利要求15所述的方法，其中使用校验和方案执行所述哈 希函数。
19. 如权利要求15所述的方法，其中所述压縮的数字文件的每一
20.如权利要求15所述的方法，其中所述辅助信息包括指定与用 来产生相对应的压縮的数字文件的压縮过程相关联的信息的元数据。
全文摘要
公开了一种使用图像处理追踪文档的方法。提取与压缩的数字信息相对应的辅助信息。所述辅助信息被用来输出经历哈希函数(例如，校验和运算)的文本行。以这种方式，生成单独的哈希值，以及文本行的整个文件的整体哈希值。保留哈希值的参考集合来识别其它压缩的数字信息。
文档编号G06F17/00GK101542466SQ200780040113
公开日2009年9月23日 申请日期2007年10月25日 优先权日2006年10月25日
发明者丹尼尔·M·伍德, 卡尔·马歇尔·艾略特·鲍威尔, 约翰-弗朗西斯·莫根 申请人:威瑞森全球商务有限责任公司