基于缩略图的图像质量检查的制作方法

专利名称：基于缩略图的图像质量检查的制作方法
基于缩略图的图像质量检查相关申请的交叉引用本申请与2006年12月1日提交并通过引用结合到本文中的美国申请 No. 11/607，181 有关。
背景技术：
成像设备(例如影印机、扫描仪、数字静止照相机、数字摄像机、和传真机)用来捕 捉文档的图像以用于许多应用，包括从纸件文档生成数字文档、先前打印的照片的高质量 数字再现、和光学字符识别。为了避免时间损失和后续处理中的差错，检验扫描的质量(优 选地在捕捉图像时)常常是重要的。关于此方面，已经开发了在将捕捉的图像输出到指定 目的地(例如，打印机、存储介质、和网络)之前显示捕捉的文档图像的预览图像的系统。这 些系统通常允许用户调整各种图像捕捉设置并依照经修改的图像捕捉设置来捕捉文档的 另一图像。然而，在这些系统中，检查图像质量的过程通常是困难的。例如，为了确定以高 像素分辨率捕捉的图像的质量，操作员或用户在能够适当地估计图像中的各种视觉特征的 质量之前通常需要打开图像文件并扫视图像的不同的放大区域。此过程通常是艰苦且耗时 的，尤其是考虑到这些系统中通常可用的有限观看区。

发明内容
在一方面，本发明的特征在于一种方法，依照该方法，从图像捕捉系统获取具有第 一像素分辨率的输入图像。确定该输入图像的至少一个视觉质量特征中的每一个的相应表 征。从该输入图像产生输出缩略像。所述输出缩略像反映每个视觉质量特征的相应表征。所述输出缩略像具 有低于第一像素分辨率的第二像素分辨率。与所述图像捕捉系统的操作相关联地输出所述 输出缩略像。本发明的特征还在于一种存储促使机器实现上述方法的机器可读指令的机器可 读介质和系统。通过包括附图和权利要求的以下说明，将清楚本发明的其它特征和优点。


图1是包括图像处理系统和显示器的实施例的图像质量检查系统的实施例的方 框图。图2是图像处理方法的实施例的流程图。图3A是依照现有技术缩略图生成过程产生的扫描文档的缩略像。图;3B是依照图2的方法的实施例产生的扫描文档的缩略像。图3C是依照图2的方法的实施例产生的扫描文档的缩略像。图4是图1的图像处理系统的实施例的方框图。图5是图像处理方法的实施例的流程图。
5
图6是图4所示的图像处理系统的实施例的方框图。图7是图6所示的图像处理系统的实施例所产生的信息的流程图。图8是图像处理方法的实施例的流程图。图9是图像处理方法的实施例的流程图。图10是图9的图像处理方法的实施例所产生的信息的流程图。图11是图像处理方法的实施例的流程图。图12是图11的图像处理方法的实施例所产生的信息的流程图。图13是图像处理方法的实施例的流程图。图14是图13的图像处理方法的实施例所产生的信息的流程图。图15是图1的图像处理系统的实施例的方框图。图16是图像处理方法的实施例的流程图。图17是依照图16的方法的实施例的已按照内容类型被分割的图像的示意图。图18是依照图16的方法的实施例的呈现缩略像的再现和该缩略像的分 割区域的缩略像的显示器的实施例的示意图。图19是图1的图像处理系统的实施例的示意图。图20是图1的图像处理系统的实施例的示意图。
具体实施例方式在以下说明中，使用相同的参考标号来识别相同的元素。此外，附图意图以示意性 的方式举例说明示例性实施例的主要特征。附图并不意图描绘实际实施例的每个特征或所 描绘的元素的相对尺寸，并且并不按比例描绘。I.介绍本文详细描述的实施例能够产生提供输入图像的视觉质量特征的改进表示的真 实感图像缩略图。以此方式，这些实施例使得用户能够准确地查明输入图像的质量。此信 息可以用来例如通过简单检查文档图像的缩略图来快速地确定捕捉输入图像时的文档图 像的质量而不必执行打开原始图像文件并扫视原始图像的不同放大区域的耗时且艰苦的 任务。这些实施例还使得用户能够在捕捉文档的另一图像之前容易地确定用于各种图像捕 捉设置的期望调整。本文所使用的术语“真实感缩略像”指的是反映对应输入图像的布置、比例、 和局部细节的输入图像的降低分辨率版本。真实感缩略像可以包含在不必客观地重现 高分辨率视觉元素的情况下主观地传达对应输入图像的不同视觉元素的视觉外观的重现 或合成元素。相反，“非真实感缩略像”指的是有目的地且在风格上修改输入图像的视 觉元素的局部细节以便以传送信息的方式集中观看者的注意力的输入图像的降低分辨率 版本。术语“文档”意指被设计并呈现为单独实体且被记录或存储在物理存储介质(例 如，电子存储器设备或诸如纸张的打印介质)中的一组信息。术语“视觉质量特征”意指影响包含该特征的图像的区或区域的感知视觉质量或 吸引力的图像属性或性质。示例性视觉质量特征包括但不限于模糊、噪声、纹理、多彩性 (colorfulness)、禾口镜面高光(specular highlight)。
术语“像素分辨率”指的是图像中的像素的计数。像素计数可以表示为例如总像 素计数或对应于图像的像素阵列的水平和垂直尺寸的乘积。“计算机”是根据暂时或永久性地存储在机器可读介质上的机器可读指令(例如， 软件)来处理数据的机器。执行特定任务的一组此类指令称为程序或软件程序。术语“机器可读介质”指的是能够承载可被机器(例如，计算机)读取的信息的任 何介质。适合于有形地包含这些指令和数据的存储设备包括但不限于所有形式的非易失性 计算机可读存储器，包括例如诸如EPR0M、EEPR0M、和闪速存储器设备的半导体存储器设备、 诸如内部硬盘和可移动硬盘的磁盘、磁光盘、DVD-ROM/RAM、和CD-ROM/RAM。II.图像质量检杳系统的实施例的综述A.介绍图1示出包括图像捕捉系统2、输入图像处理系统3、和显示器4的图像质量检查 系统1的实施例。输入图像处理系统3包括视觉质量特征表征模块5和输出缩略图发生器 模块6。在某些实施例中，图像捕捉系统2、输入图像处理系统3、和显示器4被合并到单个 分立的电子设备中。在其它实施例中，图像捕捉系统2、输入图像处理系统3、和显示器4被 合并在两个或更多个分开且分立的设备中。在操作中，图像捕捉系统2从文档8的硬拷贝产生输入图像7，并且输入图像处理 系统3处理输入图像7以产生被再现在显示器4上的输出缩略像9。输入图像7具有 第一像素分辨率且输出缩略像9具有低于输入图像7的像素分辨率的第二像素分辨率。图2示出由输入图像处理系统3实现的方法的实施例。依照此方法，视觉质量特 征表征模块5从图像捕捉系统2获取输入图像7(图2，方框11)。视觉质量特征表征模块 5确定输入图像7的至少一个视觉质量特征中的每一个的相应表征(图2，方框1 。输出 缩略图发生器模块6根据输入图像7产生输出缩略像9 (图2，方框1 。输出缩略图 图像9反映每个视觉质量特征的相应表征。与图像捕捉系统2的操作相关联地输出所述输 出缩略像9(图2，方框19)。在举例说明的实施例中，通过与图像捕捉系统2的操作相关联地在显示器4上的 预览窗口 17中再现输出缩略像9来将其输出。在其它实施例中，通过与输入图像7或 和输入图像7有关的其它数据(例如，用来产生输入图像7的图像捕捉参数)相关联地(例 如与之链接)将输出缩略像9存储在机器可读介质上的数据库中来将其输出。在其它 实施例中，通过在打印介质(例如，纸张)上再现输出缩略像9来将其输出。图3A示出依照涉及扫描文档的原始图像的下采样(例如，平均下采样)的现有技 术缩略图生成过程所产生的扫描文档的原始图像的示例性缩略像21。在此示例中，缩 略像21不反映原始扫描文档图像中的实际可感知模糊性。图;3B示出由其导出缩略像21的原始扫描文档图像的输出缩略像23，除 了缩略像23是依照图2的方法的实施例产生的。在这种情况下，缩略像23比在 图3A所示的缩略像21更好地反映原始扫描文档图像中的实际可感知模糊性。图3C示出由其导出缩略像21的原始扫描文档图像的输出缩略像25， 除了缩略像25是依照图2的方法的实施例产生的。在这种情况下，缩略像25 比在图3A所示的缩略像21更好地反映原始扫描文档图像中的实际可感知渗漏(bleed-through)(参见缩略像25的白色背景区域中的渐弱对角线27)。通过提供输入图像7的视觉质量的改善表示，本文所述的实施例使得用户能够快 速且准确地查明原始扫描图像的质量而不必执行打开原始图像文件并扫视原始图像的不 同放大区域的耗时且艰苦的任务。以此方式，用户能够容易地确定是否继续关于输入图像7 的预定义文档处理工作流程(例如，对输入图像执行OCR分析、将输入图像存档、例如通过 电子邮件将输入图像的拷贝发送到网络目的地、或打印输入图像)或是否应该用由图像捕 捉系统2使用不同捕捉设置捕捉的文档的另一图像来替代原始扫描文档图像。B.图像捕捉系统可以由能够从文档8生成电子图像数据的任何类型的设备或系统组件来实现图 像捕捉系统2。图像捕捉系统2的示例性实现包括但不限于数字图像扫描仪、数字静止照相 机、数字摄像机、数字影印机(或简称为“复印机”)、传真机、和任何这些设备的组件。C.显示器可以由能够在视觉上向用户呈现输出缩略像9的任何类型的设备来实现显 示器4。显示器4可以是例如平板显示器，诸如IXD (液晶显示器)、等离子体显示器、EL显 示器(电致发光显示器)和FED(场发射显示器)。在某些实施例中，由独立的计算机监视 显示器来实现显示器4。在其它实施例中，由较大系统(例如，图像捕捉系统2的实现)的 显示组件来实现显示器4。D.输入图像处理系统可以由不限于任何特定硬件、固件、或软件配置的一个或多个分立模块(或数据 处理组件)来实现输入图像处理系统3。在举例说明的实施例中，可以在任何计算或数据 处理环境中实现视觉质量特征表征模块5和输出缩略图发生器模块6，包括在数字电子电 路(例如，诸如数字信号处理器(DSP)的专用集成电路)中或在计算机硬件、固件、设备驱 动器、或软件中实现。在某些实施例中，将模块5 6中的多个的功能组合到单个处理组件 中。在某些实施例中，由相应的一组多个处理组件来执行一个或多个模块5 6中的每一 个的相应功能。在某些实现中，将用于实现由输入图像处理系统3执行的方法的计算机过 程指令以及其生成的数据存储在一个或多个机器可读介质中。III.输入图像处理系统的第一示例性实施例图4示出包括视觉特征分析模块16、分辨率降低模块18、和缩略像产生模块 20的输入图像处理系统3的实施例10。在操作中，输入图像处理系统10处理输入图像7 以产生缩略像9，该缩略像9被输出(例如，存储在非易失性计算机可读介质上、存 储在易失性计算机可读介质上、再现在显示器9上、或再现在诸如纸张的打印介质上)。可以由不限于任何特定硬件、固件、或软件配置的一个或多个分立模块(或数据 处理组件)来实现输入图像处理系统10。在举例说明的实施例中，可以在任何计算或数据 处理环境中实现模块16 20，包括在数字电子电路(例如，诸如数字信号处理器(DSP)的 专用集成电路)中或在计算机硬件、固件、设备驱动器、或软件中实现。在某些实施例中，将 模块16 20中的多个的功能组合到单个处理组件中。在某些实施例中，由相应的一组多 个处理组件来执行一个或多个模块16 20中的每一个的相应功能。在某些实现中，将用 于实现由输入图像处理系统10执行的方法的计算机过程指令以及其生成的数据存储在一 个或多个机器可读介质中。
图5示出由输入图像处理系统10实现的方法的实施例。依照此方法，视觉特征分析模块16分析输入图像7的局部输入图像区域的相应视 觉特征沈以产生结果(图5，方框观)。通常，分析视觉特征的结果可以是表征、测量、或指 定局部输入图像区域的一个或多个视觉性质或属性(例如，噪声、纹理、多彩性、镜面高光 或模糊的量或水平)的参数的值，或者，所述结果可以是表示局部输入图像区域的此类视 觉性质或属性的模型。基于分析视觉特征沈的结果，分辨率降低模块18由输入图像7导出局部输入图 像区域中的那些对应局部输入图像区域的分辨率降低的视觉表示30(图5，方框3 。分辨 率降低的视觉表示30通常对局部输入图像区域中的那些对应局部输入图像区域中的一个 或多个视觉特征进行建模。在某些情况下，这些模型对应于视觉特征与底层图像表示的组 合。在其它情况下，这些模型对应于视觉特征本身的表示，在这种情况下，它们通常被指定 为将与输入图像7的底层降低分辨率的表示组合的扰动或修改。缩略像产生模块20从分辨率降低的视觉表示30产生缩略像9(图5，方 框34)。缩略像9具有低于输入图像7的像素分辨率的像素分辨率。缩略像14反 映输入图像7的布置、比例和局部细节。缩略像产生模块20输出缩略像9 (图5，方框36)。例如，在某些实施例 中，缩略像产生模块20通过将缩略像9的至少一部分存储在机器可读数据存储介 质上来输出缩略像9。机器可读数据存储介质通常是电子存储器设备，诸如计算机可读 存储介质。在某些实施例中，缩略像产生模块20 —次将整个缩略像9存储在机器 可读数据存储介质中。在其它实施例中，缩略像产生模块20逐行地将缩略像9存 储在机器可读数据存储介质中，以便满足嵌入式环境施加的约束，所述嵌入式环境诸如其 中严格地约束处理资源和存储器资源中的一者或两者的嵌入式打印机环境。在某些实施例 中，缩略像产生模块20通过再现缩略像9来输出缩略像9。例如，在某些实施 例中，缩略像产生模块20在显示器4(参见图1)上再现缩略像9。在其它实施例 中，缩略像产生模块20在打印介质(例如一张纸)上再现缩略像9。由视觉特征分析模块16分析的局部输入图像区域的视觉特征对应于输入图像7 的一个或多个视觉性质或属性。在某些实施例中，输入图像处理系统10通过单个处理流水 线来处理输入图像7，所述流水线同时分析输入图像7的多个视觉性质或属性并由分析视 觉性质或属性的结果导出局部输入图像区域的分辨率降低的视觉表示。在其它实施例中， 输入图像处理系统10通过用于每个视觉性质或属性的单独处理流水线来处理输入图像7。图6示出输入图像处理系统10的实施例40，其中，视觉特征分析模块16包括N个 局部输入图像区域分析模块42 (N具有至少为2的整数值)，其中的每一个局部输入图像区 域分析模块42产生分析局部输入图像区域的相应视觉性质或属性的相应结果44。输入图 像处理系统40还包括N个分辨率降低处理流水线46，其中每一个分辨率降低处理流水线 46由分析局部输入图像区域的视觉特征的对应结果44导出一组相应的分辨率降低的视觉 表示48。在某些实施例中，每组分辨率降低的视觉表示48被以合成分辨率降低图像或图 (map)的形式传递到缩略像产生模块20。在其它实施例中，所述分辨率降低的视觉表 示被作为分别对应于各个局部输入图像区域的分开且分立的子图像或子图传递到缩略图 图像产生模块。
图7示出在从输入图像7产生缩略像9的过程的实施例期间的各阶段处由输 入图像处理系统40产生的信息的流程图。依照此过程，每个分辨率降低处理流水线46由 分析局部输入图像区域的视觉特征的结果44导出局部输入图像区域的一组相应的分辨率 降低的视觉表示48。分辨率降低处理流水线46将该组分辨率降低的视觉表示48传递到缩 略像产生模块20，其将该组分辨率降低的视觉表示48组合以产生缩略像9。在此 过程中，缩略像产生模块20可以使用一个或多个合成操作(例如，叠加合成操作和相 加合成操作中的一个或多个)。关于可以被图像产生模块20用来将该组分辨率降低的视 觉表示48组合的某些类型的合成操作的附加细节可以在Porter和Duff的“Compositing Digital Images”，Computer Graphics，第 18 卷 No. 3，253 259 页(1984 年 7 月)中找 到。IV.输入图像处理系统的组件的示例件实施例如上文所解释的，输入图像处理系统10的实施例能够从分辨率降低的视觉表示 产生缩略像9，所述分辨率降低的视觉表示对对应于输入图像7的局部区域的一个或 多个视觉性质或属性的视觉特征进行建模。输入图像处理系统10建模的示例性视觉性质 或属性包括但不限于模糊、噪声、纹理、多彩性、和镜面高光。图8示出输入图像处理系统10用来对输入图像7的局部区域中的模糊进行建模 的方法的实施例。依照图8的模糊建模方法，视觉特征分析模块16确定用于每个局部输入图像区域 的对应模糊参数值(图8，方框50)。在某些实施例中，依照局部输入图像区域中的模糊的 特定模型或视觉表示来使模糊参数值与局部输入图像区域中的模糊量相关。在其它实施例 中，模糊参数值依照局部输入图像区域中的模糊的特定模型或视觉表示来提供局部输入图 像区域中的模糊量的直接或间接度量。分辨率降低模块18基于对应的模糊参数值来确定表示局部输入图像区域中的模 糊的相应分辨率降低的模糊模型(图8，方框52)。在某些实施例中，模糊模型对应于被模糊 了由对应模糊参数值所确定的相应模糊量的分辨率降低的基础图像的相应区域。在其它实 施例中，模糊模型对应于由相应模糊滤波器滤波的局部输入图像区域的下采样版本，其中， 由对应的模糊参数值来设置由模糊滤波器产生的模糊量。在某些实施例中，缩略像产生模块20可以将来自分辨率降低的模糊模型的 缩略像9合成，其中每一个分辨率降低的模糊模型对应于缩略像9的相应局部区 域。在2006年12月1日提交的共同待决美国专利申请No. 11/607，181中的关于图6 8 的公开中描述了关于这些实施例的构造和操作的附加细节。B.对局部输入图像区域中的噪声进行建模图9示出输入图像处理系统10用来对输入图像7的局部区域中的噪声进行建模 的方法的实施例。图10示出在该噪声建模方法的各阶段处生成的信息的流程图。依照图9的噪声建模方法，视觉特征分析模块16确定表示输入图像7中的噪声的 输入图像噪声模型84 (图9，方框86)。在某些实施例中，视觉特征分析模块16由输入图像 7中的噪声方差的估计导出输入图像噪声模型84。在这些实施例的某些中，通过计算输入 图像7的高通滤波版本并将软阈值应用于结果得到的高通滤波图像来生成输入图像噪声模型，其中，基于输入图像7中的噪声的全局估计来设置该阈值。分辨率降低模块18由输入图像噪声模型84产生分辨率降低的噪声模型88 (图 9，方框90)。在某些实施例中，分辨率降低模块18通过将输入图像噪声模型84下采样至 缩略像9的目标像素分辨率水平来产生分辨率降低的噪声模型88。在这些实施例的 某些中，分辨率降低模块18在抖动网格上对输入图像噪声模型84进行子采样以产生分辨 率降低的噪声模型 88 (参见例如 Robert L. Cook 的 “Mochastic Sampling in Computer Graphics”，ACM Transactions on Graphics (TOG)，第 5 卷第 1 期 51 72 页(1986 年 1 月))。缩略像产生模块20基于分辨率降低的噪声模型88来产生缩略像9(图 9，方框9 。在举例说明的实施例中，缩略像产生模块20将分辨率降低的噪声模型88 与基础图像94组合以产生缩略像9。在某些实施例中，缩略像产生模块20将分辨 率降低的噪声模型88中的像素值与基础图像94的对应像素的值相加。在某些实施例中，基础图像94对应于通过对输入图像7进行低通滤波并下采样至 缩略像9的目标像素分辨率产生的标准缩略像。在其它实施例中，基础图像94对 应于输入图像7的分辨率降低版本，其合并了依照本文所述实施例的输入图像7的一些对 应局部区域的一个或多个分辨率降低的视觉表示。例如，在一个示例性实施例中，基础图像 94对应于图8所示的分辨率降低的模糊图像82。生成具有与输入图像中的噪声类似的外观的噪声的另一种方法涉及根据输入图 像来估计诸如方差和空间协方差等噪声模型参数，以及然后通过使用经滤波的伪随机数来 模拟具有这些特性参数的噪声过程。在某些实施例中，使用上述噪声建模方法中的一种的修改版本来对渗漏进行建 模，其中基于由包括渗漏的一组输入图像产生的缩略图的分析并选择产生最好地描绘包含 在输入图像中的渗漏的输出缩略像的一组噪声建模参数来选择噪声建模参数。C.对局部输入图像区域中的纹理进行建模输入图像有时包含高空间分辨率纹理。由于其高空间频率，不可能在较低分辨率 的缩略图中准确地反映纹理的结构。另一方面，在较低分辨率缩略图中可以反映纹理的某 些特定方面，诸如纹理局部能量的变化。在输入图像处理系统10的某些实施例中，视觉特征分析模块16生成可以被表示 为图像图(image map)的局部纹理模型。用于生成纹理模型的一种方法是首先通过对输入 图像应用局部边缘检测器并确定输入图像的局部区域内的边缘密度来找到纹理内容区。高 边缘密度的区域被视为是高度纹理化的。将此边缘密度图与输入图像的高通滤波版本相 乘，以得到近似高频纹理的纹理模型。将此图输入到分辨率降低模块18以生成反映输入图 像的纹理能量的低分辨率纹理模型。在这些实施例的某些中，通过在抖动网格上对图像图 进行子采样来生成低分辨率纹理能量模型。在某些实施例中，将低分辨率纹理模型输入到 缩略图产生模块20，其将低分辨率纹理模型与基础图像相加。在某些实施例中，基础图像对 应于通过对输入图像7进行低通滤波并下采样至缩略像9的目标像素分辨率产生的标 准缩略像。在其它实施例中，基础图像对应于输入图像7的分辨率降低版本，其合并了 依照本文所述的实施例的输入图像7的一些对应局部区域的一个或多个分辨率降低的视 觉表不。
P.熊M■應象随Φ白悔針棚■草图11示出输入图像处理系统10用来对输入图像7的局部区域中的多彩性进行建 模的方法的实施例。图12示出在此多彩性建模方法的各阶段处生成的信息的流程图。依照图11的多彩性建模方法，视觉特征分析模块16确定表示输入图像7中的 多彩性的输入图像多彩性模型96(图11，方框98)。多彩性的外观取决于它在其中出现 的空间图案(参见例如 Poirson 等人的 “Pattern-Color Separable Pathways Predict Sensitivity to Simple Colored Patterns，，, Vision Research,第 36 卷 No. 4, 515 526 页(1996))。在某些实施例中，可以通过Poirson等人所描述的模型来确定输入图像多彩性 模型96的多彩性，并可以调整输入图像多彩性模型96的色度增益的参数以修改色彩外观。分辨率降低模块18由输入图像多彩性模型96产生分辨率降低的多彩性模型 100(图11，方框10 。在某些实施例中，分辨率降低模块18通过将输入图像多彩性模型 96下采样至缩略像9的目标像素分辨率水平来产生分辨率降低的多彩性模型100。缩略像产生模块20基于分辨率降低的多彩性模型100来产生缩略像 9(图11，方框104)。在举例说明的实施例中，缩略像产生模块20将分辨率降低的多彩 性模型100与基础图像106组合以产生缩略像9。通常，缩略像产生模块20将分 辨率降低的多彩性模型100与基础图像106组合，其方式为修改基础图像106的像素值，使 得基础图像106的局部区域具有近似分辨率降低的多彩性模型100的对应区域的多彩性度 量的多彩性度量。在某些实施例中，基础图像106对应于通过对输入图像7进行低通滤波并下采样 至缩略像9的目标像素分辨率产生的标准缩略像。在其它实施例中，基础图像106 对应于输入图像7的分辨率降低版本，其合并了依照本文所述实施例的输入图像7的一些 对应局部区域的一个或多个分辨率降低的视觉表示。例如，在一个示例性实施例中，基础图 像106对应于图8所示的分辨率降低的模糊图像82。在另一示例性实施例中，基础图像106 对应于图10所示的缩略像9的版本。E.对局部输入图像区域中的镜面高光进行建模图13示出输入图像处理系统10用来对输入图像7的局部区域中的镜面高光进行 建模的方法的实施例。图14示出在此镜面高光建模方法的各阶段处生成的信息的流程图。 即使在文档的扫描期间未发生由于场景的三维几何结构而产生的镜面反射，文档有时的确 表现出原始场景的镜面性(specularity)。此镜面性有时在使用滤波接着是子采样而生成的标准缩略图中丢失。依照图13的镜面高光建模方法，视觉特征分析模块16确定表示输入图像7中的 镜面高光的输入图像镜面高光模型108(图13，方框110)。通常，视觉特征分析模块16可 以依照任何类型的镜面高光检测方法来检测包含镜面高光的输入图像7的局部区域。在某 些实施例中，通过以下方式来导出输入图像镜面高光模型首先通过自动地检验图像色彩 直方图来寻找警示性(telltale)高光色彩和高光直方图形状而将镜面区域分割、并随后 应用形态学算子来自适应地增长镜面区域以便它们然后在缩略图中变得更加可见。在某些 实施例中，结果得到的输入图像镜面高光模型108对应于识别包含镜面高光的输入图像7 的局部区域的掩码。分辨率降低模块18由输入图像镜面高光模型108产生分辨率降低的镜面高光模型112(图13，方框114)。在某些实施例中，分辨率降低模块18通过将输入图像镜面高光 模型108下采样至缩略像9的目标像素分辨率水平来产生分辨率降低的镜面高光模型 112。缩略像产生模块20基于分辨率降低的镜面高光模型112来产生缩略像 9(图13，方框116)。在举例说明的实施例中，缩略像产生模块20将分辨率降低的镜面 高光模型112与基础图像118组合以产生缩略像9。通常，缩略像产生模块20将 分辨率降低的镜面高光模型112与基础图像118组合，其方式为修改基础图像118的像素 值，使得缩略像9的局部区域具有近似分辨率降低的镜面高光模型112的对应区域中 的镜面高光的镜面高光。在某些实施例中，缩略像产生模块20可以依照镜面高光模型 112使用一个或多个合成操作来将人工镜面高光添加到基础图像118。在某些实施例中，基础图像118对应于通过对输入图像7进行低通滤波并下采样 至缩略像9的目标像素分辨率产生的标准缩略像。在其它实施例中，基础图像118 对应于输入图像7的分辨率降低版本，其合并了依照本文所述实施例的输入图像7的一些 对应局部区域的一个或多个分辨率降低的视觉表示。例如，在一个示例性实施例中，基础图 像118对应于图8所示的分辨率降低的模糊图像82。在另一示例性实施例中，基础图像118 对应于图10所示的缩略像9的版本。在另一示例性实施例中，基础图像118对应于图 12所示的缩略像9的版本。V.输入图像处理系统的第二示例件实施例图15示出输入图像处理系统3的实施例120。输入图像处理系统120包括视觉质 量特征表征模块5、输出缩略图发生器模块6的实施例121、和文档分割模块122。图16示出由输入图像处理系统120实现的方法的实施例。依照本实施例，文档分割模块112按照内容类型将输入图像IM分割成若干区域 (图16，方框126)。在此过程中，文档分割模块122分析输入图像124的内容以识别不同内 容类型的区域(例如，文本区域、照片图像区域、和图形区域)。文档分割模块122可以以各 种各样不同方式中的任何一种将输入图像1 分割成不同的内容区域。最初，文档分割模 块122典型地分析输入图像IM以识别其包含的信息的特定类型。在此过程中，仔细检查像 素行以确定文本及其它内容数据类型(例如，照片、艺术线条、和图形)的区域的边界。文 档分割模块122可以将多种不同类型的文档分析过程用于此目的，包括“投影切割”过程 (也称为“块分割”过程)，其使用贯穿文档的连续垂直和水平切割；“连通分量/涂抹”过程 (参见例如 K. Y. Wong 等人的"Document Analysis System，，，IBM J. Res. Development, 1982 年11月第6卷647 656页)；和“阈值、涂抹、和连通分量”过程(参见例如Pavlidis等 人的"Page Segmentation and Classification，，，CVGIP !Graphical Models and Image Processing，1992年11月第M卷No. 6，484 496页)。在举例说明的实施例中，如呈现 在图17中的输入图像124的放大图所示，文档分割模块122已检测出示例性输入图像IM 中的艺术线条(或图形)区域136、照片区域134、和文本区域138。文档分割模块122通常 确定用于每个所识别区域的边界(也称为“包围盒”)并将该包围盒传递到视觉质量特征表 征模块5。视觉质量特征表征模块5和输出缩略图发生器模块6依照上述缩略像生成方 法中的一个或多个来处理每个分割区域以生成用于一个或多个分割区域中的每一个的相应区域缩略像(图16，方框128)。每个区域缩略像具有低于输入图像124的像素 分辨率的像素分辨率。在某些实施例中，用来生成每个区域缩略图的缩略像生成过程 的相应类型和参数取决于对应输入图像区域的所检测内容。视觉质量特征表征模块5和输 出缩略图发生器模块6通常还产生用于整个输入图像124的基础缩略像。输出缩略图发生器模块6基于单独的区域缩略像来产生合成输出缩略 像130(图16，方框13 。输出缩略图发生器模块121可以以多种不同的方式产生合成输 出缩略像130。在某些实施例中，输出缩略图发生器模块121在为输入图像IM整体 生成的基础缩略像的对应区上叠加每个区域缩略像。在其它实施例中，输出缩略 图发生器模块130可以使用一个或多个合成操作(例如叠加合成操作和相加合成操作中的 一个或多个)来将区域缩略图和为输入图像1 整体生成的基础缩略像组合。关于可 以被图像产生模块20用来将该组分辨率降低的视觉表示48组合的合成操作的类型的附加 细节可以在 Porter 禾口 Duff 的"Compositing Digital Images “ , Computer Graphics,第 18卷No. 3，253 259页(1984年7月)中找到。在某些实施例中，在显示器4上再现单个合成输出缩略像130。在其它实施 例中，在显示器上再现合成缩略像130和单独区域缩略像中的一个或多个。图18 示出合成缩略像130和单独区域缩略像在显示器4上的示例性呈现。在本实施例 中，相应超链接将区域缩略像140、142、144中的每一个与合成输出缩略像130的 对应区域相关联。超链接的图形表示(例如，图形鼠标悬停效果或高光区域边界)被再现 在合成输出缩略像130的对应区域上。每个区域缩略像140 144响应于相关超 链接的对应图形表示的用户选择被再现在显示器4上。在某些实施例中，每个区域缩略图 图像140 144的呈现可以不确定地持续，直至被用户主动关闭或者在预定延迟时间段之 后消失为止。图19示出图像质量检查系统1的实施例150，其中，由文档扫描仪152(例如，可从 美国加利福尼亚州帕洛阿尔托的惠普公司获得的kanjet 扫描仪)来实现图像捕捉系统 2，输入图像处理系统3被合并在计算机系统154中，并且由计算机154中的显示控制器所 控制的计算机显示监视器156来实现显示器4。所述计算机系统包括处理单元(CPU) 155、系统存储器157、和将处理单元耦合 到计算机系统的各种组件的系统总线。处理单元155通常包括一个或多个处理器，每 个处理器可以是各种市售处理器中的任何一种的形式。所述系统总线可以是存储器总 线、外围总线或本地总线，并且可以与多种总线协议中的任何一种兼容，包括PCI、VESA、 MicroChannel (微通道)、ISA和EISA。计算机系统巧4还包括永久性储存存储器(例如， 硬盘驱动器、软盘驱动器、CD ROM驱动器、磁带驱动器、闪速存储器设备和数字视频盘)，其 连接到系统总线并包含提供数据、数据结构和计算机可执行指令的非易失性或永久性存储 的一个或多个计算机可读介质盘。系统存储器157通常包括只读存储器(ROM)和随机存取存储器(RAM)，只读存储 器(ROM)存储包含用于计算机系统的启动例程的基本输入/输出系统(BIOS)。系统存储器 157还存储输入图像处理系统3的实施例、⑶I驱动器、和包含对应于输入图像7和输出缩 略像9的图像文件、中间处理数据、及其它数据的数据库。在某些实施例中，计算机系统154另外包括扫描应用程序，其合并了输入图像处理系统3并被配置为控制文档扫描仪 152的操作且在显示监视器156上再现图像数据。用户可以使用一个或多个输入设备(例如，键盘158、计算机鼠标160、麦克风、操 纵杆和触摸垫)与计算机系统相交互(例如，输入命令或数据)。计算机系统巧4通常还 包括诸如扬声器和打印机的外围输出设备。一个或多个远程计算机可以通过网络接口卡 (NIC)连接到计算机系统154。可以通过在计算机显示监视器156上显示给用户的图形用户界面(⑶I) 162来呈 现信息。⑶I 162通常被集成到扫描软件工具(例如，可从加利福尼亚州帕洛阿尔托的惠 普公司获得的HP Precisior^can 扫描软件)中。⑶I 162包括呈现用于控制文档扫描仪 152的操作的选项的菜单166和工具栏168，其包括使得能够修改成像模块的一个或多个图 像捕捉参数的一个或多个用户可选工具。⑶I 162还包括用户可选控制按钮170。响应于 控制按钮170的用户选择，计算机系统巧4继续执行预定义文档处理工作流程(例如，对输 入图像7执行OCR分析、将输入图像7存档在存储在机器可读介质上的数据库中、打印输入 图像7、或例如通过电子邮件将图像的拷贝发送到网络目的地)。在举例说明的实施例中，⑶I 162还包括用于查看由文档扫描仪152捕捉的扫描 图像的预览窗口 164。在预览窗口 164中呈现扫描图像的缩略图版本。如上文所解释的，这 些缩略像提供对应扫描图像的视觉质量的改善表示。以此方式，用户可以快速且准确 地查明原始扫描图像的质量而不必执行打开原始图像文件并扫视原始图像的不同放大区 域的耗时且艰苦的任务。结果，用户能够确定是否继续关于输入图像的预定义文档处理工 作流程(例如，对输入图像执行OCR分析、将输入图像存档、或打印输入图像)或是否应该 用由文档扫描仪152使用不同捕捉设置捕捉的文档的另一图像来替代原始扫描文档图像。图20示出由影印机系统180实现的图像质量检查系统1的实施例。影印机系统 180包括输入图像处理模块3、包括显示器4的控制面板181、扫描模块182、打印模块184、 数据处理模块188、透明台板190和输出盘192。可以由影印机、文档扫描仪、传真机等中的任何一个的标准图像捕捉子系统来实 现扫描模块182。扫描模块182通常包括一个或多个图像传感器、一个或多个透镜和用于照 亮放置在台板190上的对象的一个或多个光源。可以由影印机、文档打印机、传真机等中的任何一个的标准打印子系统来实现打 印模块184。打印模块184通常包括向打印介质(例如纸张)施加标记剂(例如调色剂或 油墨)的打印引擎。数据处理模块188包括处理器和机器可读存储器。在举例说明的实施例中，以计 算机软件或固件来实现输入图像处理模块3，所述计算机软件或固件包括存储在机器可读 存储器上且被检索以便由处理器执行的机器可读指令。输入图像处理模块3通常被集成在 包括⑶I的扫描软件工具中。⑶I通常呈现用于控制影印机系统180的操作的选项，其包 括使得能够修改成像模块的一个或多个图像捕捉参数的一个或多个用户可选工具。GUI通 常还包括用户可选工作流程控制按钮。响应于工作流程控制按钮的用户选择，影印机系统 180继续执行预定义文档处理工作流程(例如，打印扫描输入图像)。⑶I还包括用于查看 由扫描模块182捕捉的扫描图像的预览窗口。由扫描模块182捕捉的扫描图像的缩略图版
15本被呈现在预览窗口中。如上文所解释的，这些缩略像提供对应扫描图像的视觉质量 的改善表示。以此方式，用户可以快速且准确地查明原始扫描图像的质量而不必执行打开 原始图像文件并扫视原始图像的不同放大区域的耗时且艰苦的任务。结果，用户能够确定 是否继续关于输入图像的预定义文档处理工作流程(例如打印扫描输入图像)或是否应该 用由扫描模块182使用不同捕捉设置捕捉的文档的另一图像来替代原始扫描文档图像。X.结论本文详细描述的实施例能够产生提供输入图像的视觉质量特征的改善表示的真 实感图像缩略图。以此方式，这些实施例使得用户能够准确地查明输入图像的质量。此信 息可以用来例如通过文档图像的缩略图的简单检查来快速地确定捕捉输入图像时的文档 图像的质量而不必执行打开原始图像文件并扫视原始图像的不同放大区域的耗时且艰苦 的任务。这些实施例还使得用户能够在捕捉文档的另一图像之前容易地确定用于各种图像 捕捉设置的期望调整。其它实施例在权利要求的范围内。
权利要求
1.一种计算机实现的方法，包括从图像捕捉系统( 获取具有第一像素分辨率的输入图像(7)；确定输入图像(7)的至少一个视觉质量特征中的每一个的相应表征；从输入图像(7)产生反映每个视觉质量特征的相应表征并具有低于所述第一像素分 辨率的第二像素分辨率的输出缩略像(9)；以及与图像捕捉系统O)的操作相关联地输出所述输出缩略像(9)。
2.权利要求1的方法，其中，所述产生包括产生输出缩略像(9)，使得其反映输入 图像(7)的布置、比例和局部细节。
3.权利要求1的方法，其中，所述确定包括从输入图像(7)的一个或多个局部区域中的每一个导出每个视觉质量 特征的相应表征，每个表征对应于相应的一个局部区域中的相应视觉质量特征的相应分辨 率降低的视觉表示(30)；以及所述产生包括从分辨率降低的视觉表示(30)产生输出缩略像(9)。
4.权利要求1的方法，其中，所述确定包括确定用于输入图像(7)的一个或多个局部区域中的每一个的相应模糊 参数值；以及对于每个所述局部区域，基于所述相应模糊参数值在第二像素分辨率下确定相应模糊 模型。
5.权利要求1的方法，其中，所述确定包括在第二像素分辨率下确定表征输入图像(7) 中的噪声的噪声模型(84)，并且所述产生包括基于输入图像(7)的子采样在第二像素分辨 率下产生基础图像(94)并基于噪声模型(84)与基础图像(94)的组合来产生输出缩略图 图像(9)。
6.权利要求1的方法，其中，所述确定包括选择表征输入图像(7)中的渗漏的噪声模型 (84)，并且所述产生包括基于所选噪声模型(84)来产生输出缩略像(9)。
7.权利要求1的方法，其中，所述确定包括按照内容类型将输入图像(124)分割成区域 (134、136、138)，并对每个分割区域(134、136、138)执行所述确定。
8.权利要求7的方法，还包括对于一个或多个分割区域(134、136、138)中的每一个生成具有低于第一像素分辨率的像素分辨率的相应区域缩略像(140、142、144)，以及生成将所述区域缩略像与输出缩略像130的对应区域相关联的相应超链接；其中，所述再现包括在再现的缩略像上再现超链接的图形表示并响应于所述超链 接的图形表示的用户选择再现所述区域缩略像(140、142、144)。
9.权利要求1的方法，其中，所述输出包括与图像捕捉系统(2、152)的操作相关联地在 显示器(4、156)上的预览窗口(17、164)中再现输出缩略像(9)。
10.权利要求9的方法，其中，所述再现包括在图形用户界面(162)的预览窗口(164) 中再现输出缩略像(9)，图形用户界面(16 呈现使得能够修改图像捕捉系统(152)的 一个或多个图像捕捉参数的一个或多个用户可选工具(166、168)。
11.权利要求10的方法，其中，所述再现包括在图形用户界面(16 中呈现用户可选按 钮(170)；以及还包括响应于按钮(170)的用户选择继续预定义文档处理工作流程。
12.一种装置，包括 显示器(156)； 存储器(157)；以及处理单元(155)，其耦合到存储器(157)和显示器(156)并在操作中用于执行包括以下 各项的操作从图像捕捉系统(15 获取具有第一像素分辨率的输入图像(7)； 确定输入图像(7)的至少一个视觉质量特征中的每一个的相应表征； 从输入图像(7)产生反映每个视觉质量特征的相应表征并具有低于所述第一像素分 辨率的第二像素分辨率的输出缩略像(9)；以及与图像捕捉系统(152)的操作相关联地输出所述输出缩略像(9)。
13.权利要求12的装置，其中，在所述产生中，所述处理单元(155)在操作中用于产生 输出缩略像(9)，使得其反映输入图像(7)的布置、比例和局部细节。
14.权利要求12的装置，其中在所述确定中，所述处理单元(15 在操作中用于从输入图像(7)的一个或多个局部 区域中的每一个导出每个视觉质量特征的相应表征，每个表征对应于相应的一个局部区域 中的相应视觉质量特征的相应分辨率降低的视觉表示(30)；以及在所述产生中，所述处理单元(15 在操作中用于从分辨率降低的视觉表示(30)产生 输出缩略像(9)。
15.权利要求12的装置，其中在所述确定中，所述处理单元(155)在操作中用于确定用于输入图像(7)的一个或多 个局部区域中的每一个的相应模糊参数值；以及对于每个所述局部区域，所述处理单元(155)在操作中用于基于所述相应模糊参数值 来在第二像素分辨率下确定相应模糊模型。
16.权利要求12的装置，其中，在所述确定中，所述处理单元(155)在操作中用于在第 二像素分辨率下确定表征输入图像(7)中的噪声的噪声模型(84)，并且在所述产生中，所 述处理单元(15 在操作中用于基于输入图像(7)的子采样在第二像素分辨率下产生基础 图像(94)并基于噪声模型(84)与基础图像(94)的组合来产生输出缩略像(9)。
17.权利要求12的装置，其中，在所述确定中，所述处理单元(155)在操作中用于按照 内容类型将输入图像(124)分割成区域(134、136、138)，并对每个分割区域(134、136、138) 执行所述确定。
18.权利要求17的装置，其中，对于一个或多个分割区域(134、136、138)中的每一个， 所述处理单元(155)在操作中用于执行包括以下各项的操作生成具有低于第一像素分辨率的像素分辨率的相应区域缩略像(140、142、144)，以及生成将所述区域缩略像(140、142、144)与输出缩略像(130)的对应区域相关 联的相应超链接；其中，在所述再现中，所述处理单元(15 在操作中用于在再现的缩略像(130)上 再现超链接的图形表示并响应于所述超链接的图形表示的用户选择来再现所述区域缩略像(140、142、144)。
19.权利要求12的装置，其中，在所述输出中，所述处理单元(155)在操作中用于与图 像捕捉系统O)的操作相关联地在显示器(4)上的预览窗口(17)中再现输出缩略像 ⑶。
20.一种存储促使计算机(154)执行包括以下各项的操作的计算机可读指令的计算机 可读介质(157)从图像捕捉系统(15 获取具有第一像素分辨率的输入图像(7)； 确定输入图像(7)的至少一个视觉质量特征中的每一个的相应表征； 从输入图像(7)产生反映每个视觉质量特征的相应表征并具有低于所述第一像素分 辨率的第二像素分辨率的输出缩略像(9)；以及与图像捕捉系统(152)的操作相关联地在显示器(156)上的预览窗口(164)中再现输 出缩略像(9)。
全文摘要
从图像捕捉系统(2)获取具有第一像素分辨率的输入图像(7)。确定输入图像(7)的至少一个视觉质量特征中的每一个的相应表征。由输入图像(7)产生输出缩略像(9)。输出缩略像(9)反映每个视觉质量特征的相应表征。输出缩略像(9)具有低于第一像素分辨率的第二像素分辨率。与图像捕捉系统(2)的操作相关联地输出所述输出缩略像(9)。
文档编号H04N1/409GK102113306SQ200880129350
公开日2011年6月29日 申请日期2008年3月20日 优先权日2008年3月20日
发明者丹尼尔·特雷特, 基思·摩尔, 沙马丹尼·拉敏 申请人:惠普开发有限公司