专利名称：基于相机用户输入的图像价值指数的制作方法
技术领域：
本发明涉及数字摄影方法、系统和相机，更具体涉及基于用户对相
机的输入的图像价值指数(image value index)。
背景技术：
数字成像极大地增加了用户积聚非常大量的静态图像、视频图像序 列和结合一个或多个图像和其它内容的多媒体记录的能力。(静态图 像，视频序列和多媒体记录在这里集中地以术语"图像记录"指代)。 伴随非常大量的图像记录，组织变得困难。
已经进行了努力来通过将向用户指示了期望值的度量的元数据分 配给各个图像记录，来组织和利用图像记录。例如，New York, Rochester 的Eastman KodakCompany发售的V-550数字相冲几，包括标记为"共享，， 的用户控制，可以由用户致动来将相应的图像指定为优先打印和电子邮 寄。这种方案是有用的，但是受到度量是二进制的限制。
Matraszek等人提交的美国专利申请公开No. 2003/0128389 Al，揭 示了图像记录重要性的另一种度量，"情感信息"，其可以采取多值的 元数据标签的形式。情感信息可以是手动输入或者可以自动检测用户反 应，包括用户启动特定图像的利用，诸如图像被打印或者经由email发 送给其他人多少次。在任一种情况中，以特定的用户识别情感信息。这 种方案是有用的，但是在自动检测用户反应的情况下是复杂的。还有用 户反应是不清楚的风险。
授予Savakis等人的美国专利No. 6671405揭示了另一种方案，其 没有用户介入地计算图像的"侧重和吸引力"的度量。第一度量基于多 个因素，这些因素可以包括图像语义内容(例如，人物，脸部)；客 观特征，诸如视彩度(Colorfulness)和锐度；以及主要物体特征，诸如 主要物体的大小。第二度量相对于收集中的其他图像比较这些因素。使 用受训的推理引擎来集成这些因素。美国专利公开No. 2004/0075743有 些类似，并揭示了基于用户选择的图像中的语义内容或者客观特征的参数的图像的图像分类。这些方案具有从图像本身工作的优点，而具有计 算上很密集的缺点。
从而期望提供一种用户价值度量，具有低的不清楚的风险并且计算 上不密集。
发明内容
本发明由权利要求所限定。本发明，在较广的方面，提供了一种图 像评估方法，相机和系统，其中用相机对场景成像。在成像的同时接收 用户对相机的输入。这些输入每个定义了相机的多个操作功能中的 一个
的设置。对这些输入估值(value)来提供一组输入值。使用这些输入 值计算图像价值指数。
本发明的一个有益效果是提供了改进的方法，相机和系统，其中用 户值度量具有低的不清楚的风险并且计算上不密集。
通过结合附图参考本发明实施例的下列描述，本发明的上述和其他 特征和目的以及获得它们的方式将变得更为明显并且本发明本身将被 更好地理解，附图中
图1是本方法的实施例的流程图。
图2是图1的方法的更详细的部分流程图，示出从图像采集到关联 了图像价值指数的图像记录的路径。
图3是图1的方法的修改的详细的部分流程图，示出图2的路径之 后的步骤。
图4是图1的方法的另一个修改的详细的部分流程图，示出图2的 路径之后的步骤。
图5是图1的方法的再一个修改的详细的部分流程图，示出图2的 路径之后的步骤。
图6是图1的方法的又一个修改的详细的部分流程图，示出图2的 路径之后的步骤。
图7是本发明的相机的实施例的示意图。
图8是系统的实施例的示意图。
图9是图7的相机的半示意性后视图。
具体实施例方式
在本方法中，定义相机的操作设置的用户输入可以被用于得到用相 机采集的图像记录的图像价值指数。可以在成像中确定补充参数，并且 图像价值指数响应于这些补充参数而被修改。在成像之后，图像价值指 数保持与数据库中的图像记录关联，并在图像记录的利用期间保持。利 用资源的利用和/或可用性可以由图像价值指数控制。图像价值指数还 可以或者替代地响应于该利用而^皮修改。
动词"成像"这里被用于指称相机在形成场景的图像过程中的操作。 取景器通过目镜之类成像光图像。取景器成像在这里也被称为"取景"
一图像。摄影透镜(taking lens )将光图像成像到图像传感器上来采 集电子图像。摄影透镜到图像传感器成像在这里也被称为"图像采集"。 相机还可以通过在显示器上着色之前采集的场景的数字图像，这产生该 场景的光图像，成像之前采集的场景。这种显示器成像在这里也被称为 "显示" 一图像。
术语"档案图像"在这里被用于指称在采集事件之后存储在存储器 中并且用户可以访问的数字图像。档案图像区分于在场景的光图像的采 集中产生的其他非档案电子图像。这种非档案图像包括通向档案图像的 成像链中较早的图像，诸如相机的图像传感器采集的原始模拟电子图 像，以及通过数字化原始模拟图像而产生的原始数字图像。在这些情况 中，非档案图像和得到的档案图像都是从相同的光图像产生的。另一种 类型的非档案图像是在取景、设置曝光和聚焦之类中使用的图像。这些 非档案图像可以在取景器之类上显示给用户，但是不能用于采集之后的 常规使用。这些非档案图像可以由用于存储它们的存储器的再次使用而 -故自动删除。
术语"图像记录"在这里用于指称数字静态图像，视频序列或者多 媒体记录。图像记录包括与声音或者其他数据任意组合的一个或多个图 像，而不包括任何非档案图像。例如，图像记录包括多重频谱图像，无 扫描范围(scannerless range)图<象，数字相册页面，以及多士某体祸L 频演示。这里的讨论一般针对使用数字相机采集的图像记录。图像记录 也可以使用其他采集装置以及通过使用照相胶片或者其他手段并接着 数字化而采集。如这里所讨论的，图像记录与关联的信息一起数字地存储。
术语"曰期-时间"在这里用于指称时间相关的信息，诸如日子的
日期和时间；然而，日期-时间可以;帔限制到特定的对间单位，诸如没 有时间的日期信息。
在下面的描述中， 一些特征被描述为"软件"或者"软件程序"。 本领域技术人员将理解这种软件的等价物也可以容易地以硬件构造。因 为图像处理算法和系统是熟知的，本描述强调形成本方法的 一部分或者 更直接地与本方法合作的算法和特征。数字静态和视频相机的一般特征 以及计算机化的系统类似地也是熟知的，本描述一般限定于直接与本发 明的方法相关的那些方面。这里没有具体示出或者描述的这种算法和装 置的其他方面，以及用于产生或者处理其中涉及的图像信号的硬件和/ 或软件，可以从本领域中已知的这种系统、算法、组件和元件中选择。 给定这里提出的描述，所有其他的软件/硬件实施是传统的并且是在本 领域的常规技术之内。
本发明可以在计算机硬件和计算机化的设备中实施。例如，本方法 可以使用包括一个或者多个数字相机或者其他采集装置和/或一个或多 个个人计算机的系统来实施。参考图8,示出用于实施本发明的计算机 系统110。尽管为了示例说明优选实施例的目的而示出计算机系统110, 本发明不限于所示出的计算机系统110,而是可以与任何电子处理系统 一起使用，诸如数字相机、蜂窝相机电话以及其他移动装置、家用计算 机、售货亭、零售或批发照片冲洗、或者用于数字图像的处理的任何其 他系统中找到的那些。计算机系统110包括基于微处理器的单元112(这 里也称为数字图像处理器)，用于接收和处理软件程序并用于执行其他 处理功能。显示器114电连接到基于微处理器的单元112，用于显示与 软件关联的用户相关的信息，例如，通过图形用户界面。键盘116也连 接到基于微处理器的单元112,用于允许用户输入信息到软件。作为对 将键盘116用于输入的替代，可以使用鼠标118来在显示器114上移动 选择器120以及来选择选择器120所覆盖的项目，如本领域熟知的。
可以包括任何形式的可移动存储器(removal memory),并且可移 动存储器被示例为光盘只读存储器(CD-ROM) 124,其可以包括软件程 序，可移动存储器被插入到基于微处理器的单元，用于提供输入软件程 序以及其他信息到基于微处理器的单元112的手段。可以提供多种类型的可移动存储器(这里用软盘126作为示例)并且数据可以被写到任何 适合类型的可移动存储器。存储器可以是外部的并且使用有线或者无线 的连接，或者直接地、或者通过局域网或者广域网，诸如因特网，来访 问。更进一步，基于微处理器的单元112可以被编程，如本领域熟知的， 以便内部地存储软件程序。打印机或者其他输出装置128也可以连接到 基于微处理器的单元112,以便打印来自计算机系统110的输出的硬拷 贝。基于微处理器的单元112可以具有网络连接127,诸如电话线或者 无线链接，到外部网络，诸如局域网或者因特网。
图像也可以通过存储卡，诸如包含电子地内含在卡130中的数字化 的图像的个人计算机卡(PC卡)130，诸如作为之前所知的，PCMCIA 卡(基于Personal Computer Memory Card International Association 的规范)显示在显示器114上。PC卡130最终被插入到基于微处理器的 单元112中，以便允许图像在显示器114上的视觉显示。替代地，可以 将PC卡130插入连接到基于微处理器的单元112的位于外部的读卡器 132中。图像还可以通过光盘124、软盘126或者网络连接127输入。 PC卡130、软盘126或者光盘124中存储的，或者通过网路连接127输 入的任何图像，可能是从多种源诸如数字相机或者扫描仪获得的。图像 也可以经由连接到基于微处理器的单元112的相机进站端口 (camera docking port) 136直接从数字相机134输入，或者经由到基于微处理 器的单元112的电缆连接138或者经由到基于微处理器的单元112的无 线连接140直接从数字相机134输入。
输出装置128提供已经接受过转换的最终图像。输出装置可以是打 印机或者提供纸张或者其他硬拷贝最终图像的其他输出装置。输出装置 也可以是提供最终图像作为数字文件的输出装置。输出装置也可以包括 输出，诸如打印的图像和在诸如CD或DVD的存储器单元上的数字文件， 的组合，其可以与任何多种家用和便携式观看装置一起使用，诸如"个 人媒体播放器，，或者"平屏幕TV"。
基于微处理器的单元112提供了用于处理数字图像以便在预期的输 出装置或者介质上产生看起来令人愉快的图像的装置。本发明可以与各 种输出装置一起使用，这些输出装置可以包括但不限于数字照相打印机 和软拷贝显示器。基于微处理器的单元112可以被用于处理数字图像， 来对数字图像的整体亮度、色调阶(tone scale)、图像结构等进行调节，调节方式为使得图像输出装置产生看起来令人愉快的图像。本领域 技术人员将理解本发明不限于仅这些提到的图像处理功能。
数字图像包括一个或多个数字图像通道或者色彩分量。每个数字图 像通道为像素的二维阵列。每个像素值涉及对应于像素的物理区域的成 像采集装置所接收的光量。对于彩色成像应用，数字图像将通常由红色、 绿色、和蓝色数字图像通道构成。运动成像应用可以被认为是数字图像 的序列。本领域技术人员将理解本发明可以被应用到，但是不限于任何 这里提到的应用的数字图像通道。尽管数字图像通道被描述为按行和列 排列的像素值的二维阵列，本领域技术人员将理解本发明可以等价的效 果应用到非线性的阵列。
图8中所示的通用控制计算机可以存储在计算机可读存储介质中存
储了程序的计算机程序产品，计算机可读存储介质例如可以包括磁存 储介质、例如磁盘(诸如软盘)或者磁带；光存储介质，诸如光盘，光 带或者机器可读条形码；固态电子存储装置，诸如随机存取存储器 (RAM)，或者只读存储器(ROM)。关联的计算机程序也可以被存储在 用来存储由离线存储装置所指示的计算机程序的任何其他物理装置或 介质上。
应当注意，本发明可以软件和/或硬件的组合实施，并且不限于物 理地连接的和/或位于相同的物理位置内的装置。图8中示出的装置中 的一个或者多个可以位于远程的位置并且经由网络连接。这些装置中的 一个或者多个可以无线地，诸如通过射频链接，或者直接地或者通过网 络连接。
本发明可以在各种用户语境(context)或者环境中采用。示例的 语境和环境不限制地包括，批发数字照片沖洗(涉及示例处理步骤或者 阶段，诸如胶片输入，数字处理，印出)，零售数字照片沖洗(胶片输 入，数字处理，印出)，家庭打印(家庭扫描的胶片或者数字图像，数 字处理，印出)，桌面软件(对数字印刷应用算法来使得它们更好，或 者甚至就是改变它们的软件)，数字实现(数字图像输入一从介质或者 在web上，数字处理，图像输出一以介质上的数字形式，web上的数字 形式，或者打印在硬拷贝印刷上)，零售亭(数字或扫描输入，数字处 理，数字或硬拷贝输出)，移动装置(例如可以用作处理单元、显示单 元或者给出处理指令的单元的相机，PDA或者蜂窝电话)，以及作为通过环球网提供的服务。
在每种语境中，本发明可以是独立的或者是更大系统解决方案的一
个纟且4牛。jt匕夕卜，人接口 (human interface),例^口434葛或者输入、凄丈 字处理、给用户的显示(如果需要)、用户请求或者处理指令的输入(如 果需要、输出，每个都可以在相同或者不同的装置和物理位置，并且各 装置和各位置之间的通信可以经由公用或者私有网络连接，或者基于介 质的通信。在符合本发明的前述揭示的地方，本发明的方法可以是完全 自动的，可以具有用户输入(完全或者部分手动)，可以让用户或者操 作者查看来接受/拒绝结果，或者可以由元数据帮助(元数据可以是用 户提供的，(例如照相机中的)提供的测量装置，或者由算法确定的)。 此外，(多个)算法可以用各种工作流用户接口方案接口。
这里揭示的相机具有实践本发明所必须的特征。其他特征对于本领 域技术人员是熟知的。在下面，相机有时候被称为静态相机和视频相机。 将理解相应的术语包括专门的静态相机和视频相机两者以及静态/视频 相机的组合，如对相应的静态或者视频采集功能所使用的。还将理解相 机可以包括这里没有详细讨论的很多不同特征中的任何特征，诸如，可 拆卸和可更换的透镜和多重采集单元。相机可以是便携的或者在位置上 固定，并且可以提供与成像有关或者无关的一个或者多个其他功能。例 如，相机可以是蜂窝电话相机或者可以提供某种其他方式的通信功能。
参考图7和9，在特定的实施例中，相机10具有机身11,提供结 构支撑和对其他组件的保护。机身11可以被改变来满足特定使用的要 求和样式考虑。电子图像采集单元12,安装在机身ll内，具有摄影透 镜14和与摄影透镜14对准的电子阵列图像传感器16。相机10具有用 户界面13，向拍摄者提供输出并接收拍摄者输入。用户界面13包括一 个或者多个用户输入控制(在图7中标记为"用户输入，，)以及图像显 示器30。用户输入控制可以包括快门开关17，控制透镜单元的变焦的
"缩/放"控制19,以及其他用户控制21。用户输入控制可以是按钮， 翘板开关(rocker switch),操纵杆，拨盘，触摸屏，麦克风和采用 响应于用户发起的听觉命令的语音识别的处理器之类的组合的形式。用 户界面可以包括用户反应跟踪特征，诸如图像传感器，电流响应传感器 (galvanic response sensor), 上述的麦克风。这些特征可以存储没 有分析过的信息供后续的分析，或者能够分析用户响应并生成适当的元数据的模块可以被包括在用户界面中。Matraszek等人提交的美国专利 申请7>开No. 2003/0128389A1,讨论了从用户反应跟踪生成元数据。
用户界面13可以包括一个或多个信息显示器66以便呈现相机信息 给拍摄者，诸如曝光等级、曝光剩余、电池状态、闪光灯状态之类。图 像显示器30也可以替代地或者附加地被用于显示非图像信息，诸如相 机设置。例如，图形用户界面(GUI )可以被提供，包括呈现选项选择 的菜单以及用于检查采集的图像的查看模式。图像显示器30和数字取 景显示器(未示出)都可以提供相同的功能，并且可以去除其中的一个 或另一个。相机可以包括扬声器和/或麦克风(未示出)，以便接收音 频输入和提供音频输出。
当作为静态相机使用时，相机10评估环境光照和/或其他条件，并 确定场景参数，诸如快门速度和光圈设置。非档案电子图像的流以连续 的序列采集，并显示给拍摄者。非档案图像的采集在快门开关或者触发 器17被解扣(trip)时结束，并且档案图像被采集。在视频采集模式 中，只要触发器被致动或者打开接着关上(toggle),就一直以流采集 档案图像。很多静态数字相机具有双沖程快门开关。典型地，快门按钮 的部分按压致动通常被称为Sl的开关，而快门按钮的完全按压致动通 常被称为S2的开关。(完全按压也被称为"S1-S2"冲程。)连续流的 非档案图像在第一冲程时被采集，而在第二沖程时采集单个档案图像。
当拍摄者解扣快门开关时，来自目标场景的光沿着光路20传播通 过摄影透镜12撞击图像传感器16,产生模拟电子图像，该模拟电子图 像接着被数字化并被数字地处理。(为了方便，这里一般关于单个静态 图像讨论图像采集，类似的考虑适用于成串(burst)的多个静态图像 和视频序列的采集。)
使用的图像传感器16的类型可以不同，但是高度优选图像传感器 是几种可用的固态图像传感器之一。例如，图像传感器可以是电荷耦合 器件(CCD) , CM0S传感器(CMOS),或者电荷注入器件(CID)。控制 单元22的一些组件与图像传感器16—起工作。在所示例的相机中，那 些组件是时钟驱动器(这里也被称为定时发生器)24,模拟信号处理器 26和模拟-数字转换器/放大器(A/D) 28。这些组件也可以被与图像传 感器一起结合到单个单元中。例如，利用允许其他组件被集成到相同的 半导体管芯上的工艺制造CMOS图像传感器。电子图像采集单元16用三个或者更多色彩通道采集图像。目前优 选与滤色器一起使用单个图像传感器16，然而，也可以使用多个单色图 像传感器和滤色器。适当的滤色器对于本领域技术人员是熟知的，并且， 在一些情况下被与图像传感器16结合来提供整体的组件。本领域技术 人员将理解，这里关于具有多个色彩通道的数字图像描述的一些过程也 可以;故限定到这些通道中的一个或者多个，但是少于所有的通道。这种 方案的适合性可以试探法地确定。
图像显示器30由图像显示驱动器或者控制器32驱动，并产生供用 户观看的光图像(这里也被称为"显示图像")。可以使用不同类型的 图像显示器30。例如，图像显示器可以是液晶显示器("LCD"),阴 极射线管显示器；或者有机电致发光显示器("0LED"，也被称为有机 发光显示器，"0LED，，)。显示器30可以安装在机身的背面或者顶部， 从而容易地由拍摄者在拍摄照片之后立即观看。
来自图像传感器16的每个像素的电信号，与到达该像素的光的强 度和允许该像素累积或者积分来自入射光的信号的时间的长度相关。该 时间被称为积分时间或者曝光时间。积分时间由快门34控制，快门34 可以在打开状态和关闭状态之间切换。快门34可以是机械的或者电机 械的，或者可以作为电子图像采集单元的硬件和软件的逻辑功能提供。 例如，某些类型的图像传感器16允许通过复位图像传感器并接着在一 些时间之后读出该图像传感器，来电子地控制积分时间。当使用CCD时， 图像传感器16的积分时间的电子控制可以通过将累积的电荷移动到提 供在非感光区的遮光的寄存器下来提供。这可以是一个完整的帧，如在 帧转移器件CCD中，或者是水平线，如在线间转移器件CCD中。适当的 器件和过程对本领域技术人员是熟知的。从而，定时发生器24可以提 供一种方式来控制图像传感器何时活动地记录图像。在图7的相机中， 快门34和定时发生器24—起确定积分时间。
总体光强度和积分时间的组合被称为曝光。等价的曝光可以通过光 强度和积分时间的各种组合实现。尽管曝光是等价的，光强度和积分时 间的特定的曝光组合，对于采集给定的场景图像，可以是比其他等价曝 光优选的。尽管图7示出几种膝光控制元件， 一些实施例可以不包括这 些元件中的一个或者多个，或者可以有控制曝光的替代的机制。相机可 以有对与所示例的那些的替代特征。例如，也用作光圈的快门，对于本领域技术人员是熟知的。
在所示例的相机中，滤光器组件36和光圏38改变传感器16处的 光强。每个都是可调节的。光圏38使用机械孔径(未示出)阻断光路 中的光，来控制到达图像传感器16的光的强度。孔径的大小可以是连 续可调的，步进的，或者其他方式变化的。作为替代，光圈38可以是 可》文入光路20中并可以/人光路2G中移开的。滤光器组件36同样可以 变化。例如，滤光器组件36可以包括可以;波旋转到或者以其他方式移 动到光路20中的一组不同的中性密度滤光器(未示出)。
再次参考图7，相机10具有的光学系统18包括摄影透镜14,并且 还可以包括取景器25的组件(未示出)。光学系统18可以采取很多不 同的形式。例如，摄影透镜18可以完全与光学取景器分开，或者与具 有在内部取景器显示器40上的目镜(未示出)的数字取景器分开。取 景器和摄影透镜也可以共享一个或者多个组件。这些和其他替代光学系 统的细节对于本领域技术人员是熟知的。为了方便，此后一般关于具有 包括取景器显示器40和也可以被用来观看场景的分开的相机上显示器 30的实施例来讨论光学系统，如数字相机中通常所做的。
摄影透镜14可以是简单的，诸如具有单个焦距和手动对焦或者固 定焦点，但这不是优选的。在图7中所示的相机中，摄影透镜12是电 机化的缩放透镜，其中一个或者多个移动元件被缩放驱动器相对于一个 或者多个其他透镜元件驱动。这允许透镜的有效焦距被改变。数字缩放 (数字图像的数字放大)也可以代替或者结合光学缩放使用。摄影透镜 也可以包括可以插入光路或者从光路移开的元件或组(未示出)，诸如 用于提供微距(macro)(近聚焦)能力。
相机的摄影透镜14还优选是自动聚焦的。例如，自动聚焦系统可 以提供使用被动或者主动自动聚焦或者两者的组合的聚焦。参考图7， 自动聚焦系统具有测距器42,其发送信号给控制单元22来提供成像的 场景的一个或多个距离范围。控制单元22进行信号的焦点分析，并接 着操作聚焦驱动(focus drive)或者控制44来移动摄影透镜14的一 个或者多个可聚焦元件(没有分开地示出)。测距器42的功能可以替 代地作为采集单元12的软件和硬件功能提供。
相机10包括亮度传感器46。在图1中，亮度传感器可以如同所示， 以一个或者多个分立元件的形式提供。亮度传感器46具有驱动器(未示出)，其操作单个或者多个传感器，并提供表示场景光强度的信号给
控制单元40，用于场景的曝光的分析。作为一个选项，该信号还可以提
供色彩平衡信息。可以被用于提供场景照明和色彩值中的一个或者两者
并且与电子图像采集单元16分开的适当的亮度传感器的一个示例，在 美国专利No.4887121中有所揭示。亮度传感器也可以作为采集单元的 硬件和软件的逻辑功能提供。
图7的相机包括具有闪光灯单元控制器50(在图7中标记为"闪光 灯控制")的闪光灯单元48,闪光灯单元控制器50具有电子控制的施 照体52 (在图7中标记为"闪光灯")，诸如氯闪光灯管。可以可选地 提供闪光灯传感器52,其响应于档案图像采集中从场景感应的光或者通 过在档案图像采集之前的预闪光输出信号。闪光灯传感器信号被用于通 过专门的闪光灯单元控制器50控制闪光灯单元48的输出。作为替代， 可以去掉闪光灯单元控制器50,并且可以作为控制单元22的功能提供 闪光灯控制。闪光灯输出也可以是固定的，或者基于其他信息，诸如聚 焦距离而变化。闪光灯传感器54和亮度传感器46的功能可以被组合到 单个部件中或者作为采集单元12和控制单元22的逻辑功能来提供。
控制单元22控制或者调节曝光调节元件或者其他相机部件，便于 传输图像和其他信号，并执行与图像相关的处理。图7中所示的控制单 元22，包括系统控制器56、定时发生器24、模拟信号处理器26、 A/D 转换器28、数字信号处理器58、以及存储器60a-60d。用于控制单元 22的适当的部件对于本领域技术人员是已知的。这些部件可以如同例举 的，或者通过单个物理装置，或者通过大量的分离部件提供。系统控制 器56可以采取适当地配置的微计算机的形式，诸如具有用于数据操作 和一般程序执行的RAM的嵌入的微处理器。控制单元22的修改是可行 的，诸如这里其他地方所描述的那些。
定时发生器24以定时关系提供所有电子部件的控制信号。单个的 相机10的校正值被存储在校正存储器(没有分开地示出)中，诸如 EEPR0M，并提供给系统控制器56。用户界面的部件被连接到控制单元 22,并借助于在系统控制器56上执行的软件程序的组合而工作。控制 单元22还操作其他部件，包括驱动器和存储器，诸如缩放控制62,聚 焦控制44，微距控制64,显示器驱动器32,以及用于快门34、光圈36、 滤光器组件、以及取景器和状态显示器40, 66的其他驱动器(未示出)。相机10可以包括其他部件来提供补充给采集的图像信息的信息。
这种部件76的一个示例是图7中所示的取向传感器。其他示例包括实 际时间时钟、全球定位系统接收器、以及用于输入用户标题或者其他信 息的小键盘或者其他输入装置。
将理解所示出和描述的这些电路可以本领域技术人员熟知的各种 方式修改。还将理解这里关于物理电路描述的各种特征，可以替代地作 为固件或者软件功能或者两者的组合来提供。类似地，这里被示出为分 开的单元的部件的可以被方便的组合或者共享。可以在分布的位置提供 多个组件。
来自图像传感器的采集的电子图像被模拟信号处理器26和A/D转 换器28放大、处理并从模拟转换到数字。得到的数字电子图像接着被 在数字信号处理器58中使用DSP存储器60a和后续的处理而处理，被 存储在系统存储器60b和/或可移除存储器60c中。被示例为数据总线 68的信号线，电子地连接图像传感器16、系统控制器56、处理器58、 图像显示器30、存储器60a-60d,以及其他电子部件；并提供地址信号 和数据信号的通路。
"存储器，，指的是在半导体存储器或者磁存储器之类中提供的物理 存储器的一个或多个适当大小的逻辑单元。存储器60a-60d可以分别是 任何类型的随机存取存储器。例如，存储器可以是内部存储器，诸如， 例如SDRAM或者闪存EPROM存储器，或者替代地是移动存储器，或者两 者的组合。移动存储器60c可以被提供用于档案图像存储。移动存储器 可以是任何类型，诸如Compact Flash ( CF)或者Secure Digital ( SD ) 型卡，插入插座70并经由存储卡接口 72连接到系统控制器56。利用的 其他类型的存储不限制地包括PC卡，多媒体卡(薩C),或者嵌入和/ 或移动硬盘驱动器。
系统控制器56和数字信号处理器58可以由存储在用于图像存储的 相同的物理存储器中的软件控制，但是优选系统控制器56和数字信号 处理器58由存储在专门的存储器60d，例如ROM或者EPROM固件存储器 中的固件控制。也可以提供分开的专用存储器单元来支持其他功能。其 上存储了釆集的图像的存储器可以固定在相机10中或者可移动，或者 两者结合。所用的存储器的类型以及信息存储的方式，诸如光或磁或电 子的不是关键的。例如，移动存储器可以是软盘，CD, DVD，盒带，或者闪存存储卡或者棒。可以利用移动存储器来以数字形式从或者向相机 传输图像记录，或者可以作为电子信号传输那些图像记录。
所示例的相机具有多个处理器。尽管这种在多个控制器和处理器之 间划分相机功能控制是典型的，这些控制器或处理器被以各种方式组合 而不影响相机的功能操作。这些控制器或处理器可以包括一个或者多个 数字信号处理器装置、微控制器、可编程逻辑器件、或者其他数字逻辑 电路。尽管已经描述了这种控制器或处理器的组合，应该很明显一个控 制器或者处理器可以执行所有需要的功能。所有这些变化可以执行相同 的功能。
在所示例的实施例中，数字信号处理器58根据永久地存储在程序 存储器60d中并复制到存储器60a中供在图像采集期间执行的软件程 序，操作其存储器60a中的数字图像数据。数字信号处理器58执行实 施图像处理所必须的软件。数字图像还可以如同与其他数字相机中相同 的方式被修改以增强图像。例如，可以由数字信号处理器处理图像来提 供插值和边缘增强。数字处理可以给图像提供修改以便用作相机的显示 器上的显示图像，以及给档案图像提供修改以便以特定的文件结构存 储。例如，为了被显示，图像可能需要被转换以便适应显示器、成像器 和电子釆集单元的其他部件灰阶、色域和白点方面不同的能力。显示的 图像可以被裁剪，分辨率和/或对比度方面的降低，或者图像中的一些 其他部分的信息可能不会被显示。与文件传输相关的修改，可以包括的 操作诸如JPEG压缩和文件格式化。在两种情况下都还可以提供增强。 图像修改还可以包括添加元数据，即，与图像记录关联的非图像信息。
系统控制器56基于存储在程序存储器60d中的软件程序，控制相 机的总体操作，程序存储器60d可以包括闪存EEPROM或者其他非易失 性存储器。存储器60d还可以被用于存储图像传感器校正数据、用户设 置选择和其他在相机被关闭时必须被保存的数据。系统控制器56通过 如前所述指挥微距控制64、闪光灯控制50、聚焦控制44、以及采集单 元组件的其他驱动器，指挥定时发生器24来操作图像传感器16和关联 的元件，以及指挥数字信号处理器58来处理采集的图像数据，控制图 像采集的顺序。在图像被采集和处理之后，被存储在系统存储器60b或 者数字信号处理器存储器60a中的最终的图像文件，被通过接口 57传 输到主机计算机(没有在图7中示出)，存储在移动存储卡60c或者其他存储装置上，并在图像显示器30上显示给用户。主机接口 57提供到 个人计算机或者其他主机计算机的高速连接以便传输图像数据供显示、 存储、操作或者打印。该接口可以是IEEE 1394或者USB2. 0串行接口 或者任何其他适当的数字接口 。该方法中图像以数字形式的传输可以在 物理介质上或者作为发送的电子信号。
在示例的相机10中，经过处理的图像被复制到系统存储器60b中 的显示緩冲器，并通过视频编码器80持续地读出来产生视频信号。信 号由显示控制器32和/或数字信号处理器58处理并呈现在图像显示器 30上，并且可以直接从相机输出以显示在外部监视器上。如果相机用于 视频采集，则视频图像是档案的，如果相机用于静态档案图像采集之前 的取景，则视频图像是非档案的。
这里的方法和装置可以包括由利用各种数据检测和缩减技术的软 件和/或硬件部件提供的特征，数据检测和缩减技术包括脸部检测，皮 肤检测，人物检测，其他目标检测，用于解释图像中描绘的场景的要点， 例如生日聚会照片的生日蛋糕，或者表示图像的特性的要点，诸如在采 集特定的身体部位的医学图像的情况中。
本发明包括这里描述的实施例的组合。对"特定实施例"之类的引 用指的是本发明的至少一个实施例中存在的特征。分开的对"实施例" 或者"特定实施例"等的引用不一定指相同的一个或者多个实施例；然 而，这些实施例并不相互排除，除非这样指出的或者对于本领域技术人 员是很清楚的。在对"方法"和"多个方法，，之类的引用中单数和/或 复数的使用不是限制性的。
现在参考图1,按照各块所指示的三个不同的方面取景202、图 像采集204、以及显示206，用相机对场景进行成像。在取景202中， 场景通过光学取景器、数字取景器、或者相机显示器，作为光图像呈现 给拍摄者，并且拍摄者构像记录。利用数字取景器，场景的光图像 被采集，并接着被显示来产生拍摄者看到的另一个光图像。取景器的成 像这里也被称为"取景"。在图像采集204中，场景的光图像被导向到 图像传感器并被采集。在显示206中，较早采集的数字图像在相机显示 器之一上被呈现给用户，从而用户查看该图像记录。
与成^象202, 204, 206同时地接收208， 210, 212用户输入。接收 208, 210, 212的各输入分别定义相机的多个操作功能中的一个的设置。多个值被分配给这些输入以便提供一组输入值。接着计算214, 216, 218 图像价值指数。
在图1中，有三条不同的计算路径220, 222, 224,被示出为在垂 直方向上延伸。第一路径220从取景202引出，通过用户输入的接收208 以及图像价值指数的计算214到步骤226，在步骤226将图像价值指数 与成像的场景相关联。第二路径222从图像采集204引出，通过用户输 入的接收210以及图像价值指数的计算216到步骤228,在步骤228将 图像价值指数与采集的图像相关联。第三路径224从图像采集206引出， 通过用户输入的接收212以及图像价值指数的计算218到步骤230，在 步骤230将图像价值指数与采集的图像相关联。可选地，可以确定231 补充的参数，并用于计算214, 216, 218。
图1具有一对水平延伸的迹线232, 234。第一迹线，由虚线箭头 232a, 232b所示，示出的相机使用从取景202，通过图像采集204，到 采集的图像的显示206。第二迹线由虚线箭头234a, 234b所示，示出第 二路径222上使用第一路径220的图像价值指数的指示的图像价值指数 的计算216,以及第三路径224上使用之前的图像价值指数的指示的图 像价值指数的计算218。箭头232a, 232b, 234a, 234b是虚线的来表示 所示出的连接是可选的。换言之，本方法可以包括路径20， 222, 224， 或者路径对220-222或者222-224,或者所有三条路径220， 222, 224 中的任意之一。将本方法限制到取景路径220不是目前优选的，因为产 生的图像价值指数与经受变化的场景关联226。将与场景关联的图像价 值指数用于之后的图像采集和显示事件，存在不准确的风险。
在下面，关于包括或者限制到第二路径222的实施例讨论本方法， 第二路径222详细示出于图2中。讨论还大致针对作为单个静态图像的 图像记录。这是为了方便起见，将理解类似的考虑适用于其他实施例。
图像价值指数基于这样的假设，即，用户花费在采集一图像记录中 的努力与对该图像的兴趣等级成正比。这也适用于用户投入构像记 录，以及就在采集之后检查获得了期望的图像记录的努力。已经确定该 假定通常是正确的，但不是完全地都正确。从而，图像价值指数不是完 全准确的。在少数情况下，用户兴趣的程度与提供的图像价值指数几乎 没有或者没有关系。尽管有一些不精确性，因为很多图像记录将具有精 确的图像价值指数从而那些图像记录的处置可以在这个基础上被加快，期望图像价值指数将使得图像记录的使用对于消费者和其他用户更快 和更容易。因为一些图像记录将具有不准确的图像价值指数，优选允许 用户在不可逆的动作和可能是成本很高的动作之前介入。在特定的实施 例中，各个图像记录的图像价值指数还随着相应图像记录被利用而改 变。假定利用过的图像对于用户具有更多价值。基于该假定，随利用自 动改变该图像价值指数增加相应图像价值指数的精确性。如果需要，也 可以做出规定来允许用户直接或者间接地修改图像价值指数来校正错 误值。
随着用户为采集进行设定，采集一个或多个图像，并且优选地，随 着用户在相机上查看采集的图像，由相机对场景成像。优选用户输入与 设定和采集两者都相关，并且如果可用的话，与查看相关。用户输入的
示例包括部分快门按钮按压，完全快门按钮按压，焦距选择，相机显 示器致动，编辑参数的选择，图像记录的用户分类，以及相机显示器去 动(deactuation)。用户使用通过控制单元操作地连接到采集单元的 多个相机用户控制输入各项输入。用户控制包括用户采集控制，其提供 为采集设定相机的各输入。示例是采集模式开关和闪光灯状态控制。用 户控制还可以包括用户取景器-显示器控制，其操作取景器-显示器单元 以便在采集之后在相机上查看一个或多个图像。取景器-显示器控制可 以包括用于图像的手动用户分类的一个或者多个用户控制，例如，"共 享，，或者"喜好，，按钮。
图像价值指数可以在图像采集之后立即计算，并且自动与图像记录 一起显示，或者按需要可得到。在任一情况下，用户具有刚采集的图像 记录的测量，这可以用于在采集的图像不像是可接受的时警告用户，和 作为指令帮助。替代地，图像价值指数可以被隐藏，并仅使用访问码和
口令等可访问。
很多数字静态相机的情况下，在每次采集档案静态图像之前，采集 一序列的数字图像。较早的图像(这里也被称为取景器图像) 一般在用 于自动曝光、自动对焦和其他设定功能之后被自动放弃。序列中最后的 图像，档案静态图像，被自动保留在存储器中，除非由用户选择放弃。 在这种状况中，图像价值指数与档案静态图像关联。
如果采集一序列的图像并且那些图像被保留，那么单个图像价值指 数可以被计算并接着与那些图像关联。对于视频序列，图像的序列是单个图像记录。替代地，序列中的每个图像可以被作为单独的图像记录处 理。可以为图像序列提供单个图像价值指数，除非各个图像被分出。在 此情况下，可以克隆图像价值指数，并且将得到的各副本分配给分出的 各图像。
每个用户输入提供定义操作设置的信号到相机的控制单元。例如， 在特定的相才几下，用户移动通-断开关来给相才几加电。该动作将相才几置 于具有预先定义的优先模式、闪光灯状态、缩放位置之类的默认状态。 类似地，当用户提供部分快门按钮按压时，自动曝光和自动对焦加入， 开始釆集一系列取景器图像并且发生自动闪光灯设定。
对于特定图像记录的输入可以被限定到在构图、采集、和可选地， 该图像记录的观看期间接收的那些输入。替代地，也可以包括与构图、 采集、和可选地，该一个或多个其他图像记录的观看同时的一个或多个 输入。例如，如果对相同的场景，或者在场景中稍有偏移下(例如，如 同由目标跟踪自动聚焦系统和每个图像记录的时间/日期确定的)，拍
摄几张图像，则所有这些图像的对于S2致动的输入值可以被包括在所 有这些图像的输入值集合中。
控制单元具有值模块，其将各值分配给每个输入并根据各输入的组 合计算输入值。特定的输入和得到的输入值之间的关系可以被预先确定 并且可以被加权以便不同地加强不同的输入。例如，表示对相机的加电 的输入可以被给予从默认条件改变设置的任何输入的加权的一半的加 权。加权可以基于预先建立的用户配置文件。例如，在这种配置文件中， 特写(close-up)可以被给予是以无限的对焦距离采集的图像两倍的权 重。为了方便，这里一般关于其中所有输入被均等地加权的实施例讨论 输入。
计算的输入值的示例是从两个或者多个输入之间的时间关系计算 的时间输入值。时间关系可以是在特定的时间跨度内两个输入或事件之 间经过的时间。示例是定义以下一个或者多个的输入图像构图时间， Sl-S2击打时间，相才几上编辑时间，相才几上，见看时间，以及随着相才几处 于加电状态在特定的位置(由相机中的全球定位系统接收器之类确定) 经过的时间。时间关系可以被选择从而都作为对部分用户采集特定的图 像或者图像序列的额外的努力的示例。在此情况下，时间输入值可以被 以分配给其他输入值的单位值的倍数改变比例。时间输入值也可以与其他输入值相同的方式被提供给推理引擎。两个或多个输入之间的地理关 系可以与时间关系相同的方式产生输入值，如同不同种类的关系的组合 也可以，诸如特定的时间3争度以及地理范围内的输入。
值模块使用相应的图像记录的输入值的集合计算图像价值指数
(238 )。 一种简单化的方案可以简单地对均等的估值或者加权的输入 求和。目前优选图像价值指数是一维的，因为这允许图像记录之间较简 单的比较。
在特定的实施例中，输入值的集合被提供给推理引擎，该推理引擎 已经被训练来生成图像价值指数。在该推理引擎中，由相应的输入确定 的不同输入值，可以根据知识相互竟争或者相互增强，所述知识是从真 实图像的人类观察者-评估的底层实况研究(ground truth study)的 结果得出的。竟争和增强由推理引擎的推断网络(inference network) 求解。目前优选的推理引擎是贝叶斯网络(Bayes net)。
一种贝叶斯网络(参见例如J. Pearl, Probabi 1 istic Reasoning in Intel 1 igent System, San Franci sco, Calif.: Morgan Kaufmann, 1988 ) 是一种表示图中各种实体之间的因果关系的有向无环图，其中链接的方 向表示图中各种实体之间的因果关系，并且其中链接的方向表示因果 性。评估是基于各种实体之间的联合概率分布函数(PDF)的知识。贝
叶斯网络优点包括明确的不确定性表征，有效率的计算，易于构造以及 维护，快速的训练，以及对网络结构及其参数中的变化的快速适应。贝 叶斯网会备由四个纽」牛构成
(1) 先验关于贝叶斯网络中的各节点的初始信念。
(2) 条件概率矩阵(CPM):关于贝叶斯网络中两个连接的节点之
间的关系的专家知识。
(3) 证据输入到贝叶斯网络的特征检测器的观测。
(4) 后验在证据已经传播通过贝叶斯网络之后最终计算的信念。 对于训练最重要的组件是CPM的集合，因为它们代表了手上的对于
特定应用的领域知识。尽管CPM的推导对于使用诸如贝叶斯网络的推理 引擎的技术人员来说是熟悉的，本说明书中稍后将考虑示例CPM的推导。 存在一种对于每个图像记录活动的贝叶斯网络。期望简单的双层贝 叶斯网络可以被用于目前的系统中，其中图像价值指数在根节点处确定 并且所有的输入位于叶节点处。应当注意，每个链接被假定为条件上独立于同 一层次上的其他链接，这导致通过独立地训练每个链接而方便地 训练整个网络，例如，对于给定链接独立于其他链接推导CPM。该假定
在实践中经常被违反；然而，独立性简化使得实施更容易并且可以容忍 一些不精确。它还提供了与其他分类器或者推理引擎诸如具有超过两层 的贝叶斯网络比较的基准。
所有的输入由贝叶斯网络汇集来产生图像价值指数。在一方面，不
同的输入可能相互竟争或者相互抵触。另一方面，不同的输入可能根据 先验模型或者关于典型的照相场景的知识相互增强。竟争和增强两者都 由基于贝叶斯网络的推断引擎求解。
贝叶斯网络的 一 个优点是每个链接被假定为独立于同 一 层次的链 接。因此，通过独立地训练每个链接而训练整个网络是方便的。 一般， 用两种方法来获得每个根特征节点对的CPM: (1 )使用专家知识
这是一种ad-hoc方法。咨询专家来获得每个特征检测器的条件概 率，每个特征检测器在给定高度吸引的图像下给出高或低的输出。 (2)使用偶然性表格
这是一种采样和相关方法。每个特征检测器的多个观测被与关于着 重或者吸引力的信息一起被记录。这些观测接着被编辑在一起来产生偶 然性表格，该偶然性表格在被规范化之后可以接着被使用。该方法类似 于神经网络类型的训练(学习)。
可以用其他推理引擎代替贝叶斯网络。例如，在B.D. Ripley的 Pattern recognition and Neural Networks (Cambridge University Press, 1996 )中，描述了各种不同类型的分类器，可以被用于求解模 式识别问题，其中具有正确的特征通常是最重要的考虑。这种分类器包 括线性判别分析方法，弹性判别，(前馈)神经网络，非参数方法，树 结构的分类器，以及信念网络(诸如Bayesian network )。对于这些方 法领域的任何普通技术人员很明显可以采用任意的这些分类器，来作为 实施本发明的推理引擎。
在成像过程中还可以确定补充参数，并且补充参数可以用于修改 (240 )图像价值指数，或者在计算之后，或者通过修改特定的输入值。 修改方案按需要可以是简单的或者复杂的。在一个简化的示例中，每个 输入被给予值一，并且具有预定的值或者达到预定的阈值的每个补充参数被类似地给予值一；并且图像价值指数是总和。作为另一个示例，在
图像的相机上显示期间对共享按钮的致动可以被作为将图像价值指数 改变到最大值或者其他表明用户的兴趣的预定值的补充参数。补充参数 也可以与输入值相同的方式被作为对于推理引擎或者其他算法的输入
来处理。补充参数的示例包括用户反应，图像质量，图像内容，基于 元数据的信息，以及从不包括用户输入的其他参数得到的信息。
图5示出了本发明一个特定的实施例，其中在图像利用(246 )期 间检测(252 )用户反应。用户反应被用于修改(254 )与数据库中保持 (244 )的图像记录关联的图像价值指数。在这里通过引用作为参考的， 授予Matraszek等人的美国专利申请公开No. 2003/0128389A1,揭示了 检测用户对图像的反应的技术。(为了这里的目的，"用户反应"不包 括图像使用和上面讨论的用于相机控制的输入。)用户反应的示例包括 观看中的发声，观看中的面部表情，生理响应，注视信息，以及神经生 理响应。用户反应可以通过诸如GSR (皮肤电流响应(galvanic skin response))或者心率监测器的生物计量装置自动监测。这些装置已经 变得低成本并且容易获得，并且被集成到图像采集和显示装置中，如 Matraszek等中所描述的。
图6示出本发明一个特定示例，其中图像记录被分析(256 )来提 供分析结果，所述分析结果接着被用于修改(258 )与数据库中保持(244 ) 的图像记录关联的图像价值指数。图像质量和图像内容可以通过领域中 熟知的分析技术来确定。图像质量的分析可以考虑以下一个或多个因 素图像锐度，图像噪声，对比度，存在/不存在暗背景，场景平tf, 皮肤色调色彩，饱和度，剪取，别名使用，以及压缩状态。图像内容的 分析可以考虑以下一个或多个因素存在/不存在人，人的数量，人的 性别，人的年龄，红眼，眨眼，诸如微笑表情的情绪表情，头部尺寸， 平移问题，目标物体中心性，场景位置，景色类型，以及场景独特性。 ("平移问题，，被定义为主要目标物体在场景中不完整的表示，诸如脸 部，或者人的身体。)例如，可以通过总体图像色彩的分析确定出日落， 如在A. Gallagher等人提交的美国公开专利申请No. US2005/0147298 Al 中的，并且可以通过脸部检测软件确定肖像，诸如S.Chen等人提交的 美国公开专利申请No. US2004/0179719 Al中。"图像内容"的分析， 作为这里所使用的术语，包括图^象构图(image composition)。质量的分析结果可以将相应的图像价值指数增加或者减少对于特定的质量 因子预定的量。例如，低的锐度值可以将相应的图像价值指数减少预定 的百分比。类似地，显示特定的内容或者内容和质量因子的特定组合的 分析结果，可以被预先分配对相应的图像价值指数的特定修改。例如， 一个或多个脸部的存在可以将图像价值指数增加预定的百分比。在较早 讨论的其中每个输入被分配 一 个点的简化的示例中，脸部的存在可以增 加另 一 个点到图像价值指数。
基于元数据的信息的示例包括从与图像记录 一起保留的文本或者 声音注解得到的信息，位置信息，当前日期-时间，拍摄者身份。元数 据可以由用户输入或者自动输入。注解可以由用户单独地提供或者可以 从信息内容或者预设信息生成。例如，相机可以在选定的地理位置自动 生成标题"家"，或者用户可以添加相同的标题。用于确定位置信息的 适当的硬件和软件，诸如全球定位系统单元，对于本领域技术人员是熟
知的。拍摄者身份可以由诸如以下的手段确定使用识别发射机应答器，
诸如射频识别装置，用户输入识别数据，声音识别，或者生物计量识别， 诸如用户的脸部识别或者指紋匹配。在其他实施例中，拍摄者身份可以 使用与识别数据匹配的脸部或者声音识别算法，以及指紋识别算法，从 生物计量数据自身提取，所述识别数据或者存储在相机装置的存储器 中，或者存储在远程访问的中央位置。可以使用元数据和其他参数的組
合。例如，日期-时间信息可以与预先记录的，i日、生日之类的标识组 合使用。
补充参数可以从其他参数导出。导出的信息的示例包括与预先建 立的用户配置文件的参数的兼容性，图像内容与确定为具有高或低图像 价值指数的一个或者多个参考图像的不同或者相似性，以及日期和位置 的组合。可以基于日期时间信息，位置信息，和/或图像内容对图像记 录扭i行群集。例如，可以《吏用如美国专利申讳v^开No. US2005/0105775 Al 或美国专利No. 6993180中所揭示的群集。群集的结果可以被用作补充 参数。回到简化的示例，组/非组的补充参数，对于在与其他图像的组 边界之内的图像记录可以具有值一，而对超过该组边界的图像记录具有 值零。
补充参数可以被直接考虑或者使用预定的规则集合来考虑。例如， 在假期期间采集的任何图像可以用预定的百分比来调整。基于用户反应确定图像的兴趣值在本领域是熟知的。
在采集之后，档案图像记录被存储(242 )在存储器中，并且图像 价值指数的指示与图像记录相关联。该指示可以元数据记录在数字图像 文件中，或者数字图像文件的集合中的一个文件中。该指示还可以存储 在单独的文件中，或者要么可见地，要么通过隐写(steganographic) 嵌入之类位于图像记录的图像中。
该指示可以是输入值，图像价值指数或者两者的集合的形式。特定 形式的选择是特定使用中方便的事情。图像价值指数可以随着被计算而 被存储(这里也被称为"计算的指数，，)，或者以替代的形式被存储， 例如通过Huffman编码而^皮压缩。在下面，以存储在各自的图像记录的 数字文件中的计算的指数的形式讨论图像价值指数，类似的考虑适用于 其他变体。
图像价值指数的指示可以与其他元数据相同的方式与图像记录关 联。例如，这种指示可以通过将图像价值指数存储在数字图像文件中而 与图像记录相关联。如果图像记录限于单个数字文件，这是特别方便的， 因为这防止了图像价值指数意外地从图像记录分离。图像文件中的元数 据的特定示例是Exif图像文件中的TIFF IFD。替代地，图像价值指数 可以被分开地存储。与图像记录关联的其他元数据可以相同的方式处 理。可以包括安全和访问许可信息来控制对该信息的访问。
现在参考图2-4,在采集之后，图像记录被放置在存储中(242 )并 保持(244 )在数据库中。数据库处于数据库单元中，其可以是分离的 装置或者在之前讨论的装置中。数据库单元包括存储器的逻辑和/或物 理分区，以及执行讨论的功能的所必须的软件和硬件。数据库可以保留 在相机中，或者传输或者复制到外部于相机的、并且允许对图像记录和 相应的图像价值指数访问的分开的数据库单元。数据库单元的形式可以 是单个组件，或者直接或者通过网络链接的多个分开的组件。适当的硬 件，软件，文件格式，压缩/解压缩方案，以及存储和访问图像记录和 元数据的其他标准对于本领域技术人员是熟知的。在一个特定的实施例
某些方面不总是与;目机内的数据i^元一样方便，但是具有减少的丢失 的风险。
参考图4，在一个特定的实施例中，存储的图像记录被利用(246 )于一个或多个目的，跟踪(248 )各个图像记录的使用参数，并且响应 于相应的利用修正(250 )各图像记录的图像价值指数。利用的示例包 括复制，存储，组织，加标签，与其他信息集成(aggregation)， 图像处理，非图像处理计算，硬拷贝输出，软拷贝显示，以及非图像输 出。利用参数的示例包括编辑时间，观看时间，查看次数，制作的硬 拷贝的数量，制作的软拷贝的数量，包括对相应的图像记录的拷贝或者 链接的email的数量，所述emai 1的接收者的数量，在相册中的使用， 在web站点中的使用，作为屏幕保护器的使用，重命名，注解，档案状 态，以及其他执行。适合于图像记录利用的设备和技术对于本领域技术 人员是熟知的。例如，作为个人计算机的一部分的数据库单元可以提供 经由显示器或者打印机的输出
除了直接使用信息之外，使用参数可以包括直接与之前讨论的时间 值相当的值。例如，可以考虑〗见看和编辑特定的图^f象记录的时间。
如上面所提到的，数据库中的图像记录的额外的补充参数可以被评 估，并且基于这些评估修改相应的图像价值指数。例如，可以在数据库 中的图像记录的利用期间检测用户反应。类似地，可以基于数据库中类 似的图像记录的图像价值指数修改图像价值指数。
前面被描述为在相机中确定的补充参数也可以在数据库单元中计 算或者重新计算。例如，如果用于计算特定的图像价值指数的数据被保 留，那么可以用从在数据库单元中进行的新的分析得到的结果替换各个 补充参数。替代地，即使下层的数据不可用，也可以进行额外的分析并 且以任何方式修改图像价值指数。将理解在该情况下，对图像价值指数 的重复分析的相对效果将被增加。例如，在其中每个输入具有值一的简 化的示例中，关于质量的补充参数可以在良好的情况下被给予值一，而 在差的情况下被给予值零。在该情况下，良好质量图像的图像价值指数 将在相机中被增加一个单位，而在第二分析之后，在数据库中被增加第 二单位。
除了不同的使用参数可以被给予不同的权重，图像记录被利用的方 式并不重要。分配的权重可以是基于输出和用户对图像的值的感知之间 的可能关系的试探法分析而预先确定的。
如果输入值(以及时间值和如果适用的话，补充参数)可用，或者 可以是已有的图像价值指数的修改，图像价值指数可以借助于完全重新计算而被修正。在之前讨论的简化示例的继续中，图像记录的每次利用 可以被分配值一并且可以被添加到预先存在的图像价值指数。类似地， 图像记录的图像价值指数可以在任何利用的时间上被增加统一的增量，
负的i量。A ' 、 、 、 B 、 'P 、 、
当视频序列等中的各个图像被单独地利用时，独立地修改相应的图 像价值指数是方便的。替代地，可以跟踪视频序列或者其他相关图像中 各个图像的利用，并且可以基于这种类似图像的使用修改图像价值指数。
再次参考图3,还可以或者替代地使用图像价值指数管理(246 )图 像记录。在此情况下，数据库单元基于相应的图像价值指数承担与图像 记录相关的活动。例如，活动可以是响应于相应的图像价值指数对图像 记录进行分类。提供的分类可以用于搜索图像记录或者其它利用。这种 活动的其它示例包括将图像记录排队供观看或者其它目的；将资源分
配给各个图像记录；使用相应的图像记录提供输出；以及在数据库单元 中保留各个图像记录。要被分配的资源的示例包括提供复制、存储、组 织、加标签、与其它信息集成、图像处理、非图像处理计算、硬拷贝输 出、软拷贝显示、以及非图像输出中一个或者多个的逻辑和物理单元。 在一个特定示例中，基于图像价值指数进行的活动可以包括排队供在 相机显示器上观看(包括可选的以逆序的显示以便容易地删除坏图像)， 变化压缩率，以及变化存储器中的保留时间。在分配这些资源中，可以 基于图像价值指数对图像记录给予优先次序(prioritization)。例如， 可以按照图像价值指数的次序自动在远程存储器中备份图像记录。
图像价值指数可以被用于管理对图像记录的访问或者限制图像应 用的可用功能。这种功能的示例包括允许或者阻止图像修改、分发、 显示、打印和删除以及限制可用的修改，分发和输出类型。利用这种类 型的管理，可能期望提供隐藏的图像价值指数仅对特定的用户等级才能 访问。
图像价值指数可以被用于分类图像记录，并接着将图像记录布置在 虚拟文件、文件夹等中。图标或者其它标识标记可以基于相同的基础确 定。自动文件/文件夹命名惯例可以使用图像价值指数。例如， 一种惯 例可以按次序具有，用户标签/事件标识、图像内容、以及基于图像价值指数的分类，的准则。在此情况下，系统使用可用的准则对文件名进 行最佳猜测。给用户提供机会来改写建议的文件/文件夹名称。
如果活动涉及对多个图像记录执行共同的动作，那么可以单独地或 者集合地考虑图像价值指数，例如，通过考虑不同价值的平均。还可以 关于预定的阈值考虑图像价值指数。例如，呈现每个页面承载多个图像 的虚拟相册页面的次序，可以通过每个页面的平均图像价值指数确定。
作为图像管理的另 一个示例，可以将图像记录的图像价值指数与一 个或者多个预设的或者用户可选值的阈值，或者从数据库中的图像记录 确定的阈值比较。后者的一个示例是使用群集算法被自动群集的一组图
像记录的平均图像价值指数，群集算法诸如k-means算法。具有在特定 阈值内的图像价值指数的图像记录可以被与该阈值内的图像记录不同 的处理。例如，具有低于最小可接受值阈值的的图像价值指数的图像记 录可以被分类为不可接受，并且可以被删除或者强烈地压缩等，或者完 全自动地或者半自动地允许可能的用户关于所有或者单个图像记录的 拒绝。类似地，具有高于高度可接受值阈值的图像价值指数的图像记录 可以;波优先地对待，例如，通过包括在图像记录的自动幻灯片放映中， 自动地被冗余地存储，或者使得在被呈现时更突出。
这里关于其中每个图像价值指数提供特定图像的内在值的实施例 一般地讨论了方法和装置。图像价值指数可以替代的提供相对于收集中 的其它图像的值。前面的方案在预期要在不同的数据库之间移动图像记 录，或者不同的数据库可能以不可预知的方式被组合或者被分开的情况 下可以是特别有利的。在此情况下，可以避免图像价值指数重复的重新 计算。后面的方案在可能使用单个数据库并且存在重复比较数据库中的 图像记录的需要的情况下可以是有利的。例如，当超过容量限制时，数 据库单元可以自动请求用户授权来基于相对图像价值指数删除图像。有
可能组合两种方案。例如，图像记录可以在相机中被分配内在的图像价 值指数，并且之后在数据库单元中相对于数据库单元中的图像记录的全 部或者子集被重新分配对应的相对图像价值指数。
图像记录的特定集合的图像价值指数可以基于限定到个别用户的 信息，或者可以基于来自定义的人物的组的信息，或者可以基于来自大 的可能未识别的人物的组的信息，诸如公共web站点的观看者。包括较 多或者较少的人很可能改变得到的图像价值指数。例如，相对小的社会组织，诸如家庭成员，对一组图像记录的使用，很可能主要基于共同的
兴趣，诸如保留记忆；而一大组陌生人对同一组图像记录的使用，很可 能基于不同的兴趣，诸如报导价值性或者艺术价值。由于图像价值指数 一般涉及在采集时由单个人，即拍摄者的输入，优选得到的图像价值指 数之后的修改被限定到可能具有与拍摄者相同兴趣的一组人。这帮助保 持拍摄者的图像价值指数的值。
在视频序列下，图像的序列是单个图像记录。替代地，序列中的每 个图像可以被作为单独的图像记录处理。可以为图像序列提供单个图像 价值指数，除非各个图像被分出。在该情况下可以克隆图像价值指数并 将得到的副本分配给分出的图像。
已经特别参考其某些优选实施例详细描述了本发明，但是将理解在 本发明的精神和范围中可以实现变化和修改。
权利要求
1. 一种成像评估方法，包括步骤用相机对场景成像；与所述成像同时接收对所述相机的用户输入，所述输入分别定义所述相机的多个操作功能中的一个的设置；对所述输入估值来提供一组输入值；以及使用所述输入值计算图像价值指数。
2. 如权利要求1所述的方法，其中所述估值还包括从所述输入的 多个的两个之间的时间关系计算一组时间输入值。
3. 如权利要求2所述的方法，其中所述输入包括部分快门按钮按压、完全快门按钮按压、焦距选择、 相机显示器致动、编辑参数的选择、以及相机显示器关闭，中的一个或 多个。
4. 如权利要求2所述的方法，其中所述时间关系和相应的所述输 入定义图像构图时间、Sl-S2击打时间、相机上编辑时间、相机上观看 时间、以及在特定的位置经过的时间，中的一个或多个。
5. 如权利要求l所述的方法，还包括步骤 确定补充参数；以及响应于所述补充参数修改所述图像价值指数。
6. 如权利要求5所述的方法，其中所述补充参数在所述成像期间 确定。
7. 如权利要求5所述的方法，其中所述补充参数包括位置信息、 当前日期-时间、拍摄者身份、以及用户反应，中的一个或多个。
8. 如权利要求l所述的方法，其中所述图像价值指数是一维的。
9. 如权利要求1所述的方法，其中所述成像还包括采集所述场景 的图像记录，并且所述方法还包括存储所述图像记录；以及将所述图像 价值指数的指示与所述图像记录关联。
10. 如权利要求9所述的方法，其中所述图像价值指数的所述指示是(a)所述输入值的组，以及(b) 所述图像价值指数，中的至少一个；并且所述图像记录是静态图像，视频序列，以及多媒体记录，中的一个。
11. 如权利要求9所述的方法，还包括 利用所述图像记录；以及响应于所述利用修正所述图像价值指数。
12. 如权利要求l所述的方法，其中所述成像还包括发送所述场 景的光图像，采集所述光图像作为图像记录，以及显示所述图像记录， 中的至少一个。
13. 如权利要求l所述的方法，其中所述估值还包括对所述输入应 用相对权重。
14. 一种图像评估方法，包括步骤 用相机采集多个图像记录；与每个所述图像记录的所述采集同时接收对所述相机的多个用户 输入，所述输入分别定义所述相机的多个操作功能中的一个的设置； 对所述输入估值来提供相应组的输入值；从相应的所述输入值的组计算每个所述图像记录的图像价值指数， 每个所述图像价值指数是一维的；以及将每个所述图像价值指数与相应的所述图像记录关联。
15. 如权利要求14所述的方法，还包括步骤 确定补充参数；以及响应于所述补充参数修改所述图像价值指数。
16. 如权利要求15所述的方法，还包括步骤 在所述相机上显示一个或多个所述图像记录； 与每个所述图像记录的所述显示同时接收对所述相机的一个或多个额外输入；以及其中所述补充参数是使用所述额外输入确定的。
17. 如权利要求14所述的方法，其中所述图像记录是静态图像，视频序列，以及多媒体记录，中的一 个；并且所述功能包括透镜焦距，快门速度，透镜孔径，曝光时间，缩放 状态，闪光灯闪光状态，图像大小，以及一个或多个默认参数的接受， 中的一个或多个。
18. 如权利要求14所述的方法，还包括响应于相应的所述图像价值指数管理所述图像记录。
19. 如权利要求18所述的方法，其中所述管理还包括以下中的一 个或多个对所述图像记录进行排队； 呈现所述图像记录； 分配资源给各个所述图像记录； 使用相应的所述图像记录提供输出；以及 保留各个所述图像记录。
20. 如权利要求19所述的方法，其中所述资源包括提供复制、存储、组织、加标签、与其它信息集成、图像处理、非图像处理计算、硬拷贝输出、软拷贝显示、以及非图像输出、中一个或者多个的多个逻 辑和物理单元。
21. 如权利要求14所述的方法，还包括在数据库中保持所述图像 记录。
22. 如权利要求21所述的方法，还包括根据所述图像价值指数区 分分配多个不同利用资源给所述图像记录的优先次序。
23. 如权利要求21所述的方法，还包括在所述保持期间，将所述 数据库从相机传输到外部存储器，独立于所述相机，所述数据库在所述 外部存储器中可寻址。
24. 如权利要求14所述的方法，还包括 利用所述图像记录；在所述利用期间跟踪相应的所述图像记录的使用参数；以及 响应于所述利用参数改变相应的所述图像价值指数。
25. 如权利要求24所述的方法，其中所述使用参数包括编辑时 间，观看时间，查看次数，制作的硬拷贝的数量，制作的软拷贝的数量， 包括对相应的所述图像记录的拷贝或者链接的email的数量，所述 email的接收者的数量，在相册中的使用，在web站点中的使用，作为 屏幕保护器的使用，重命名，注解，档案状态，以及其他执行使用，中 的一个或多个。
26. 如权利要求24所述的方法，还包括步骤才全测在所述利用期间的用户反应来提供才企测到的反应；以及 响应于所述检测到的反应修改相应的所述图像价值指数。
27. 如权利要求14所述的方法，其中所述计算还包括使用贝叶斯 网络计算所述图像价值指数。
28. 如权利要求14所述的方法，还包括步骤 分析所述图像记录来提供分析结果；以及响应于所述分析结果修改相应的所述图像价值指数。
29. 如权利要求28所述的方法，其中所述分析确定所述图像的 图像质量以及所述图像的内容中的至少一个。
30. 如权利要求29所述的方法，其中所述分析评估图像锐度，图像噪声，图像亮度，对比度，存在/ 不存在暗背景，场景平衡，皮肤色调色彩，饱和度，剪取，别名使用， 以及压缩状态，中的一个或多个；并且所述分析评估人的数量，人的性别，人的年龄，红眼，眨眼，情 绪表情，头部尺寸，平移问题，目标物体中心性，场景位置，景色类型， 以及场景独特性，中的一个或多个。
31. —种成像评估方法，包括步骤 用相机采集场景的一序列数字图像；与所述采集同时接收对所述相机的用户输入，所述输入分别定义所 述相机的多个操作功能中的 一个的设置；对所述输入估值来提供一组输入值；以及从所述输入值计算图像价值指数，所述图像价值指数是一维的；以及将所述图像价值指数与所述数字图像中至少一个关联。
32. 如权利要求31所述的方法，还包括 利用所述图像记录；以及响应于所述利用修正所述图像价值指数。
33. 如权利要求31所述的方法，其中所述数字图像的序列包括多 个取景器图像以及最终采集图像，所述图像价值指数的所述关联是与所 述采集图像关联，并且所述方法还包括放弃所述取景器图像以及保留所 述采集图像。
34. 如权利要求31所述的方法，其中所述序列是视频序列并且所 述关联是与所述数字图像中的全部关联。
35. 如权利要求31所述的方法，其中所述关联步骤还包括将所述图像价值指数与所述数字图像中的每个关联，并且该方法还包括步骤 独立地利用所述数字图像；以及响应于相应的所述数字图像的所述利用，并且独立于其它所述数字 图像的所述利用，修改所述数字图像中每个的所述图像价值指数。
36. 如权利要求31所述的方法，还包括步骤 将所述图像放到数据库中； 在所述数据库中保持所述图像； 在所述保持期间，允许对所述图像的利用，以及 响应于所述利用修改相应的所述图像价值指数。
37. —种相才几，包括采集单元，采集光图像并将所述光图像转换成数字图像； 多个用户采集控制，操作地连接到所述采集单元，所述用户采集控制可被致动来提供用户采集控制输入；控制单元，具有接收所述用户采集控制输入并响应地定义所述采集单元的操作设置的控制单元，所述控制单元具有值模块，其将值分配给所述用户采集控制输入来提供一组采集控制输入值，所述值模块从所述输入值计算图像价值指数。
38. 如权利要求37所述的相机，其中所述图像价值指数是一维的。
39. 如权利要求37所述的相机，还包括存储器，存储所述数字图像并存储所述输入值的组中的至少 一个以 及与所述数字图像关联的所述图像价值指数；以及取景器-显示器单元，能够发出对应于所述数字图像的观看图像；以及用户取景器-显示器控制，操作地连接到所述取景器-显示器单元， 所述用户取景器-显示器控制可被致动来提供用户取景器-显示器控制 输入；其中所述控制单元接收所述用户取景器-显示器控制输入，并响应 地定义所述取景器-显示器单元的操作设置，并且所述值模块分配预定 值给所述用户取景器-显示器控制输入，来提供一组取景器-显示器控制 输入值。
40. 如权利要求37所述的相机，其中所述控制单元确定所述成像 期间的补充参数，并且响应于所述补充参数修改所述图像价值指数。
41. 如权利要求40所述的相机，其中所述补充参数包括位置信 息，当前日期-时间，拍摄者身份，以及用户反应，中的一个或多个。
42. —种图像评估系统，包括(a) 至少一个采集装置，包括采集单元，采集光图像并将所述光图像转换成数字图像； 多个用户采集控制，操作地连接到所述采集单元，所述用户采集控制可被致动来提供用户采集控制输入；控制单元，具有接收所述用户采集控制输入并响应地定义所述采集单元的操作设置的控制单元，所述控制单元具有将值分配给所述用户采集控制输入来提供一组采集控制输入值的值模块，所述值模块从所述输入值计算合并的图像价值指数；以及(b) —个或多个数据库单元，接收所述数字图像以及 所述输入值，以及所述图像价值指数， 中的至少一个，并提供对它们的访问。
43. 如权利要求42所述的系统，其中所述数据库单元的至少之一 内部于所述采集装置。
44. 如权利要求42所述的系统，其中所述数据库单元响应于相应 的所述图像价值指数分类所述图像。
45. 如权利要求42所述的系统，其中所述数据库单元响应于所述 图像价值指数提供输出。
46. 如权利要求42所述的系统，其中所述数据库单元将所述图像 保留随相应的所述图像价值指数变化的时间段。
47. 如权利要求42所述的系统，其中所述数据库单元提供所述图 像选择性的利用，跟踪所述利用期间的使用参数，并且响应于所述使用 参数修改相应的所迷图像价值指数。
48. 如权利要求47所述的系统，其中所述使用参数包括编辑时 间，观看时间，查看次数，打印次数，email次数，接收者的数量，相 册使用，web站点使用，屏幕保护器使用，重命名，注解，档案状态， 以及4丸行使用，中的一个或多个。
49. 如权利要求42所述的系统，其中至少一个所述数据库单元分 析分析所述图像来提供分析结果，以及响应于所述分析结果修改相应的所述图像价值指数。
50. 如权利要求49所述的系统，其中所述分析结果指示所述图 像的图像质量以及所述图像的内容中的至少 一个。
51. 如权利要求50所述的系统，其中所述图像质量包括图像锐度，图像噪声，对比度，存在/不存在 暗背景，场景平衡，皮肤色调色彩，饱和度，剪取，别名使用，以及压 缩状态，中的一个或多个；并且所述内容包括人的数量，人的性别，人的年龄，红眼，眨眼，情 绪表情，头部尺寸，平移问题，目标物体中心性，场景位置，景色类型， 以及场景独特性，中的一个或多个。
全文摘要
在成像评估方法，相机和系统中，用相机对场景成像。与成像同时接收用户对相机的输入。这些输入分别定义所述相机的多个操作功能中的一个的设置。对这些输入估值来提供一组输入值。使用所述输入值计算图像价值指数。
文档编号G06F17/30GK101421730SQ200780013129
公开日2009年4月29日 申请日期2007年3月30日 优先权日2006年4月13日
发明者D·B·博代, E·A·费多洛夫斯卡亚, J·A·马尼科, J·R·弗里德隆德 申请人:伊斯曼柯达公司