在维持于电子设备中的联系人列表中使用图像的装置、方法和计算机程序产品的制作方法

专利名称：在维持于电子设备中的联系人列表中使用图像的装置、方法和计算机程序产品的制作方法
技术领域：
本发明一般地涉及用于管理便携式电子设备中的联系人列表和图像的方法和装 置，并具体而言涉及用于注释图像和用于在联系人列表中使用已注释图像的方法和装置。
背景技术：
结合了照相机的无线电话是非常流行的。通过照相机捕获图像以及将它们存储在 结合了照相机的无线电话的存储器中的能力不仅呈现出在无线电话的环境中将图像用于 执行某些功能的新机会，而且呈现出当用户面对对于这些图像进行组织的必要性时的新挑 战。关联于无线电话的照相机的可能最常见用处是为家庭成员、朋友、业务同事、业务 熟人等等照相，特别是当无线电话为连网设备并被用于执行连网功能时。因此，在无线电话 的存储器中很可能找到的许多照片将包含人们的图像。随着无线电话的存储器在容量上的 增加，越来越大量的图像将被存储在无线电话中。结果，本领域技术人员寻求便于对图像进 行组织的方法和装置。具体地，本领域技术人员特别想要利用或增强现有功能以便执行图 像组织操作的方法和装置。此外，本领域技术人员还认识到，在传统无线电话中的照片仅用作为赠品或纪念 品功能。例如，查看存储于无线电话中的照片的人无法使用照片来启动通信操作。本领域 技术人员寻求一种方法和装置，以按照某种方式将照片用于改进电话功能、以及可能用于 提供用于管理通信操作的更自然接口，作为对现有的基于文本的联系人数据库的补充而运 行。这个功能对于在商务活动中遇到许多人的那些人而言将是尤其有帮助的。对“功能性” 照片进行访问可以协助这样的用户在繁忙的贸易展销会之后继续跟踪联系人，例如当联系 人列表中的姓名可能不足以激起回忆时。结果，本领域技术人员尤其关注的是，找到一种新的方法和装置，将图像的真人部 分用于在例如无线电话中协助执行通信操作以及图像组织功能。例如，本领域技术人员关 注的是，找到某种方式，以将图像的真人部分用于改进通常在无线电话中结合有的联系人 数据库的功能以及可能地用于对联系人数据库进行补充。此外，本领域技术人员更通常关 注的是，将真人部分用于改进在包含照相机和其它图像捕获设备的无线电话中的图像组织 功能。

发明内容
根据本发明的以下实施例，克服了前述问题，并且实现了其它优点。本发明的第一实施例是一种电子设备，包括存储器；显示设备；控制装置；以及 数据处理器。所述存储器被配置用于存储图像数据库；图像注释数据库；以及至少一个程 序，所述程序被配置用于当被执行时控制所述电子设备。所述显示器设备被配置用于显示 可视信息。所述控制装置被配置用于从所述电子设备的用户接收控制命令。所述数据处理器被配置用于执行至少一个程序，其中当所述至少一个程序被执行时，所述电子设备被配 置用于接收图像；对所述图像执行脸部检测，以定位脸部部分；响应于检测到包含至少一 个人的脸部的至少一个脸部部分，将识别所述图像中的脸部部分的位置的图像注释信息保 存到所述图像注释数据库；使用所述显示器将所述图像呈现给用户，从而使得所述至少一 个脸部部分被强调；接收由用户选择的额外的图像注释信息，所述额外的图像注释信息涉 及所述至少一个人；以及将所述额外的图像注释信息保存到所述图像注释数据库。本发明的第二实施例是一种包括有形地包含计算机程序的计算机可读存储器的 计算机程序产品，所述计算机程序可由电子设备的数据处理器执行，其中当被执行时，所述 计算机程序被配置用于使得所述电子设备接收图像；对所述图像执行脸部检测，以定位 脸部部分；响应于检测到包含至少一个人的脸部的至少一个脸部部分，将识别所述图像中 的脸部部分的位置的图像注释信息保存到数据库；使用所述显示器将所述图像呈现给用 户，从而所述使得至少一个脸部部分被强调；接收由用户选择的额外的图像注释信息，所述 额外的图像注释信息涉及所述至少一个人；以及将所述额外的图像注释信息保存到所述数 据库。本发明的第三实施例是一种方法，包括接收图像；对所述图像执行脸部检测，以 确定所述图像是否包含至少一个脸部部分；以及响应于检测到所述图像中的至少一个脸部 部分，所述至少一个脸部部分包含至少一个人的脸部，将识别所述图像中的脸部部分的位 置的图像注释信息保存到数据库；以使得所述至少一个脸部部分被强调的方式将所述图像 呈现给用户；接收由用户选择的额外的图像注释信息，所述额外的图像注释信息涉及所述 至少一个人；以及将所述额外的图像注释信息保存到所述数据库。本发明的第四实施例是一种电子设备，包括存储器装置，用于存储图像数据库， 图像注释数据库，以及至少一个程序装置，所述程序装置用于当被执行时控制所述电子设 备；显示器装置，用于显示可视信息；控制装置，用于从所述电子设备的用户接收控制命 令；以及数据处理器装置，用于执行所述程序装置，用于接收图像；用于对所述图像执行脸 部检测，以定位脸部部分；响应于检测到包含至少一个人的脸部的至少一个脸部部分，用于 将识别所述图像中的脸部部分的位置的图像注释信息保存到所述图像注释数据库；用于使 用所述显示器将所述图像呈现给用户，从而使得所述至少一个脸部部分被强调；用于使用 所述控制装置接收由用户选择的额外的图像注释信息，所述额外的图像注释信息涉及所述 至少一个人；以及将所述额外的图像注释信息保存到所述图像注释数据库。本发明的第五实施例是一种系统，包括远程图像数据库；远程联系人数据库；以及便携式电子设备。所述远程图像数据库包括网络接口，被配置用于将所述远程图像数 据库连接到网络；以及存储器，被配置用于存储图像。所述远程联系人数据库包括网络接 口，被配置用于将所述远程联系人数据库连接到网络；以及存储器，被配置用于存储联系人 信息。所述便携式电子设备包括网络接口 ；存储器；显示设备；控制装置；以及数据处理 器。所述网络接口被配置用于将所述便携式电子设备连接到网络。所述存储器被配置用于 存储图像数据库；图像注释数据库；以及至少一个程序，所述程序被配置用于当被执行时 控制所述电子设备。所述显示器设备被配置用于显示可视信息。所述控制装置被配置用于 从所述电子设备的用户接收控制命令。所述数据处理器被配置用于执行至少一个程序，其 中当所述至少一个程序被执行时，所述电子设备被配置用于从所述便携式电子设备的图像数据库和远程图像数据库中的至少一个接收图像；对所述图像执行脸部检测，以定位脸 部部分；响应于检测到包含至少一个人的脸部的至少一个脸部部分，将识别所述图像中的 脸部部分的位置的图像注释信息保存到所述便携式电子设备的图像注释数据库或所述远 程联系人数据库中的至少一个；使用所述显示器将所述图像呈现给用户，从而使得所述至 少一个脸部部分被强调；接收由用户选择的额外的图像注释信息，所述额外的图像注释信 息涉及所述至少一个人；以及将所述额外的图像注释信息保存到所述便携式电子设备的图 像注释数据库和所述远程联系人数据库中的至少一个。总之，对本发明的各种实施例的前述总结是示例性的而非限制性的。例如，本领域 普通技术人员将理解，来自一个实施例的一个或多个方面或步骤可以与来自另一实施例的 一个或多个方面或步骤相结合，从而创建在本发明的范围内的新实施例。



在附图中图IA-C示出了根据本发明进行操作的图形用户接口 ；图2是示出了其中可以实施本发明的示例性实施例的设备和网络环境的概念性 框图；图3是概述根据本发明示例性实施例执行的操作的概念性流程图；图4是示出根据本发明进行操作的方法的流程图；以及图5是示出根据本发明进行操作的另一方法的流程图。
具体实施例方式在示例性方法、装置和计算机程序产品中，本发明涉及高效地用保存于联系人数 据库中的联系人信息来注释人脸图像，将脸部图像中注释的联系人信息添加到联系人数据 库，以及将已注释图像用于控制通信操作。在示例性实施例中的本发明按照如下进行操作。包含一个或多个脸部的图像通过 电话照相机被捕获，或从服务器下载，或作为MMS从朋友接收。接着，对输入图像执行脸部 检测。脸部检测和识别操作可以通过适于在相关技术环境中使用的任意脸部检测和识别算 法来实现。例如，比较复杂的脸部检测和识别算法可以被用在实现本发明的非便携式电子 设备中。比较不复杂的脸部检测和识别算法可以在便携式电子设备中实现。在任一情形中， 脸部检测和识别算法对于本领域技术人员是公知的。如果检测到脸部，则将其以某种方式 从图像的其余部分中分开，如图1所示，其中图形部分110已被用于将脸部部分122与图像 120的其余部分124区分开。在一实施例中，本发明执行脸部识别以确定是否已经为图像中 所示的人创建了联系人信息。本发明通过将脸部部分用于在图像数据库中搜索包含同一人 的已注释图像，如图IC所示，而实现所述操作。在此，也已经在图IC所示的图像130中找 到与图IA中所示的同一人。如果已经为该人创建了注释(例如，联系人信息)，则预先存在 的注释将与脸部部分122相关联。如果没有找到预先存在的注释，则可以显示交互式图形用户接口 140，如图IB所 示，以接收注释信息。可替换地，用户可以访问基于文本的联系人数据库来为该图像定位注 释fe息。
在本发明的上下文中，注释信息可以以多种方式被添加。在一实施例中，联系人信 息作为照片中的元数据被存储。如果关注隐私，则元数据可以被加密，从而使得仅仅被授权 使用图像的那些人可以访问元数据。可替换地，注释信息可以被存储在具有到包含脸部的 图像的链接的另一数据库中(例如，联系人数据库)。在以此方式实现的实施例中，当图像 被转发时注释信息将不会跟随该图像，因为其不是图像的一部分。
在已经在图像中注释了一个脸部部分之后，所述方法将确定图像中是否存在另外 的脸部。如果定位到第二脸部，则包含第二脸部的至少一部分的脸部部分被指定。接着执 行对之前已注释脸部图像的搜索，以确定是否已经为第二脸部中所示的人创建了注释。如 果是，则预先存在的注释被至少用作为注释第二脸部的开始点。如果否，则交互式图形用户 接口 140出现，从而用户可以注释第二图像。所述过程继续，直到图像中所示的所有脸部已 经被注释为止，或者至少直到用户想要进行注释的所有脸部已经被注释为止。在典型实施例中，注释信息将包括在联系人数据库中使用的联系人。在所述实施 例中，交互式接口 140将在脸部图像上重叠出现，以允许终端用户输入该人的联系方式作 为脸部注释。当终端用户将该人姓名输入到请求框中时，在本发明的一个变体中的系统将 自动搜索联系人数据库，以查看该姓名是否已经保存在联系人数据库中。如果该姓名在电 话本中，则与电话本中保存的该人相关联的所有联系人信息将被自动传送到交互式接口。 如果没有定位到预先存在的注释或联系人信息，则用户可以手动输入注释信息。再一次，如前所述，如果没有找到关联于预先存在的图像的注释，则用户可以在基 于文本的联系人数据库中搜索注释信息，并且如果找到这样的联系人信息，将其与图像相 关联。一旦图像已经被注释(例如通过联系人信息)，则在本发明的一实施例中，图像可 以被用于启动无线电话和其它连网设备中的通信操作。再次回头参考之前描述的繁忙的贸 易展销会的参加者，参加者可能不太记得联系人，不足以将熟人与基于文本的联系人列表 中的姓名相匹配。在这种情形中，参加者可以回顾在贸易展销会期间创建的已注释图像，以 便激起他或她的回忆。一旦包含想要的人的已注释图像已经被定位，则用户可以从该图像 发起通信操作。在本发明的上下文中，这可以以多种方式实现。例如，当图像首先被显示时， 可以在包含人的图像部分上即刻重叠图标，以指示出是否可以发起与图像中包含的人的通 信操作。可替换地，用户可以将指针移动到包含人的图像部分之上。如果已经为该人创建 了联系人信息，则当指针位置与图像中该人的位置重合时，将出现弹出指示符，从而指示出 可以启动以该人为目标的通信操作。如果没有出现弹出指示符，则尚未为该人创建注释，并 且无法启动以该人为目标的通信操作。图2示出了其中可以实施本发明的示例性实施例的便携式电子设备200(在此示 例中为无线通信系统中可操作的用户设备)和远程数据库292、284。便携式电子设备200包 括被配置用于在无线通信网络中的双向通信的收发器210 ；语音输入/输出装置220 (例 如，传感器和扬声器)；用于将信息显示给便携式电子设备的用户的显示器230(例如LCD)； 用于捕获静态图像并可能捕获电影的照相机240 (例如CCD或CMOS设备)；用户控制输入 250 (例如，键盘和其它开关装置和/或语音命令接口的结合)；用于至少存储程序262的 存储器260，程序262用于控制便携式电子设备200的操作以及用于执行根据本发明的操 作；用于将便携式电子设备连接到外部数据源的外部数据接口 270(例如，插口和短距离无线接口(例如蓝牙)中之一或二者、或其它公知的输入连接)；以及处理器280。存储器260可以属于适合于本地技术环境的任意类型，并可以使用任意适当的数 据存储技术来实现，诸如基于半导体的存储器设备、磁性存储器设备和系统、光学存储器设 备和系统、固定存储器和可移除存储器。此外，便携式电子设备200的存储器可以作为前述 存储技术中的两个或两个以上的结合而实现。
如所示，存储器260存储程序262，其用于控制便携式电子设备的操作，以及更特 别地用于执行根据本发明的操作。本发明利用电话本/联系人列表264和图像数据库266 的可用性，它们都存储在存储器260中。一般而言，本发明的实施例可以在UE 200中实现，其包括示例性和非限制性示例 的蜂窝式电话；具有无线通信能力的个人数字助理(PDA)；游戏设备；以及因特网设备。本 发明还可以在台式装置中实现，诸如，与外部照相设备相结合进行操作的台式计算机、笔记 本计算机、掌上型计算机等等。数据处理器280还可以是适合于本地技术环境的任意类型，并可以包括以下作为 非限制性示例的一个或多个通用处理器、专用处理器、微处理器、专用计算机、以及基于多 核体系结构的处理器。另外，本发明的方法和装置可以在连网环境中实现。例如，由便携式电子设备200 执行的、此处描述的图像注释和联系人信息创建操作可以对存储于远程图像数据库292中 的图像以及存储于远程联系人数据库294中的联系人信息进行操作，所述图像和联系人信 息都通过网络290访问。网络290可以表示用于将便携式电子设备连接于远程图像数据库 292和远程联系人数据库294的(无线和有线的)网络的集合。图3是概述根据本发明的方法执行的多种操作的概念性框图。在一实施例中，本 发明包括一种用于执行脸部检测以及对已检测脸部进行注释的方法。这由单元310、320和 330并结合340、350或360中的至少一个来表示。访问(或例如通过使用便携式电子设备 200的照相机240，生成)图像。执行脸部检测310，以识别图像中的每个脸部。接着，在脸 部图像输入步骤320，将每个脸部呈现给用户。在示例性和非限制性实施例中，这可以包括 缩放图像，从而使得要被注释的脸部占据显示器的大部分。在可替换实施例中，这可以用其 它方式执行。例如，可以为每个脸部创建新图像，其包括图像中包含脸部和最小化的周围 的背景图像的裁切部分。在其它实施例中，围绕脸部部分的图像部分可以被变淡，同时脸部 部分继续被正常显示。当在显示器230上再现时，这具有强调脸部、从而简化注释操作的效 果。如前所述，可以以若干种方式执行实际的注释操作。在第一实施例340中，注释信息可 以通过用户例如利用脸部注释图形用户接口输入注释信息来手动提供。在第二实施例中， 用户可以使用已经在电子数据库(诸如电话本350)中呈现的预先存在的联系人信息。在此 实施例中，用户可以通过适当的键击来访问电话本条目。接着条目在图形用户接口中被呈 现给用户。如果在将图像与电话本条目进行匹配时用户想要更新电话本中的联系人信息， 则用户可以当联系人信息被显示在图形用户接口中时这样做。在第三实施例中，用户可以 通过名片扫描仪360的协助来注释脸部图像。当要被注释的图像被显示在显示器上时，用 户可以访问内部或外部的名片扫描仪装置。一旦进行了访问，则用户可以扫描图像中该人 的名片。将执行光学字符识别，以捕获名片中的文本数据，并且文本数据将被显示在图形用 户接口中，于是用户可以校对该信息，并可能编辑或修改该信息。
在图3中概述的另一方法中，已注释脸部图像可以被用于将注释添加到图像数据 库中的其它图像。在本发明的此方面中，用户从已注释图像数据库中选择已注释图像。接着 用户命令电子设备访问图像数据库，以找到具有与已注释图像中相同之人的其它图像。此 步骤通过脸部识别370执行。一旦已经识别出包含相同之人的图像，则执行脸部注释330， 以注释380数据库中其它图像中的相同脸部。典型地，该步骤将通过使用已经为已注释图 像创建的注释而被自动完成。尽管如此，参考单元340、350和360描述的任意方法可以被 用于将注释添加到图像数据库中的其它图像也处于本发明的范围中。图4是示出根据本发明进行操作的方法的流程图。所述方法开始于410。接着， 诸如图2所示的便携式电子设备200例如通过数据处理器280执行用于执行所述方法的步 骤。接着，在412，访问图像，所述图像包含若干人的肖像。接着，在414，数据处理器280执 行指令，所述指令对图像中包含的脸部执行脸部检测。接着，在416，将计数设为等于图像中 的脸部的数量。该计数控制本发明的迭代方面，其中，图像中检测的每个脸部被依次注释。 接着，在418，在图像中检测的第一个(或下一个)脸部以缩放、裁切或其它强调的形式被 呈现给用户。接着，在420，脸部注释接口被呈现给用户。脸部注释接口可以包括具有若干 预定义的数据类别的下拉式菜单，所述数据类别诸如姓名、地址、电话号码、电子邮件地址 等等。接着，在422，便携式电子设备200接收通过脸部注释接口输入的脸部注释信息。接 着，在424，将脸部注释信息关联于图像，并存储于便携式电子设备200的存储器260中。脸 部注释信息包括识别所关联图像的信息，从而所关联图像和脸部注释信息可以被一起再调 用，以便例如执行编辑功能。接着，在完成脸部注释操作之后，在428，便携式电子设备200 减少所述计数，并到达判定点。如果计数等于零，则所述方法结束。如果计数不等于零，则 意味着还有另外的一个或多个脸部将要被注释，所以所述方法返回步骤418进行迭代，直 到所有脸部已被注释为止。在图4所示的方法的一个变体中，注释信息至少包括在联系人数据库中使用的联 系人信息。在图4所示的方法的另一个变体中，脸部部分通过这样的图形部分强调，所述图 形部分用于区分脸部部分与图像的其余部分。在图4所示的方法的再一个变体中，执行脸部检测的指令可以根据自动脸部检测 算法来操作，所述算法根据本发明进行操作。可替换地，所述指令可以实现交互式系统，其 允许用户使用例如便携式电子设备200的用户控制输入250在图像中选择想要的脸部部 分。在图4所示的方法的又一个变体中，在图像中识别一个或多个脸部的位置的信息 被保存到数据库。在另一个变体中，为被添加到联系人数据库的每个人生成唯一的标识符， 并且该唯一的标识符被用于识别图像中对应于特定人的脸部部分。这允许例如响应于用户 请求将包含特定人的图像快速地定位。在图4所示的方法的又一个变体中，一旦脸部已经在图像中被定位，并且已经出于注释目的被选择，则所述方法可以执行对包含于图像数据库中的之前已注释图像的自动 搜索，以便确定是否已经为拥有当前正被注释的脸部的人创建了注释。如果找到可能的匹 配，则可以执行确认步骤，以允许用户指示出该可能的匹配是否事实上对应于其脸部当前 正被注释的人。如果匹配合适，则与之前已注释图像关联的预先存在的注释信息被自动显 示于重叠在当前正被注释的脸部图像之上的交互式图形用户接口中。如果用户想要的话，用户可以将预先存在的注释用于当前正被注释的脸部图像。可替换地，用户可以编辑预先 存在的注释信息，以定制用于当前正进行注释的脸部图像的注释。在本发明的另一实施例中，不论何时用户将联系人信息输入交互式接口中，执行 所述方法的设备都可以执行协助用户完成注释的步骤。例如，当输入注释信息时可以继续 搜索注释数据库，以便确定是否存在这样的预先存在的注释(例如，用于其脸部正在被注 释的人的联系人信息)，该预先存在的注释与正在输入的注释信息形成部分匹配。如果存 在，则完整的预先存在的注释被自动再调用，并显示在交互式图形用户接口中。接着，向用 户给出机会“照现在的样子”采用预先存在的注释，或者修改它，以用于当前正在被注释的 脸部图像。
在图4所示的方法的又一个变体中，可以使用在执行所述方法的步骤的电子设备 之外的数据库来执行图像注释和图像注释同步操作。例如，在一个变体中，可以对存储于远 程数据库中的图像执行图像注释操作。在当前的商务环境以及甚至家用环境中，媒体(包 括照片)通常存储在所谓的媒体中心(例如，连网的硬盘驱动器)中。由于媒体中心中的 图像是可通过网络访问的，所以一旦进行注释，它们仍可以执行通信操作启动功能。在所述 变体中，启动通信操作(诸如电话呼叫或文本消息传送会话)所需的联系人信息将被与图 像一起从远程数据库上传。在另一变体中，当脸部图像出于注释目的被选择时，可以以上述方式搜索外部数 据库，以确定外部数据库中的已注释图像是否已经包含了这样的脸部图像，即该脸部图像 包含对应于当前正被注释的脸部图像中之人的人。如果包含，则用于外部数据库中的图像 的注释可以照现在的样子、或者以修改后的形式用于注释图像。在再一变体中，一旦已经以 图4所述的方式注释了脸部图像，则可以搜索外部数据库，以定位包含与已经被注释的脸 部图像中所包含相同的人的图像。接着，用于该脸部图像的注释可以被添加到位于外部数 据库中的图像。图5是示出根据本发明的示例性实施例进行操作的方法的另一流程图。所述方法 可以在类似于图2所示的便携式电子设备200中实现，并将参考便携式电子设备200进行 描述。不过，本领域普通技术人员将理解，所述方法可以在具有与参考图2的便携式电子设 备200示出和描述的相类似的或不同的特征组合的其它设备中实现。因而，所述方法开始 于510。接着，在512，便携式电子设备200接收通过用户输入控制250输入的命令，以将注 释添加到存储于存储器260的图像数据库266中的预先存在的数据库图像。接着，在步骤 514，便携式电子设备200通过用户输入控制250接收对已注释脸部图像的选择。该步骤可 以在已经创建已注释脸部图像之后立即发生，或者当用户决定注释便携式电子设备200的 图像数据库266中的其它图像很有用的时候之后的某个时间发生。接着，在516，便携式电 子设备200的数据处理器280执行程序指令，所述程序指令执行脸部识别，以识别包含与已 注释脸部图像相同的人(和脸部)的图像。在所有图像已经被定位之后(可以期望，该步 骤可以被不完善地执行)，执行迭代确认/注释操作。首先，在518，便携式电子设备200的数据处理器280执行程序指令，所述指令将计 数设为等于所定位的被认为是包含了与已注释脸部图像中所示相同之人的图像的数量。接 着，在520，将第一个(或下一个)图像呈现给用户。接着便携式电子设备200执行程序指 令，所述程序指令在522通过电子设备200的交互式接口将请求呈现给用户(用户可以借助于通过语音输入/输出220输入的语音命令或者借助于通过用户控制输入250输入的键 击来与所述接口交互)。所述请求向用户呈现备选方案——已经与已注释图像相关联的预 先存在的注释也应该与当前正在呈现给用户的图像相关联吗？该步骤执行确认以及注释， 因为便携式电子设备可能已经错误地选择了图像(当前图像可能未包含具有预先存在的 注释的所选图像中示出的人)。可替换地，用户可以决定不把预先存在的注释添加到图像， 即便该图像不包含具有预先存在的注释的图像中示出的人。在任一情形中，在522的判定 为“否”，并且所述方法继续到526，在526计数被减少。接着，所述方法在528继续，在528 到达另一判定点。如果计数现在等于零，则所述方法在530结束。如果计数不等于零，则所 述方法返回520 ；在此，将下一个图像呈现给用户。
如果在522用户决定将注释添加到当前正在呈现的图像，则在524便携式电子设 备200的数据处理器280执行程序指令，所述程序指令创建当前图像与注释之间的关联，并 将关联保存到便携式电子设备200的存储器260，从而使得图像和注释可以在稍后某个时 间被再调用。在可替换实施例中，可以向用户给出机会编辑预先存在的注释。这可以属于 特定用途，因为用户可能想要添加对采用特定图像的情形的描述。接着所述方法在526继 续，在526计数被减少。如果在528计数被减少为零，则所述方法在530结束。如果计数不 为零，则所述方法返回520，以继续迭代，直到所有图像被注释为止。在另一变体中，用户不需要指示出注释被添加到被识别为包含同一人的其它图 像。作为替代，用户可以指示出注释被添加到被识别为包含该人的所有图像。当存在数十 或数百张包含同一人的照片时，这可以节省时间。一般而言，各种示例性实施例可以用硬件或专用电路、软件、逻辑或它们的任意组 合来实现。例如，某些方面可以用硬件实现，而其它方面可以用可由控制器、微处理器或其 它计算设备执行的固件或软件来实现，但是本发明并不限于此。尽管本发明的示例性实施 例的各种方面可以被示出和描述为框图、流程图、或使用某些其它图形表示，但是很好理解 的是，在此描述的这些框、装置、系统、技术或方法可以用作为非限制性示例的硬件、软件、 固件、专用电路或逻辑、通用硬件或控制器、或其它计算设备、或它们的组合来实现。同样，应该理解，本发明的示例性实施例的至少某些方面可以用多种组件实施，诸 如集成电路芯片和模块。对集成电路的设计大体上是高度自动化的过程。复杂和强大的软 件工具可用于将逻辑设计转换成准备在半导体基片上制造的半导体电路设计。所述软件工 具可以通过使用良好建立的设计规则以及预先存储的设计模块库，而自动地路由导体和定 位半导体基片上的组件。一旦用于半导体电路的设计已经完成，则呈标准化电子格式(例 如Opus、⑶SII等等)的所得设计可以被传送到半导体制造设施，用于制造成一个或多个集 成电路设备。本领域普通技术人员将理解，此处示出和描述的方法可以用可存储在有形的计算 机可读存储介质中的计算机程序来实现。以有形的计算机可读存储介质实现的指令当被执 行时执行所述方法的步骤。有形的计算机可读存储介质包括但不限于硬盘驱动器、CD-或 DVD ROM、闪速存储器存储设备或计算机系统的RAM存储器。因此，可以看出，前述描述已经借助于示例性和非限制性示例提供了对用于通过 脸部注释信息来管理联系人和图像的、发明者预期的最佳方法和装置的完整和丰富描述。 本领域技术人员将理解，此处所述的多种实施例可以以如下方式实施独立地；结合此处所述的一个或多个实施例；或结合与此处描述的装置不同的装置。此外，本领域技术人员将理解，本发明可以通过与所述实施例不同的实施例实施；所述这些实施例出于示出而非限 制的目的被呈现；以及本发明仅受到之后的权利要求所限。
权利要求
一种电子设备，包括至少一个存储器，被配置用于存储图像数据库、图像注释数据库以及至少一个程序，所述程序被配置用于当被执行时控制所述电子设备；至少一个显示器设备，被配置用于显示可视信息；控制装置，被配置用于从所述电子设备的用户接收控制命令；以及至少一个数据处理器，被配置用于执行至少一个程序，其中当所述至少一个程序被执行时，所述电子设备被配置用于接收图像；对所述图像执行脸部检测，以定位脸部部分；响应于检测到包含至少一个人的脸部的至少一个脸部部分，将识别所述图像中的脸部部分的位置的图像注释信息保存到所述图像注释数据库；使用所述显示器将所述图像呈现给用户，从而使得所述至少一个脸部部分被强调；接收由用户选择的额外的图像注释信息，所述额外的图像注释信息涉及所述至少一个人；以及将所述额外的图像注释信息保存到所述图像注释数据库。
2.根据权利要求1所述的电子设备，其中所述额外的图像注释信息包括联系人信息。
3.根据权利要求1所述的电子设备，其中将所述图像呈现给用户从而使得所述至少一 个脸部部分被强调进一步包括当显示所述至少一个图像时，利用图形部分将所述脸部部 分隔开，所述图形部分用于将所述至少一个脸部部分与所述图像的其余部分区分开。
4.根据权利要求1所述的电子设备，其中将所述图像呈现给用户从而使得所述至少一 个脸部部分被强调进一步包括当显示所述图像时缩放所述图像，从而使得所述至少一个 脸部部分基本占据整个显示器。
5.根据权利要求1所述的电子设备，其中所述至少一个程序包括脸部检测指令，其当 被执行时进行自动化脸部检测，并且其中对所述图像进行行脸部检测进一步包括执行所 述脸部检测指令，从而使得对所述图像执行所述自动化脸部检测。
6.根据权利要求1所述的电子设备，其中所述至少一个程序包括脸部部分识别指令， 其当被执行时进行用户引导的脸部部分识别，并且其中对所述图像执行脸部检测进一步包 括执行所述脸部部分识别指令；以及接收通过所述控制装置输入的用户命令，所述用户 命令指定所述图像中的脸部部分的位置。
7.根据权利要求1所述的电子设备，其中所述至少一个程序包括脸部识别指令，并且 其中当所述脸部识别指令被执行时，所述电子设备被进一步配置用于使用所述至少一个 脸部部分在所述图像数据库中搜索包含所述至少一个人的其它图像；以及将识别包含所述 至少一个人的其它图像的信息保存到所述至少一个存储器中。
8.根据权利要求7所述的电子设备，其中当所述脸部识别指令被执行时，所述电子设 备被进一步配置用于执行验证操作，其中由所述脸部识别指令使用所述脸部部分定位的 图像被呈现给用户，以验证所述图像事实上确实包含所述至少一个人；以及仅针对由用户 验证为包含所述至少一个人的图像，将识别包含所述至少一个人的其它图像的信息保存到 所述至少一个存储器中。
9.根据权利要求7所述的电子设备，其中当所述至少一个程序被执行时，所述电子设 备被进一步配置用于检测脸部部分在包含所述至少一个人的其它图像中的位置；以及将 识别所述脸部部分在所述其它图像中的位置的图像注释信息保存到所述图像注释数据库 中。
10.根据权利要求1所述的电子设备，其中当所述至少一个程序被执行时，所述电子设 备被进一步配置用于将唯一标识符分配给所述至少一个脸部部分，其中所述唯一标识符 用于仅识别包含所述至少一个人的脸部的脸部部分。
11.根据权利要求1所述的电子设备，其中当所述至少一个程序被执行时，所述电子设 备被进一步配置用于显示用于接收注释信息的交互式图形用户接口 ；以及其中接收由用 户选择的额外的图像注释信息进一步包括接收通过所述控制装置输入的命令，所述命令 指定涉及所述脸部部分的额外的图像注释信息；以及在所述交互式图形用户接口中显示额 外的图像注释信息。
12.根据权利要求11所述的电子设备，其中当所述至少一个程序被执行时，所述电子 设备被进一步配置用于当通过所述控制装置输入额外的图像注释信息时，比较通过所述 控制装置输入的额外的图像注释信息与所述图像注释数据库中预先存在的注释信息；以及 如果找到可能的匹配，在所述交互式图形用户接口中显示所述图像注释数据库中预先存在 的可能的匹配注释信息。
13.根据权利要求12所述的电子设备，其中当所述至少一个程序被执行时，所述电子 设备被进一步配置用于将选择呈现给用户，以确认所述可能匹配的预先存在的注释信息 事实上是针对所述脸部部分的正确匹配；以及接收来自用户的将可能匹配的预先存在的注 释信息识别为正确匹配的响应。
14.根据权利要求1所述的电子设备，其中在接收包含所述至少一个人的图像之前，所 述额外的图像注释信息预先存在于所述至少一个存储器中，以及其中接收额外的图像注释 信息进一步包括接收将预先存在的额外的图像注释信息识别为涉及所述脸部部分的至少 一个命令。
15.根据权利要求14所述的电子设备，其中所述预先存在的额外的图像注释信息包括 联系人数据库中的联系人条目。
16.根据权利要求14所述的电子设备，其中接收额外的图像注释信息进一步包括在 交互式图形用户接口中将所述预先存在的额外的图像注释信息呈现给用户；接收对所述预 先存在的额外的图像注释信息的编辑，从而创建已编辑的注释信息；以及用所述已编辑信 息替换所述预先存在的额外的图像注释信息。
17.根据权利要求1所述的电子设备，进一步包括图像捕获设备，被配置用于捕获图像。
18.根据权利要求17所述的电子设备，其中所述图像捕获设备是照相机。
19.根据权利要求1所述的电子设备，进一步包括名片扫描仪，其被配置用于从名片捕 获文本信息，以及其中当所述至少一个程序被执行时，所述电子设备被进一步配置用于从 所述名片扫描仪接收涉及位于所述图像中的脸部部分的注释信息。
20.根据权利要求1所述的电子设备，进一步包括网络接口，以及其中当所述至少一个 程序被执行时，所述电子设备被进一步配置用于通过所述网络接口与外部数据库进行通 信，以及与所述外部数据库执行图像和图像注释同步操作。
21.一种包括有形地包含计算机程序的计算机可读存储器的计算机程序产品，所述计 算机程序可由电子设备的数据处理器执行，其中当被执行时，所述计算机程序被配置用于 使得所述电子设备接收图像；对所述图像执行脸部检测，以定位脸部部分；响应于检测到包含至少一个人的脸部的至少一个脸部部分，将识别所述图像中的脸部部分的位置的图像注释信息保存到数据库；使用所述显示器将所述图像呈现给用户，从而使得所述至少一个 脸部部分被强调；接收由用户选择的额外的图像注释信息，所述额外的图像注释信息涉及 所述至少一个人；以及将所述额外的图像注释信息保存到所述数据库。
22.根据权利要求21所述的计算机程序产品，其中所述计算机程序被进一步配置用于 当被执行时使得所述电子设备比较位于所述图像中的至少一个脸部部分与已经在所述数 据库中的已注释脸部部分，以确定用于所述至少一个人的注释信息是否已经存在；以及，如 果找到所述图像中的脸部部分与已经在所述数据库中的已注释脸部部分之间的可能的匹 配，则加载交互式接口，所述交互式接口具有与已经在所述数据库中的已注释脸部部分相 关联的注释信息。
23.根据权利要求22所述的计算机程序产品，其中所述计算机程序被进一步配置用于 当被执行时使得所述电子设备向用户提供机会确认与已经在所述数据库中的已注释脸部 部分相关联的注释信息是正确匹配，并且应该与位于所述图像中的脸部部分相关联。
24.根据权利要求21所述的计算机程序产品，其中使用显示器呈现所述图像从而使得 所述至少一个脸部部分被强调进一步包括当显示所述至少一个图像时，利用图形部分将 所述脸部部分隔开，所述图形部分用于将所述脸部部分与所述图像的其余部分区分开。
25.根据权利要求21所述的计算机程序产品，其中使用显示器呈现所述图像从而使得 所述至少一个脸部部分被强调进一步包括当显示所述图像时缩放所述图像，从而使得所 述脸部部分基本占据整个显示器。
26.根据权利要求21所述的计算机程序产品，其中对所述图像执行脸部检测进一步包 括执行自动脸部检测指令，其自动定位图像中的脸部部分。
27.根据权利要求21所述的计算机程序产品，其中对所述图像执行脸部检测进一步包 括接收通过所述电子设备的控制装置输入的用户命令，其指定所述图像中的脸部部分的 位置。
28.根据权利要求21所述的计算机程序产品，其中所述计算机程序被进一步配置用于 当被执行时使得所述电子设备使用所述脸部部分在图像数据库中搜索，以定位包含所述 至少一个人的其它图像；以及将识别包含所述至少一个人的其它图像的信息保存到所述电 子设备的存储器中。
29.根据权利要求28所述的计算机程序产品，其中所述计算机程序被进一步配置用于 当被执行时使得所述电子设备将为所述图像中定位的脸部部分接收的注释信息与被识别 为包含所述至少一个人的其它图像相关联。
30.根据权利要求28所述的计算机程序产品，其中所述计算机程序被进一步配置用于 当被执行时使得所述电子设备执行验证操作，其中在所述数据库中定位的、同样包含所述 至少一个人的其它图像被呈现给用户，以验证所述图像事实上确实包含所述至少一个人； 以及仅针对由用户验证为包含所述至少一个人的图像，将识别包含所述至少一个人的其它 图像的信息保存到所述电子设备的存储器中。
31.根据权利要求21所述的计算机程序产品，其中所述额外的图像注释信息包括在联 系人数据库中使用的联系人信息。
32.根据权利要求21所述的计算机程序产品，其中当所述计算机程序被执行时被进一步配置用于将唯一标识符分配给所述脸部部分，所述唯一标识符被用于仅识别包含所述至少一个人的脸部的脸部部分。
33.根据权利要求21所述的计算机程序产品，其中接收由用户选择的额外的图像注释信息进一步包括显示交互式图形用户接口，其被用户用于输入所述额外的图像注释信息。
34.根据权利要求33所述的计算机程序产品，其中所述计算机程序被进一步配置用于 当被执行时使得所述电子设备当通过所述交互式图形用户接口输入额外的图像注释信息 时，比较通过所述交互式图形用户接口输入的额外的图像注释信息与所述数据库中预先存 在的图像注释信息；以及如果找到可能的匹配，在所述交互式图形用户接口中显示所述数 据库中预先存在的可能的匹配注释信息。
35.一种方法，包括 接收图像；对所述图像执行脸部检测，以确定所述图像是否包含至少一个脸部部分； 以及响应于检测到所述图像中的至少一个脸部部分，所述至少一个脸部部分包含至少 一个人的脸部，将识别所述图像中的脸部部分的位置的图像注释信息保存到数据库； 将所述图像呈现给用户，从而使得所述至少一个脸部部分被强调； 接收由用户选择的额外的图像注释信息，所述额外的图像注释信息涉及所述至少一个 人；以及将所述额外的图像注释信息保存到所述数据库。
36.根据权利要求35所述的方法，其中所述额外的图像注释信息包括联系人信息。
37.根据权利要求35所述的方法，进一步包括将唯一标识符分配给所述至少一个脸部部分，所述唯一标识符指示出所述至少一个人 的身份；以及将所述唯一标示符保存到所述数据库。
38.根据权利要求37所述的方法，其中所述图像和所述脸部部分分别进一步包括第一 图像和第一脸部部分，所述方法进一步包括接收包含所述至少一个人的第二图像，所述第二图像包括至少第二脸部部分，所述第 二脸部部分包含所述至少一个人的脸部；在所述第二图像中定位所述第二脸部部分；以及将识别所述第二图像中的所述第二脸部部分的位置的图像注释信息保存到所述数据库。
39.根据权利要求38所述的方法，进一步包括 将所述唯一标识符分配给所述第二脸部部分；以及将所述唯一标识符到所述第二脸部部分的分配保存到所述数据库。
40.根据权利要求39所述的方法，进一步包括 接收定位包含所述至少一个人的图像的请求；以及 将所述唯一标识符用于定位所述第一和第二图像。
41.根据权利要求35所述的方法，其中对所述图像执行脸部检测进一步包括使用自 动化脸部检测器来检测所述图像中的至少一个脸部部分。
42.根据权利要求35所述的方法，其中对所述图像执行脸部检测进一步包括接收指定所述图像中的脸部部分的位置的用户输入。
43.根据权利要求35所述的方法，其中接收由用户输入的额外的图像注释信息进一步 包括将交互式用户接口呈现给用户，所述交互式用户接口被配置用于接收所述额外的图像 注释信息；以及接收通过所述交互式用户接口输入的额外的图像注释信息。
44.根据权利要求35所述的方法，其中在接收包含所述至少一个人的图像之前，所述 额外的图像注释信息预先存在于所述数据库中，以及其中接收由用户选择的额外的图像注 释信息进一步包括接收将预先存在的额外的图像注释信息识别为涉及所述至少一个脸部部分的至少一 个命令。
45.根据权利要求44所述的方法，其中接收由用户选择的额外的图像注释信息进一步 包括在交互式图形用户接口中将所述预先存在的额外的图像注释信息呈现给用户； 接收对所述预先存在的额外的图像注释信息的编辑，从而创建已编辑的注释信息；以及用所述已编辑注释信息替换所述预先存在的额外的图像注释信息。
46.一种电子设备，包括存储器装置，用于存储图像数据库、图像注释数据库以及至少一个程序装置，所述程序 装置用于当被执行时控制所述电子设备； 显示器装置，用于显示可视信息；控制装置，用于从所述电子设备的用户接收控制命令；以及数据处理器装置，用于执行所述程序装置，用于接收图像；用于对所述图像执行脸部检 测，以定位脸部部分；响应于检测到包含至少一个人的脸部的至少一个脸部部分，用于将识 别所述图像中的脸部部分的位置的图像注释信息保存到所述图像注释数据库；用于使用所 述显示器将所述图像呈现给用户，从而使得所述至少一个脸部部分被强调；用于使用所述 控制装置接收由用户选择的额外的图像注释信息，所述额外的图像注释信息涉及所述至少 一个人；以及将所述额外的图像注释信息保存到所述图像注释数据库。
47.一种系统，包括 远程图像数据库，包括网络接口，被配置用于将所述远程图像数据库连接到网络；以及 存储器，被配置用于存储图像； 远程联系人数据库，包括网络接口，被配置用于将所述远程图像数据库连接到网络；以及 存储器，被配置用于存储联系人信息；以及便携式电子设备，包括 网络接口，被配置用于将所述便携式电子设备连接到网络；至少一个存储器，被配置用于存储图像数据库、图像注释数据库以及至少一个程序，所 述程序被配置用于当被执行时控制所述电子设备； 至少一个显示器设备，被配置用于显示可视信息；控制装置，被配置用于从所述电子设备的用户接收控制命令；以及 至少一个数据处理器，被配置用于执行至少一个程序，其中当所述至少一个程序被执 行时，所述电子设备被配置用于从所述便携式电子设备的图像数据库和所述远程图像数 据库中的至少一个接收图像；对所述图像执行脸部检测，以定位脸部部分；响应于检测到 包含至少一个人的脸部的至少一个脸部部分，将识别所述图像中的脸部部分的位置的图像 注释信息保存到所述便携式电子设备的图像注释数据库或所述远程联系人数据库中的至少一个；使用所述显示器将所述图像呈现给用户，从而使得所述至少一个脸部部分被强调； 接收由用户选择的额外的图像注释信息，所述额外的图像注释信息涉及所述至少一个人； 以及将所述额外的图像注释信息保存到所述便携式电子设备的图像注释数据库和所述远 程联系人数据库中的至少一个。
全文摘要
一种具有存储器、显示器、控制装置和数据处理器的电子设备。当所述数据处理器执行所述电子设备的存储器中存储的程序时，所述电子设备接收包含人的图像，所述图像进一步包含脸部部分，所述脸部部分包含该人的脸部；在所述显示器上显示所述图像；定位所述图像中的脸部部分；强调所述脸部部分；接收涉及所述脸部部分的图像注释信息；以及将所述图像注释信息保存到所述电子设备的存储器。所述图像注释信息可以采用在联系人数据库中使用的联系人信息的形式。一种方法使用脸部部分来定位数据库中也包含该人的其它图像，并且将注释信息添加到那些数据库。
文档编号H04M1/725GK101843086SQ200880104285
公开日2010年9月22日 申请日期2008年6月23日 优先权日2007年6月29日
发明者汪孔桥 申请人:诺基亚公司