专利名称：图像处理设备、图像处理方法以及服务器及其控制方法
技术领域：
本发明一般地涉及一种图像处理设备，图像处理方法，服务器以及服务器的控制方法。特别涉及一种用于在记录介质上检索需要的图像并显示该图像的技术。
背景技术：
在近年来的数字照相机中，图像质量即形成图像数据的像素数量随CCD集成程度的提高而显著增加，并且每一个图像数据的数据量也相应增加。此外，在现今的数字照相机中，具有非易失性闪速存储器的存储卡被用作最常用的存储介质。因为现今的存储卡的记录容量是有限的，具有更大容量的存储卡相继被研发出来。另外，提出了一种数字照相机(例如，日本特开2001-036786号公报)，其具有替代存储卡的硬盘驱动器或磁光盘驱动器，可用于记录运动图像等大容量的图像数据。
不幸的是，因为图像数据量巨大，当用户想要将上述大容量记录介质上记录的图像数据再现在具有该记录介质的数字照相机的主体的显示屏上时，将花费长时间来寻找所需要的图像数据。
此外，传统的数字照相机具有将一副图像显示在显示屏上的功能，并具有将多个缩小的图像同时显示在显示屏上的索引显示功能。然而，即使在使用索引显示功能时，能够显示在显示屏上的图像数量最多约为10张。因此，对于用户而言从例如10000或更多个记录图像中寻找需要的图像并不容易，且非常浪费时间。
发明内容
本发明是基于对上述情况的考虑而提出的，其目的在于实现一种在记录介质上检索所需图像并显示该图像时能够提高检索速度的技术。
为了实现上述目的，根据本发明提供一种图像处理设备，其特征在于，包括生成装置，用于生成与通过摄像取得的图像数据相关的数据库；发送装置，用于将图像数据发送至服务器；接收装置，用于从服务器接收图像数据的特征数据，特征数据以对图像数据至少执行人物提取的结果为基础；记录装置，用于将与图像数据相关的、从服务器接收到的特征数据记录在记录介质上，作为由生成装置生成的数据库的一部分；检索装置，用于呈现特征数据使得特征数据能被指定，并用于对数据库进行检索，以找到对应于所指定的特征数据的图像数据；以及显示装置，用于基于由检索装置找到的图像数据显示图像。
此外，还提供一种服务器，其特征在于，包括接收装置，用于接收来自图像处理设备的图像数据；图像分析装置，用于通过对图像数据至少执行人物提取来提取特征数据；记录装置，用于将图像数据以及与图像数据相关的特征数据记录在记录介质上；以及发送装置，用于向图像处理设备发送特征数据，作为用于对包括在图像处理设备中的图像数据库进行检索的数据。
此外，还提供一种图像处理方法，其特征在于，包括生成步骤，用于生成与通过摄像取得的图像数据相关的数据库；
发送步骤，用于将图像数据发送至服务器；接收步骤，用于从服务器接收图像数据的特征数据，特征数据以对图像数据至少执行人物提取的结果为基础；记录步骤，用于将与图像数据相关的、从服务器接收到的特征数据记录在记录介质上，作为生成步骤生成的数据库的一部分；检索步骤，用于呈现特征数据使得特征数据能被指定，并用于对数据库进行检索，以找到对应于所指定的特征数据的图像数据；以及显示步骤，用于基于检索步骤找到的图像数据显示图像。
此外，还提供一种与图像处理设备通信的服务器的控制方法，其特征在于，包括接收步骤，用于从图像处理设备接收图像数据；图像分析步骤，用于通过对图像数据至少执行人物提取来提取特征数据；记录步骤，用于将图像数据以及与图像数据相关的特征数据记录在记录介质上；以及发送步骤，用于向图像处理设备发送特征数据，作为用于对图像处理设备中包含的图像数据库进行检索的数据。
此外，还提供一种图像处理设备，其特征在于，包括生成装置，用于生成与图像数据相关的数据库；发送装置，用于根据与图像数据相关的数据库的状态有选择地向服务器发送图像数据；接收装置，用于从服务器接收通过分析图像数据而生成的特征数据；记录装置，用于记录从服务器接收到的特征数据，作为数据库的一部分；检索装置，用于呈现特征数据使得特征数据能被指定，并且用于对数据库进行检索，以找到对应于所指定的特征数据的图像数据；以及再现装置，用于再现基于由检索装置找到的图像数据的图像。
此外，还提供一种图像处理方法，其特征在于，包括生成步骤，用于生成与图像数据相关的数据库；发送步骤，用于根据与图像数据相关的数据库的状态有选择地向服务器发送图像数据；接收步骤，用于从服务器接收通过分析图像数据而生成的特征数据；记录步骤，用于记录从服务器接收到的特征数据，作为数据库的一部分；检索步骤，用于呈现特征数据使得特征数据能被指定，并且用于对数据库进行检索，以找到对应于所指定的特征数据的图像数据；以及再现步骤，用于再现基于在检索步骤中找到的图像数据的图像。
本发明通过使服务器生成从图像中提取的特征数据可以在记录介质上迅速检索需要的图像并显示该图像，并减少图像处理设备的处理负荷。
从以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
图1是示出根据本发明第一实施例的数字照相机内部配置的框图；图2是示出根据本发明第一实施例的数据库结构的图；图3是示出根据本发明第一实施例的服务器内部配置的框图；
图4是示出第一实施例的数字照相机执行的拍摄处理的流程图；图5是示出第一实施例中加入了初始数据的数据库结构的图；图6是示出第一实施例的数字照相机执行的图像数据发送处理的流程图；图7是示出第一实施例的服务器执行的元数据生成处理的流程图；图8是示出从第一实施例的服务器返回的元数据的结构的图；图9是示出第一实施例的数字照相机执行的元数据接收处理的流程图；图10是示出第一实施例中加入了元数据的数据库的结构的图；图11是示出第一实施例的数字照相机执行的图像检索/显示处理的流程图；图12是示出第一实施例的数字照相机的检索窗口的图；图13是示出第二实施例的数据库的结构的图；图14是示出第二实施例的服务器执行的元数据生成处理的流程图；图15是示出从第二实施例的服务器返回的元数据的结构的图；图16是示出第二实施例的服务器执行的元数据接收处理的流程图；图17是示出第二实施例中加入了元数据的数据库的结构的图；图18是示出第二实施例的数字照相机的检索窗口的图；图19是示出第二实施例的数字照相机中的检索结果的图；图20是示出第三实施例的数字照相机执行的拍摄处理及图像数据发送处理的流程图；图21是示出第四实施例的数字照相机的内部配置的框图；图22是示出第四实施例的服务器的内部配置的框图；图23是示出第四实施例的数字照相机执行的拍摄处理及图像数据发送处理的流程图；图24是示出第四实施例的数字照相机执行的图像检索/显示处理的流程图。
从以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
具体实施例方式
下面参考附图详细地说明根据本发明的实施例。
应当指出，下面所说明的实施例是实现本发明的例子，应该根据应用本发明的设备的配置或根据各种条件适当地修改或改变，因此本发明不局限于下面的实施例。
第一实施例图1是根据本发明实施例的数字照相机的功能框图；图1中，附图标记101表示数字照相机；附图标记102表示用户接口单元，用于接受来自用户的拍摄处理、数据库生成处理、或检索处理的请求；附图标记103表示显示单元，用于显示图像、提示用户执行操作的菜单窗口等；附图标记104表示检索单元，用于通过使用从用户接口单元102输入的检索关键字在数据库中检索需要的图像数据；附图标记105表示作为数字照相机101的记录介质的硬盘。在本实施例中，硬盘105记录数据库106和图像数据107。附图标记106表示管理每个图像数据的元数据的数据库。应当指出，可分离式存储卡或光盘驱动器也可用来代替硬盘105(或同时使用)。
图2是示出数据库106中存储的数据的结构例子的图。
参考图2，数据库106中存储的所有数据均以文本形式说明。图像数据沿垂直(列)方向排列，而图像数据的元数据沿水平(行)方向排列。
附图标记201表示用于识别每个图像数据的ID，即，唯一表示图像数据的标识符；附图标记202表示用于表示由稍后说明的服务器生成的元数据是否被说明的标志；附图标记203表示路径，它是数字照相机101中的文件系统(未示出)管理的图像数据的位置信息；附图标记204表示用于表示类型，即，表示图像数据是运动图像数据或是静止图像数据的元数据；附图标记205表示用于表示拍摄日期/时间，即，表示拍摄和生成图像数据的日期/时间信息的元数据；附图标记206表示用于表示图像数据是人物图像或是风景图像的元数据。如果图像数据中包含人物，则元数据206表示其为人物图像，否则为风景图像。附图标记207表示与色彩相关的元数据。元数据207表示图像数据的色彩信息，并以CSV(CommaSeparated Values，逗点分离值)的形式说明相应色彩的名称。附图标记208表示与天气相关的元数据。元数据208说明拍摄图像数据时的天气信息。应当指出，上述数据库106的结构是一个例子且不限于本例子。此外，还应当指出，数据库106不需要包含图2中示出的所有元数据，就是说，只需要至少包含其中的一些。
再次参考图1，附图标记107表示图像数据，例如运动图像数据和静止图像数据；附图标记108表示数据库生成器，其根据从用户接口单元102输入的请求生成或更新与图像数据107有关的数据库106；附图标记109表示网络单元，其用于与图3中所示的外部服务器301进行通信；附图标记110表示摄像单元，其根据来自用户接口单元102的指令执行拍摄和生成图像数据。
尽管数字照相机101的功能模块不限于上述这些，但在此将省略对那些与本发明不相关的功能模块的说明。
图3是根据本发明实施例的服务器的功能框图。
在图3中，附图标记301表示外部服务器；附图标记302表示网络单元，用于与数字照相机101进行通信；附图标记303表示元数据生成器，用于接受并记录从数字照相机101发送来的图像数据，并且综合管理图像分析和数据库检查等用于生成元数据的处理；附图标记304表示图像数据记录介质，其用于记录从数字照相机101发送来的图像数据。
附图标记305表示图像分析器，其用于分析图像数据并提取图像的特征量；附图标记306表示数据库检查单元，其用于通过使用特征量来检查文本数据库(下面将说明)，并取得基于特征量的文本数据；附图标记307表示文本数据库，其用于存储与特征量相对应的文本数据。在本实施例中，文本数据作为缺省数据或通过用户登记而被预存在文本数据库307内。应当指出，图像数据记录介质304以及文本数据库307中的每个是硬盘驱动器、光盘驱动器、或是半导体存储装置。
在本实施例中，数字照相机101的网络单元109以及服务器301的网络单元302具有使用HTTP(Hyper Text TransferProtocol，超文本传输协议)作为通信协议的通信结构。应当指出，本发明显然不仅能够使用HTTP，也可使用FTP(File TransferProtocol，文件传输协议)等来通过网络发送和接收控制命令和数据。
上面已说明第一实施例的数字照相机101和服务器301的内部配置。
然后，下面将说明第一实施例的数字照相机101和服务器301执行的处理操作。
拍摄处理首先，参考图4说明本实施例的数字照相机101执行的拍摄处理。
在图4的S401中，如果用户通过按下拍摄按钮等向用户接口单元102输入拍摄请求，则用户接口单元102请求摄像单元110执行拍摄处理。在本实施例中，运动图像拍摄和静止图像拍摄由不同按钮(未示出)执行。然而，本发明不仅限于本实施例。
在S402中，收到来自用户接口单元102的拍摄请求的摄像单元110执行拍摄处理并生成图像数据。然后摄像单元110向数据库生成器108发送图像数据。
在S403中，数据库生成器108生成即将记录在数据库106中的初始数据，并另外将初始数据记录在硬盘105上的数据库106中。初始数据是与如图2中所示的ID201、标志202、路径203、类型204、以及拍摄日期/时间205相关的元数据。
在数据库106中ID201被设定唯一值。标志202被设定为“0”(零)。标志“0”表示由服务器301生成的元数据还未被说明的状态。路径203设定图像数据被记录的位置的信息。类型204设定所生成图像数据的类型。拍摄日期/时间205设定摄像单元110生成图像数据时的日期/时间信息。与图2中示出的人物/风景206、色彩207、以及天气208相关的元数据由服务器301生成，因此不作为初始数据生成。
在步骤S404中，数据库生成器108在硬盘105上记录由摄像单元110生成的图像数据。在这种情况下，图像数据也可以通过文件系统(未示出)记录在硬盘105上。应当指出，图像数据记录的地址是路径203所代表的位置信息。
图5是示出当执行上述拍摄处理并生成三个新图像数据时数据库的内部结构例子的图。
参考图5，三个新生成的图像数据的ID为00000007、00000008、以及00000009。这些图像数据的标志为0，且数据库的初始数据已被说明。
图像数据发送处理下面，将参考图6对本实施例的数字照相机101执行的图像数据发送处理进行说明。
在图6中的S601中，用户通过例如触摸菜单窗口中的数据库更新按钮，向用户接口单元102输入数据库更新请求。用户接口单元102将元数据生成请求通知给数据库生成器108。
在S602中，数据库生成器108检查数据库106中标志为0(零)的图像数据。
在S603中，数据库生成器108选择性地从硬盘105上的图像数据107中读取在S602中标志为0(零)的图像数据，也就是图5中所示的MOV_0002.MPG、IMG_0006.JPG、以及IMG_0007.JPG，并通过网络单元109将这些选中的图像数据发送至服务器301。
本实施例是基于假设在图6中所示的图像数据发送处理中数字照相机101和服务器301通过网络连接。就是说，本实施例是基于假设数字照相机101已检测到了服务器301的IP地址、发送目的地的URL(Uniform Resource Locator，统一资源定位符)等。应当指出，本发明不限于本实施例。例如，在S601中，网络单元109还可以在元数据生成请求被发送到数据库生成器108时生效，并通过使用UPnP(Universal Plug and Play，通用即插即用)等自动检测算法来检测网络中的服务器从而连接服务器。此外，数字照相机101还可以基于数字照相机101中预设的服务器IP地址信息来连接服务器。
元数据生成处理下面将参考图7，对本实施例的服务器301执行的元数据生成处理进行说明。
在图7的S701中，网络单元302接收从数字照相机101发送来的图像数据，并将该接收通知给元数据生成器303。
在S702中，元数据生成器303将接收到的图像数据记录在图像数据记录介质304上。
在S703中，图像分析器305对记录在图像数据记录介质304上的图像数据进行分析，并计算图像的特征量数据。更具体地说，图像分析器305使用已知图像识别技术及面部图像识别技术来判断图像是否包含面部，提取图像中包含的主要色彩成分，并例如基于图像的色彩成分分布及亮度来判断天气信息。
应当指出，已知的面部检测技术有多种方法。一个例子是使用以神经网络为代表的学习方法。此外，还有通过使用模板匹配从图像数据中识别以物理形状为特征的眼睛、鼻子、嘴、以及面部轮廓等各部分的方法。此外，还有一个例子是检测图像数据中皮肤色彩或眼睛形状等特征量并执行统计分析的方法(例如，日本特开平10-232934或2000-48184号公报)。本实施例通过检测一双眼睛(两眼)、鼻子、嘴、和面部轮廓并由其相对位置确定人的面部的方法执行面部识别处理。
在S704中，数据库检查单元306基于在S703中计算出的特征量数据在文本数据库307中检索相应的元数据。
在S705中，元数据生成器303基于在S704中获得的元数据形成待返回到数字照相机101中的元数据。
在S706中，元数据生成器303判断是否已生成数字照相机101请求的所有图像数据的元数据。元数据生成器303重复S703至S705中的处理直到生成了全部元数据。
图8示出了元数据生成处理完成后从服务器301返回的元数据的结构。元数据生成器303形成元数据，该元数据补充了与ID801为00000007、00000008、及00000009的各图像数据相关的且尚未在图5中所示的数据库106中说明的人物/风景802、色彩803、以及天气804。
在S707中，服务器301将所请求的元数据生成处理已经完成通知给数字照相机101。该通知包含用于取得即将返回的数据的URL信息。当然，该通知处理可以通过数字照相机101周期性取得服务器301的状态来执行，或通过从服务器301向数字照相机101发送该通知来执行。
元数据接收处理下面将参考图9对本实施例的数字照相机101执行的元数据接收处理进行说明。
如果数据库生成器108在图9的S901中通过网络单元109从服务器301接收到元数据生成处理完成通知，则处理前进到步骤S902，数据库生成器108请求发送与包含在该通知中的URL相应的元数据，并接收该元数据。
在S903中，数据库生成器108将接收到的元数据802至804的内容加入数据库106中，并将被更改的行的标志设定为“1”。标志“1”表示由服务器301产生的元数据已被说明的状态。
图10示出已更新的数据库106的结构例子。对于ID为00000007、00000008、以及00000009的各图像数据，图8中示出的元数据的内容，也就是，人物/风景802、色彩803、以及天气804都被记录在数据库106中。
图像检索/显示处理下面将参考图11和图12对本实施例的数字照相机101执行的图像检索/显示处理进行说明。
图12示出内容检索窗口。附图标记1201表示检索类别设定区域；附图标记1202表示检索结果显示区域。
在图11的S1101中，如果用户在检索类别设定区域1201内选择了检索类别并向用户接口单元102输入检索请求，则输入的检索关键字被发送到检索单元104。
在S1102中，检索单元104基于输入的检索关键字使用元数据对数据库106进行检索。检索单元104向显示单元103发送检索找到的图像数据的路径信息。
在S1103中，显示单元103基于接收到的路径信息访问硬盘105，并显示检索找到的图像数据的再现图像。
在图12所示的内容检索窗口的例子中，由用户输入的检索关键字是“人物图像”，且在图10中所示的数据库中检索。在这种情况下，找到ID为00000002、00000003、00000004、00000006、00000007、00000008、及00000009的图像数据，并且这些图像数据的路径信息被发送到显示单元103。如图12所示，显示单元103再现并显示找到的图像数据的缩小图像。应当指出，如果图像数据是动态数据，则显示具有代表性的帧的缩小图像。如此，显示单元103可以基于用户输入的检索关键字迅速检索图像数据，并显示找到的图像数据。当然，也可以通过指定作为检索结果的缩小的图像来显示原始再现图像。应当指出，可通过滚动图12中的窗口来显示与ID00000009相应的找到的图像数据。
上述实施例能够对硬盘105迅速检索需要的图像数据107并将其显示出来，此外，还可以减小由于服务器301从图像数据生成元数据而造成的照相机的处理负荷。
第二实施例在上述第一实施例中，由服务器301的元数据生成器303生成的元数据是图8中所示的人物/风景802、色彩803、以及天气804。在第二实施例中，服务器301生成用于指定人物和具有检索关键字功能的图像的元数据。应当指出，本实施例中数字照相机和服务器的配置以及数字照相机执行的拍摄处理和图像数据发送处理与第一实施例中所说明的相同，因此将省略关于这些的说明。
下面将参考图13对存储在数据库106中的数据的结构进行说明。应当指出，与图2所示第一实施例中相同的附图标记表示相同的数据，从而将省略关于这些的说明。附图标记1301是表示图像数据中包含的人物数量的元数据。如果人物/风景206是“风景”，则人物数量1301为“0”。附图标记1302是表示人物ID的元数据，其是用于指定人物的标识符。以CSV的形式说明在数量上等于人物数量1301的人物ID1302。附图标记1303表示与人物ID1302相应的人物的检索关键字图像。检索关键字图像1303作为检索关键字显示在数字照相机101的检索窗口中。生成在数量上等于人物数量1301的检索关键字图像1303，并且以CSV形式说明图像文件名。
元数据生成处理下面将参考图14对本实施例中的元数据生成处理进行说明。应当指出，与图7所示第一实施例中相同的附图标记表示相同的步骤，从而将省略关于这些的说明。
在S1401中，图像分析器305对记录在图像数据记录介质304上的图像数据进行分析，并计算与该图像相应的特征量数据。更具体地说，图像分析器305通过使用已知的面部图像识别技术，来判断图像中是否包含面部，如果图像中包含面部，则判断面部的数量，并提取与这些面部相对应的特征量。此外，如同第一实施例中所述，图像分析器305还提取图像中包含的主要色彩成分，并由图像的色彩成分分布和亮度来判断天气信息。
在S1402中，数据库检查单元306基于S1401中计算出的特征量数据在文本数据库中检索相应的元数据。就是说，数据库检查单元306通过使用提取的面部的特征量数据在文本数据库中进行检索。如果找到数据，则所提取的面部对应于已经存储在数据库中的人物ID，因此，相同的面部已经被存储。如果没有找到数据，所提取的面部被视为新面部，因此生成新的ID。
在S1403中，元数据生成器303基于在S1402中获得的元数据，形成即将返回到数字照相机101的元数据。
在S1404中，可针对在S1402中检测到的人物ID生成检索关键字图像。更具体地说，从在S1401中分析出的图像数据中只剪切出面部，并且与在S1402中找到的人物ID和/或新形成的人物ID的类型一一对应地形成缩略图尺寸的面部图像数据。在作为返回数据的元数据中说明所形成的图像数据的文件名。
图15示出元数据生成处理结束后从服务器301返回的元数据的结构。应当指出，与图8所示第一实施例中相同的附图标记表示相同的项，并将省略对它们的说明。人物数量1501表示从ID为00000010、00000011、及00000012的图像数据中分别提取出两个面部(人)、三个面部(人)、及一个面部(人)。在ID801为00000010的图像数据中人物ID是A和B，在ID801为00000011的图像数据中人物ID是B、C和D，在ID801为00000012的图像数据中人物ID是C。就是说，ID801为00000010和00000011的图像数据都包含对应于B的人物。人物ID为A的检索关键字图像1503的文件名是A.jpg，人物ID为B的检索关键字图像1503的文件名是B.jpg，等等。
在S1405中，服务器301通知数字照相机101所请求的元数据生成处理已经完成。该通知包含用于取得图15中所示的被返回的元数据的URL信息，以及用于取得检索关键字图像主体的URL数据。当然，该通知处理可以通过数字照相机101周期性取得服务器301的状态来执行，或通过从服务器301向数字照相机101发送通知来执行。
元数据接收处理下面将参考图16对本实施例中的数字照相机101执行的元数据接收处理进行说明。应当指出，与图9所示第一实施例中相同的附图标记表示相同的步骤，并将省略对它们的说明。
在S1601中，数字照相机101请求从服务器301发送与该通知中包含的URL相对应的元数据，并接收该元数据。如果该元数据包含检索关键字图像，则数字照相机101请求发送全部检索关键字图像，并取得它们。
在S1602中，数据库生成器108将所接收到的元数据的内容加入数据库106，并将所更改的行的标志设定为“1”。所接收到的检索关键字图像被保存在硬盘105的预定记录区域内。
图17示出更新后的数据库106的结构例子。
图像检索/显示处理下面将参考图11、18和19对本实施例的数字照相机101执行的图像检索/显示处理进行说明。
图18示出内容检索窗口，附图标记1201表示检索类别设定区域。如果用户在“[人物/风景]”中选择了“人物图像”，则如1801所示，显示用于选择待检索的面部图像的选择窗口。选择窗口1801显示与在图16的S1601中从服务器301获得的A.jpg、B.jpg、C.jpg、及D.jpg相对应的检索关键字图像。
在图11的S1101中，如果用户从这些检索关键字图像中选择了需要的面部，则与所选的检索关键字图像相对应的人物ID被发送至检索单元104。
在S1102中，检索单元104基于输入的检索关键字通过使用元数据对数据库106进行检索。例如，检索单元104检索具有与对应于所选择的检索关键字图像的人物ID相同的人物ID的图像数据。检索单元104将检索找到的图像数据的路径信息发送至显示单元103。在S1103中，显示单元103基于接收到的路径信息访问硬盘105，并显示检索找到的图像数据的再现图像。
图19示出当用户在图18中选择了面部B时的显示检索结果的窗口。也就是说，检索单元104通过使用对应于面部B的人物ID在图17所示的数据库中进行检索。继而，找到ID为00000010和00000011的图像数据，并且将这些图像数据的路径信息发送到显示单元103。显示单元103再现并显示如图19中1901所示的找到的图像数据的缩小图像。
如上所述，显示单元103可以基于用户输入的面部图像检索关键字迅速对图像数据执行面部检索处理并显示图像数据。当然，也可以通过指定作为检索结果的缩小图像来显示原始的再现图像。
第三实施例在上述第一和第二实施例的每一个中，数字照相机101不同步执行拍摄处理和将图像数据发送至服务器301的处理。相反，第三实施例同步执行拍摄处理和图像数据发送处理。应当指出，数字照相机和服务器的配置、由服务器执行的元数据生成处理、以及由数字照相机执行的元数据接收处理和图像检索/显示处理均与第一和第二实施例中的相同，所以将省略对它们的说明。
下面将参考图20说明使本实施例的数字照相机101同步执行拍摄处理和图像数据发送处理的处理。
在图20的S2001中，如果用户通过例如按下拍摄按钮向用户接口单元102输入拍摄请求，则用户接口单元102请求摄像单元110执行拍摄处理。此外，本实施例也是基于由不同按钮执行运动图像拍摄和静止图像拍摄的假设。
在S2002中，已接收到拍摄请求的摄像单元110通过执行拍摄处理生成图像数据，并将图像数据发送至数据库生成器108。
在S2003中，数据库生成器108生成即将记录在数据库106中的初始数据，并将该初始数据另外记录在硬盘105上的数据库106中。
在S2004中，数据库生成器108将图像数据107记录在硬盘105上。此外，还可以通过文件系统(未示出)将图像数据107记录在硬盘105上。在S2005中，将所拍摄的图像数据发送至服务器301。
第四实施例在上面说明的第一、第二、和第三实施例中，数字照相机101执行图像检索/显示处理，并从服务器301取得对应于所需图像数据的路径的元数据。之后，读取并显示包含在数字照相机101中的图像数据。然而，在第四实施例中，基于在数字照相机101中的检索结果从服务器301中取得图像数据并显示该图像数据。这种情况下，数字照相机101不需要具有任何大容量的硬盘驱动器等，并且这可降低包装成本。
应当指出，下面仅针对第四实施例的特征点进行说明。
图21是第四实施例的数字照相机101的功能框图。
通过与图1的对比可以明显看出，其与第一、第二及第三实施例的不同之处在于在硬盘105上没有记录图像数据107，并且在显示单元103和网络单元109之间执行控制和数据通信。
图22是第四实施例的服务器301的功能框图。
通过与图3的对比可以明显看出，其与第一、第二及第三实施例的不同之处在于增加了图像数据发送器2201。响应于来自数字照像机101的图像数据获取请求，图像数据发送器2201将对应于指定URL的图像数据发送至数字照相机101。
下面对第四实施例的数字照相机101和服务器301执行的操作处理进行说明。
首先，将参考图23对使本实施例中的数字照相机101同步执行拍摄处理和图像数据发送处理的处理进行说明。
在图23的S2301中，如果用户通过例如按下拍摄按钮向用户接口单元102输入拍摄请求，则用户接口单元102请求摄像单元110执行拍摄处理。此外，本实施例也是基于由不同按钮执行运动图像拍摄和静止图像拍摄的假设。
在S2302中，接收到拍摄请求的摄像单元110通过执行拍摄处理生成图像数据，并将图像数据发送至数据库生成器108。
在S2303中，数据库生成器108生成即将记录在数据库106中的初始数据，并将初始数据另外记录在硬盘105上的数据库106中。
在S2304中，数据库生成器108通过网络单元109将图像数据发送至服务器301。假设在S2304中，数字照相机101发送的图像数据在服务器301内的存储目的地(URL)已经预先指定。作为选择，接收到该图像数据的服务器301可以将表示存储目的地的URL信息返回到数字照相机101。在这两种情况中，图像数据在服务器301中的存储目的地(URL)都是由数据库106中说明的路径代表的图像数据的位置信息。
由服务器301执行的元数据生成处理以及由数字照相机101执行的元数据接收处理都与第一和第二实施例中的相同，所以将省略对它们的说明。
接下来，下面将参考图24对由本实施例的数字照相机101执行的图像检索/显示处理进行说明。
在图24的S2401中，如果用户通过例如按下检索按钮向用户接口单元102输入检索请求，则所输入的检索关键字被发送至检索单元104。
在S2402中，检索单元104基于输入的检索关键字，通过使用元数据对数据库106进行检索。检索单元104将检索找到的图像数据的路径信息(URL)发送至显示单元103。
在S2403中，显示单元103基于接收到的路径信息(URL)，通过网络单元109向服务器301发送图像数据获取请求，并取得检索找到的图像数据。
在S2404中，显示单元103显示接收到的图像数据的再现图像。
上述实施例能够在资源有限的数字照相机中执行从大量图像数据中迅速检索需要的图像数据并显示该图像数据的处理。
其它实施例上面已通过实际例子详细说明了根据本发明的各实施例，本发明还可以将系统、设备、方法、程序或者存储介质(记录介质)等作为实施例的形式。具体地说，本发明可以应用于包含多个装置的系统，或者包含单个装置的设备。
此外，可以很自然地实现本发明的目的而不管附图中的功能模块和操作中的某部分是通过硬件电路还是通过计算机执行的软件处理来实现的。
应当指出，还可以通过直接或者远程地向系统或者设备提供用于执行上述典型实施例的功能的软件程序来实现本发明。在这种情况下，系统的计算机等读出并执行所提供的程序代码。
因此，通过计算机实现本发明的功能处理的安装在计算机中的程序代码本身也实现了本发明。也就是说，本发明包括用于实现本发明的功能处理的计算机程序本身。
在这种情况下，程序可以是任何形式的，例如目标代码、由译码器执行的程序，提供给操作系统(OS)的脚本数据，只要具有程序的功能即可。
用于提供程序的记录介质(存储介质)的例子包括软盘、硬盘、光盘、磁光盘。其它例子有MO、CD-ROM、CD-R和CD-RW、磁带、非易失性存储卡、ROM、DVD(DVD-ROM和DVD-R)。
可以通过使用客户计算机的浏览器将客户计算机连接到因特网的主页并从主页下载本发明的计算机程序本身来提供程序，或通过将包含自动安装功能的压缩文件下载到硬盘等记录介质中来提供程序。此外，可以通过将构成本发明的程序的程序代码分割为多个文件，并从不同的主页下载各文件。也就是说，本发明还包括用于使多个用户下载由计算机实现本发明的功能处理的程序文件的WWW服务器。
此外，还可以将本发明的程序加密并存储在例如CD-ROM等的记录介质中以将其分发给用户，并允许满足预定条件的用户通过因特网从主页下载用于解密的密钥信息。在这种情况下，用户可以使用下载的密钥信息执行加密后的程序从而将其安装到计算机来执行本发明的功能处理。
上述实施例的功能还可以通过计算机执行所读取的程序来实现，或者通过使运行在计算机上的操作系统(OS)等基于程序的指令执行部分或者全部实际处理来实现。
此外，通过将从记录介质中读出的程序写入插入在计算机中的功能扩展板或者连接到计算机的功能扩展单元中，并通过功能扩展板或者功能扩展单元中的CPU等执行部分或者全部实际处理，也可实现上述实施例的功能。
虽然参考典型实施例对本发明进行了说明，但是应当理解，本发明不限于公开的典型实施例。所附权利要求的范围符合最宽的解释，以覆盖全部变形、等同结构和功能。
权利要求
1.一种图像处理设备，其特征在于，包括生成装置，用于生成与通过摄像取得的图像数据相关的数据库；发送装置，用于将所述图像数据发送至服务器；接收装置，用于从所述服务器接收所述图像数据的特征数据，所述特征数据是以对所述图像数据至少执行人物提取的结果为基础；记录装置，用于将与所述图像数据相关的、从所述服务器接收到的所述特征数据记录在记录介质上，作为由所述生成装置生成的所述数据库的一部分；检索装置，用于呈现所述特征数据使得所述特征数据能被指定，并用于对所述数据库进行检索，以找到对应于所指定的特征数据的图像数据；以及显示装置，用于基于由所述检索装置找到的所述图像数据显示图像。
2.根据权利要求1所述的图像处理设备，其特征在于，还包括用于拍摄被摄体图像并生成所述图像数据的摄像装置。
3.根据权利要求2所述的图像处理设备，其特征在于，由所述摄像装置生成的所述图像数据被同步地记录在所述记录介质上和发送至所述服务器。
4.根据权利要求2或3所述的图像处理设备，其特征在于，由所述摄像装置生成的所述图像数据被记录在所述记录介质上，以及所述显示装置从所述记录介质中取得所述检索装置找到的所述图像数据，并显示该图像。
5.根据权利要求2所述的图像处理设备，其特征在于，由所述摄像装置生成的所述图像数据不被记录在所述记录介质上，而是发送至所述服务器。
6.根据权利要求5所述的图像处理设备，其特征在于，所述显示装置从所述服务器取得所述检索装置找到的所述图像数据，并显示该图像。
7.根据权利要求1所述的图像处理设备，其特征在于，所述特征数据包括表示从所述图像数据中提取的人物、风景、图像中的主色彩、以及天气的数据中的至少一个。
8.根据权利要求1所述的图像处理设备，其特征在于，所述发送装置和所述接收装置执行与所述服务器的符合因特网协议的通信处理。
9.根据权利要求1所述的图像处理设备，其特征在于，所述接收装置从所述服务器接收所述特征数据以及检索关键字图像数据，所述检索关键字图像数据以对所述图像数据至少执行人物提取的结果为基础；以及所述记录装置将与所述图像数据相关的、从所述服务器接收到的所述特征数据和所述检索关键字图像数据记录在所述记录介质上，作为所述数据库的一部分。
10.一种服务器，其特征在于，包括接收装置，用于接收来自图像处理设备的图像数据；图像分析装置，用于通过对所述图像数据至少执行人物提取来提取特征数据；记录装置，用于将所述图像数据以及与所述图像数据相关的所述特征数据记录在记录介质上；以及发送装置，用于向所述图像处理设备发送所述特征数据，作为用于对包括在所述图像处理设备中的图像数据库进行检索的数据。
11.根据权利要求10所述的服务器，其特征在于，所述发送装置向所述图像处理设备发送所记录的对应于所述图像处理设备请求的所述特征数据的图像数据。
12.根据权利要求10或11所述的服务器，其特征在于，所述特征数据包括表示从所述图像数据中提取的人物、风景、图像中的主色彩、以及天气的数据中的至少一个。
13.根据权利要求12所述的服务器，其特征在于，还包括用于判断所述图像数据是否包含人物面部的判断装置，其中，如果所述图像数据包含面部，则所述特征数据包括人物图像、面部数量、以及面部识别信息中的至少一个，如果所述图像数据不包含人物，则所述特征数据包含表示所述图像数据为人物以外的图像的信息。
14.根据权利要求13所述的服务器，其特征在于，如果所述判断装置判断出所述图像数据包含面部，则将所述面部与已记录在所述记录介质上的面部的识别信息进行比较，如果没有对应的识别信息，则新生成所述面部的识别信息。
15.根据权利要求13所述的服务器，其特征在于，如果所述判断装置判断出所述图像数据包含面部，则将所述面部与已存储在所述记录介质上的面部的识别信息进行比较，并且通过根据对应的识别信息只剪切出所述面部来生成检索关键字图像，作为所述特征数据。
16.根据权利要求10所述的服务器，其特征在于，所述接收装置和所述发送装置执行与所述图像处理设备的符合因特网协议的通信处理。
17.根据权利要求10所述的服务器，其特征在于，所述发送装置向所述图像处理设备发送基于对所述图像数据至少执行人物提取的结果而生成的所述特征数据和检索关键字图像数据，作为用于对所述图像数据库进行检索的数据。
18.一种图像处理方法，其特征在于，包括生成步骤，用于生成与通过摄像取得的图像数据相关的数据库；发送步骤，用于将图像数据发送至服务器；接收步骤，用于从所述服务器接收所述图像数据的特征数据，所述特征数据以对所述图像数据至少执行人物提取的结果为基础；记录步骤，用于将与所述图像数据相关的、从所述服务器接收到的所述特征数据记录在记录介质上，作为所述生成步骤生成的所述数据库的一部分；检索步骤，用于呈现所述特征数据使得所述特征数据能被指定，并用于对所述数据库进行检索，以找到对应于所指定的特征数据的图像数据；以及显示步骤，用于基于所述检索步骤找到的所述图像数据显示图像。
19.根据权利要求18所述的图像处理方法，其特征在于，还包括用于拍摄被摄体图像并生成所述图像数据的摄像步骤。
20.根据权利要求19所述的图像处理方法，其特征在于，在所述摄像步骤中生成的所述图像数据被同步地记录在所述记录介质上和发送至所述服务器。
21.根据权利要求19或20所述的图像处理方法，其特征在于，在所述记录步骤中，将所述摄像步骤中生成的所述图像数据记录在所述记录介质上，以及在所述显示步骤中，从所述记录介质中取得在所述检索步骤中找到的所述图像数据，并显示该图像数据。
22.根据权利要求19所述的图像处理方法，其特征在于，不将所述摄像步骤中生成的所述图像数据记录在所述记录介质上，而是发送至所述服务器。
23.根据权利要求22所述的图像处理方法，其特征在于，在所述显示步骤中，从所述服务器中取得在所述检索步骤中找到的所述图像数据，并显示该图像数据。
24.根据权利要求18所述的图像处理方法，其特征在于，所述特征数据包括表示从所述图像数据中提取出的人物、风景、图像的主色彩、以及天气的数据中的至少一个。
25.根据权利要求18所述的图像处理方法，其特征在于，在所述发送步骤和所述接收步骤中，执行与所述服务器的符合因特网协议的通信处理。
26.根据权利要求18所述的图像处理方法，其特征在于，在所述接收步骤中，从所述服务器接收所述特征数据和检索关键字图像数据，所述检索关键字图像数据以对所述图像数据至少执行人物提取的结果为基础，以及在所述记录步骤中，将与所述图像数据相关的、从所述服务器接收到的所述特征数据和所述检索关键字图像数据记录在所述记录介质上，作为所述数据库的一部分。
27.一种与图像处理设备通信的服务器的控制方法，其特征在于，包括接收步骤，用于从所述图像处理设备接收图像数据；图像分析步骤，用于通过对所述图像数据至少执行人物提取来提取特征数据；记录步骤，用于将所述图像数据以及与所述图像数据相关的所述特征数据记录在记录介质上；以及发送步骤，用于向所述图像处理设备发送所述特征数据，作为用于对所述图像处理设备中包含的图像数据库进行检索的数据。
28.根据权利要求27所述的控制方法，其特征在于，在所述发送步骤中，将所记录的对应于所述图像处理设备请求的所述特征数据的图像数据发送至所述图像处理设备。
29.根据权利要求27所述的控制方法，其特征在于，所述特征数据包括表示从所述图像数据中提取的人物、风景、图像中的主色彩、和天气的数据中的至少一个。
30.根据权利要求27所述的控制方法，其特征在于，还包括用于判断所述图像数据是否包含人物面部的判断步骤，其中，如果所述图像数据包含面部，则所述特征数据包括人物图像、面部数量、以及面部识别信息中的至少一个，如果所述图像不包含人物，则所述特征数据包含表示所述图像数据为人物以外的图像的信息。
31.根据权利要求30所述的控制方法，其特征在于，如果在所述判断步骤中判断出所述图像数据包含面部，则将该面部与已记录在所述记录介质上的面部的识别信息进行比较，如果没有对应的识别信息，则新生成该面部的识别信息。
32.根据权利要求30或31所述的控制方法，其特征在于，如果在所述判断步骤中判断出所述图像数据包含面部，则将该面部与已存储在所述记录介质上的面部的识别信息进行比较，并且通过从对应的的识别信息中只剪切出所述面部来生成检索关键字图像，作为所述特征数据。
33.根据权利要求27所述的控制方法，其特征在于，在所述接收步骤和所述发送步骤中，执行与所述图像处理设备的符合因特网协议的通信处理。
34.根据权利要求27所述的控制方法，其特征在于，在所述发送步骤中，将基于对所述图像数据执行的至少人物提取的结果而生成的所述特征数据和检索关键字图像数据发送至所述图像处理设备，作为用于对所述图像数据库进行检索的数据。
35.一种图像处理设备，其特征在于，包括生成装置，用于生成与图像数据相关的数据库；发送装置，用于根据所述与图像数据相关的数据库的状态有选择地向服务器发送所述图像数据；接收装置，用于从所述服务器接收通过分析所述图像数据生成的特征数据；记录装置，用于记录从所述服务器接收到的所述特征数据，作为所述数据库的一部分；检索装置，用于呈现所述特征数据使得所述特征数据能被指定，并且用于对所述数据库进行检索，以找到对应于所指定的特征数据的图像数据；以及再现装置，用于再现基于由所述检索装置找到的所述图像数据的图像。
36.一种图像处理方法，其特征在于，包括生成步骤，用于生成与图像数据相关的数据库；发送步骤，用于根据所述与图像数据相关的数据库的状态有选择地向服务器发送所述图像数据；接收步骤，用于从所述服务器接收通过分析所述图像数据生成的特征数据；记录步骤，用于记录从所述服务器接收到的所述特征数据，作为所述数据库的一部分；检索步骤，用于呈现所述特征数据使得所述特征数据能被指定，并且对所述数据库进行检索，以找到对应于所指定的特征数据的图像数据；以及再现步骤，用于再现基于在所述检索步骤中找到的所述图像数据的图像。
全文摘要
本发明提供一种图像处理设备、图像处理方法以及服务器及其控制方法，该图像处理设备包括生成单元，用于生成与通过摄像取得的图像数据相关的数据库；发送单元，用于将图像数据发送至服务器；接收单元，用于从服务器接收图像数据的特征数据，特征数据是基于对图像数据执行的至少人物提取的结果；记录单元，用于将与图像数据相关的、从服务器接收到的特征数据记录在记录介质上，作为生成单元生成的数据库的一部分；检索单元，用于呈现特征数据使得特征数据能被指定，并对数据库进行检索，以找到对应于指定的特征数据的图像数据；以及显示单元，用于显示基于检索单元找到的数据图像的图像。
文档编号G11B20/10GK101025764SQ200710080168
公开日2007年8月29日 申请日期2007年2月14日 优先权日2006年2月24日
发明者藤田俊司 申请人:佳能株式会社