检索设备和检索方法
【专利说明】检索设备和检索方法
[0001]相关申请的交叉引用
[0002]该申请基于和要求2014年12月5日提交的日本专利申请N0.2014-247249的优先权的权利;其整个内容通过引用被结合与此。
技术领域
[0003]本文描述的实施例大体涉及检索设备和检索方法。
【背景技术】
[0004]常规已知一种检索设备，该检索设备利用用户输入的图像作为查询来检索欲搜索的图像。
[0005]然而，在上述常规的技术中，用户无法理解检索设备是如何解释输入图像以检索欲搜索的图像。
【发明内容】
[0006]实施例的目标为提供能使用户理解如何将输入图像解析检索要搜索的图像的检索设备和检索方法。
[0007]根据一实施例，检索设备包括接收器、检索处理器和显示控制器。接收器被配置为接收第一图像。检索处理器被配置为基于第一要素信息检索第二图像，第一要素信息包括与第一图像相关联的类别、位置、尺寸、形状和颜色中的一个或多个，第一图像包括一个以上的第一图像要素。显示控制器被配置为利用用符号表示一个以上的第一图像要素的第一符号图像，在显示器上显示第二图像。
[0008]上述检索设备能使用户理解输入图像是如何被解释以检索要搜索的图像的。
【附图说明】
[0009]图1是图示第一实施例的检索设备的实例的结构图；
[00?0]图2是是图不第一实施例的显不屏蒂的实例的不意图；
[0011 ]图3是图示第一实施例的检索设备的处理实例的流程图；
[0012]图4是图示第一变形例的检索设备的实例的结构图；
[0013]图5是图示第一变形例的显示屏幕的实例的示意图；
[0014]图6是图示第二变形例的显示屏幕的实例的示意图；
[0015]图7是图示第二实施例的检索设备的实例的结构图；
[0016]图8是图示第二实施例的查询显示区的实例的示意图；
[0017]图9是图示第二实施例的符号删除操作的实例的示意图；
[0018]图10是图示第二实施例的符号变色操作的实例的示意图；以及
[0019]图11是图示实施例和变形例的检索设备的硬件配置实例的示意图。
【具体实施方式】
[0020]实施例将参考附图在下文中进行详细地描述。
[0021 ] 第一实施例
[0022]图1是图示第一实施例的检索设备10的实例的结构图。如图1所示，检索设备10包括存储单元11、图像输入单元13、接收单元15、信息生成单元17、检索单元19、图像生成单元21、显示控制器23、显示单元25和操作输入单元27。
[0023]例如，可以通过平板电脑终端、智能手机或者个人计算机(PC)来实施检索设备10。
[0024]例如，可以通过诸如硬盘驱动器(HDD)、固态驱动器(SSD)、存储卡、光盘、随机存取存储器(RAM)以及只读存储器(ROM)的能够进行磁、光或者电存储的存储设备来实施存储单元11。例如，可以通过如照相机的成像设备、如网络接口的通信设备和上述存储装置来实施图像输入单元13。
[0025]例如，可以通过调用如中央处理单元(CPU)的处理设备执行计算机程序来实施接收单元15、信息生成单元17、检索单元19、图像生成单元21和显示控制器23，即通过与如集成电路(IC)的硬件一起实施的软件，或者通过使用软件与硬件的结合来实施。
[0026]例如，可以通过如接触面板显示器和液晶显示器的显示器装置来实施显示单元
25。例如，可以通过接触面板显示器、鼠标或者键盘来实施操作输入单元27。
[0027]存储单元11在其中储存大量的图像。具体地说，存储单元11在其中储存多条记录、要素信息和符号图像，每条记录与图像相关联，要素信息为构成图像的一个以上的组成部分的类别、位置、尺寸、形状和颜色中的至少一个，符号图像基于彼此之间的要素信息用符号表示一个以上的组成部分。虽然，在第一实施例中，描述了要素信息是表示一个以上的组成部分的类别和位置的信息的情况作为实例，但是要素信息并不限于此。
[0028]符号图像是对于一个以上的组成部分的每一个组成部分，其类别通过类别名称(关键字)、图标、图示、或者其他项目而被符号表示的图像。当要素信息表示组成部分的位置时，符号的位置被确定为与组成部分的位置相对应的位置，并且当要素信息表示组成部分的尺寸时，符号的尺寸被确定为与组成部分的尺寸对应的尺寸。当要素信息表示组成部分的形状时，符号的周界被沿组成部分的形状的线包围，并且当要素信息表示组成部分的颜色时，符号的颜色被确定为与组成部分的颜色对应的颜色。
[0029]要素信息从图像中产生并与图像相关联。产生它的处理可以类似于信息生成单元17的处理。因此，省略对其的描述，并在信息生成单元17的描述中对其进行描述。符号图像是从要素信息中产生的并与要素信息相关联。产生它的处理可以类似于图像生成单元21的处理。因此，省略对其的描述，并在图像生成单元21的描述中对其进行描述。
[0030]在下文中，将用于生成检索欲搜索的图像的查询的图像称为第一图像;将组成第一图像的一个以上的组成部分称为一个以上的第一组成部分;将作为一个以上第一组成部分的类别、位置、尺寸、形状和颜色中的至少一个的要素信息称为第一要素信息;并且将表示一个以上的第一组成部分的符号图像称为第一符号图像。检索欲搜索图像的查询与第一要素信息对应。
[0031]类似地，将欲搜索的图像称为第二图像;将组成第二图像的一个以上的组成部分称为第二组成部分;将作为一个以上的第二组成部分的类别、位置、尺寸、形状和颜色的至少一个的要素信息称为第二要素信息；以及将表示一个以上的第二组成部分的符号图像称为第二符号图像。
[0032]图像输入单元13输入第一图像。当通过成像设备成像的图像或者通过通信设备从外部接收的图像是第一图像时，储存在存储单元11中的图像都是第二图像。当通过成像设备成像的图像是动态图像时，组成动态图像的多帧图像中的任意帧可以是第一图像。当储存在存储单元11中的图像是第一图像时，存储在存储单元11中的图像除了第一图像以外的所有的图像是第二图像。
[0033]接收单元15从图像输入单元13接收第一图像的输入。接收单元15还从操作输入单元27接收多条操作输入。
[0034]信息生成单元17由接收自接收单元15的第一图像生成一个以上的第一组成部分的第一要素信息。一个以上的第一组成部分是在组成第一图像的多个第一组成部分中类别已知的第一组成部分。
[0035]为了从第一图像生成一个以上的第一组成部分的第一要素信息，可以使用J.肖顿、J.Winn、C.Rother和A.Crimini si在如IJCV中公开的用于图像理解的增强性纹理:通过纹理、布局和背景的联合建模的多类目标识别和分割的技术。
[0036]例如，信息生成单元17使用被训练的鉴别器，以便从组成第一图像的多个组成部分中提取(区分)属于预定的一个以上的类别的组成部分的范围、提取相应的一个以上的第一组成部分的类别和范围。
[0037]信息生成单元17可以从提取的第一组成部分的范围中确定第一组成部分的位置(例如，中心位置)、尺寸和形状。
[0038]相对于提取的第一组成部分的范围，信息生成单元17在任意彩色空间，如RGB彩色空间、LAB彩色空间和HS