基于对象的影像检索系统及检索方法
【技术领域】
[0001]本发明涉及一种基于对象的影像检索系统及检索方法，其能够有效地检索通过用户输入的信息与基于对象的信息的构成类似的注册图像或视频或与其有关的信息。
【背景技术】
[0002]一般而言，网络给众多电脑用户提供有效而适宜的通信及信息检索工具。尤其，最近陆续开发了一种用户上传图像或视频时，比较提供与其对应的图像或视频的检索方法，从而，在网络上检索文本或影像信息方面获得了很大的进步。
[0003]但，上述的检索方法无法反应对于用户提出的图像或视频内多个对象的信息，并且，因在检索类似影像的过程中伴随的应用信息的不足或错误认知等而无法提供正确反应用户的最初意图的结果。
[0004]并且，为了在大容量的图像或视频DB内最小化信息损失并快速检索，而适用了很多信息的摘要方法，但，通常与DB的量正比地检索速度也变得缓慢，并且，为了在特定单位的存储器使用量内处理更多的图像信息，伴随与其正比的信息的损失。
[0005]为了克服上述情况，将由图像或视频构成的DB以色彩、模样、质感、图案等一维性要素分类时，使得使用繁琐或严重损害检索的正确度。
【发明内容】
[0006]发明要解决的问题
[0007]本发明要解决的问题在于提供一种基于对象的影像检索系统及检索方法，其将为了能够应对用户的各种搜索工具所包含的复合型信息而注册的各个图像或视频的对象信息反应于检索。
[0008]本发明的另一解决课题在于提供一种基于对象的影像检索系统及检索方法，其基于对象将注册的图像或视频聚类，从而，使得信息的损失最小化的状态下，在特定单位的存储器使用量内，迅速地处理更多的图像和视频信息。
[0009]本发明的又另一课题在于提供一种基于对象的影像检索系统及检索方法，作为单一的检索系统，不仅能够识别相同的对象，而且，应用对象的构成信息，检索与肉眼相似的基准的类似图像或视频或或与其有关的信息。
[0010]解决问题的方案
[0011]根据本发明的第I实施例的基于对象的影像检索系统，包括:第I注册影像管理模块202，存储并管理作为检索对象而注册的各种图像或视频；第I注册影像信息提取模块203，从注册的图像或视频提取特征点或特征点的视觉属性作为影像信息；类别生成模块209，根据通过第I注册影像信息提取模块203提取的影像信息的类似性，生成或分类为一个以上的类别；第I类别信息管理模块210，存储并管理有关通过类别生成模块209生成的类别的信息；第I检索内容信息提取模块211，从通过用户终端设备接收的图像或视频或声音或文本提取检索内容信息，以便进行检索；第I注册影像检索模块216，将通过第I检索内容信息提取模块211提取的检索内容信息与类别信息进行比较，检索相同或类似地匹配的类别或注册影像；第I检索结果显示模块219，将在第I注册影像检索模块216检索的类别的信息或注册影像的信息提供给用户终端设备，以作为检索结果，其中，第I检索内容信息提取模块211包括第I检索图像处理部212或第I检索视频处理部213，所述第I检索图像处理部212，提取从用户接收的检索图像中包含的影像信息；第I检索视频处理部213，分析检索视频，以视觉要素变换的地点为基准将前后的视频的区间分隔为镜头，并将各个镜头中代表的一个以上的帧选定为代表帧，并且，从选定的代表帧提取影像信息。
[0012]优选地，从第I注册影像信息提取模块203以影像信息提取的特征点为根据图像或视频中包括的轮廓线或棱角或极点(比周边亮度较暗或较亮的部分)而生成的信息，特征点的视觉属性为特征点周边的影像所具有的亮度信息或色彩信息或图案信息。
[0013]优选地，第I注册影像信息提取模块203，包括:第I注册图像影像信息提取部204，提取注册的图像中包含的特征点或特征点的视觉属性作为影像信息，并存储提取的影像信息；第I注册视频影像信息提取部205，由第I镜头分隔部206、第I代表帧选定部207、第I代表帧影像信息提取部208构成，所述第I镜头分隔部206分析注册的视频，以视觉要素变换的地点为基准，将前后的视频的区间分隔为镜头，所述第I代表帧选定部207将在各个镜头中代表的一个以上的帧选定为代表帧，所述第I代表帧影像信息提取部208从选定的代表帧提取特征点或特征点的视觉属性作为影像信息。
[0014]第I镜头分隔部206将视频内容的各个帧制作成HSV(色彩/色度/亮度)的频数图表，比较以往帧和目前帧的图表，如果超过既定的图表之间距离值，则判断为帧发生变化，确认为镜头。
[0015]优选地，类别生成模块209，如果作为影像信息的特征点或特征点的视觉属性与注册图像或注册视频内的影像信息相互类似，将其群集化，并生成或分类为一个以上的类别，并且，如果此时生成的类别具有与以往生成的类别类似的影像信息，分类为相同或类似的类别。
[0016]优选地，第I类别信息管理模块210的类别信息包括各个类别的影像信息、类目信息、说明类别的文本信息、专业化信息中的一个以上。
[0017]优选地，第I检索内容信息提取模块211，包括:第I检索声音处理部214，分析从用户终端设备提供的声音，将声音转换为文本；第I检索文本处理部215，分析从用户终端设备提供的检索文本或从第I检索声音处理部214转换的文本。
[0018]优选地，第I注册影像检索模块216，包括:第I影像检索部217，将从通过用户接收的检索图像或检索视频提取的影像信息与类别内的各个类别的影像信息进行比较，检索相同或类似地匹配的类别，检索包括检索的类别的一部分或全部注册图像或注册视频；第I文本检索部218，将通过用户接收的文本或从声音提取或转换的文本信息与类别内的文本信息进行比较，检索相同或类似地匹配的类别，并检索包括检索的类别的一部分或全部的注册图像或注册视频。
[0019]并且，根据本发明的第2实施例的基于对象的影像检索系统，包括:对象图像管理模块301，存储注册的包括一个以上的对象的对象图像，并从注册的对象图像提取影像信息一同存储；第2类别信息管理模块302，将通过对象图像管理模块301提取的对象图像的影像信息根据类似性生成或分类为一个以上的类别；第2注册影像管理模块303，存储作为检索对象的注册的各种图像或视频并进行管理；第2注册影像信息提取模块304，从注册的图像或视频提取特征点或特征点的视觉属性作为影像信息；注册影像分类模块310，将通过第2注册影像信息提取模块304提取的影像信息与类别的影像信息进行比较，将有关具有相同或类似的影像信息的类别的信息与注册的图像或视频一同存储；第2检索内容信息提取模块311，从通过用户终端设备接收的图像或视频或声音或文本提取用于检索的信息；第2注册影像检索模块316，将通过第2检索内容信息提取模块216提取的检索内容信息与类别的影像信息进行比较，检索相同或类似地匹配的类别，并检索包括检索的类别的全部或一部分的注册图像或注册视频；第2检索结果显示模块319，将从第2注册影像检索模块316检索的类别的信息或注册影像的信息提供给用户终端设备作为检索结果，
[0020]第2检索内容信息提取模块311包括第2检索图像处理部312、第2检索视频处理部313、第2检索声音处理部314、第2检索文本处理部315中的一个以上，所述第2检索图像处理部312提取从用户接收的检索图像中包含的影像信息，所述第2检索视频处理部313分析检索视频，以视觉要素变换的地点为基准将前后的视频的区间分隔为镜头，并将各个镜头中代表的一个以上的帧选定为代表帧，从选定的代表帧提取影像信息，所述第2检索声音处理部314分析从用户终端设备提供的声音，将声音转换为文本，所述第2检索文本处理部315分析从用户终端设备提供的检索文本或从第2检索声音处理部314转换的文本。
[0021]发明效果
[0022]根据本发明的基于对象的影像检索系统，利用从图像或视频提取的多个基于对象的信息，从而，能够有效地应对通过各种搜索工具输入的复杂信息。
[0023]并且，具有如下优点:基于对象将注册的图像或视频聚类，从而，使得信息的损失最小化的状态下，在特定单位的存储器使用量内，迅速地处理更多的图像和视频信息。
[0024]并且，具有如下优点:不仅能够识别相同的对象，而且，应用对象的构成信息，在单一系统中检索与肉眼相似的基准的类似图像或视频或或与其