专利名称:检索系统、摄像装置、数据保存装置及信息处理装置的制作方法
技术领域:
本发明涉及一种摄像装置、数据保存装置、信息处理装置以及由它们组成的检索系统。此外,涉及一种摄像装置中的拍摄图像处理方法和程序,还涉及一种信息处理装置中的信息处理方法和程序。
背景技术:
专利文献1日本特开2003-281157号公报专利文献2日本特开2003-324720号公报公知有如上述专利文献所记载的人物检索系统和监视系统。
上述专利文献1的人物检索系统中,记载了一种使用人物的面部图像和指纹图像等从数据库中检索、追踪特定人物的技术。
上述专利文献2的监视系统中,记载了一种使多个摄像机联动、实现对移动的人物等的监视的技术。
但是,没有一种适合于例如在不特定的多个人物中检索从某一场所移动到某一场所的人物的这种情况的系统。
列举刑事案件搜查的例子。假设发生某一案件,推定其犯人逃跑路径通过A地点和B地点。并且,假设在该A地点和B地点设置有进行不间断拍摄的监视摄像机。
此情况下,搜查官就利用A地点的摄像机再现所拍摄的图像,并且利用B地点的摄像机再现所拍摄的图像,将在A、B两地点都被拍摄到的人物列表为有可能是犯人的人物。
但是,为此就会变成这样的工作,即某种程度的长时间且专注地观察A地点摄像机的拍摄图像,并记忆拍摄到的所有人物的面部,此后观察B地点摄像机的拍摄图像,并查找出相同人物,变成非常困难且要强制忍耐的工作。此外,还不一定就能够正确地搜索出该人物,且需要长时间的、效率差的工作。
发明内容
因此,本发明的目的在于,提供一种当将多个场所(摄像装置)作为检索条件进行输入时就能够检索出存在于这些场所的被拍摄体(人物等)的技术。
本发明的检索系统由固定配置在各个不同场所的多个摄像装置、数据保存装置和信息处理装置组成。
成为该检索系统的构成要素的上述摄像装置,是被固定配置在规定场所,并且至少能够与外部的数据保存装置进行通信的摄像装置,包括进行拍摄从而取得图像数据的拍摄单元;将由上述拍摄单元所获得的图像数据记录在记录介质中的记录再现单元;解析由上述拍摄单元所获得的图像数据,从而生成被拍摄体的特征数据的特征数据生成单元;生成作为发送数据的至少包含上述特征数据和对各个摄像装置赋予的摄像装置识别信息的特征数据单位的发送数据生成单元;和对上述数据保存装置发送由上述发送数据生成装置生成的特征数据单位的发送单元。
此外,上述记录再现单元将由上述拍摄单元所获得的图像数据与表示拍摄日期时刻的日期时刻信息一起记录在记录介质中。
此外,上述发送数据生成单元进一步生成特征数据单位,该特征数据单位包含表示与上述特征数据相关的图像数据的拍摄日期时刻的日期时刻信息。
此外,上述发送数据生成单元进一步生成包含与上述特征数据相关的图像数据的特征数据单位。
此外,上述特征数据生成单元提取由上述拍摄单元所得到的作为图像数据的被拍摄体的人物,并生成被提取的人物的特征数据。
此外,还包括检测由上述拍摄单元拍摄的被拍摄体的信息的传感器单元;上述特征数据生成单元生成包含由上述传感器单元所获得的检测信息的上述特征数据。
此外,还包括根据来自外部的信息处理装置的图像请求信息,使上述记录再现单元读出由该图像请求信息指定的图像数据,并使上述通信单元将其发送到上述信息处理装置的图像发送控制装置。
此外,还包括搜索处理控制单元,其执行如下两处理根据来自外部的信息处理装置的搜索请求信息将该搜索信息中所包含的特征数据作为搜索对象进行设定;和判断由上述特征数据生成单元生成的特征数据是否与成为搜索对象的上述特征数据符合,在符合的情况下对上述信息处理装置进行通知。
此外,还包括数据量减少处理控制单元,其使上述记录再现单元实施在上述记录介质中所记录的图像数据之中使从记录时刻起经过规定期间的图像数据的数据量减少的保存数据量减少处理。
成为本发明的检索系统的构成要素的本发明的数据保存装置,能够与被固定配置在各个不同场所的多个摄像装置进行通信,包括数据库;和在上述数据库中登记、保存从上述各摄像装置发送过来的特征数据单位的登记单元。
而且,成为本发明的检索系统的构成要素的本发明的信息处理装置,包括以被固定配置在各个不同场所的多个摄像装置中指定多个摄像装置的输入作为条件输入而接受的条件输入单元;从登记着由多个上述摄像装置生成的、包含被拍摄体的特征数据的特征数据单位的数据库中,获取与由上述条件输入单元的处理指定的各摄像装置相关的上述特征数据单位的获取单元;根据特征数据单位中所包含的特征数据对由上述获取单元所获得的各特征数据单位进行分类,并将具有相同或类似的特征数据的多个特征数据单位作为特征数据组提取出来的分类提取单元;和显示输出由上述分类提取单元提取出来的特征数据组的信息的显示处理单元。
另外,上述条件输入单元将多个摄像装置的指定以及对各摄像装置的日期时刻的指定作为条件输入而接受;上述获取单元从上述数据库中,获取在指定的各摄像装置中符合指定的日期时刻的上述特征数据单位。
另外,还包括图像请求发送单元,关于由上述分类提取单元提取出来的特征数据组中所包含的特征数据单位,对生成该特征数据单位的摄像装置发送用于请求对应于特征数据单位的图像的图像请求信息;同时上述显示处理单元根据上述图像请求信息执行从上述摄像装置发送过来的图像数据的显示输出。
另外,还具有搜索请求发送单元,生成包含上述特征数据单位中的特征数据的搜索请求信息,并将其发送到上述各摄像装置。
本发明的拍摄图像处理方法,是一种上述摄像装置的拍摄图像处理方法,包括进行拍摄从而取得图像数据的拍摄步骤;在记录介质中记录由上述拍摄步骤取得的图像数据的记录步骤;解析由上述拍摄步骤取得的图像数据,从而生成被拍摄体的特征数据的特征数据生成步骤;生成作为发送数据的至少包含上述特征数据和对各个摄像装置赋予的摄像装置识别信息的特征数据单位的发送数据生成步骤;和对上述数据保存装置发送由上述发送数据生成步骤生成的特征数据单位的发送步骤。
此外,本发明的信息处理方法是一种上述信息处理装置的信息处理方法,包括以在固定配置于各个不同场所的多个摄像装置中指定多个摄像装置的输入作为条件输入而接受的条件输入步骤;从登记着由多个上述摄像装置生成的、包含被拍摄体的特征数据的特征数据单位的数据库中,获取与由上述条件输入步骤的处理指定的各摄像装置相关的上述特征数据单位的获取步骤;根据特征数据单位中所包含的特征数据对由上述获取步骤所获得的各特征数据单位进行分类,将具有相同或类似的特征数据的多个特征数据单位作为特征数据组提取出来的分类提取步骤;和显示输出由上述分类提取步骤提取出来的特征数据组的信息的显示处理步骤。
本发明的程序是使摄像装置执行上述拍摄图像处理方法的程序及使信息处理装置执行上述信息处理方法的程序。
在上述的本发明中,在各个不同场所固定设置多个摄像装置。摄像装置在固定设置的场所执行例如不间断拍摄,并记录拍摄的图像数据的同时,生成拍摄图像数据中所包含的人物等的特征数据。生成特征数据后,生成包含此特征数据和摄像装置识别信息、还有拍摄日期时刻的信息的特征数据单位,并将其发送到数据保存装置。
各摄像装置通过执行这样的操作,从各摄像装置向数据保存装置中发送多个特征数据单位,在数据保存装置将它们登记并保存在数据库中。
即,在数据库中,保存由各地的摄像装置所拍摄的人物等的特征数据。
信息处理装置执行从此数据库中将与条件符合的人物等列表这样的检索。例如,检索从A地点移动到B地点的人物。此情况下,指定被设置在A地点的摄像装置和被设置在B地点的摄像装置。然后,从数据库中,提取出由A地点的摄像装置生成的特征数据单位和由B地点的摄像装置生成的特征数据单位,将在两地点中特征数据相同或相似的特征数据单位作为特征数据组进行分组。此已被分组的多个特征数据单位就非常可能地是将相同人物作为被拍摄体的特征数据单位。然后,通过显示输出特征数据组中的各特征数据单位的信息,作为检索结果,能够确认从A地点移动到B地点的人物。
根据本发明,通过指定多个地点(摄像装置的设置场所),就能够提取在此多个地点存在的、作为被拍摄体的人物等。即,就能够进行提取在某个场所存在的未知人物的检索。由此,就能够在例如刑事搜查等中进行有效的检索。
图1是本发明的实施方式的检索系统的说明图。
图2是实施方式的摄像装置的方框图。
图3(a)~(b)是实施方式的特征数据单位的说明图。
图4是实现实施方式的检索处理装置的计算机系统的方框图。
图5(a)~(b)是实施方式的数据保存服务器及检索处理装置的功能结构的方框图。
图6是实施方式的特征数据的DB说明图。
图7是实施方式的拍摄时的处理的流程图。
图8是实施方式的检索时的处理的流程图。
图9是实施方式的检索结果显示处理的流程图。
图10是实施方式的图像请求时的处理的流程图。
图11是实施方式的搜索请求时的处理的流程图。
图12是实施方式的进行检索情况下的状况的说明图。
图13是实施方式的检索时从数据库中取得特征数据单位的说明图。
图14(a)~(c)是实施方式的特征数据单位的比较处理的说明图。
图15是实施方式的特征数据单位的分类处理的说明图。
图16是实施方式的检索结果列表显示的说明图。
图17(a)~(b)是实施方式的详细显示的说明图。
图18是实施方式的再现图像显示的说明图。
图19是实施方式的面部数据的说明图。
图20是实施方式的摄像装置的指定例的说明图。
图21是实施方式的摄像装置的指定例的说明图。
图22是实施方式的保存数据量削减处理的流程图。
符号说明1摄像装置,2检索处理装置,3数据保存服务器,10摄像机单元,11传感器,21控制器,22存储器单元,23记录再现处理单元,24HDD,35图像解析单元,26发送数据生成单元,27通信单元,28时钟单元,29传感信号处理单元,31条件输入功能,32特征数据获取功能,33分类·提取功能,34显示控制功能,35图像请求功能,36搜索请求功能,41特征数据登记功能,42特征数据提供功能,43特征数据DB,90网络,101CPU,103通信单元具体实施方式
以下,按如下顺序说明本发明的实施方式。
1、检索系统的结构2、摄像装置的结构3、检索处理装置及数据保存服务器的结构4、特征数据的保存5、基于特征数据的人物检索6、特征数据及其类似判断7、检索中的摄像装置的指定例8、摄像装置中的数据保存9、实施方式的效果及变形例1、检索系统的结构图1中概略地示出了实施方式的检索系统。
检索系统,通过网络90可进行数据通信式地连接多个摄像装置1、数据保存服务器3和检索处理装置4而成。
固定设置摄像装置1,以便各个摄像装置1通过摄像机单元10拍摄特定场所的影像。分别进行固定设置,以便能够拍摄例如街道的交差点、繁华街道的所需要的场所、车站前、车站检票等、特定场所的风景、特别是周围的人物。并且,各摄像装置1能够进行不间断拍摄。
数据保存服务器3将从各摄像装置1发送过来的特征数据单位登记、保存在特征数据数据库中(以下,也称为特征数据DB)。
检索处理装置4根据条件输入,执行从被登记在数据保存服务器3的特征数据DB的特征数据单位之中的特征数据单位的检索处理。
作为网络90,虽然可以使用因特网等公共网络,但在警察使用的情况下,也可以设想构筑专用的网络。
虽然将数据保存服务器3和检索处理装置4作为单独装置被示出,但也可以在一体的计算机系统中构筑它们。再有,数据保存服务器3和检索处理装置4也可以不在网络90,而在警察局内部的LAN(局域网,Local AreaNetwork)等进行通信。
此检索系统的动作概况如下所述。
各摄像装置1在设置场所进行不间断图像拍摄。并且,各摄像装置1在记录拍摄的图像数据的同时,还生成已拍摄的图像数据中所包含的人物的特征数据。所谓特征数据是作为被拍摄体的人物的面部特征和衣服的颜色等。并且,设置所需要的传感器,也可以在特征数据中包含能够从图像之外检测的特征。
摄像装置1生成特征数据后,生成含有此特征数据、单独赋予摄像装置1的作为识别信息的摄像机ID和表示拍摄日期时刻的日期时刻信息的特征数据单位,并将它们发送到数据保存服务器3。
各摄像装置1通过不间断地执行这样的动作,就从各摄像装置1中分别将多个特征数据单位发送到数据保存服务器3。数据保存服务器3将这些发送过来的特征数据单位全部登记、保存在特征数据DB中。
由此,在特征数据DB中,就能够保存由设置在各地的摄像装置拍摄的人物的特征数据。
利用检索处理装置4,能够执行特定或推定居住处所和时刻的人物的检索。例如,希望推断在2006年1月5日10点30分的时候在A地点处、约30分钟后即11点的时候在B地点的人物。
此情况下,检索处理装置4的使用者就输入A地点的摄像装置1和时刻(10点30分前后)这样的条件、以及B地点的摄像装置1和时刻(11点前后)这样的条件。
检索处理装置4从数据保存服务器3中的特征数据DB中,获取所有符合上述条件的特征数据单位。即取得所有包含从由A地点的摄像装置1在10点30分前后拍摄的图像中所生成的特征数据的特征数据单位、和所有包含从由B地点的摄像装置1在11点前后拍摄的图像中所生成的特征数据的特征数据单位。
然后,检索处理装置4对各个特征数据单位中所包含的特征数据进行分类,将含有共同特征的数据(相同或类似的特征数据)的特征数据单位作为特征数据组进行分组。
分组后的多个特征数据单位就非常可能地将同一人物作为被拍摄体的特征数据单位。因此,就可以将特征数据组中的各特征数据单位的信息作为检索结果进行显示输出。在此,作为检索结果所显示出的1个特征数据组的信息表示从A地点移动到B地点的人物的特征。
2、摄像装置的结构在图2中示出了被固定设置在各地的摄像装置1的结构例。
控制器(CPU中央处理单元,Central Processing Unit)21执行摄像装置1所有的动作控制。控制器21为了实现后述的各种工作,根据工作程序对各个单元进行控制。
存储器单元22是保存由控制器21所执行的程序代码,或者使用于临时保管执行中的作业数据的存储装置。在此图的情况下,示出的存储器单元22包括易失性存储器、非易失性存储器这两种存储器。例如,包括保存程序的ROM(只读存储器,Read Only Memory),用于运算工作区或各种临时存储的RAM(随机存取存储器,Random Access Memory),EEP-ROM(电可擦除可编程只读存储器,Electrically Erasable and Programmable Read OnlyMemory)等非易失性存储器。
时钟单元28产生现在的日期时刻信息。即不间断地计数当前的年月日时分秒。控制器21将由时钟单元28计数的年月日时分秒的日期时刻信息提供给记录再现处理单元23和发送数据生成单元26。
摄像机单元10以被固定设置的场所的场景作为被拍摄体进行拍摄。摄像机单元10中搭载并形成有摄像光学透镜系统、透镜驱动系统、CCD传感器和CMOS传感器构成的拍摄元件单元、拍摄信号处理电路系统等。此摄像机单元10通过拍摄元件单元检测入射的拍摄光,并作为拍摄图像信号。然后,通过拍摄信号处理电路系统执行取样、增益调整、白平衡处理、校正处理、辉度处理、色处理等规定的信号处理,作为拍摄图像数据加以输出。
从摄像机单元10输出的图像数据被提供给记录再现处理单元23及图像解析单元25。
记录再现处理单元23根据控制器21的控制,执行将从摄像机单元10供给的图像数据记录在记录介质中的处理和将记录在记录介质中的图像文件读出的处理。在此,作为记录介质,举例HDD(硬盘驱动器,Hard Disc Drive)24。
当进行记录时,对已供给的拍摄图像数据实施按规定的压缩方式的数据压缩处理,或者编码处理曾对HDD24执行记录时的记录格式。
摄像机单元10例如执行作为不间断动画拍摄的拍摄动作以供给图像数据,此记录再现处理单元23对构成动画的各帧附加时间码并记录在HDD24中。此情况下,时间码不仅记录以拍摄开始时刻为0时0分0秒0帧的相对时间信息,还记录由时钟单元28计时的实际的日期时刻信息。即为年/月/日/时/分/秒/帧的信息。
对被记录在HDD24中的图像数据进行再现时,记录再现处理单元23执行从HDD24中读出的图像数据的解码处理。
图像解析单元25对从摄像机单元10供给的图像数据执行解析处理。
此图像解析单元25执行从拍摄的图像数据中提取人物图像作为处理对象的处理和从被提取人物图像中生成特征数据的处理。
通过图像解析生成的特征数据是面部特征、衣服颜色、身高等。对此在后面进行详细说明。
图像解析单元25将生成的特征数据提供给发送数据生成单元26。
再有,虽然依据摄像机单元10的设置场所和被拍摄体方向,但也可以考虑在已拍摄的1个画面内出现多个人物。在从1个画面中提取多个人物的图像时,图像解析单元25针对各个人物生成特征数据。
此外,虽然图像解析单元25对从摄像机单元10供给的图像数据执行解析处理,但由于图像解析处理所需时间不同,也设想跟不上从摄像机单元10连续地供给的各帧图像。为此,也可以从构成动画的所有帧内按规定间隔提取帧,以作为解析对象。还有,也可以读出暂时记录在HDD24中的图像数据,从记录再现处理单元23向图像解析单元25供给图像数据,并对此被读出的图像数据执行图像解析处理。例如,按照图像解析单元25中的解析处理所需时间来从HDD24中再现图像数据并进行图像解析,从而即使解析处理需要时间,也能够应对。
传感器11是一种用于在图像解析以外的检测处理生成成为被拍摄体的人物的特征数据的检测装置。例如,设想在地板上设置的体重计(压力传感器)或金属探测机等。
例如,面对车站的检票处设置摄像机单元10。此情况下,在检票的地板面部分设置的体重计或金属探测机就成为传感器11。
假设将体重计作为传感器11的情况下,就能够检测出图像所包含的人物的体重,从而作为符合由摄像机单元10取得的图像数据的拍摄计时检测出的体重值。传感信号处理单元29将来自传感器11的数值作为特征数据进行处理,并提供给发送数据生成单元26。
发送数据生成单元26生成包含从图像解析单元25及传感信号处理单元29供给的特征数据的特征数据单位,并作为发送到图1所示的数据保存服务器3的发送数据。
在图3(a)、(b)中示出了特征数据单位的结构例子。
图3(a)是通过摄像机ID、日期时刻信息、特征数据、图像数据构成特征数据单位的例子。再有,图3(b)是通过摄像机ID、日期时刻信息、特征数据构成特征数据单位的例子。
作为特征数据单位的结构,也可采用图3(a)、(b)的任意一个。特别地,在要减轻网络通信负荷或数据保存服务器3的数据库存储容量负担的情况下,最好采用图3(b)的结构,如果不需要考虑这些负荷,采用图3(a)的结构即可。
摄像机ID是赋予每个摄像装置1的识别信息,例如,在制造时或设置时等被存储在存储器单元22的非易失性存储区中。此摄像机ID也成为表示实际摄像装置1的设置场所的识别信息。
日期时刻信息是由时钟单元28计数的年月日时分秒的信息,并成为在图像解析单元25中生成特征数据的图像数据的拍摄日期时刻的信息。
特征数据包含由图像解析单元25生成的表示人物的面部或衣服颜色的特征等的数据和由传感信号处理单元29生成的特征数据。
如图3(a)所示,当为包含图像数据的情况时,此图像数据就是生成特征数据的图像,即生成特征数据的人物被摄入的例如1帧的图像数据。此情况下,图像解析单元25将特征数据和生成此特征数据的源图像数据提供给发送数据生成单元26,使它们包含在特征数据单位中。
此外,发送数据生成单元26作为对来自检索处理装置4的图像请求的发送图像数据的生成,执行由HDD24进行再现的从记录再现处理单元23供给的图像数据的通信用编码处理和对来自检索处理系统4的检索请求的检测通知数据的生成处理。
通信单元27根据控制器21的控制,通过网络90执行与数据保存服务器3和检索处理装置4的通信处理。
由发送数据生成单元26生成图3(a)或图3(b)的特征数据单位的时候,此特征数据单位被提供给通信单元27,通过通信单元27的发送处理被发送到数据保存服务器3。
此外,通信单元27接收来自检索处理装置4的图像请求、搜索请求的时候,还执行将此请求信息传给控制器21的接收处理、对图像请求的图像数据的发送处理或对搜索请求的检测通知的发送处理。
控制器21控制这些各个单元,实施后述的操作。
作为控制器21的控制处理,执行摄像机单元10的拍摄动作控制、对记录再现处理单元23的记录和再现的指示、图像解析单元25的解析动作控制、对发送数据生成单元26的发送数据(特征数据单位或通知信息)的生成的指示、通信单元27的通信动作控制。
此外,控制器21执行图像发送控制。这是指如下的处理,即按照来自检索处理装置4的图像请求由记录再现处理单元23实施必要的图像数据再现,使再现图像数据提供给发送数据生成单元26后,使其执行作为发送图像数据的编码处理,并从通信单元27发送到检索处理装置4。
此外,控制器21执行搜索处理控制。这是指如下的处理,即按照来自搜索处理装置4的搜索请求信息以此搜索请求信息中所包含的特征数据作为搜索对象进行设定的处理、和判断由图像解析单元25生成的特征数据是否符合成为搜索对象的特征数据、在符合情况下在发送数据生成单元26中生成检测通知信息、并从通信单元27发送到检索处理装置4。
此外,控制器21执行数据量减少处理控制。这是使在HDD24中记录的图像数据的数据量降低的处理,是这样的处理,即实施HDD24及记录再现处理单元23所需动作以便减少在HDD24中记录的图像数据之中的从记录时刻起经过规定期间的图像数据的数据量的处理。
虽然本例的摄像装置1例如如上所述构成,但也可以考虑在结构上的多个变形例。
作为图2所示的结构要素的各模块不都是必须的,此外,也可以在此以外追加构成要素。
特征数据仅由图像解析单元25生成的时候,也可以不设置传感器11及传感信号处理单元29。
图像解析单元25、发送数据生成单元26、传感信号处理单元29、时钟单元28分别如图2所示,也可以作为与控制器21(CPU)不同的其它电路单元以硬件方式构成,这些各个单元的处理既可以是所谓的软件运算处理,也可以在控制器21中作为能够靠软件编程实现的功能来实现。
此外,还可以设置话筒,在执行拍摄图像数据的记录的同时,执行周围声音的记录和发送。
此外,对于摄像机单元10,可以形成摇摄·倾斜(pan·tilt)机构和变焦机构,能上下左右地改变拍摄方向,还能改变图像视场角。
摇摄·倾斜动作和聚焦动作既可以按照系统管理者等操作来执行,也可以由控制器21进行自动控制。
此外,作为记录介质的例子,可列举出HDD24,但不限于HDD24,例如也可以使用光盘、光磁盘、固体存储器、磁带等记录介质。
3、检索处理装置及数据保存服务器的结构通过图4、图5、图6说明检索处理装置4及数据保存服务器3的结构。检索处理装置4和数据保存服务器3能够用硬件中的个人计算机和作为工作站的计算机系统来实现。首先,通过图4说明能够作为检索处理装置4及数据保存服务器3使用的计算机系统100的结构,通过图5说明作为数据保存服务器3和检索处理装置4的功能结构。
图4示意性地示出了计算机系统100的硬件结构例子。如图所示,计算机系统100包括CPU101、存储器102、通信单元(网络接口)103、显示控制器104、输入设备接口105、外部设备接口106、键盘107、鼠标108、HDD(硬盘驱动器,Hard Disc Drive)109、媒体驱动器110、总线111、显示装置112。
作为计算机系统100的主控制器的CPU101,在操作系统(OS)的控制下,能够执行各种应用。例如,在计算机系统100作为检索处理装置4使用的情况下,可利用CPU101执行用于在计算机系统100中实现图5(b)所述的条件输入功能31、特征数据获取功能32、分类·提取功能33、显示处理功能34、图像请求功能35、搜索请求功能36的应用。此外,计算机系统100作为数据保存服务器3使用的情况下,可利用CPU101执行用于在计算机系统100中实现图5(a)的特征数据登记功能41、特征数据提供功能42、特征数据DB43的应用。
如图4所示,CPU101通过总线111与其它各类设备相互连接。总线111上的各设备被赋予各自固有的存储地址或I/O地址,CPU101按照这些地址就能够进行设备访问。总线111的一个例子是PCI(外围设备接口,PeripheralComponent Interconnent)总线。
存储器102是保存由CPU101执行的程序代码,或使用于临时保管执行中的作业数据的存储装置。此图的情况下,存储器102代表包含有易失性存储器、非易失性存储器两种。例如,其包含保存有程序的ROM、运算工作区域或各种临时存储的RAM、EEPROM等非易失性存储器。
通信单元103按照以太网(Ethernet登记商标)等规定的通信协议,就能够将计算机系统100连接到作为因特网或LAN(局域网,Local AreaNetwork)或专用线路等的执行与摄像装置1等通信的网络90上。作为网络接口的通信单元103,通常,以所谓LAN适配器卡的形态被提供,安装在母插件板(未图示)上的PCI总线插槽中来使用。但是,也可以不用网络接口,通过调制解调器(未图示)连接到外部网络。
显示控制器104是用于实际处理CPU101发布的描画指令的专用控制器,例如,支持SVGA(高级视频图形阵列,Super Video Graphic Array)或XGA(扩展视频图形阵列,eXtended Graphic Array)相当的位图描画功能。例如,在显示控制器104中处理的描画数据一旦被写入帧缓冲器(未图示)后,就在显示装置112上进行画面输出。例如,显示装置112是CRT(阴极射线管,Cathode Ray Tube)显示器或液晶显示器(Liquid Crystal Display)等。
输入设备接口105是用于将键盘107或鼠标108等用户输入设备连接到计算机系统100的装置。例如,在计算机系统100上使用键盘107和鼠标108来执行承担警察署等中的检索处理装置4的操作者的操作输入。
外部设备接口106是用于将硬盘驱动器(HDD)109、媒体驱动器110等外部装置连接到计算机系统100的装置。例如,外部设备接口106遵照例如IDE(集成驱动器电子部件,Integrated Drive Electronics)和SCSI(小型计算机系统接口,Small Computer System Interface)等的接口规格。
HDD109众所周知,是固定搭载作为存储载体的磁盘的外部存储装置,在存储容量和数据传输速度等方面,比其它外部存储装置优良。以可执行状态将软件程序放置在HDD109上称为程序向系统的“安装”。通常在HDD109中,非易失地保存CPU101应执行的操作系统的程序代码、应用程序、设备驱动等。
例如,用于由CPU101执行的各功能的应用程序被保存在HDD109中。还有,数据保存服务器3的情况下,特征数据DB43被构建在HDD109上。
媒体驱动器110是装入CD(压缩磁盘,Compact Disc)或MO(磁光盘,Magneto-Optical disc)、DVD(数字通用光盘,Digital Versatile Disc)等可移动型介质120、并用于对数据记录面进行访问的装置。使用可移动型介质120的主要目的在于,将软件程序或数据文件等作为计算机可读形式的数据进行备份,或使其在系统间进行移动(包含销售·流通·分发)。
例如,利用这些可移动型介质120,就能够流通·分发实现图5中说明的各功能的应用等。
例如,在图5(a)、(b)中示出了使用这样的计算机系统100构筑的数据保存服务器3和检索处理装置4的功能结构。
如图5(a)所示,作为数据保存服务器3,在计算机系统100中设有特征数据登记功能41、特征数据提供功能42、及特征数据DB(特征数据数据库)43。
特征数据DB43是完全保存从多个摄像装置1随时发送过来的特征数据单位的数据库。图6中示出了在特征数据DB43中保存特征数据单位的状态。
如图3(a)、(b)所示,各特征数据单位包含摄像机ID、日期时刻信息、特征数据及图3(a)时的图像数据,包含这些信息的特征数据单位被全部保存。
再有,作为实际的数据库管理结构,各特征数据单位适合按每个摄像机ID及日期时刻信息顺序进行管理。
特征数据登记功能41主要是通过通信单元103、CPU101、存储器102、外部设备接口106、HDD109的动作来实现的功能,是接收从多个摄像装置1随时发送过来的各特征数据单位,进行解码,并将此特征数据单位的信息内容登记在如图6所示的特征数据DB43中的功能。
特征数据提供功能42主要是通过通信单元103、CPU101、存储器102、外部设备接口106、HDD109的动作来实现的功能,是按照来自检索处理装置4的数据请求,将符合请求的特征数据单位从特征数据DB43中提取出来,并将此提取出来的特征数据单位发送到检索处理装置4中的功能。
作为检索处理装置4,如图5(b)所示,设有条件输入功能31、特征数据取得功能32、分类·提取功能33、显示处理功能34、图像请求功能35、搜索请求功能36。
条件输入功能31主要是通过键盘107、鼠标108、输入设备接口105、显示控制器104、显示装置112、CPU101、存储器102的动作来实现的功能,是接收用于检索处理的操作的条件输入的功能。作为条件输入,有指定设置在各个不同场所的多个摄像装置1(摄像机ID)和时间段(日期时刻)的输入和用于锁定的条件输入。CPU101使条件输入画面在显示装置112中进行显示,同时根据画面接受操作者使用键盘107或鼠标108进行输入的信息。
特征数据获取功能32主要是通过CPU101、存储器102、通信单元103、外部设备接口106、HDD109的动作来实现的功能,是向数据保存服务器3请求特征数据单位并获取特征数据单位的功能。
CPU101将表示由条件输入功能31接受的条件(摄像机ID和日期时刻)的数据请求从通信单元103发送到数据保存服务器3。然后,对此接收从数据保存服务器3发送过来的特征数据单位,例如取入到HDD109或存储器102。
即,特征数据获取功能32是从特征数据DB43中取得与由上述条件输入功能31的处理指定的各摄像装置和时刻相符合的特征数据单位的功能。
分类·提取功能33主要是通过CPU101、存储器102、外部设备接口106、HDD109的动作来实现的功能,是对于由特征数据获取功能32从数据保存服务器3取得的多个特征数据单位,按其特征数据的不同进行分类并将具有相同或类似的特征数据的多个特征数据单位作为特征数据组进行提取的功能。
即,CPU101比较所取得的多个特征数据单位的特征数据,判断在不同的摄像装置1中是否存在具有共同(相同或类似)的特征数据的特征数据单位。而且,如果存在的话,就执行将不同的摄像装置1中的特征数据单位作为特征数据组进行分组的处理。
将分类·提取处理的分类结果和分组的结果信息保存在存储器102或HDD109中。
显示处理功能34主要是通过显示控制器104、显示装置112、CPU101、存储器102、键盘107、鼠标108、输入设备接口105的动作来实现的功能,是显示输出作为由分类·提取功能33处理的结果所提取的特征数据组的信息的功能。
CPU101将作为被分组的特征数据组的符合检索条件的特征数据组中所包含的特征数据单位的信息作为显示数据赋予显示控制器104,在显示装置112中执行列表显示或详细显示。在进行显示时,按照指定画面上的操作键或图标等的操作输入,切换显示内容。
图像请求功能35主要是通过CPU101、存储器102、通信单元103、HDD109、外部设备接口106、显示控制器104、显示装置112、键盘107、鼠标108、输入设备接口105的动作来实现的功能,是对摄像装置1请求作为搜索结果显示的有关特征数据组的特征数据单位的实际拍摄的图像数据的功能。
例如,在显示特征数据单位时,执行请求对应此特征数据单位的图像的显示的操作的情况下,CPU101针对已生成此特征数据单位的摄像装置1,从发送单元103发送图像请求。然后,按照图像请求,用通信单元103接收从摄像装置1发送过来的图像数据,例如,存储在HDD109之后,按照使用者的操作,进行显示再现。
搜索请求功能36主要是通过CPU101、存储器102、通信单元103、HDD109、外部设备接口106、显示控制器104、显示装置112、键盘107、鼠标108、输入设备接口105的动作来实现的功能,是将作为搜索结果显示的有关特征数据单位(特征数据组)的特征数据发送给所有的摄像装置1(不一定必须是所有的摄像装置1)并请求符合特征数据的人物的搜索处理的功能。
此外,执行通过与搜索请求对应的摄像装置1侧的处理所通知的通知信息的接收及显示输出。
4、特征数据的保存以下,说明本例子的检索系统的动作。
首先,使用图7说明数据保存服务器3将由摄像装置1生成的特征数据单位登记在特征数据DB43之前的动作。
在图7中,步骤F101~F110表示摄像装置1的处理。
假设摄像装置1被设置在规定的场所并被启动之后,执行不间断拍摄工作。步骤F101是摄像装置1开始工作时的处理,控制器21指示摄像机单元10、记录再现处理单元23、HDD24开始工作,此后,由摄像机单元10执行拍摄工作,将拍摄的图像数据记录在HDD24中。
拍摄开始之后,摄像装置1执行步骤F102以后的处理。
在步骤F102中,由图像解析单元25执行图像解析。即,对由摄像机单元10拍摄的图像数据由图像解析单元25执行人物图像的提取处理。
在图像解析处理中,如果判断为在图像数据中不含有人物,就从步骤F103返回到F102,转移到对下一个图像数据进行解析处理。
再有,虽然图像解析单元25可以对由摄像机单元10动画拍摄的所有帧的图像数据执行解析处理,但考虑到图像解析单元25的处理能力和处理时间,例如也可以在每一规定帧间隔中取出1帧的图像数据来进行解析处理。此外,也存在读出暂时记录在HDD24中的图像数据,提供给图像解析单元25并由图像解析单元25执行图像解析的情况。
如果在某一帧的图像数据中含有人物的图像,就从步骤F103进到F104,图像解析单元25对此人物的图像部分进行解析,生成表示此人物的特征的特征数据。例如,对面部特征数值化,或生成衣服颜色的数据,计算出身高的推定值。然后,将生成的特征数据传输到发送数据生成单元26。再有,如图3(a)所示,在特征数据单位中含有图像数据的情况下,也将作为解析对象的图像数据也传送到发送数据生成单元26。
此外,在设置有传感器11及传感信号处理单元29的情况下,此时也将由传感信号处理单元29所获得的特征数据例如体重值等提供给发送数据生成单元26。
在步骤105中,由发送数据生成单元26生成图3(a)或(b)这样的特征数据单位。为此,控制器21将由时钟单元28计时的日期时刻信息和摄像机ID附加到发送数据生成单元26。
发送数据生成单元26使用被提供的摄像机ID、日期时刻信息、特征数据、(及图像数据),生成图3(a)或(b)的特征数据单位。
生成的特征数据单位在步骤F106中从通信单元27被发送到数据保存服务器3。
在步骤F107中,控制器21确认有无设定搜索对象。有关此步骤F107~F110及检索处理装置4的处理(F301、F302),在此后进行说明。
在没有设定搜索对象的情况下,就从步骤F107返回步骤F102,重复上面的步骤F102~F106为止的处理。
并且,通过此处理,摄像装置1在拍摄的图像数据中出现人物的时候,将包含此人物的特征数据的特征数据单位发送到数据保存服务器3。
步骤F201、F202示出了数据保存服务器3的处理。
摄像装置1通过步骤F106的发送处理,将特征数据单位发送到数据保存服务器3的时候,在数据保存服务器3中执行此特征数据单位的接收处理。数据保存服务器3的CPU101确认在步骤F201通过接收处理进行了特征数据单位的接收之后,进到步骤F202,执行将接收的特征数据单位登记在特征数据DB43中的处理。
通过以上的动作,就能够在图6所示的特征数据DB43中追加登记1个特征数据单位。
5、根据特征数据的人物检索如上所述,在数据保存服务器3的特征数据DB43中,不断存储由设置在各地的摄像装置1拍摄的有关人物的特征数据单位。
检索处理装置4使用此特征数据DB43,就能够进行人物检索。此情况下的检索是所谓操作者指定多个摄像装置1即作为摄像装置1的设置场所的多个地点和各摄像装置1中的时刻(时间段)作为检索条件、由此提取在此多个地点存在的成为被拍摄体的人物的检索。例如,是提取作为从A地点移动到B地点的人物的未知的人物这样的检索。
这种检索例如适合于在知道某个案件的犯人的逃走路线的情况下有可能为可疑者的人物的推断等。
使用图8~图18,说明人物检索的动作。
图8中,步骤F401~F406示出了检索处理装置4的处理,步骤F501~F503示出了数据保存服务器3的处理。
检索处理装置4的操作者在步骤F401中执行用于检索的条件输入。检索处理装置4通过条件输入功能31接收操作者的条件输入。此时,指定多个摄像装置1和时刻作为检索条件。
下面举例来进行说明。
图12中示出了某条街的地图和设置在此街中的摄像装置1。在路上的各场所和交差点等各地点处设置有摄像装置1,这些摄像装置1作为其各自的摄像机ID被设定有“ID001”~“ID008”。
在此,假设在图中的◎地点发生了某一案件,警察执行此案件的搜查。并且,根据探听到的怀疑者的目击证词的收集或证据物件的发现等的搜查状况,假定推断为犯人从事发现场向虚线表示的路线中的○○车站方面逃走的状况。
于是,推定犯人被“ID005”、“ID002”、“ID008”的各摄像装置1所拍摄到。
此外,推断案件的发生日期时刻是在2006年1月5日的10点前后,此时,推定为“ID005”的摄像机1在10点前后、“ID002”的摄像机1在10点15分前后、“ID008”的摄像机1在10点20前后拍摄到犯人。
这种情况下,使用检索处理装置4的操作者就指定“ID005”、“ID002”、“ID008”的各摄像装置1为条件输入。再有,预先使摄像机ID和设置场所对应的表存储在存储器102或HDD109中,操作者就能够根据场所的名称指定摄像装置1,显示出表示图12这样的摄像装置1的设置位置的地像,操作者就能够在地像上指定摄像装置1,使用方便。
此外,指定摄像装置1的同时还指定时刻。例如,对“ID005”的摄像装置1输入“2006年1月5日10点前后”的条件,对“ID002”的摄像装置1输入“2006年1月5日10点15分前后”的条件,对“ID008”的摄像装置1输入“2006年1月5日10点20分前后”的条件。
毫无疑问,考虑时刻的输入方式的多样化,例如,除“10点前后”以外,也可以输入像“9点50分~10点10分”这样的时间段。此外,在不能确定案件等的时间的情况下,也假设按日单位进行指定,指定如1月4日~1月6日这样的数天的情况。并且,条件输入仅为摄像装置1的指定,可以不指定日期时刻。
此外,也可考虑不指定详细的时刻而指定各摄像装置1的时间顺序这样的条件输入。例如,仅指定“2006年1月5日”等日期后,还仅指定作为“ID005”、“ID002”、“ID008”的各摄像装置1的时间的序号。
此外,作为所公知的常规检索条件,包括AND条件、OR条件等,但在搜查图12那样的推定逃走路线的犯人这种目的的情况下,指定如上所述所指定的3个摄像装置1的AND条件。
在步骤F401中,检索处理装置4接受如上所述的操作的条件输入后,在步骤F402中通过特征数据获取功能32,根据此条件输入对数据保存服务器3执行数据请求。
例如,向数据保存服务器3发送表示“ID0052006年1月5日的10点前后”“ID0022006年1月15日10点15分前后”“ID0082006年1月5日10点20分前后”的各个条件的数据请求。
在数据保存服务器3中,通过特征数据提供功能42,对应这样的数据请求执行步骤FS01~F503的处理。
即,接收数据请求之后,使处理从步骤F501进到F502,从特征数据DB43中,提取出全部符合条件的特征数据单位。并且,在步骤F503中,将读出的特征数据单位发送到检索处理装置4。
在检索处理装置4中,通过特征数据获取功能32接收从数据保存服务器3发送过来的特征数据单位,保存在HDD109或存储器102中。
然后,特征数据获取功能32进行的特征数据单位的获取结束之后,从步骤F403进到F404。
在此时刻,检索处理装置4就从特征数据DB43中获取图13这样的各特征数据单位。
即,如图所示,就能够获取从由“ID005”摄像装置1在2006年1月5日的十点前后拍摄的图像数据中所生成的多个特征数据单位、从由“ID002”摄像装置1在同一天10点15分前后拍摄的图像数据中所生成的多个特征数据单位和从由“ID008”摄像装置1在同一天10点20分前后拍摄的图像数据中所生成的多个特征数据单位。
再有,作为图13中示出的各特征数据单位,包含各“ID005”等的摄像机ID、“06/01/05:09:55:21”等年月日时分秒的日期时刻信息、用“X1”等表示的特征数据及图像数据VD。但是,在特征数据单位是图3(b)的结构的时候,毫无疑问不包含图像数据VD。
为了便于说明,用“X1”、“Y1”、“Z1”...这样的字母和数据的组合记号表示各特征数据单位中的特征数据。在此,将字母不同的特征数据判断为不同或不类似。另一方面,相同的特征数据按“Y1”和“Y1”这样表示,类似的特征数据按“Y1”和“Y2”这样表示。即用相同的字母记录表示被判断为相同或类似的特征数据。
例如,在图13中,举例示出了作为“ID005”摄像装置1的特征数据单位的4个特征数据单位,它们所包含的特征数据“X1”、“Y1”、“Z1”、“W1”被判断出是各个不同人物的特征数据。
接着,在检索处理装置4中,通过分类·提取功能33,执行步骤F404、F405的处理。如图13所示,这是比较所取得的多个特征数据单元的特征数据,判断相同、类似或不类似并进行分类分组的处理。例如,所谓相同是指特征数据的数据值相同而认为关于同一人物的情况无疑的特征数据;所谓类似是指特征数据的数据值相互接近而有可能为同一人物的特征数据。
再有,关于实际的特征数据的例子和类似判断的方法的例子,将在此后进行说明。
假设作为图13那样所取得的特征数据单位,对于“ID005”摄像装置1,存在8个特征数据单位。并且,假设各特征数据单位中的特征数据的内容如图14(a)所示,为“X1”、“Y1”、“Z1”、“W1”、“X2”、“Q1”、“R1”、“P1”。
此外,假设对于“ID002”的摄像装置1而言,取得10个特征数据单位,各个特征数据的内容如图14(b)所示,为“V1”、“Q2”、“S1”、“R2”、“W2”、“W3”、“X3”、“P1”、“Q1”、“Y2”。
此外,假设对于“ID008”的摄像装置1而言,取得12个特征数据单位,各个特征数据的内容如图14(c)所示,为“U1”、“Y1”、“S2”、“V1”、“Z2”、“S1”、“U2”、“L1”、“M1”、“N1”、“P1”、“S3”。
这些内容是按照特征数据彼此的比较进行类似判断的结果。
例如,图14(a)的情况下,作为各特征数据,虽然存在作为“X1”、“X2”类似的特征数据,但其它内容是判断为不类似的结果。即,用ID005的摄像装置1,在该时间段至少拍摄了7人。生成“X1”、“X2”的特征数据时成为被拍摄体的人物如果是同一人,就是7人,如果是偶然具有类似特征的不同的人物就是8人。
由此,比较各特征数据单位的特征数据进行类似判断后,接下来就由摄像装置1收集相同的特征数据进行分组。
图15示出了分组结果。
例如,汇总具有作为特征Y的相同特征数据的3个特征数据单位作为特征数据组。即,对由“ID005”的摄像装置1从9点59分59秒的图像数据中所生成的特征数据Y1的特征数据单位、由“ID002”的摄像装置1从10点19分30秒的图像数据中所生成的特征数据Y2的特征数据单位、由“ID008”的摄像装置1从10点24分15秒的图像数据中所生成的特征数据Y1的特征数据单位被分成一组。
同样地,汇总具有作为特征P的相同特征数据的3个特征数据单位被汇总为特征数据组。
并且同样地,对具有作为特征X、特征Z、特征Q...的各个相同的特征数据单位进行分组。
在步骤F405中,如图15所示,从分组的特征数据组中提取出符合检索目的的特征数据组。
如上所述的图12所示,以推定逃跑路线的人物的检索作为目的的情况下,如上所述,为了搜索由“ID005”、“ID002”、“ID008”的3个摄像装置1拍摄的人物,要对3个摄像装置1提取出符合AND条件的特征数据组。
如图15所示,被分组的情况下,由于特征Y、特征P的特征数据组符合AND条件,所以将它们作为检索结果而被提取出来。
再有,由于在此以检索在图12的逃跑路线上移动的人物为例,所以成为AND条件,毫无疑问,这也可以按照检索目的来进行变更。此外,例如,由于在图12的逃跑路线移动的人物不一定被3个摄像装置1拍摄到,所以可以放宽AND条件,如特征X、特征Z的特征数据组这样即使不符合所有的摄像装置1,也可以作为候补被提取。
然后,检索处理装置4通过显示处理功能34,在步骤F406中执行检索结果的显示处理。
虽然可多方面考虑检索结果的显示处理例子,但在图9中说明一个例子。图9详细地示出了图8的步骤F406的处理。检索处理装置4的CPU101控制显示控制器104通过显示装置112实施显示处理。
在步骤F601中,首先,检索处理装置4显示作为检索结果所提取的特征数据组的数据列表。在图16中示出了检索结果数据列表60的显示例子。
例如,作为检索结果列表60的显示内容,包括作为检索结果而被列表的1个或多个特征数据组的数据列表显示61、用于选择有关各特征数据组的复选框62、详细显示指示按钮63、锁定按钮64、结束按钮15等。
正在使用检索处理装置4的操作者,看见此检索结果数据列表60,就能够知道检索到成为例如符合逃跑犯人的人物的候补的1个或几个人物这一情况。
操作者根据此检索结果数据列表60的显示,就能够执行寻求列表出来的各特征数据组的详细显示,寻求锁定检索,或结束显示的操作。
检索处理装置4的CPU101在各个步骤F602、F603、F604中监视作为使用键盘107或鼠标108的操作者的操作的选择操作、锁定操作、结束操作。
点击结束按钮15的时候,CPU101从步骤F604结束显示处理。
点击锁定按钮64的时候,CPU101使处理从步骤F603进到F611。例如,例如在列表出来的特征数据组数量非常多的情况下,操作者就能够通过此操作进行锁定。
在步骤F611中,通过条件输入功能31接受锁定条件的输入。例如,在按怀疑者的目击证言等,得知被认作犯人的人物穿着红色衣服时,就能够将红色衣服这样的条件作为特征数据进行输入。
执行条件输入之后,处理进入步骤F612,按照被输入的条件,通过分类提取功能33,执行特征数据组的锁定。然后,返回步骤F601,列表显示经过锁定提取的特征数据组。
接着,说明实施有关列表出来的特征数据组的详细显示的情况。
在操作者执行检查1个复选框62的操作,点击详细按钮63,或者单击或双击已列表的特征数据组本身等,或者选择特征数据组、执行要求详细显示的规定操作的情况,检索处理装置4(CPU101)使处理从步骤F602进到F605处理,实施从数据列表选择出的特征数据组的详细显示。
图17(a)(b)中示出了详细显示的例子。再有,图17(a)是图3(a)所示的在特征数据单位中含有图像数据时的详细显示例子,图17(b)是图3(b)所示的在特征数据单位中不含有图像数据时的详细显示例子。
假设被选择的特征数据组为图15的特征Y的特征数据组。在此特征数据组的详细显示中,如图17(a)、(b)所示,显示在特征Y的特征数据组中含有的3个特征数据单位的内容。
作为画面上的详细显示70,显示作为特征数据单位内容71的3个特征数据单位的内容。即,显示摄像机ID及此摄像机ID的设置场所、拍摄时刻、特征数据的内容。此外,还显示特征数据单位中含有的图像数据的图像76。特征数据单位的结构为图3(b)的时候,如图17(b)所示,就不显示有关各特征数据单位的图像。
此外,显示有关各特征数据单位的图像按钮72。
而且,显示向其它特征数据组的详细显示的转移的“前一个”及“下一个”的显示推进键73、返回图16的检索结果数据列表60的显示的列表按钮74、以及搜索按钮75。
通过执行此图17(a)或图17(b)那样的详细显示,操作者就能够看到以图12的虚线路线所移动的人物的一个人的详细信息。图17(a)的情况下,还能够确认被拍摄的人物的图像。
操作者对此画面进行点击操作,就能够操作显示推进键73、列表按钮74、搜索按钮75、图像按钮72。检索处理装置4的CPU101在步骤F606、F607、F608、F609中,监视这些按钮的点击操作。
操作显示推进键73的时候,从步骤F606进到F610,作为特征数据组的选择变更,转换到数据列表上的前或后的特征数据组的选择,在步骤F605中执行新选择的特征数据组的详细显示。例如,CPU101在特征Y的特征数据组的详细显示的时候,被操作“下一个”的显示推进键73后,执行切换到特征P的特征数据组的详细显示的控制。
被操作列表按钮74的时候,从步骤F607返回F601,CPU101进行控制,以便返回图16这样的检索结果数据列表60的显示。
看到图17(b)这样的详细显示70的情况下,操作者就能够看到涉及显示的特征数据单位的实际拍摄出的图像。此外,如图17(a)所示的显示图像76的时候,就能够看到比实际拍摄的更详细的图像。
在想看有关特征数据单位的拍摄的图像的时候,操作者也可以点击有关此特征数据单位的图像按钮72。
此时,检索处理装置4的CPU101被执行图像请求的操作后,从步骤F601进到图10的步骤F613,执行图像请求功能35的处理。即,CPU101在步骤F613中,图像请求操作对应特征数据单位,发送针对特定的摄像装置1的图像请求。
例如,用户点击涉及摄像机ID“ID005”的特征数据单位的图像按钮72的时候,CPU101就执行从通信单元103对“ID005”的摄像装置1发送图像请求的处理。
此外,在此图像请求中,包含发送源的检索处理装置4的识别信息、该特征数据单位的日期时刻信息、例如“2006年1月5日9点59分59秒15帧”等日期时刻信息。或者,也可以指定此日期时刻信息的前后时间段。例如,也可以为表示“2006年1月5日9点55分~10点05分”这样的时间段的信息。
例如,“ID005”的摄像装置1接收来自检索处理装置4的图像请求后,使处理从步骤F701进到F702,执行从HDD24中读出指定的日期时刻的图像数据,向检索处理装置4发送的处理。
即,摄像装置1的控制器21确认图像请求中所包含的日期时刻信息,用HDD24及记录再现处理单元23对符合此日期时刻信息的图像进行再现。然后,对再现出的图像数据,由发送数据生成单元26实施规定的发送用编码处理,将其从通信单元27发送到检索处理装置4。
此情况下,可多样地考虑作为从HDD24再现的图像数据。如果图像请求中所包含有的日期时刻信息是某一时刻,则自动地判断为例如±5分钟等为其前后的时间段,既可以对作为此10分钟的动画的图像数据进行再现并发送到检索处理装置4,也可以例如对此时刻的1帧的静止图像,或在此时刻的前后提取的多个帧的静止图像进行再现,并发送到检索处理装置4。
此外,作为图像请求中所包含有的日期时刻信息如果被指定了时间段,则既可以对作为此时间段的动画的图像数据进行再现并发送到检索处理装置4,也可以例如提取此时间段所包含有的多个帧的静止图像,将它们发送到检索处理装置4。
在检索处理装置4侧,在步骤F614中,接收如此从摄像装置1发送过来的图像数据。例如,CPU101将接收的图像数据存储在HDD109或存储器102中。
然后,检索处理装置4在完成从摄像装置1发送过来的图像数据的取入后,在步骤F615执行图像再现处理。
例如,显示图18这样的再现画面80。例如,在作为规定时间段的动画的图像数据发送过来的情况下,如图18那样,再现画面80就显示出图像81、再现/暂时停止键82、搜索键83、前进杆84、停止键85等,根据操作者的操作,就能够再现该时间段的拍摄图像作为图像81。
例如,操作者通过点击再现/暂时停止键82,就能够看到在该时间段中例如由“ID005”的摄像装置1拍摄的图像。即,能够确认生成本次图像请求中有关的特征数据单位时的实际的拍摄图像。由此,就能够实际看到对应特征数据单位中的特征数据的人物的容貌、乃至看到举动。
操作者点击结束按钮85的时候,CPU101使处理从图10的步骤F616进到图9的步骤F605,返回图17(a)或(b)的原始的详细显示70。
在详细显示70中,由于针对各特征数据单位准备了图像按钮72,所以通过点击各自的图像按钮72,就能够执行上述图10的处理,能够看到各个特征数据单位由各个摄像装置1生成时的实际图像。
另外,如图17所示,在画面上,针对特征数据组准备了搜索按钮75。再有,也可以在图16的数据列表60中,针对各特征数据组准备了搜索键。
在本例的检索系统中,通过此搜索按钮75的操作,就能够进行例如搜索可疑者等的现在的居住地的处理。
例如,如上述这样看到作为检索结果的特征数据组的细节和拍摄出的图像的操作者(警察人员等)就认为成为某一特征数据组检索的人物为可疑者或参考人,并考虑将探查此人物。
在上述这样的情况等中,想要由配置在各地的摄像装置1搜索特征数据组的人物时,操作针对特征数据组设置的搜索按钮75即可。
操作者点击搜索按钮75的时候,检索处理装置4的CPU101使处理从图9的步骤F608进到图11的步骤F617,通过搜索请求功能36执行处理。
在步骤F617中,CPU101生成包含有关成为搜索请求操作对象的特征数据组的特征数据的搜索请求数据。特征数据组中所包含有的各特征数据单位,如果各自具有相同的特征数据,则可以包含此特征数据,如果具有类似的特征数据,则只要对作为此特征数据的数值具有某种程度的宽度即可。
由于搜索请求数据是现时刻以后请求各摄像装置1搜索符合特征数据的人物的数据,所以对于搜索请求数据中所包含有的特征数据,要选择适于搜索的特征数据内容。即,优选即使经过时间也不变化的特征数据,例如选择为面部特征数据。另一方面,由于搜索对象的人物并不是始终穿相同的服装,所以衣服的颜色等优选从搜索请求数据中含有的特征数据中排除。
生成搜索请求数据之后,CPU101在步骤F618中从通信单元103对各摄像装置1发送搜索请求数据。
作为发送目的地摄像装置1为检索系统上的所有摄像装置1。但是,例如为了使操作者能够选择发送目标,也可以将配置在特定地域的1个或多个摄像装置1作为发送目的地。
发送搜索请求数据后,处理就返回图9的步骤F605。
在各摄像装置1侧,接收搜索请求数据后,控制器21使处理从步骤F801进到F802,将此搜索请求数据中所包含有的特征数据作为搜索对象加以设定。例如,在存储器单元22中设定作为搜索对象设定的特征数据的登记区域,预先在此登记区域中登记特征数据。
执行这样的搜索对象的设定后,各摄像装置1在不间断动作时就能执行图7步骤F108~F110的处理。
即,摄像装置1重复进行如下动作,即一边执行上述拍摄,一边针对拍摄出的图像数据生成特征数据并将特征数据单位送到数据保存服务器3,但是在执行搜索对象的设定的情况下,控制器21使处理从步骤F107进到F108。然后,将在步骤F104生成的特征数据与搜索对象设定的特征数据进行比较处理,执行特征数据的内容是否相同/类似、或不类似的判断。
如果不类似,则从步骤F109返回F102,当判断为相同或类似的时候,在步骤F110执行通知处理。即,控制器21使发送数据生成单元26,针对成为搜索对象的1个特征数据生成拍摄共通的特征数据的人物的通知信息。此通知信息的内容可以例如与图3那样的特征数据单位相同,为包含摄像机ID、日期时刻信息、特征数据内容、图像数据等的信息。然后,控制器21将此通知信息从通信单元27发送到检索处理装置4。
检索处理装置4的CPU101根据接收通知信息的情况,使处理从步骤F301进到F302,在显示装置112中显示通知信息的内容。例如,显示根据摄像机ID可判别的拍摄场所和拍摄图像、特征数据内容、日期时刻。
通过执行这样的动作,由某一摄像装置1拍摄到成为搜索对象的人物的时候,在检索处理装置4侧,就能够知道这些内容。即,在不知道可疑者和参照人等的去向的情况下等,能够搜索现在的居住地,确认通知信息的内容,如果是该人物,就能够采取对此摄像装置1的附近派遣搜查官等的对策。
再有,对于图11的处理中,对于在摄像装置1作为搜索处理请求对象设定的特征数据组的内容,能够在检索处理装置4侧作为搜索中的数据列表等一览地进行显示,同时,对于因案件解决等成为不需要搜索的内容,适当地对各摄像装置1发送设定取消。在接收了设定取消的信息的摄像装置1侧,从搜索对象的登记中删除该特征数据即可。
6、特征数据及其类似判断在执行上述这样的动作的本例的检索系统中,依据特征数据来检索人物,或进行搜索。
特征数据是用于识别人物的数据,具体地可考虑面部数据、身高数据、体重数据、服装数据等。
通过由图像解析单元25对拍摄的图像数据进行解析,就能够获得面部数据、身高数据、服装数据。
列举一个作为用于人物识别最适合的面部数据。
虽然可以考虑各种面部数据的内容,但作为一个例子,具有面部的构成要素的相对位置信息。
例如,如图19所示,设眼睛的中心和鼻子的距离EN与眼睛(眼睛的中心)之间的间隔的距离Ed的比为Fa。例如,Fa=Ed/EN。
此外,设眼睛的中心和嘴的距离EM与眼睛之间的间隔距离Ed的比为Fb。例如,Fb=Ed/EM。
作为面部数据,可以采用这样的值Fa、Fb。
这种面部的构成要素的相对位置信息,是每个人所特有的,并且是不受发型和眼镜等装饰物等引起的外观的变化的影响的信息。并且,众所周知,即使年龄增加也不会变化。
因此,就成为了适于判断由多个摄像装置1拍摄的人物是同一人物还是不同人物的特征数据。
此外,通过与面部数据一起使用身高数据、服装数据、体重数据等,就能够提高同一人物判断的正确性。
身高数据能够通过拍摄的人物的位置、头部的上端、或眼睛的高度等计算出来。若考虑摄像装置1被固定设置,并且相对于摄像机单元10的拍摄方向和被拍摄体的距离是固定时,就比较容易推定计算身高。例如,在拍摄通过车站的检票的人物的摄像装置1,预先将检票装置的高度作为基准存储。然后,在拍摄的图像数据中,通过以图像内的检票装置的高度为基准进行计算,就能够算出通过的人物的头部位置的高度即身高。
服装数据特别采取服装的颜色的信息,从而能够从图像数据中容易地判断。即,可以检测RGB信号的饱和度作为图像数据中的服装部分的R(红)值、G(绿)值、B(蓝)值,生成颜色信息。
由于体重数据不能从图像中检测出,所以,使用体重计作为传感器11。例如,在车站的检票处设置摄像装置1的情况下,预先在检票装置的地板内装入压力传感器作为传感器11,就能够检测出通过检票的人物即拍摄到的人物的体重值。
例如,仅由面部数据或将身高数据、服装数据、体重数据等组合到面部数据中,生成特征数据,就能够形成适于人物识别的特征数据。
毫无疑问,在此之外,能够作为特征数据使用的信息还很多。能够配置金属探测器作为传感器11,也可以使此金属反应的信息包含在特征数据中。此外,作为能够从图像中判断的信息,也可以使用有无戴眼镜、有无帽子、胡子和发型的特征等,作为用于人物识别的辅助信息。
由各摄像装置1生成的特征数据,即使是同一人物,也不一定限于相同的数据值。例如,由于拍摄的角度和时间的变化,计测误差等,也存在一些变化。
因此,在例如图8的步骤F404、或图7的步骤F108等中,比较特征数据时具有某一程度的数据范围,如果在其之内也能够判断为类似。即,设置推定为同一人物的范围。例如,作为面部数据的上述Fa、Fb的值和身高、体重等,在比较特征数据的期间,例如如果在±5%的偏差以内,为类似,并判断为同一人物的可能性高。
7、检索中的摄像装置的指定例子作为本例的检索系统的动作,在上述说明中,推定图12虚线所示的逃跑路线时,作为有可能拍摄到犯人的摄像装置1,列举指定3个摄像装置1来执行检索的例子。即指定各个摄像装置1进行检索的例子。但是,在本例的检索系统中,除如单独确定多个摄像装置1这样进行指定外,还考虑检索时的指定方法。
图20示出了在东京站内的各处配置摄像机ID为“A001”~“A005”的摄像装置1,还有在仙台站内的各处配置摄像机ID为“B001”~“B006”摄像装置1的状态。
例如,在存在想对从东京站向仙台站的人物进行列表的这种事情的情况下,也考虑作为“东京站的摄像装置1”指定摄像机ID为“A***”的多台摄像装置1和作为“仙台站的摄像装置1”指定摄像机ID“B***”的多台摄像装置1这样的指定方式。即,按摄像装置1的分组单位指定的方式。
假设某一案件的可疑者在15点从东京站乘新干线前往仙台的时候,指定15点附近的东京站的摄像装置和约2小时后的17点附近的仙台站的摄像装置,执行此情况的特征数据单位的比较·分类处理,由此能够提取该人物。例如,作为由“A002”和“B003”的摄像装置1拍摄的人物,由“A005”和“B001”拍摄的人物...等,能够对在东京-仙台间移动的人物列表,或能够确认此特征的详情和图像。
此外,不详细地指定时刻和时间段而仅设定日期,并按时间顺序指定“东京站的摄像装置1”和“仙台站的摄像装置1”,由此也能够检索在当天从东京前往仙台的人物。
此外,图21中示出了在C町、D市、E市配置在各场所的摄像装置1。在C町的各处配置摄像机ID为“C001”~“C004”的摄像装置1,在D市的各处配置摄像机ID为“D001”~“D004”的摄像装置1,在E市的各处配置摄像机ID为“E001”~“E004”的摄像装置1。
例如,假设在C町内用×表示场所发生了某一案件,犯人被“C003”摄像装置1拍摄到的可能性高。
此情况下,指定“C003”摄像装置1和其之外的C町及邻接C町的D市、E市中的所有摄像装置1进行检索处理,在用“C003”的摄像装置1拍摄的同时,提取推定为由其以外的摄像装置1拍摄的同一人物的人物。此时,如果用“C004”“E003”拍摄到认为与“C003”摄像装置1中出现的人物特征数据相同的同一人物,就能够与此犯人的特征一起,推定用虚线所示的逃跑路线。
或者,由于还能够确认在案件发生时刻的前后,在“C003”的摄像装置1中出现的多个人物分别按哪条路线移动,能够从多个人物中推定出可疑者。
当进行如此的检索时,例如,指定“C003”这样的1个摄像装置1和其周边的多个摄像装置1,也能够按照特征数据的比较,进行人物的分类·提取。
并且,再由“D002”摄像装置1拍摄的用▲表示的地点91保护迷路的小孩的情况下,指定“D002”的摄像装置1和其它所有的摄像装置1进行搜索,对相同特征数据的人物加以列表后,通过调查符合保护的孩子的特征数据组的内容,就能够确认此孩子按哪条路线移动等。
8、摄像装置中的数据保存如前所述,摄像装置1中,将执行不间断拍摄时所拍摄的图像数据记录在HDD24中,但由于不断记录此不间断拍摄数据,HDD24的记录容量的负担就大。另一方面,如上所述,考虑在警察的搜查中使用的情况,优选尽可能预先保存高画质的图像数据,在有图像请求时,能够向检索处理装置4提供高精细的图像数据。
因此,在摄像装置1中,当进行拍摄时,以比较高精细的画质将图像数据记录在HDD24中,经过某种程度的日期时间后,进行削减此数据量的处理。
图22示出了摄像装置1的控制器21实施的保存的数据量削减处理。控制器21例如1天1次进行此处理,使经过规定期间的图像数据的数据量减少。
首先,控制器21在步骤F901中,从记录在HDD24中的图像数据内读出n天前记录的数据。例如假设对于记录后经过1周时间的图像数据执行数据量削减时,控制器21在步骤F901中就读出7天前记录的图像数据。
在步骤F901中,控制器21使HDD24及记录再现处理单元23从n天前的24小时期间的图像数据中,实施对作为处理单位的规定数据量的读出,将读出的图像数据暂时保存在记录再现处理单元23内的缓冲存储器。
然后,在步骤F902中,在记录再现处理单元23中,执行使取入的图像数据的数据量减少的处理。例如,对于读出的图像数据,以更高的压缩率实施再压缩处理。
在步骤F903中,再一次向HDD24供给再压缩的图像数据,将它们记录在HDD24中。
在步骤F904中,按每一规定数据量实施上述处理,直到判断为1天的图像数据的再压缩结束为止。
通过执行此处理,经过了n天的图像数据的数据量被减少,并且能够将作为整体的尽可能长时间的图像数据保存在HDD24中。
再有,作为数据量削减的方法,除提高压缩率进行再压缩之外,在动画的情况下,还可以进行帧剔除来削减帧数,例如,可以每1秒提取1帧,成为1秒间隔的静止图像数据。
或者,也可以组合帧削减和高压缩率的压缩。
此外,虽然拍摄时作为动画进行图像数据记录,但拍摄时也可以进行1秒间隔等的静止图像记录。此情况下,作为数据量削减处理,例如,也考虑仅保存5秒间隔的静止图像数据,而废弃其它这样的方法。
并且,作为拍摄时执行的图像解析单元25的解析结果信息,也考虑预先记录图像中是否出现人物的信息,废弃没有出现人物期间的图像数据。
此外,保存数据量削减处理不只是1次,也可以按几级执行。例如,记录后经过3天,进行第1次数据量消减,经过1周时间后进行第2次数据量削减等,随着时间的经过慢慢地削减数据量。
9、实施方式的效果及变形例根据上述的实施方式的检索系统,多个摄像装置1被固定设置在各个不同场所,在记录执行不间断拍摄时所拍摄的图像数据的同时,还生成拍摄的图像数据中所包含的人物等的特征数据。然后,生成包含特征数据、摄像机ID、日期时刻信息、(及图像数据)的特征数据单位,将它们发送到数据保存服务器3。
在数据保存服务器3中,将来自各摄像装置1的特征数据单位保存在特征数据DB43中。因此,在特征数据DB43中,保存由各地的摄像装置1拍摄的人物的特征数据。
并且,检索处理装置4能够执行从此特征数据DB43中列表出符合条件的人物等这样的检索。
特别地,根据实施方式的检索系统,作为多个摄像装置1,通过指定多个地点,就能够提取存在于此多个地点的作为被拍摄体的人物。即,能够进行提取存在于多个场所的未知人物的这种检索。由此,就能够在例如刑事搜查等中进行有效的检索。
此外,在特征数据单位中含有日期时刻信息,在检索处理装置4中,作为检索条件,能够指定有关各摄像装置1的日期时刻,由此能够进行更恰当的检索。
此外,由于在特征数据单位中含有图像数据,作为检索结果显示,能够如图17(a)那样显示图像76,能够容易进行通过图像的人物确认。另一方面,如果特征数据单位中不含有图像数据,则能够降低网络90的通信负担和特征数据DB43的容量负担。
此外,在任何情况下,检索处理装置4按照对摄像装置1的图像请求,就能够获取并显示在摄像装置1中保存在HDD24中的图像。由此,警察人员等就能够确认实际的拍摄图像,进行相关人物的研讨。并且,由于仅在作为检索结果必需的情况下,执行向检索处理装置4发送来自HDD24的图像数据,例如动画数据,所以图像数据的通信机会并不过多,这就适合于实现摄像装置1的处理负担和网络通信的负载的减少,并实现相应于此的舒适的操作。
此外,根据来自检索处理装置4的搜索请求,执行由各摄像装置1检测符合特征数据的人物这样的搜索,对于警察的搜查等非常有用。
对于特征数据,例如,通过根据如图19所示的面部数据Fa、Fb,执行比较·分类,而准确性高。此外,并用身高、体重、衣物颜色等,就能够提高相同人物的判断的正确性。
毫无疑问,通过检索处理装置4比较人物的特征,与人员一方面看录像一方面判断是否存在同一人物的作业相比,就能够显著地实现效率化、时间缩短、正确化。
以上的实施方式的结构及处理是一个例子,作为本发明,可以考虑多种变形例。
数据保存服务器3与检索处理装置4可以是分体的,但例如,在作为检索处理装置4的计算机系统100中,也可以在HDD109等中设置特征数据DB43,并且设置图5(a)的功能,使它们一体化。
摄像装置1的结构和工作也可以考虑多种变形例。可以设置麦克风,与图像一起记录声音。此情况下,存在来自检索处理装置4的图像请求的时候,还与图像数据一起发送声音数据,使得能够在检索处理装置4侧还可确认拍摄时的声音。
此外,虽然对于拍摄的人物生成特征数据,但对象没必要限于人物,例如在汽车成为被拍摄体时,也可以生成此汽车的特征数据(颜色和车种),在检索处理装置4侧实施例如从A地点移动到B地点的汽车的检索等。
此外,在实施方式中,以本例的检索系统为警察使用的系统进行了说明,但也能够适用于作为在此以外使用的系统。
本发明的程序能够作为在摄像装置1的控制器21中执行图7的处理的程序来实现。此外,本发明的程序也能够在作为检索处理装置4的计算机系统100中,作为实施图8~图11的处理的程序来实现。
这些程序能够预先记录在计算机系统等的信息处理装置中的作为记录介质的系统HDD和具有CPU的微机内的ROM等中。
此外还有,程序能够临时或永久地被保存在软盘、CD-ROM(压缩光盘-只读存储器,Compact Disc Read Only Memory)、MO(磁光,Magnet optical)盘、DVD(数字通用磁光盘,Digital Versatile Disc)、磁盘、半导体存储器等可移动的记录介质中。这样的可移动记录介质能够作为所谓的软件包来提供。例如,能够通过CD-ROM、DVD-ROM等来提供,被安装在计算机系统中。
此外,此程序除了可以从可移动记录介质中进行安装之外,还能够从下载站点通过LAN(本地网,Local Area Network)、因特网等网络来进行安装。
权利要求
1.一种检索系统,由固定配置在各个不同场所的多个摄像装置、数据保存装置和信息处理装置组成,其特征在于,上述摄像装置包括进行拍摄从而取得图像数据的拍摄单元;将由上述拍摄单元所获得的图像记录在记录介质中的记录再现单元;解析由上述拍摄单元所获得的图像数据,从而生成被拍摄体的特征数据的特征数据生成单元;生成作为发送数据的至少包含上述特征数据和对各个摄像装置赋予的摄像装置识别信息的特征数据单位的发送数据生成单元;和对上述数据保存装置发送由上述发送数据生成单元生成的特征数据单位的发送单元,上述数据保存装置包括数据库;和在上述数据库中登记、保存从上述各摄像装置发送过来的特征数据单位的登记单元,上述信息处理装置包括以在多个上述摄像装置中指定多个摄像装置的输入作为条件输入而接受的条件输入单元;从数据库中获取与由上述条件输入单元的处理指定的各摄像装置相关的上述特征数据单位的获取单元;根据特征数据单位中所包含的特征数据对由上述获取单元所获得的各特征数据单位进行分类,将具有相同或类似的特征数据的多个特征数据单位作为特征数据组提取出来的分类提取单元;和显示输出由上述分类提取单元提取出来的特征数据组的信息的显示处理单元。
2.根据权利要求1所述的检索系统,其特征在于,上述摄像装置的上述发送数据生成单元进一步生成特征数据单位,该特征数据单位包含表示与上述特征数据相关的图像数据的拍摄日期时刻的日期时刻信息;上述信息处理装置的上述条件输入单元将多个摄像装置的指定和对各摄像装置的日期时刻的指定作为条件输入而接受;上述信息处理装置的上述获取单元从上述数据库中,获取在指定的各摄像装置中符合指定的日期时刻的上述特征数据单位。
3.一种摄像装置,被固定配置在规定场所,并且至少能够与外部的数据保存装置进行通信,其特征在于,包括进行拍摄从而取得图像数据的拍摄单元;将由上述拍摄单元所获得的图像数据记录在记录介质中的记录再现单元;解析由上述拍摄单元所获得的图像数据,从而生成被拍摄体的特征数据的特征数据生成单元;生成作为发送数据的至少包含上述特征数据和对各个摄像装置赋予的摄像装置识别信息的特征数据单位的发送数据生成单元;和对上述数据保存装置发送由上述发送数据生成装置生成的特征数据单位的发送单元。
4.根据权利要求3所述的摄像装置,其特征在于,上述记录再现单元将由上述拍摄单元所获得的图像数据与表示拍摄日期时刻的日期时刻信息一起记录在记录介质中。
5.根据权利要求3所述的摄像装置,其特征在于,上述发送数据生成单元进一步生成特征数据单位,该特征数据单位包含表示与上述特征数据相关的图像数据的拍摄日期时刻的日期时刻信息。
6.根据权利要求3所述的摄像装置,其特征在于,上述发送数据生成单元进一步生成包含与上述特征数据相关的图像数据的特征数据单位。
7.根据权利要求3所述的摄像装置,其特征在于,上述特征数据生成单元提取由上述拍摄单元所得到的作为图像数据的被拍摄体的人物,并生成被提取的人物的特征数据。
8.根据权利要求3所述的摄像装置,其特征在于,还包括检测由上述拍摄单元拍摄的被拍摄体的信息的传感器单元;上述特征数据生成单元根据由上述传感器单元所获得的检测信息生成上述特征数据。
9.根据权利要求3所述的摄像装置,其特征在于,还包括根据来自外部的信息处理装置的图像请求信息,使上述记录再现单元读出由该图像请求信息指定的图像数据,并使上述通信单元将其发送到上述信息处理装置的图像发送控制装置。
10.根据权利要求3所述的摄像装置,其特征在于,还包括搜索处理控制单元,其执行如下两处理根据来自外部的信息处理装置的搜索请求信息将该搜索信息中所包含的特征数据作为搜索对象进行设定;和判断由上述特征数据生成单元生成的特征数据是否与成为搜索对象的上述特征数据符合,在符合的情况下对上述信息处理装置进行通知。
11.根据权利要求3所述的摄像装置,其特征在于,还包括数据量减少处理控制单元,其使上述记录再现单元实施在上述记录介质中所记录的图像数据之中使从记录时刻起经过规定期间的图像数据的数据量减少的保存数据量减少处理。
12.一种数据保存装置,能够与被固定配置在各个不同场所的多个摄像装置进行通信,其特征在于,包括数据库;和在上述数据库中登记、保存从上述各摄像装置发送过来的特征数据单位的登记单元。
13.一种信息处理装置,其特征在于,包括以被固定配置在各个不同场所的多个摄像装置中指定多个摄像装置的输入作为条件输入而接受的条件输入单元;从登记着由多个上述摄像装置生成的、包含被拍摄体的特征数据的特征数据单位的数据库中,获取与由上述条件输入单元的处理指定的各摄像装置相关的上述特征数据单位的获取单元;根据特征数据单位中所包含的特征数据对由上述获取单元所获得的各特征数据单位进行分类,并将具有相同或类似的特征数据的多个特征数据单位作为特征数据组提取出来的分类提取单元;和显示输出由上述分类提取单元提取出来的特征数据组的信息的显示处理单元。
14.根据权利要求13所述的信息处理装置,其特征在于,上述条件输入单元将多个摄像装置的指定以及对各摄像装置的日期时刻的指定作为条件输入而接受;上述获取单元从上述数据库中,获取在指定的各摄像装置中符合指定的日期时刻的上述特征数据单位。
15.根据权利要求13所述的信息处理装置,其特征在于,还包括图像请求发送单元,关于由上述分类提取单元提取出来的特征数据组中所包含的特征数据单位,对生成该特征数据单位的摄像装置发送用于请求对应于特征数据单位的图像的图像请求信息;同时上述显示处理单元根据上述图像请求信息执行从上述摄像装置发送过来的图像数据的显示输出。
16.根据权利要求13所述的信息处理装置,其特征在于,还具有搜索请求发送单元,生成包含上述特征数据单位中的特征数据的搜索请求信息,并将其发送到上述各摄像装置。
17.一种拍摄图像处理方法,其中该摄像装置被固定配置在规定场所,并且能够至少与外部的数据保存装置进行通信,其特征在于,该拍摄图像处理方法包括进行拍摄从而取得图像数据的拍摄步骤;在记录介质中记录由上述拍摄步骤取得的图像数据的记录步骤;解析由上述拍摄步骤取得的图像数据,从而生成被拍摄体的特征数据的特征数据生成步骤;生成作为发送数据的至少包含上述特征数据和对各个摄像装置赋予的摄像装置识别信息的特征数据单位的发送数据生成步骤;和对上述数据保存装置发送由上述发送数据生成步骤生成的特征数据单位的发送步骤。
18.一种信息处理方法,其特征在于,包括以在固定配置于各个不同场所的多个摄像装置中指定多个摄像装置的输入作为条件输入而接受的条件输入步骤;从登记着由多个上述摄像装置生成的、包含被拍摄体的特征数据的特征数据单位的数据库中,获取与由上述条件输入步骤的处理指定的各摄像装置相关的上述特征数据单位的获取步骤;根据特征数据单位中所包含的特征数据对由上述获取步骤所获得的各特征数据单位进行分类,将具有相同或类似的特征数据的多个特征数据单位作为特征数据组提取出来的分类提取步骤;和显示输出由上述分类提取步骤提取出来的特征数据组的信息的显示处理步骤。
19.一种使摄像装置执行的程序,其中该摄像装置被固定配置在规定场所,并且能够至少与外部的数据保存装置进行通信,其特征在于,作为执行摄像装置的动作的程序,包括进行拍摄从而取得图像数据的拍摄步骤;在记录介质中记录由上述拍摄步骤取得的图像数据的记录步骤;解析由上述拍摄步骤取得的图像数据,从而生成被拍摄体的特征数据的特征数据生成步骤;生成作为发送数据的至少包含上述特征数据和对各个摄像装置赋予的摄像装置识别信息的特征数据单位的发送数据生成步骤;和对上述数据保存装置发送由上述发送数据生成步骤生成的特征数据单位的发送步骤。
20.一种使信息处理装置执行的程序,包括以在固定配置在各个不同场所的多个摄像装置中指定多个摄像装置的输入作为条件输入而接受的条件输入步骤;从登记着由多个上述摄像装置生成的、包含被拍摄体的特征数据的特征数据单位的数据库中,获取由上述条件输入步骤的处理指定的各摄像装置相关的上述特征数据单位的获取步骤;根据特征数据单位中所包含的特征数据对由上述获取步骤所获得的各特征数据单位进行分类,将具有相同或类似的特征数据的多个特征数据单位作为特征数据组提取出来的分类提取步骤;和显示输出由上述分类提取步骤提取出来的特征数据组的信息的显示处理步骤。
全文摘要
通过指定作为摄像装置的设置场所的多个地点,就能够提取存在于此多个地点的人物。在各个不同场所固定设置多个摄像装置(1)。摄像装置(1)生成所拍摄的图像数据中所包含的人物等的特征数据。然后,生成包含此特征数据和摄像机ID、拍摄日期时刻信息的特征数据单位,将它们发送到数据保存服务器(3)。数据保存服务器(3)将从摄像装置(1)发送过来的特征数据单位登记并保存在数据库中。检索处理装置(4)对数据库中符合条件的人物等进行列表。
文档编号H04N7/18GK101071447SQ20071012881
公开日2007年11月14日 申请日期2007年3月6日 优先权日2006年3月6日
发明者真贝光俊, 柏浩太郎 申请人:索尼株式会社