影像处理装置及影像处理方法与流程

1.在本说明书中，公开了一种从由摄像机拍摄到的影像中提取表示影像内容的代表图像的影像处理装置及影像处理方法。


背景技术：

2.一直以来，广泛知晓一种图像处理装置，为了概略地掌握影像的内容，该图像处理装置从构成影像的多个帧图像中提取表示该影像的内容的代表图像，基于该代表图像而生成缩略图像。作为上述代表图像的提取方法，例如考虑提取每隔固定期间的帧图像作为代表图像的技术。但是，在仅仅定期地提取帧图像的方法中，可能得不到充分地表示出影像内容的图像。
3.于是，提出了如下的技术：在一部分中，基于映现在帧图像中的被摄体的运动或者在时间上相邻的两个帧图像间的变化量来提取代表图像。例如，在专利文献1中公开了一种选择规定的影像区间中的代表图像的方法，在该方法中，将在时间上相邻的两个图像的变化量成为极小的帧作为基准来选择影像区间的代表图像的候选。此外，在专利文献2中公开了如下的技术：计算帧图像间的运动向量，在运动向量的经时变化成为极大/极小的周边定时提取缩略图像(代表图像)。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2003
‑
348528号公报
7.专利文献2：日本特开2009
‑
296344号公报


技术实现要素：

8.发明要解决的问题
9.根据专利文献1的技术，模糊(
ブレ
)比较少的帧图像容易被选择为代表图像。但是，根据专利文献1的技术，在运动大的事件期间内可能选不到适当的帧图像。此外，在专利文献2的技术中，由于仅关注于运动向量，因此被摄体模糊的模糊图像可能被选择为代表图像。
10.于是，在本说明书中，公开了一种能够从构成由摄像机拍摄到的影像的多个帧图像中更加适当地提取代表图像的影像处理装置及影像处理方法。
11.用于解决问题的手段
12.本说明书中公开的影像处理装置的特征在于，具备：存储装置，其存储由摄像机拍摄的影像和所述影像的缩略图像；分数计算部，其针对构成规定的事件期间的影像的多个帧图像，分别计算代表分数；图像选择部，其基于计算出的所述代表分数，选择代表所述事件期间的影像的帧图像作为代表图像；以及缩略图像生成部，其生成所述代表图像的缩略图像，并将生成的所述代表图像的缩略图像存储于所述存储装置，
13.所述分数计算部计算构成所述事件期间的影像的多个帧图像各自的模糊量，至少
基于所述模糊量来计算所述代表分数。
14.也可以是，所述分数计算部还计算构成所述事件期间的影像的多个帧图像各自的运动向量，至少基于所述模糊量和所述运动向量来计算所述代表分数。
15.在该情况下，也可以是，所述分数计算部将所述运动向量作为基准来设定关注期间，基于所述模糊量来计算构成所述关注期间的影像的帧图像的代表分数，并且，将其他的帧图像的代表分数计算为零。
16.此外，也可以是，还具备背景图像提取部，该背景图像提取部向所述分数计算部提供构成多个帧图像的背景的背景图像，该多个帧图像构成所述事件期间的影像，所述分数计算部还计算构成所述事件期间的影像的多个帧图像中的各个帧图像与所述背景图像的差分作为背景差分，至少基于所述模糊量和所述背景差分来计算所述代表分数。
17.在该情况下，也可以是，所述分数计算部将所述背景差分作为基准来设定关注期间，基于所述模糊量来计算构成所述关注期间的影像的帧图像的代表分数，并且，将其他的帧图像的代表分数实质上计算为零。
18.此外，也可以是，还具备背景图像提取部，该背景图像提取部向所述分数计算部提供构成多个帧图像的背景的背景图像，该多个帧图像构成所述事件期间的影像，所述分数计算部还计算构成所述事件期间的影像的多个帧图像中的各个帧图像与所述背景图像的差分作为背景差分，计算构成所述事件期间的影像的多个帧图像各自的运动向量，至少基于所述背景差分、所述模糊量及所述运动向量来计算所述代表分数。
19.在该情况下，也可以是，所述分数计算部将所述背景差分作为基准来设定第一关注期间，将所述第一关注期间内的所述运动向量作为基准来设定第二关注期间，基于所述模糊量来计算构成所述第二关注期间的影像的帧图像的代表分数，并且将其他的帧图像的代表分数实质上计算为零。
20.此外，也可以是，还具备事件通知部，该事件通知部将所述事件期间的开始和结束通知给所述分数计算部，针对多个所述事件期间分别生成所述缩略图像。
21.此外，也可以是，所述分数计算部计算使所述帧图像沿规定的移动角度的方向移动规定的移动距离得到的比较图像与所述帧图像的自相关成为最大时的所述移动距离，作为所述帧图像的模糊量。
22.此外，也可以是，还具备背景图像提取部，该背景图像提取部向所述缩略图像生成部提供构成多个帧图像的背景的背景图像，该多个帧图像构成所述事件期间的影像，所述缩略图像生成部强调所述代表图像中的与所述背景图像不同的被摄体部分而生成缩略图像。
23.此外，本说明书中公开的影像处理方法进行如下处理：将由摄像机拍摄的影像和所述影像的缩略图像存储于存储装置，计算构成规定的事件期间的影像的多个帧图像各自的代表分数，基于计算出的所述代表分数，选择代表所述事件期间的影像的帧图像作为代表图像，生成所述代表图像的缩略图像，并将生成的所述代表图像的缩略图像存储于所述存储装置，
24.其特征在于，
25.计算构成所述事件期间的影像的多个帧图像各自的模糊量，至少基于所述模糊量来计算所述代表分数。
26.发明的效果
27.根据在本说明书中公开的影像处理装置及影像处理方法，模糊少的帧图像容易被选择为代表图像，因此，能够更加适当地提取代表图像。
附图说明
28.图1是示出影像处理装置的物理结构的框图。
29.图2是示出影像处理装置的功能结构的框图。
30.图3是示出图像选择部的结构的一例的框图。
31.图4是示出代表图像选择的情形的示意图。
32.图5是示出缩略图像生成部的结构的一例的框图。
33.图6是示出缩略图像生成的情形的示意图。
34.图7是示出分数计算部的结构的一例的框图。
35.图8是示出模糊量计算的情形的示意图。
36.图9是示出代表分数计算的情形的示意图。
37.图10是示出分数计算部的结构的另一例的框图。
38.图11是示出代表分数计算的情形的示意图。
39.图12是示出在代表分数的计算的过程中生成的表的一例的图。
40.图13是示出分数计算部的结构的另一例的框图。
41.图14是示出代表分数计算的情形的示意图。
42.图15是示出分数计算部的结构的另一例的框图。
43.图16是示出代表分数计算的情形的示意图。
具体实施方式
44.以下，参照附图对影像处理装置10的结构进行说明。图1是示出影像处理装置10的物理结构的框图，图2是示出影像处理装置10的功能结构的框图。该影像处理装置10从构成由监视摄像机100拍摄到的影像的多个帧图像中提取代表该影像的代表图像，生成缩略图像。另外，在本例中，以监视摄像机为例进行说明，但只要是拍摄动态图像即可，不限于监视摄像机，也可以是其他的摄像机。
45.该影像处理装置10是在物理上具有处理器12、经由总线而与该处理器12连接的存储装置14、通信接口18(以下简称为“通信i/f18”)以及输入设备16的计算机。此外，影像处理装置10根据需要，也可以连接有用于显示各种图像例如后述的缩略图像等的显示器200。处理器12按照程序执行各种运算，例如是cpu。存储装置14存储各种程序及数据，例如由半导体存储器、硬盘驱动器、固态硬盘、或者它们的组合构成。通信i/f18用于与位于影像处理装置10的外部的设备之间通过有线或无线收发数据，由遵循于规定的通信标准的连接器、天线、通信芯片或它们的组合构成。
46.输入设备16受理来自操作员的操作指示，例如由键盘、鼠标、麦克风、触摸面板或者它们的组合构成。
47.另外，在图1中，将影像处理装置10图示为单一的计算机，但影像处理装置10也可以由多个计算机构成。例如，影像处理装置10也可以具备执行复杂的运算处理的主计算机
和能够与该主计算机进行通信的子计算机(例如便携信息终端等)，经由子计算机的输入装置而受理来自用户的指示，并且由主计算机进行各种运算处理。此外，在本例中，由计算机实现影像处理装置10，但影像处理装置10也可以由组入到其他装置/设备的组入装置实现。
48.在影像处理装置10中连接有监视摄像机100及事件监视部102。监视摄像机100拍摄规定的对象空间。对象区间可以是室内和室外中的某一方。此外，监视摄像机100可以是其位置及姿势不变的固定摄像机，也可以是位置或姿势能够在预先规定的范围内变更的可动摄像机。通过该监视摄像机100的拍摄而得到的影像数据依次被送至影像处理装置10，经由通信i/f18存储于存储装置14。
49.事件监视部102监视有无发生事件，在发生了事件的情况下，将这一旨意通知给影像处理装置10。如后所述，影像处理装置10从构成该事件期间内的影像的多个帧图像中提取一个代表图像。能够根据监视摄像机100的设置目的、设置场所，适当变更将什么规定为事件。例如，事件也可以规定为定期地发生(例如每隔3分钟发生30秒)。此外，在监视摄像机100设置于工厂等工序执行空间的情况下，也可以将特定的处理的执行期间设定为事件。此外，也可以将图像或声音产生较大变化的定时设定为事件。例如，在监视摄像机100设置于设施的电梯厅的情况下，也可以将人相对于电梯的乘降或者人、动物、移动体(汽车或无人机等)进入该电梯厅设定为事件。此外，也可以将产生了一定等级以上的声音的定时确定为事件发生定时。此外，作为其他方式，也可以将产生了特定的指示输入的定时确定为事件发生定时。例如，在监视摄像机100设置于设施的电梯厅的情况下，也可以将电梯按钮的按下确定为事件发生定时。
50.无论是哪种情况，事件监视部102都监视这样的事件的发生状态，将其结果送至影像处理装置10。事件监视部102至少将表示事件的开始的事件开始信号送至影像处理装置10。此外，事件监视部102除了事件开始信号之外，也可以将表示事件的结束的事件结束信号送至影像处理装置10。这样的事件监视部102例如也可以是大厦的监视设备的一部分。此外，事件监视部102也可以不是与影像处理装置10分开的装置而被组入到影像处理装置10中。
51.接着，参照图2对影像处理装置10的功能结构进行说明。影像处理装置10具有接收由监视摄像机100取得的影像数据的影像接收部22。影像接收部22将接收到的影像数据送至影像记录控制部26、分数计算部32、图像选择部34、背景图像提取部36。影像记录控制部26将接收到的影像数据与时间戳等对应起来之后存储于储存器28。储存器28存储由监视摄像机100拍摄到的影像数据及缩略图像，在物理上是存储装置14。
52.在影像处理装置10中，还设置有从事件监视部102接收与事件相关的信号的事件通知部24。事件通知部24基于来自事件监视部102的信号，判断事件的开始及结束定时，将表示这些定时的事件通知信号通知给分数计算部32及图像选择部34。这里，在从事件监视部102发送事件结束信号的情况下，基于该事件结束信号来判断事件的结束定时。此外，在未从事件监视部102发送事件结束信号的情况下，事件通知部24也可以将从接收事件开始信号起经过了规定时间的定时判断为事件结束定时。另外，该事件通知部24及影像接收部22在物理上是通信i/f18。
53.分数计算部32针对构成事件期间的影像的多个帧图像分别计算代表分数。之后详细说明该代表分数的计算步骤，因此，这里省略详细说明。另外，除了向分数计算部32输入
构成事件期间内的影像的帧图像及事件开始/结束信号之外，也可以输入由背景图像提取部36提取的背景图像，对此之后详细说明。分数计算部32将计算出的代表分数与对应的帧图像的id一起依次或者统一送至图像选择部34。
54.图像选择部34基于计算出的代表分数，选择代表一个事件期间的影像的代表图像。在本例中，将事件期间内代表分数最大的帧图像选择为代表图像。
55.图3是示出该图像选择部34的具体结构的一例的框图。如图3所示，在图像选择部34中设置有图像缓冲器42，该图像缓冲器42暂时存储构成事件期间的影像的多个帧图像。此外，在图像选择部34中还设置有最大分数检测部40。最大分数检测部40从由分数计算部32发送的多个代表分数中确定最大的代表分数，确定与该最大代表分数对应的帧图像的id。然后，最大分数检测部40将确定出的帧图像的id送至图像确定部44。
56.图像确定部44从图像缓冲器42读出附加有发送来的id的帧图像，将该帧图像确定为该事件中的代表图像。如图2所示，确定出的代表图像被送至缩略图像生成部38。
57.图4是示出代表图像确定的情形的示意图。在图4中，上层表示事件的发生状态，“有效”(high)表示在事件期间内，“无效”(low)表示未发生事件的期间。此外，下层表示在各事件期间内计算出的代表分数。
58.如上所述，最大分数检测部40将在一个事件期间内代表分数成为最大的帧图像确定为代表图像。因此，在图4的例子中，在时刻t1拍摄到的帧图像被确定为代表事件e1的代表图像。同样，在时刻t2、t3、t4拍摄到的帧图像分别被确定为代表事件e2、e3、e4的代表图像。
59.再次参照图2进行说明。缩略图像生成部38生成发送来的代表图像的缩略图像，将该缩略图像保存于储存器28。此时，与缩略图像一起还存储表示拍摄到代表图像的时刻或者代表图像所属的事件的开始时刻的信息。
60.缩略图像可以是代表图像本身，也可以是将代表图像缩小后(降低了分辨率)的图像。在本例中，缩略图像生成部38强调代表图像中的被摄体部分而生成缩略图像。
61.图5是示出缩略图像生成部38的具体结构的一例的图。在图5的例子中，除了向缩略图像生成部38输入代表图像之外，还输入从背景图像提取部36提供的背景图像。背景图像是构成了构成影像的多个帧图像的背景的图像。这样的背景图像可以预先由操作员登记，也可以在背景图像提取部36中基于影像数据自动地提取。在该情况下，背景图像提取部36能够将在未发生事件的期间内或者未映入人、动物、移动体等被摄体的期间内拍摄到的帧图像提取为背景图像。
62.缩略图像生成部38具备仅提取代表图像与背景图像的不同部位的差分图像生成部46。因此，通常，差分图像成为人、动物、移动体等被摄体部分的图像。所生成的差分图像被送至强调处理部48。强调处理部48对作为被摄体部分的图像的差分图像实施强调处理。强调处理只要是使差分图像所包含的被摄体比背景显眼的处理即可，没有特别限定。因此，强调处理部48例如也可以是差分图像的边缘强调、色调变更、亮度增加、对比度强调、框线追加、或者将它们组合后的处理。实施了强调处理的差分图像与代表图像一起被送至重叠部50。重叠部50将强调后的差分图像与代表图像一起合成，基于该合成图像生成缩略图像。
63.图6是示出缩略图像生成的情形的示意图。如上所述，向缩略图像生成部38输入代表图像64和背景图像66。代表图像64在映入有人等被摄体这一点与背景图像66不同。缩略
图像生成部38提取该代表图像64中的与背景图像66不同的部分作为差分图像68。在图6的例子中，映入有人的部分被提取为差分图像68。缩略图像生成部38对提取出的差分图像68实施强调处理，之后与代表图像64一起合成。然后，基于得到的合成图像70，生成缩略图像。
64.通过采用这样的结构，映入到图像中的被摄体显眼，该事件中的特征更加容易理解。这里，显示于显示器200的缩略图像很少是单一的，通常在大多情况下一览显示有多个缩略图像。此外，为了能够显示多个缩略图像，在大多情况下，各缩略图像的尺寸较小。在该情况下，有时难以清楚地掌握映入到一个缩略图像中的被摄体的特征。但是，如上所述，通过强调被摄体部分，与不强调的情况相比，能够清楚地掌握被摄体的特征。
65.另外，在上述的说明中，对强调完毕的差分图像与代表图像进行了合成，但也可以代替代表图像而将背景图像与差分图像合成。此外，也可以不对差分图像实施强调处理，而是对与差分图像一起合成的代表图像或背景图像实施劣化处理(边缘的钝化、亮度的降低、色调变更、模糊加工等)。无论在哪种情况下，通过进行使被摄体比背景显眼的处理，都能够根据缩略图像更加清楚地掌握事件的特征。
66.接着，对代表分数的计算进行说明。如已述那样，在本例中，将在一个事件期间内代表分数成为最大的帧图像选择为代表图像。因此，被选择为代表图像的帧图像的特征根据代表分数的计算方法而变化。
67.在本例中，计算构成事件期间内的影像的多个帧图像各自的模糊量，至少基于模糊量来计算代表分数。通过采用这样的结构，模糊少的帧图像容易被选择为代表图像。
68.图7是示出分数计算部32的结构的一例的图。在该情况下，分数计算部32具备计算帧图像的模糊量的模糊量计算部54、以及将计算出的模糊量换算成代表分数的分数换算部52。模糊量计算部54根据一个帧图像来计算该一个帧图像所包含的像的模糊量。换言之，模糊量计算部54不参照其他的帧图像而计算一个帧图像的模糊量。更具体而言，模糊量计算部54基于帧图像与使帧图像沿规定的移动方向移动了规定的移动距离得到的比较图像的自相关来计算模糊量。
69.图8是示出模糊量计算的情形的示意图。在计算模糊量的情况下，模糊量计算部54设想使帧图像60沿移动角度θ的方向移动了移动距离dr得到的比较图像62，计算该比较图像62与帧图像60的自相关s。自相关s能够通过以下的式1来计算。另外，在式1中，r(i，j)表示帧图像的坐标(i，j)中r即红色的色值。同样，g(i，j)、b(i，j)表示帧图像的坐标(i，j)中的g及b即绿色和蓝色的色值。此外，在式1中，dx＝dr
·
cosθ，dy＝dr
·
sinθ。而且，在式1中，将帧图像的像素数设为w
×
h而累积w
×
h个值。
70.[数式1]
[0071][0072]
模糊量计算部54一边使移动角度θ和移动距离dr的组合变化一边计算多个自相关s。因此，在使移动角度θ变化了n1次且使移动距离dr变化了n2次的情况下，自相关s被计算出n1
×
n2个。移动角度θ和移动距离dr的变更间隔及上限没有特别限定，但例如移动角度θ也可以以10
°
的间隔从0
°
变更到360
°
。此外，移动距离dr例如也可以以“1”的间隔从0变更到10。
[0073]
如果能够针对全部的(θ，dr)的组合来计算自相关s，则模糊量计算部54确定多个自相关s中的成为最大的自相关s。然后，将计算出该最大的自相关s时的移动距离dr作为帧图像60的模糊量输出。
[0074]
如图7所示，计算出的各帧图像的模糊量被输入到分数换算部52。分数换算部52将各帧图像的模糊量换算成该帧图像的代表分数。只要代表分数依赖于模糊量即可，该换算方法没有特别限定。在本例中，计算使模糊量上下反转后的值作为代表分数。具体而言，在将模糊量设为b且将模糊量的上限值设为bmax的情况下，也可以设为代表分数c＝bmax
‑
b。
[0075]
图9是示出代表分数的计算的情形的示意图。图9是上层示出在特定的事件期间内得到的帧图像的模糊量、且下层示出该帧图像的代表分数的曲线图。在图9的例子中，事件从时刻t0持续到时刻tmax。模糊量与时间的经过一起变化，但在时刻t1取最小值。代表分数是将该模糊量上下反转后的值，因此，代表分数在相同的时刻t1取最大值。
[0076]
分数换算部52将像这样取得的代表分数与对应的帧图像的id一起送至图像选择部34。此时，分数换算部52也可以在每次得到一个帧图像的代表分数时，将该代表分数及id送至图像选择部34。此外，作为其他方式，分数换算部52也可以将构成一个事件期间内的影像的多个帧图像全部的代表分数及id统一送至图像选择部34。无论在哪种情况下，都如已述那样，图像选择部34选择代表分数取最大值的帧图像作为代表图像。因此，在图9的例子中，在时刻t1拍摄到的帧图像被选择为代表图像。
[0077]
如以上所述，在图7所示的结构中，基于帧图像的模糊量来计算代表分数，越是模糊量小的帧图像，越容易被选择为代表图像。通过将这样的帧图像选择为代表图像，并基于该代表图像而制作缩略图像，从而能够更加清楚地掌握事件期间内的影像的特征。
[0078]
另外，在上述的例子中，基于自相关s取最大值时的移动距离dr来计算模糊量，但也可以适当变更模糊量的计算方法。例如，也可以对帧图像进行傅里叶变换而求出频谱，基于低频成分与高频成分的强度比来计算模糊量。此外，在上述的例子中，将使模糊量上下反转后的值设为代表分数，但也可以将模糊量本身设为代表分数。在该情况下，图像选择部34选择代表分数成为最小的帧图像作为代表图像即可。此外，关于代表图像，基于代表分数的值而选择模糊少的帧图像即可，也可以不必是代表分数最大或最小的帧图像。例如，也可以将代表分数第二大的帧图像选择为代表图像。
[0079]
接着，参照图10对分数计算部32的结构的另一例进行说明。图10是示出分数计算部32的结构的另一例的图。在该情况下，分数计算部32具备模糊量计算部54、计算两个帧图像间的运动向量的运动向量计算部56、以及将计算出的模糊量及运动向量换算成代表分数的分数换算部52。模糊量计算部54的结构与图7中的模糊量计算部54的结构相同。
[0080]
运动向量计算部56基于当前的帧图像(对象帧图像)和比对象帧图像提前规定时间(例如提前1帧)的帧图像(参照帧图像)，来计算对象帧图像的运动向量。具体而言，运动向量计算部56将对象帧图像分割为n个(n≧2)子块，使各子块在参照帧图像内偏移，搜索匹配最佳的部分。运动向量计算部56针对全部的子块，求出偏移量，计算其平方和作为对象帧图像的运动向量。即，在将第i个子块的x方向的偏移量设为mx(i)且将y方向的偏移量设为my(i)的情况下，对象帧图像的运动向量m通过式2来求出。
[0081]
[数式2]
[0082][0083]
由运动向量计算部56计算出的运动向量与帧图像的id一起被送至分数换算部52。分数换算部52基于由模糊量计算部54计算出的模糊量和由运动向量计算部56计算出的运动向量，计算多个帧图像各自的代表分数。
[0084]
在本例中，将在一个事件期间内运动向量取最大值的定时设为基准来设定关注期间，基于模糊量来计算构成该关注期间的影像的多个帧图像的代表分数，另一方面，将除此以外的帧图像的代表分数设为0。图11是示出该代表分数计算的情形的示意图。在图11中，上层表示一个事件期间内的模糊量，中层表示运动向量，下层表示代表分数。
[0085]
在该图11的例子中，运动向量在时刻t2取最大值。因此，能够估计映入到影像内的被摄体的运动在时刻t2附近特别大。在本例中，将该运动向量成为最大的时刻t2的前后固定期间设定为关注期间δt。在图11的例子中，比时刻t2早规定时间α的时刻t1到比时刻t2晚规定时间α的时刻t3的期间成为关注期间δt。然后，针对构成该关注期间δt的影像的帧图像，基于模糊量来计算代表分数。具体而言，计算从模糊量上限值减去模糊量而得到的值作为代表分数。另一方面，构成关注期间δt以外的期间即时刻t0～t1、时刻t3～tmax的影像的帧图像的代表分数设为0。其结果是，在图11的例子中，在位于关注期间δt内的时刻ta，代表分数成为最大。因此，在该情况下，时刻ta的帧图像被选择为代表图像。
[0086]
图12是示出分数换算部52为了计算代表分数而记录的表的一例的图。分数换算部52将从运动向量计算部56及模糊量计算部54依次发送的运动向量及模糊量与帧图像的id一起以图12所示的表的形式暂时存储。如果针对构成一个事件期间的全部的帧图像计算运动向量及模糊量，则分数换算部52参照该表来设定关注期间。在图12的例子中，图像id06的帧图像与其前后两个帧图像(图像id04、05、07、08)被确定为关注期间的帧图像。分数换算部52计算从各个上限值(图示例中为10)减去该五个帧图像的模糊量而得到的值作为代表分数。此外，除此以外的帧图像的代表分数全部设为0。分数换算部52在将该计算出的代表分数也记录于表之后，将该表送至图像选择部34。图像选择部34基于记录于表的代表分数，来选择代表图像。在图12的例子中，代表分数取最大值的图像id07被选择为代表图像。
[0087]
这里，简单说明基于运动向量设定关注期间并仅针对该关注期间计算代表分数的原因。代表图像期望是容易掌握在各事件期间内产生的事象的图像。在该事象是产生某种运动的事象的情况下，相比于运动小时的图像，运动大时的图像容易掌握该事象的内容。例如，在2个人发生争吵之后扭打在一起而打架的情况下，与2个人仅仅站立的图像相比，要动手抓住对方时的图像更容易掌握其状况。于是，在本例中，将计算代表分数的期间限定为运动向量取最大值的定时的前后固定期间(关注期间)。通过采用这样的结构，仅残留运动大的帧图像作为代表图像的候选。但是，即便运动大，在模糊大的情况下，也无法清楚地掌握在事件期间内产生的事象。对此，在本例中，基于模糊量来计算关注期间内的帧图像的代表分数，使得将关注期间内的模糊量小的图像选择为代表图像。通过采用这样的结构，在事件期间内运动大且模糊少的图像容易被选择为代表图像。
[0088]
另外，在上述的例子中，将运动向量最大定时的前后固定期间设为关注期间，但只要是将运动向量作为基准来设定关注期间即可，也可以通过其他步骤来设定。例如，也可以是，关注期间设为运动向量最大定时以后的固定期间，运动向量最大定时之前不包含在关
注期间内。此外，作为其他方式，也可以计算运动向量的移动平均，将该移动平均值最高的期间设定为关注期间。此外，如果基于运动向量及模糊量双方计算代表分数，则也可以不设定关注期间。例如，也可以设定将运动向量m及模糊量b作为变量的函数，基于该函数来计算代表分数c。例如也可以为c＝k1
·
m+k2
·
b(k1、k2为系数)。
[0089]
接着，参照图13对分数计算部32的结构的另一例进行说明。图13是示出分数计算部32的结构的另一例的图。在该情况下，分数计算部32具备模糊量计算部54、计算帧图像与背景图像的差分的背景差分计算部58、以及将计算出的模糊量及背景差分换算成代表分数的分数换算部52。模糊量计算部54的结构与图7中的模糊量计算部54的结构相同。
[0090]
背景差分计算部58计算成为对象的帧图像与背景图像的差分量作为背景差分。背景图像是从背景图像提取部36提供的图像，是构成构成影像的多个帧图像的背景的图像。背景差分只要是表示帧图像与背景图像之差的参数即可，其计算方法不受限定。在本例中，计算成为对象的帧图像与背景图像的像素值之差的平方和作为背景差分。因此，背景差分d通过式3来表示。另外，在式3中，rt(i，j)表示成为对象的帧图像的坐标i，j中的r值，rb(i，j)表示背景图像的坐标i，j中的r值。同样，gt(i，j)、bt(i，j)表示成为对象的帧图像的坐标i，j中的g值及b值，gb(i，j)、bb(i，j)表示背景图像的坐标i，j中的g值及b值。
[0091]
[数式3]
[0092][0093]
由背景差分计算部58计算出的背景差分与帧图像的id一起被送至分数换算部52。分数换算部52基于由模糊量计算部54计算出的模糊量和由背景差分计算部58计算出的背景差分，计算多个帧图像各自的代表分数。另外，这里说明的背景差分的计算方法是一例，只要能够表示帧图像与背景图像的不同程度即可，也可以将通过其他方法计算出的值作为“背景差分”来处理。例如，也可以在帧图像与背景图像之间，将像素值的差分成为规定的阈值以上的像素的个数用作背景差分。
[0094]
在本例中，将在一个事件期间内背景差分取最大值的定时作为基准来设定关注期间，基于模糊量，计算构成该关注期间的影像的多个帧图像的代表分数，另一方面，将除此以外的帧图像的代表分数设为0。图14是示出该代表分数计算的情形的示意图。在图14中，上层表示一个事件期间内的模糊量，中层表示背景差分，下层表示代表分数。
[0095]
在该图14的例子中，背景差分在时刻t2取最大值。这里，映现在帧图像中的被摄体(例如人)的数量越增加，背景差分越容易变大。此外，即便映现在帧图像中的被摄体的数量相同，多个被摄体没有部分重叠而分散地映现(进而所有被摄体的总面积较大)时的背景差分也容易变大。因此，在背景差分成为最大的时刻t2附近，参与事件的被摄体的大部分以重叠少的状态映现的可能性高。
[0096]
在本例中，将该背景差分成为最大的时刻t2的前后固定期间设定为关注期间δt。在图14的例子中，从比时刻t2早规定时间α的时刻t1到比时刻t2晚规定时间α的时刻t3的期间成为关注期间δt。然后，针对构成该关注期间δt的影像的帧图像，基于模糊量来计算代表分数。具体而言，计算从模糊量最大值减去模糊量而得到的值作为代表分数。另一方面，构成关注期间δt以外的期间即时刻t0～t1、时刻t3～tmax的影像的帧图像的代表分数为0。其结果是，在图14的例子中，在位于关注期间δt内的时刻ta，代表分数成为最大。
[0097]
分数换算部52将像这样计算出的模糊量、背景差分、代表分数记录于与图12同样的表，之后将该表送至图像选择部34。图像选择部34参照发送来的表，将代表分数成为最大的帧图像选择为代表图像。在图14的例子中，时刻ta的帧图像被选择为代表图像。
[0098]
这里，简单说明基于背景差分设定关注期间并仅针对该关注期间计算代表分数的原因。代表图像期望是容易掌握在各事件期间内产生的事象的图像。在多个被摄体参与该事象的情况下，与仅映现有一部分被摄体的图像相比，映现有多个被摄体全部的图像更容易掌握该事象的内容。此外，即便在映现有多个被摄体的情况下，当该多个被摄体的重叠少时，也容易掌握事件的特征。例如考虑如下情况：在电梯厅，1个人a呼叫电梯轿厢，人b从到达的电梯轿厢下梯，与此交替，人a乘入电梯轿厢。在该情况下，认为与仅映现有人a的图像相比，映现有人a及人b双方的图像更能表示该事件的特征。
[0099]
于是，在本例中，将计算代表分数的期间限定为背景差分取最大值的定时的前后固定期间(关注期间)。通过采用这样的结构，以重叠少的状态映现了更多被摄体的帧图像容易作为代表图像的候选而残留。但是，即便映现的被摄体较多，在模糊大的图像中，也无法清楚地掌握在事件期间内产生的事象。于是，在本例中，基于模糊量来计算关注期间内的帧图像的代表分数，使得将关注期间内的模糊量小的图像选择为代表图像。通过采用这样的结构，即便在事件期间内，也容易将映现出参与事件的很多被摄体且模糊少的图像选择为代表图像。
[0100]
另外，在上述的例子中，将背景差分最大定时的前后固定期间设为关注期间，但只要将背景差分作为基准来设定关注期间即可，也可以通过其他步骤进行设定。例如，也可以是，关注期间设为背景差分最大定时以后的固定期间，背景差分最大定时之前不包含在关注期间内。此外，作为其他方式，也可以计算背景差分的移动平均，将该移动平均值最高的期间设定为关注期间。此外，如果基于背景差分及模糊量双方计算代表分数，则也可以不设定关注期间。例如，也可以设定将背景差分d及模糊量b作为变量的函数，基于该函数来计算代表分数c。例如也可以为c＝k1
·
d+k2
·
b(k1、k2为系数)。
[0101]
接着，参照图15对分数计算部32的结构的另一例进行说明。图15是示出分数计算部32的结构的另一例的图。在该情况下，分数计算部32具备模糊量计算部54、运动向量计算部56、背景差分计算部58、以及分数换算部52。模糊量计算部54、运动向量计算部56及背景差分计算部58的结构与目前为止说明的各个计算部的结构相同。
[0102]
分数换算部52基于由各计算部计算出的模糊量、运动向量及背景差分，计算构成事件期间内的影像的多个帧图像各自的代表分数。具体而言，分数换算部52基于事件期间内的背景差分来设定第一关注期间，并且基于第一关注期间内的运动向量来设定第二关注期间，基于模糊量，计算构成该第二关注期间的影像的多个帧图像的代表分数。
[0103]
图16是示出该代表分数计算的情形的示意图。图16所示的四个曲线图分别从上开始依次示出一个事件期间内的模糊量、背景差分、运动向量、代表分数。在该图16的例子中，背景差分在时刻ta取最大值。在本例中，将该背景差分成为最大的时刻ta的前后固定期间设定为第一关注期间δt1。在图16的例子中，从比时刻ta早规定时间α的时刻t1到比时刻ta晚规定时间α的时刻t4的期间成为第一关注期间δt1。
[0104]
当着眼于第一关注期间δt1中的运动向量时，运动向量在时刻tb取最大值。分数换算部52将该时刻tb的前后固定期间设定为第二关注期间δt2。在图16的例子中，从比时
刻tb早规定时间β的时刻t2到比时刻tb晚规定时间β的时刻t3的期间成为第二关注期间δt2。如果能够确定第二关注期间δt2，分数换算部52基于模糊量，计算构成该第二关注期间δt2的影像的帧图像的代表分数。具体而言，计算从模糊量上限值减去模糊量而得到的值作为代表分数。另一方面，构成第二关注期间δt2以外的期间即时刻t0～t2、时刻t3～tmax的影像的帧图像的代表分数设为0。分数换算部52为了计算这样的代表分数，将由各计算部计算出的模糊量、背景差分、运动向量与对应的帧图像的id一起暂时存储于表。然后，如果针对构成一个事件期间的影像的全部帧图像取得这些值，则参照表来计算各帧图像的代表分数。计算出的代表分数被送至图像选择部34。图像选择部34将代表分数成为最大的帧图像选择为代表图像。因此，在图16的例子中，位于第二关注期间δt2内的时刻tc的帧图像被选择为代表图像。
[0105]
通过采用这样的结构，映现出参与事件的很多被摄体且被摄体的运动大且图像的模糊小的帧图像容易被选择为代表图像。例如，在想要通过影像来掌握群众流动的状况的情况下，映现出很多人且人员流动大且模糊少的帧图像容易被选择为代表图像。而且，通过将这样的图像选择为代表图像，能够更加清楚地掌握事件的特征。
[0106]
另外，目前为止说明的结构是一例，也可以适当变更第一关注期间、第二关注期间的设定步骤。例如，也可以不将背景差分及运动向量的最大值作为基准来设定关注期间，而是将这些移动平均的最大值作为基准来设定关注期间。此外，如果基于背景差分、运动向量及模糊量来计算代表分数，则也可以不设定关注期间。例如，也可以设定将背景差分d、运动向量m及模糊量b作为变量的函数，基于该函数来计算代表分数c。例如也可以为c＝k1
·
d+k2
·
m+k3
·
b(k1、k2、k3为系数)。
[0107]
标号说明
[0108]
10影像处理装置，12处理器，14存储装置，16输入设备，18通信i/f，22影像接收部，24事件通知部，26影像记录控制部，28储存器，32分数计算部，34图像选择部，36背景图像提取部，38缩略图像生成部，40最大分数检测部，42图像缓冲器，44图像确定部，46差分图像生成部，48强调处理部，50重叠部，52分数换算部，54模糊量计算部，56运动向量计算部，58背景差分计算部，100监视摄像机，102事件监视部，200显示器。