专利名称：相机间联系关系信息生成装置的制作方法
技术领域：
在用于使用来自多个相机的监视视频执行大范围监视的系统中， 已经提出了一种通过基于提前掌握的在拍摄区域和各个相机的布置之 间的对应关系来自动地切换画面上所显示的相机视频而跟踪人物等的 系统(例如，参见专利文献l)。
在通过多个相机监视广泛范围的情况中，多个相机之间的联系处 理成为必要。特定地，在对相机之间的人物进行对照的情况中，通过 使用关于相机之间的联系关系(拓扑)的信息来改善人物的对照精度。 用于获取该联系关系信息的方法还包括用于手动地提前给出消息的方 法，但是存在由于相机的数目很大而造成的处理复杂的问题。而且， 存在一种用于使用由各个相机观测到的对象来自动地进行估计的方 法，但是存在如下的问题，即，由于在基于每个相机所提取的所有对 象的出现时间和消失时间的频率分布来估计的方法中，误对应的数据很大，所以精度低。
因此，鉴于以上的传统问题，作了本发明，并且本发明的目标是 要提供一种相机间联系关系信息生成装置，该装置能够改善由于相机 间的误对应而造成的有无联系关系的精度的降低，并且使用仅相似被 摄体对，例如人物对，来高可靠性地进行相机间联系关系的估计。
用于解决问题的手段
本发明的相机间联系关系信息生成装置的特征在于，包括特征 量提取装置，该特征量提取装置用于从由多个相机捕捉的视频提取被
摄体的特征量；In/Out点提取装置，该ln/Out点提取装置用于提取由多 个相机捕捉的每个视频中的指示被摄体所出现的点的In点和指示被摄 体从其消失的点的Out点；In/Ou伛域形成装置，该ln/Ou伛域形成装置 用于基于由In/Out点提取装置提取的In点来形成包括In点的In区域，并 且基于由In/Out点提取装置提取的Out点来形成包括Out点的Out区域； 相关值计算装置，该相关值计算装置用于在由In/Out区域形成装置所形 成的Out区域中所包括的Out点和所形成的In区域中所包括的In点的多 个组合的每一个中，通过获得由特征量提取装置所提取的被摄体的每 个特征量的相似度的总和来计算相关值；频率直方图创建装置，该频 率直方图创建装置用于基于由相关值计算装置所计算的相关值来创建 频率直方图；以及联系关系信息生成装置，该联系关系信息生成装置 用于提取由频率直方图创建装置所创建的频率直方图的峰值，并且估 计多个相机之间有无联系关系，以及生成联系关系信息。
根据上述构造，将人物信息用作被摄体信息能够可靠性地完成相 机之间联系关系的估计。
根据上述构造，能够基于指示估计的相机之间有无联系关系的联 系关系信息来执行能够进行人物跟踪等的适当的画面显示。
本发明的相机间联系关系信息生成装置的特征在于，在显示在与
多个相机的一个相机的Out区域对应的显示装置的显示位置中移动的 被摄体的情况中，根据由联系关系信息生成装置生成的联系关系信息， 显示控制装置突出与具有显示移动之后的被摄体的高概率的多个相机 的其它相机的In区域对应的显示装置的显示位置。
根据上述构造，在跟踪人物的情况中，能够视觉地掌握接下来出 现的相机号和出现区域候选，并且还无需执行诸如切换相机这样的复 杂操作，使得降低监视器上的监视负载，并且能够容易并且精确地执 行人物跟踪等。
本发明的相机间联系关系信息生成装置的特征在于，在显示在与 多个相机的一个相机的Out区域对应的显示装置的显示区域中移动的 被摄体的情况中，根据由联系关系信息生成装置生成的联系关系信息， 显示控制装置使与多个相机的其它相机对应的显示装置的显示面积大 于正常的显示面积。
根据上述的构造，无需执行诸如切换相机这样的复杂操作，使得 降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
本发明的相机间联系关系信息生成装置的特征在于，在显示在与 多个相机的一个相机的Out区域对应的显示装置的显示位置中移动的 被摄体的情况中，根据由联系关系信息生成装置生成的联系关系信息， 显示控制装置改变与相机的每一个对应的显示装置的显示位置，使得 与具有显示移动后的被摄体的高概率的多个相机的其它相机的In区域对应的显示装置的显示位置和与该一个相机的Out区域对应的显示装
置的显示位置相邻。
根据上述构造，无需执行诸如切换相机这样的复杂操作，使得降 低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
本发明的相机间联系关系信息生成装置的特征在于，由联系关系 信息生成装置生成的联系关系信息包括多个相机的一个相机的任意区 域和其它相机的任意区域之间的移动时间信息，并且显示控制装置根 据联系关系信息，将与该一个相机对应的显示装置的显示位置和与其 它相机对应的显示装置的显示位置分离。
根据上述构造，易于视觉地掌握相机之间的联系关系，使得降低 监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
本发明的相机间联系关系信息生成装置的特征在于，当多个相机 的一个相机的拍摄范围与其它相机的拍摄范围重叠时，根据由联系关 系信息生成装置生成的联系关系信息，显示控制装置将与该一个相机 对应的显示装置的显示位置和与其它相机对应的显示装置的显示位置 重叠。
根据上述构造，易于视觉地掌握相机之间的拍摄范围关系，使得 降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
本发明的优点
根据本发明，仅使用相似被摄体对例如人物对来估计联系关系， 使得改善由于相机之间的误对应而造成的有无联系关系在精度上的降 低，并且能够高可靠性地完成相机之间的联系关系的估计。而且，通 过提前形成In/Out区域并且进行每区域的路径估计，能够在防止由于增
8加路径的数目而造成的失败的同时，适当地执行使用相机之间的联系 关系信息的相机之间的人物跟踪(监视)等。
10 接口部
21 特征量提取部
22 In/Out点提取部
23 In/Out区域形成部 24相关值计算部
25频率直方图创建部
26联系关系信息生成部
27 参数设置部
30数据库
40 显示控制部
50 显示部
100、 101相机间联系关系信息生成装置 200、 201、 202 监视相机 300 网络线路
具体实施方式
下文中，将利用附图来详细描述本发明实施例中的相机间联系关 系信息生成装置。
第一实施例
图l是示出本发明第一实施例中的相机间联系关系信息生成装置
的内部构造的框图。相机间联系关系信息生成装置100主要包括接口
(I/F)部10、特征量提取部21、 In/Out点提取部22、 In/Out区域形成部 23、相关值计算部24、频率直方图创建部25、联系关系信息生成部26、参数设置部27、数据库30、显示控制部40、显示部50等。
相机间联系关系信息生成装置100通过网络线路300等从多个监视 相机(三个相机200到202作为示例在附图中示出)获取视频，并且执 行下述的控制或判定，以及在装置内部的显示部50上显示视频。
接口部10通过网络线路300等从多个相机200、 201、 202获取视频。
特征量提取部21提取由相机的每一个所捕捉的视频中的人物的特 征量。提取的特征量是关于身体高度、速度、颜色、纹理等的信息。
在由每个相机所观测到的人物信息中，In/Out点提取部22将出现在 相机视野的点识别为In点，并且将从相机视野消失的点识别为Out点， 并且一定时段地收集每个相机的In/Out点信息。
为了确定基于获得的In/Out点集合的In/Out区域，In/Out区域形成 部23通过k均值(k-means)算法等的区域分割处理来提取作为In/Out区 域候选群组的In/Out区域。然后，整合在In/Out区域候选群组中的具有 少ln/Out点信息的区域或邻近其它区域的区域，并且确定最后的In/Out 区域。
图2到图5是，作为上述In/Out区域形成部23和In/Out点提取部22的 功能部的动作示例，描述In区域形成情况的图示。
首先，In/Out点提取部22收集任何时间内所测量的In点(图2)。 接下来，将图像区域初始地分割成12个区域(3乘4)，并且利用包括 在每个区域内的In点信息通过k均值方法来执行区域分割处理(图3)。 进一步地，使用初始的分割结果来应用k均值方法，并且通过将包括在 12个分割的区域的每一个中的In点信息作为元素，做出通过奇异值分解 完成的每个区域的椭圆近似。而且，当包括在每个区域中的In点信息少于预设的阈值时，In点信息被认为是噪声区域并且被消去(图4)。
然后，In/Ou伛域形成部23相对于被近似为椭圆的每个区域来执行 整合处理。重复利用阈值或大于该阈值的值来整合邻近区域的处理， 并且持续该处理直至被整合的区域完成。使用被整合的区域内的In点的 集合，做出通过奇异值分解完成的椭圆近似，并且获取最终的In点区域 (图5)。
相关值计算部24计算相关值，用于使用以以上方式获得的出现区 域(In区域)和消失区域(Out区域)来估计每个区域之间的对应关系。 通过每个相机观测到的关于人物的In/Out点信息具有各种特征量，诸 如，时间、重心、高度、水平宽度、颜色信息。当在相机的拍摄范围 中不存在重叠时，相对于具有联系关系的区域，从某个消失区域消失 的人物在一定时段后出现在具有联系关系的出现区域中(当在相机的 拍摄范围中存在重叠时，该人物在一定时段之前出现在出现区域中)。 从与在一定时段内出现的人物有关的信息中仅选择具有相似的特征量 的人物为相应候选，并且在联系关系的估计中被使用。通过下面的公 式l来以相关值来评估In/Out点中的人物特征量的相似度。
(公式i ):相关值，"^) = 21。^ 相似度'. 这里，Wi表示每个特征量的权重系数，并且相似度i表示每个特征
量的相似度，并且t表示搜索时间窗。g卩，通过加权的相似度的特征量 的种类的总和(即，i)来计算预定搜索时间窗中的相关值。在联系关 系的估计处理中，仅使用与具有来自上述评估公式的阈值或大于该阈 值的相似度的人物相关的信息。
频率直方图创建部25将获得的In/Out点对放入相机之间的每一
12In/out区域所构建的In/Out点对应频率分布中。具有联系关系的In区 域和Out区域对实际上在根据区域之间距离的时间的附近具有对应频 率的峰值，并且能够通过检测其峰值来确定有无联系关系。
这里将利用示例来描述In/Out区域的对应处理。
图6是示出在多个相机之间人物的移动示例的图示。从某个相机 消失的人物再次出现在另一个相机。在图6的示例中，在时间t6时从 由相机l (下文中称为Caml)的Outl示出的地点(下文中简单地称 为Out l)消失的人物在时间t10时出现在由相机2(下文中称为Cam 2) 的ln3示出的地点(下文中简单地称为In3)。在假设在由每个相机所 捕捉的区中不存在重叠部分的情况中，认为出现在In点的人物通常对 应于在过去的一定时间内从任何相机消失的人物(Out点)。因此，能 够通过获得在相机之间对应的人物对并且测量该人物对进行对应所需 要的时间来估计多个相机之间的区域对应，即，多个相机之间的联系 关系。另外，图7是概念地示出其中出现Out点的候选的时间范围的 示意图。
频率直方图创建部25创建直方图，其中，相对于每个相机的所有 In区域和Out区域的组合来绘制In点/Out点的对应点。图8是描述由 频率直方图创建部25所创建的直方图的对应对的图表的情况的图示。 该图示示出相对于图6中示出的人物移动示例得到对应于In 3的Out 区域的过程。如从图6和图7判定的，对应于In 3的Out区域包括Out 1、 Out 6和Out 5,使得Out区域被保持为对应候选。
在图示的示例中，Outl具有联系关系，使得对于In 3/Out 1的特 定时间部分的很多人物对被计数。另外，存在如下的情况，SP，其中， 从其它Out点的出现时刻的关系，不考虑联系关系的不存在，In/Out 点的对应对出现，但是这种对应相对于特定直方图元素不太可能具有 峰值。在以上过程中执行绘制并且最终定位具有如图8的下部中示出的峰值(由附图中的椭圆所示的峰值)的直方图元素。
联系关系信息生成部26提取该直方图元素，并且估计相机间有无 联系关系，以及生成联系关系信息。
而且，基于下面的公式3来确定相同人物确定标准。
(公式3):
相同人物确定标准:X1。M .相似度,. > 雄rc//—77/
如公式2中所示，身体高度、速度、颜色和纹理的相似度计算的 积和乘以联系关系信息(联系关系AB的联系概率)。S卩，将其中人物 A出现的相机的区域号和其中人物B消失的相机的区域号的联系概率 用作权。这里所使用的联系关系AB的联系概率是指示第一实施例中所 描述的相机之间的估计的联系关系的信息，并且布置在如图12中所示 的矩阵。
例如，当联系概率是80%时，相似度计算的积和乘以值80%，并 且获得最后的相似度值。相关值计算部24执行多个对应候选和相似度 计算作为在相机中新出现的人物A的对应候选，并且在超过阈值 (MATCH一TH)的候选中选择具有最大值的候选作为对应人物。
图13是示出多个相机之间的人物的移动示例的图示。当在时间t10 时新的人物出现在Cam2的In3 (称为基准In点)时，对应于该In点 的人物成为从任何相机消失的人物(称为Out点)。对应于基准In点 的Out点的候选成为对于过去的TH时间从In点消失的Out点。从图 14明显的是，在从tl0开始回到TH时间的范围内出现的Outl (t6)、 Out 6 (t5)和Out4 (t4)成为Out点的候选。分别计算关于这三个候 选的相似度，并且关联具有最高相似度的并且超过确定标准的阈值的 候选。
接下来，将描述本发明实施例中的相机间联系关系信息生成装置 的显示控制处理。
例如，在基于如第二实施例中所描述的相同人物确定标准来跟踪 移动人物的情况中，显示控制部40执行下面的显示控制，使得监视器 能够容易地执行监视。
(l)根据相机间联系关系信息突出具有接下来移动的高概率的相 机的拍摄区域。例如，在其中布置了 9个监视相机并且用被分割成9 部分的画面来正常地显示来自每个相机的视频的示例中，当在Cam 6 的内部的某个区域中出现从Cam 1到右侧移动的人物的概率很高时， 如图15中所示，突出该区域。(2)根据相机间联系关系信息来放大 并且显示具有接下来移动的高概率的相机的视频。例如，当在Cam 6 内部的某个区域中出现从Cam 1到右侧移动的人物的概率很高时，如 图16中所示较大地显示Cam 6的图像。(3)根据相机间联系关系信 息，用修改的布置来显示视频，使得具有接下来移动的高概率的相机 的视频与移动之前的相机视频的显示相邻。例如，当在Cam3内部出 现从Caml消失的人物的概率很高时，如图17中所示，Cam3的图像 的布置被改变到Cam 1的右侧并且显示该图像。
通过如上所述的显示控制，即使当人物从某个相机的拍摄范围移 动到另一个相机的拍摄范围时，监视器能够容易地跟踪该人物。另外， 即使在上述第一实施中在跟踪移动的人物的情况中，也能够由显示控 制部40来执行这种显示控制。
接下来，将描述本发明实施例中的相机间联系关系信息生成装置 的映射显示。
在本发明实施例中的相机间联系关系信息生成装置中，基于获取 的相机间联系关系信息来布置根据联系关系的视频。例如，当某个相 机的Out点和某个相机的In点之间的联系的概率很高并且在对应区域 中的人物的消失和出现之间存在时间距离时，显示控制部40如图18 中所示分离并且显示两个相机的视频。另一方面，当某个相机的Out 点和某个相机的In点之间的联系的概率很高并且在对应区域中的人物 的消失和出现同时时(当两个相机的拍摄范围重叠时)，显示控制部 40适当地重叠并且显示两个相机的视频，如图19中所示。
已经参考具体实施例详细描述了本发明，但是对于本领域技术人 员来说明显的是，能够在不脱离本发明的精神和范围的情况下做出各 种改变或修改。
本发明基于2007年3月6日提交的日本专利申请(专利申请 No.2007-055473)，并且该专利申请的内容通过引用被并入这里。
17工业实用性
根据本发明的相机间联系关系信息生成装置具有能够通过借助于 高可靠性的联系关系的估计来预测被摄体的移动目的地来縮小对应目 的地的效果，并且可用于使用多个相机来执行大范围监视的监视系统等。
权利要求
1.一种相机间联系关系信息生成装置，包括特征量提取装置，所述特征量提取装置用于从由多个相机捕捉的视频提取被摄体的特征量；In/Out点提取装置，所述In/Out点提取装置用于提取由所述多个相机捕捉的每个视频中的指示所述被摄体出现的点的In点和指示所述被摄体从其消失的点的Out点；In/Out区域形成装置，所述In/Out区域形成装置用于基于由所述In/Out点提取装置提取的所述In点来形成包括所述In点的In区域，并且基于由所述In/Out点提取装置提取的所述Out点来形成包括所述Out点的Out区域；相关值计算装置，所述相关值计算装置用于针对由所述In/Out区域形成装置所形成的所述In区域中所包括的所述In点和所形成的所述Out区域中所包括的所述Out点的多个组合的每一个，通过获得由所述特征量提取装置所提取的所述被摄体的每个特征量的相似度的总和来计算相关值；频率直方图创建装置，所述频率直方图创建装置用于基于由所述相关值计算装置计算的所述相关值来创建频率直方图；以及联系关系信息生成装置，所述联系关系信息生成装置用于提取由所述频率直方图创建装置创建的所述频率直方图的峰值并且估计在所述多个相机之间的联系关系的存在或不存在，以生成联系关系信息。
2. 根据权利要求l所述的相机间联系关系信息生成装置，进一步 包括显示装置，所述显示装置用于显示由所述多个相机捕捉的视频； 以及显示控制装置，所述显示控制装置用于控制所述显示装置的显示 形式。
3. 根据权利要求2所述的相机间联系关系信息生成装置，其中， 在显示在与所述多个相机的一个的所述Out区域对应的所述显示装置的显示位置中移动的被摄体的情况中，根据由所述联系关系信息生成 装置生成的所述联系关系信息，所述显示控制装置突出与具有显示移动后的所述被摄体的高概率的所述多个相机的其它相机的所述In区域 对应的所述显示装置的显示位置。
4. 根据权利要求2所述的相机间联系关系信息生成装置，其中， 在显示在与所述多个相机的一个的所述Out区域对应的所述显示装置 的显示位置中移动的所述被摄体的情况中，根据由所述联系关系信息 生成装置生成的所述联系关系信息，所述显示控制装置使与所述多个 相机的其它相机对应的所述显示装置的显示面积大于正常的显示面 积。
5. 根据权利要求2所述的相机间联系关系信息生成装置，其中， 在显示在与所述多个相机的一个的所述Out区域对应的所述显示装置 的显示位置中移动的所述被摄体的情况中，根据由所述联系关系信息 生成装置生成的所述联系关系信息，所述显示控制装置改变与所述相 机的每一个对应的所述显示装置的显示位置，使得与具有显示移动后 的所述被摄体的高概率的所述多个相机的其它相机的所述In区域对应 的所述显示装置的显示位置和与所述相机的所述一个的所述Out区域 对应的所述显示装置的显示位置相邻。
6. 根据权利要求2所述的相机间联系关系信息生成装置，其中， 由所述联系关系信息生成装置生成的所述联系关系信息包括在所述多 个相机的一个的任意区域和其它相机的任意区域之间的移动时间信 息，并且所述显示控制装置根据所述联系关系信息，将与所述相机的 所述一个对应的所述显示装置的显示位置和与所述其它相机对应的所 述显示装置的显示位置分离。
7. 根据权利要求2所述的相机间联系关系信息生成装置，其中， 当所述多个相机的一个的拍摄范围与其它相机的拍摄范围重叠时，根据由所述联系关系信息生成装置生成的所述联系关系信息，所述显示 控制装置将与所述相机的所述一个对应的所述显示装置的显示位置和 与所述其它相机对应的所述显示装置的显示位置重叠。
全文摘要
本发明的一个课题是要提供一种能够高可靠性地进行相机间联系关系估计的相机间联系关系信息生成装置。该装置包括用于从由多个相机捕捉的视频提取被摄体的特征量的特征量提取部(21)；用于提取所捕捉的每个视频中的指示被摄体出现和消失的点的In/Out点的In/Out点提取部(22)；用于基于提取的In/Out点来形成In/Out区域的In/Out区域形成部(23)；用于在包括于In/Out区域中的In/Out点的多个组合的每一个中通过获得被摄体的每个特征量的相似度的总和来计算相关值的相关值计算部(24)；用于基于相关值来创建频率直方图的频率直方图创建部(25)；以及用于提取频率直方图的峰值并且估计多个相机之间有无联系关系以及生成联系关系信息的联系关系信息生成部(26)。
文档编号H04N7/18GK101627630SQ20088000748
公开日2010年1月13日 申请日期2008年2月29日 优先权日2007年3月6日
发明者横光澄男 申请人:松下电器产业株式会社