监视设备、监视方法及程序的制作方法

专利名称：监视设备、监视方法及程序的制作方法
技术领域：
本发明涉及 一 种从监视照相机获取视频数据或者关于视频 数据的数据以基于所获取的数据进行监视处理的监视设备和监 视方法，以及执行该监一见方法的程序。
背景技术：
迄今为止，使用了经由网络将监视照相机连接到控制单元 的监视系统。在这种监视系统中，监视照相机经由网络将所拍 摄的视频数据发送到作为控制单元的监视设备。该监视设备记 录所接收到的视频数据并分析该视频数据以检测异常情况的发 生，并输出警报。监视人员可以在确认监视器上所显示的监视 视频和从控制单元输出的警报内容的同时进行监视。
另外，新近的监视照相机不仅将所拍摄的视频数据发送到 监视设备，而且还具有生成关于所拍摄的视频数据的元数据(metadata)(例如警报信息、温度信息及关于照相机的场角(field angle)信息)并将元数据发送到监视设备的功能。在使用这样的 监视照相机的监视系统中，监视设备通过设置了用于输出警报 的特定条件的元数据过滤器(以下称为过滤器)过滤从监视照相 机提供的元数据，并当满足所述条件时输出警报。例如，对检 测如侵入者进入特定地点及移动物体(物体)通过特定边界线等 异常情况的元数据过滤器设置这样的条件。JP-A-2003-274390(专利参考文献l)记载了 一种经由网络将 监视视频的视频数据从监视照相机提供给监视设备，并且在发 生了异常情况时监视设备对监视视频进行确认的技术
发明内容
在这种传统的监视系统进行监视的情况下，在判断所拍摄 的视频中所示的情形是否为异常时，对门、窗、及建筑物大门 等固定地点进行拍摄以判断是否有人进出所拍摄的门。监视目 标的区域是预先确定的固定区域。在监视固定地点的情况下， 监视是否有人就可以了 。与此相反，则需要可进行更复杂的监视。更具体地，例如， 在从监视碎见频中识别如汽车等移动物体以判断是否有人从识别 出的汽车中下来的情况下，出现了难以了解该情况的问题。即使监视目标不是固定的，也期望能很好地识别物体以进 行监视。根据本发明的实施例，提供一种使用从监视成像装置成像和输出的视频数据进行监视的监视设备，该设备包括所^r测 物体确定处理部，其被配置为从视频数据确定所4全测物体的位 置；基准位置设置处理部，其被配置为设置由所检测物体确定 处理部确定的物体的基准位置；以及一全测处理部，其^^皮配置为 相对于由基准位置设置处理部设置的基准位置而在视频数据所 示的视频的范围内相对地设置单个或多个搜索区域，并在所设 置的搜索区域内检测物体。根据本发明的另 一实施例，提供一种使用从监视成像装置 成像和输出的视频数据进行监视的监视方法，该方法包括以下 步骤从视频数据确定所检测物体的位置；设置在所检测物体 确定处理中确定的物体的基准位置；以及相对于在基准位置设 置处理中设置的基准位置而在视频数据所示出的视频范围中设 置单个或多个搜索区域，并在所设置的搜索区域中检测物体。利用这种配置，参考在特定条件下在成像视频中所检测到 的物体来确定^r测区域。 根据本发明的实施例，参考在特定条件下在成像视频中所 检测到的物体来确定检测区域，并可根据监视区域中的情况而 进行动态监视。例如，将移动物体的搜索区域设置在从监视视 频所检测到的汽车附近，并能够检测是否有人从汽车上下来。


图1 A和1B示出描述根据本发明的实施例的监视系统的示 例性结构的图2示出描述根据本发明的实施例的监视照相机的示例性 内部结构的框图3示出描述根据本发明的实施例的客户端的示例性内部 结构的框图4示出描述根据本发明的实施例的示例性检测处理的流 程图5示出描述根据本发明的实施例的物体(object)的示例性标准化处理的图6示出描述根据本发明的实施例的物体基准位置的示例性设置C示例1)的图7示出描述根据本发明的实施例的物体基准位置的示例性设置(示例2)的图8示出描述根据本发明的实施例的示例性监视视频的图； 图9示出描述根据本发明的实施例的示例性监视视频的图10示出描述根据本发明的实施例的示例性监视视频的图ll示出描述根据本发明的实施例的示例性监视视频的 图；以及图12示出描述根据本发明的实施例的示例性监视视频的 图。
具体实施方式
在下文中，将参考

实现本发明实施例的最佳模式。 下述实施例是适合监视系统的例子，在该监视系统中，成像装 置(监视照相机)获取拍摄目标的视频数据并生成元数据，分析 所获得的元数据以检测移动物体(物体)从而输出检测结果。图1A和1B是示出根据本发明的实施例的示例性监视系统 中的连接结构的图。图1A示出作为监视设备的客户端经由网络获取从监视照 相机输出的数据的系统，图1B示出服务器获取从监视照相机输 出的数据并将该数据提供给客户端的系统(服务器/客户端系 统)。首先，将说明图1A中示出的监视系统100。如图1A和1B所 示，监视系统100管理单个或多个监视照相机。在该例子中，管 理了两个照相机。监—见系统100配置有监视照相机la和lb,其 拍摄监视目标并生成视频数据，以及从视频数据生成元数据； 客户端3，其存储所获取的视频数据及元数据、分析元数据并输 出结果；以及网络2，其将监视照相机la和lb连接到客户端3。 客户端3经由网络2从监视照相机la和lb所获取的元数据通过元 数据过滤器(在下文中，也被称为"过滤器")进行分析。为了控 制监视照相机1 a和1 b的操作以根据过滤结果的描述获得适合于 监视的监视视频，客户端3向监视照相机1 a和1 W是供切换指示信另外，监视照相机、服务器及客户端的数量自然不限于该 实施例。这里，将说明在监视照相机中所生成的元数据。术语元数
据是由监视照相机的成像部拍摄的视频数据的属性信息。例如， 命名以下。a) 物体信息(当监视照相机检测到移动物体(物体)时关于该移 动物体的ID、坐标和大小的信息)。b) 拍摄时间数据及监视照相机的方位信息(例如全方位摇摄 (pan tilt))。c) 监视照相机的位置信息。d) 所拍摄图像的署名信息。术语物体信息是将元数据中被描述为二进制数据的信息展开成具有如结构等含义的数据结构的信息。术语元数据过滤器是当从物体信息生成警报信息时的判决 条件，术语警报信息是基于从元数据展开的物体信息而过滤的 信息。术语警报信息是通过分析多帧元数据以从移动物体位置 的变化来确定速度、通过确认移动物体是否穿过了特定边界线、 或通过以组合的方式对它们进行分析而获得的信息。例如，关于过滤器的类型，存在以下七种类型，可以使用 它们中给定类型的过滤器。出现(Appearance):判断物体是否存在于特定区域内的过滤器。 消失(Disappearance):判断物体是否在特定区域内出现并从该 区域消失的过滤器。通过(Passing):判断物体是否穿过特定边界线的过滤器。容量(Capacity)(物体数量的限制)对特定区域内的物体数量进行计数并判断所累积数量是否超过预定值的过滤器。滞留(Loitering):判断物体是否在特定区域内停留超过预定时间段的过滤器。未留意(unattended):判断是否有物体进入特定区域并保持静止 超过预定时间段的过滤器。
离开(Removed):检测特定区域内的物体已经离开的过滤器。对于包括在警报信息中的数据，有上述过滤器中的过滤器 "容量"，例如，包括通过使用所检测到的物体的累积总值的过 滤器所生成的"物体的累积数量"、作为与过滤器条件相匹配的 物体的数量的"物体数量"、在特定帧内与过滤器的条件相匹配 的物体数量、以及与过滤器的条件相匹配的物体的属性信息(物 体的ID、 X坐标、Y坐标及大小)。如上所述，可以;故用作净艮告 功能的警报信息包括视频中的数量(人数)及其统计。接着，将参考图2中所示的功能框图说明图1A中所示的监 视照相机l的详细结构。监视照相机1配置有视频数据生成部21、 成像操作切换部22和元数据生成部23。首先，将说明构成视频 数据生成部21的各个部件。成像部212对通过镜头部211形成在 成像元件(未示出)上的成像光应用光电转换，并形成成像信号 Sv。例如，成像部212具有未示出的前置放大器部及A/D(模/数) 转换部。该前置放大器部对成像信号S v的电信号电平进行放大 并去除由相关双采样(correlated double sampling)所引起的复位 噪声，A/D转换部将成像信号Sv从模拟信号转换为数字信号。 而且，成像部212调整所提供的成像信号Sv的增益、稳定黑电 平(black level)并调整动态范围。将经过了各种处理的成像信号 Sv提供给成像信号处理部213。成像信号处理部213对从成像部212提供的成像信号Sv进 行各种信号处理，并生成视频数据Dv。例如，进行如下处理 拐点校正(knee correction),用于对特定电平或更高电平的成像 信号Sv进行压缩；y校正，用于根据设定的y曲线来校正成像信 号Sv的电平；白电平限幅(white clipping)或黑电平限幅(black clipping),用于将成像信号Sv的信号电平限制到预定范围；等
等。然后，将视频数据Dv提供给数据处理部214。为了减少与客户端3通信的数据量，例如，数据处理部214 对视频数据Dv进行编码处理，并生成视频数据Dt。此外，数据将其提供给客户端3。基于从客户端3输入的切换指示信号CA,成像操作切换部 22切换监视照相机1的操作以获得最佳成像视频。例如，成像操 作切换部22切换成像部的成像方向，除此之外，其允许各个部 件进行以下处理将控制信号CMa提供给镜头部211以切换变焦 比(zoom ratio)和光圈(iris)，将控制信号CMb提供给成像部212 及成像信号处理部213以切换成像视频的帧频(frame rate)，以及 将控制信号C M c提供给数据处理部214以切换视频数据的压缩 率。元数据生成部23生成显示关于监视目标的信息的元数据 Dm。在将移动物体设置为监视目标的情况下，元数据生成部使 用在视频数据生成部21中所生成的视频数据Dv,才全测移动物 体，生成表示是否检测到移动物体的移动物体检测信息及表示 所检测到的移动物体的位置的移动物体位置信息，并将它们作 为物体信息包括在元数据中。这时，对每一所检测到的物体分 配唯 一 的ID 。另外，关于监视目标的信息不限于关于移动物体的信息， 其可以是表示将被监视照相机监视的区域的状态的信息。例如， 其可以是关于被监视区域的温度或亮度的信息。作为选择，它 可以是关于在被监视区域中所进行的操作的信息。在温度为监 视目标的情况下，可以将温度测量结果包括在元数据中，而在 亮度为监视目标的情况下，元数据生成部23可例如基于视频数 据Dv确定监视视频的平均亮度，并将确定的结果包括在元数据 中。而且，元数据生成部2 3将从成像操作切换部2 2提供的成像 操作QF(例如，在对监视目标进行成像时的成^f象方向或变焦状 态，及视频数据生成部的设置信息)和时间信息包括到元数据 中，由此将元数据生成的时间和状况作为记录保留。这里，将说明视频数据和元数据的结构。^L频数据及元数 据均由数据主体和链接信息构成。在视频数据的情况下，数据 主体是监视照相机1 a和1 b所拍摄的监视视频的频数据。另夕卜， 在元数据的情况下，数据主体描述了表示监视目标等的信息以 及定义信息描述方式的属性信息。另一方面，术语链接信息是 表示视频数据和元数据之间的关联性的关联信息和描述定义信 息描述的描述方式的属性信息的信息。对于关联信息，例如，使用识别视频数据的时间戳(time stamp)和顺序号(sequence number)。术语时间戳是纟会出生成—见频 数据的时间点的信息(时间信息)，而术语顺序号是给出生成数 据内容的顺序的信息(顺序信息)。在存在多个具有相同时间戳 的监视 一见频的情况下，可以识别生成具有相同时间瞿乂的视频数 据的顺序。此外，对于关联信息，可以使用识别生成视频数据 的装置的信息(例如，制造商名称、产品类型名称、产品编号等)。为了说明链接信息和元数据主体，使用被定义为描述在网 络(WWW : 万维网)上交换的信息的标记语言(Markup Language)。通过4吏用标记语言，可以经由网络2容易地交换信 息。此外，对于标记语言，例如，通过使用用于交换文档与电 子凄t才居的XML(Extensible Markup Language,可扩展才示记i吾言)， 可以容易地交换视频数据和元数据。在使用XML的情况下，对 定义信息的描述方式的属性信息，例如，使用XML模式 (schema)。
可以将由监视照相机1 a和1 b生成的视频数据和元数据作为 单个流提供给客户端3,或者可以将视频数据和元数据在不同的 流中异步地提供给客户端3。另外，如图1B所示，即使服务器功能和客户端功能互相分 离并且应用到由服务器ll和客户端12构成的监^L系统，也可以 获得与上述图1A中所示的例子相同的功能和优点。服务器功能 和客户端功能互相分离，由此这种分离使用可能是在具有高 处理性能的服务器ll中处理大量数据，而在具有低处理性能的 客户端12仅浏览处理结果。如上所述，功能分布成能够发挥可 以构造灵活性提高的监视系统100的优点。接下来，将参考在图3中所示的功能框图来说明在图1A中 所示的客户端3的详细结构。然而，客户端3的功能块可以由硬 件配置，或者可以由软件配置。客户端3具有与监3见照相机la和lb传输数据的网络连接部 101、从监视照相机la和lb获取视频数据的视频緩冲部102、从 监视照相机la和lb获取元数据的元数据緩冲部103、存储与过滤 处理相应的过滤器设置的过滤器设置数据库107、搜索区域设置 数据库114、过滤元数据的元数据过滤部106、向监视照相机la 和1 b通知设置变化的规则切换部10 8 、存储视频数据的视频数据 存储数据库104、存储元数据的元数据存储数据库105、显示视 频数据及元数据的显示部111、进行处理以在显示部lll上再现 视频数据的视频数据处理部109、进行处理以在显示部lll上再 现元数据的元数据处理部110、以及使一见频数据与元数据的再现 同步的再现同步部112。视频緩冲部10 2从监视照相机1 a和1 b获取视频数据，并对编 码后的视频数据进行解码。然后，视频緩冲部102在设置在视频 緩冲部102中的未示出的緩冲器中保持所获得的视频数据。此
外，视频缓冲部102还将未示出的緩沖器中所保持的视频数据依次提供给在其上显示图像的显示部lll。如上所述，视频数据保 持在未示出的緩沖器中，由此可以将视频数据依次提供给显示部111而不依赖于从监视照相机1 a和lb接收视频数据的定时。而 且，视频緩冲部10 2基于从稍后说明的规则切换部10 8提供的记 录请求信号而将所保持的视频数据存储到视频数据存储数据库 104中。另外，可以执行如下方案将编码后的视频数据存储在 视频数据存储数据库104中，并在稍后说明的视频数据处理部 109中对其进行解码。元数据缓冲部103将从监视照相机la和lb所获取的元数据 保持到设置在元数据缓冲部103中的未示出的緩冲器中。而且， 元数据緩冲部103将所保持的元数据依次提供给显示部111。另 外，元数据緩冲部103还将保持在未示出的缓冲器中的元数据提 供给稍后说明的元数据过滤部106。如上所述，元数据保持在未 示出的緩冲器中，由此可以将元数据依次提供给显示部111而不 依赖于从监视照相机la和lb接收元数据的定时。而且，可以将 元数据与视频数据同步地提供给显示部lll。此外，元数据緩沖部103将从监视照相机la和lb所获取的元数据存4渚在元数据存 储数据库105中。这里，在将元数据存储在元数据存储数据库105 中时，添加关于与元数据同步的视频数据的时间信息。根据这 种配置，不需要读取元数据的描述以确定时间点，而所添加的 时间信息用于从元数据存储数据库105中读出所期望时间点处 的元数据。过滤器设置数据库10 7存储与稍后说明的元数据过滤部10 6 所进行的过滤处理相应的过滤设置，并将该过滤设置提供给元 数据过滤部106。术语过滤器设置是表示判断标准的设置，例如 对于元数据中所包括的关于监视目标的每 一 信息都输出警报信 息以及判断是否切换监视照相机la、 lb的成像操作的必要性。 过滤器设置用于过滤元数据以显示对关于监视目标的每一信息 的过滤结果。过滤结果显示输出警报信息、切换监视照相机la 和lb的成像操作等的必要性。元数据过滤部106使用存储在过滤器设置数据库107中的过 滤器设置来过滤元数据以判断是否生成警报。然后，元数据过 滤部106过滤从元数据緩冲部103获耳又的元数据或从元数据存储 数据库105提供的元数据，并将过滤结果通知给规则切换部108。搜索区域设备数据库114存储关于对在视频中检测到的物 体设置的搜索区域的信息。被设置为搜索区域的区域与其坐标 信息 一 起例如以多边形来表示，对其添加显示是否检测到移动 物体的标志，并形成为搜索区域信息。在由元数据过滤部106 进行过滤处理时，参考存储在搜索区域设置数据库114内的搜索 区域信息，并且进行与搜索区域信息相应的分析。稍后说明该 情况下的处理细节。基于由元数据过滤部106通知的过滤结果，规则切换部108 生成切换指示信号，并将成像方向的切换等变化通知给监视照 相机la和lb。例如，规则切换部基于从元数据过滤部106获得的 过滤结果输出切换监视照相机1 a和1 b的操作的指示，以获得适 合于监视的监视视频。而且，规则切换部108基于过滤结果将记 录请求信号提供给视频数据存储数据库10 4以将由视频緩冲部 10 2所获得的视频数据存储f )J视频数据存储数据库10 4中。视频数据存储数据库10 4存储由视频緩冲部10 2获取的视频 数据。元数据存储数据库105存储由元数据緩冲部103获取的元 数据。视频数据处理部109进行允许显示部111显示存储在视频数 据存储数据库104中的视频数据的处理。换句话说，视频数据处
理部1 0 9从用户指示的再现位置开始依次读取视频数据，并将所读取的视频数据提供给显示部lll。另外，视频数据处理部109 将正被再现的视频数据的再现位置(再现时间点)提供给再现同 步部112。使视频数据与元数据的再现同步的再现同步部112将同步 控制信号提供给元数据处理部IIO，并控制元数据处理部110的 操作以通过元数据处理部11 O使从视频数据处理部109提供的再 现位置与存储在元数据存储数据库105中的元数据的再现位置 同步。元数据处理部IIO进行允许显示部lll显示存A者在元数据存 储数据库105中的元数据的处理。换句话说，元数据处理部IIO 从用户指示的再现位置开始依次读取元数据，并将所读取的元 数据提供给显示部lll。另外，如上所述，在视频数据和元数据 被再现的情况下，元数据处理部110基于从再现同步部112提供 的同步控制信号来控制再现操作，并将与视频数据同步的元数 据输出到显示部lll。显示部lll显示从视频緩冲部102提供的实时(live)(未处理 的)视频数据、从视频数据处理部109才是供的再现一见频数据、从 元数据緩沖部103提供的实时元数据或从元数据处理部11 O提供 的再现元数据。另外，基于来自元数据过滤部106的过滤器设置， 显示部lll使用监视视频、元数据视频及过滤器设置视频中的任 何一个，或者使用将它们进行组合的视频，并显示(输出)示出 基于过滤结果的监视结果的视频。而且，显示部111还具有图形用户界面(GUI， graphical user interface)的功能。用户使用未示出的操作键、鼠标或遥控器， 选择显示在显示部lll上的过滤器设置菜单以定义过滤器，或者 以GUI来显示关于各个处理部件的分析结果的信息和警报信 台图4示出根据实施例的示例性监视处理的流程图，在该实施 例中，从监视视频检测物体并且基于所检测到的物体设置监视 区域以进行监视。例如，关于物体的检测，其是检测汽车在视 频中是否停止的处理。例如，关于相对于所检测物体的监视区 域的设置，其是监视是否有人上下当汽车停止时检测到的汽车示的处理。更具体地，通过使用元数据过滤部106及其外围设备、 过滤器设置数据库107、搜索区域设置数据库114等进行处理。 换句话说，进行下述处理的处理部件使用过滤部及数据库来进 行处理:所4全测物体确定处理，其确定乂人视频数据中4全测到的 物体的位置；基准位置设置处理，其设置在所检测物体确定处 理中确定的物体的基准位置；检测处理，其相对于在基准位置 设置处理中设置的基准位置、在由视频数据所示的视频内设置 单个或多个搜索区域，并在所设置的搜索区域内检测物体。首先，判断由元数据表示的视频分析结果的物体信息(例如 位置、类型、状态等)以判断是否存在在视频内移动然后停止的 物体(步骤Sll)。在该判断中，如果判断出存在相关物体，则进 行对所检测到的物体的形状进行标准化的处理(步骤S12)。例 如，关于标准化处理，物体被标准化为多边形。当物体被标准化时，进行计算标准化后的物体中的基准点 的处理(步骤S13)。基准点的典型计算处理将在稍后说明，但是 可以为基准点设置多个候选。然后，根据预定的条件，设置搜 索区域的大小(步骤S14),并且相对于基准点的位置将所设置的 搜索区域设置在成像视频中(步骤S15)。例如，如果在步骤Sll 中检测到与汽车相对应的物体停止了 ，则将搜索区域设置为在 假定物体(汽车)的侧门存在的位置附近。
当在这种状态下进行设置时，关于搜索区域内的视频分析 结果的物体信息集中用于检测处理以开始在搜索区域内的检测(步骤S16)，判断是否检测到物体(人)(步骤S17)，如果检测到了 ， 则基于所检测到的状态进行处理(步骤S18)。例如，在与人对应 的物体突然出现在搜索区域内的情况下，判断出有人从在步骤 Sll中所检测到的物体(汽车)上下来，以进行相应的处理。作为 选择，在有物体在搜索区域内消失的情况下，判断出有人上了 在步骤S11中所检测到的物体(汽车)，以进行相应的处理。如果在步骤S17中判断出没有检测到物体，则判断是否仍 能检测到在步骤S11中所检测到的物体(汽车)(步骤S19)。在所检 测到的状态持续的情况下，重复步骤S17中的判断。如果在步 骤S19中判断出不存在所检测到的物体，则处理返回到步骤Sll 中的判断，并进入下一物体的检测处理。另外，图4所示的流程 图示出了对单个物体的检测处理，4旦是也可以冲丸行如下方案 从单个视频中同时检测多个物体，并且同时并行执行图4中的流 程图所示的多个检测处理。接下来，将说明图4中的流程图所示的处理步骤的具体例 子。如图4示出的流程图中所述，在实施例中，参考所-险测到的 物体的位置或其部分位置，定义搜索区域，由此可以进行适当 的搜索。为此，需要计算恒定条件下的基准点，这是因为即使 对所检测到的物体进行标准化并以多边形(具有N个顶点的多 边形N是正整数)来表示它们，具有N个顶点的多边形的每条 边的长度也是不同的。由于这个原因，需要对作为物体的具有N个顶点的多边形 进行标准化。将能够相对容易地计算基准点的地方设置为基准点的候选。
使用全部或部分多边形的重心及边和对角线上的点。 关于搜索区域的大小，可以根据监视条件设置固定模式和 可变模式。首先，将说明对所检测到的物体的标准化处理。前提是所检测到的物体由多边形(具有N个顶点的多边形N是正整数)来 表示。然而这里，如图5所示，由于每条边的长度依赖于^r测到 的时间而变化，因而根据以下规则对具有N个顶点的标准化的 多边形(这里为六边形)的每个顶点进行命名。在各个顶点的坐标xl ~ xn中，具有最小值的顶点是 Pl(xl，yl)。在存在多个具有最小值的顶点的情况下，其中具有 最小Y坐标的顶点是P1。随后，顶点被顺时针命名为P2、 P3等。 这样，如图5所示，对表示物体的多边形进行标准化。接下来，将说明从如上所述获得的具有N个顶点的标准化 的多边形中确定基准点的处理。这里，将说明确定两种基准点 的处理。对于一种处理，该处理能够适用于全部或部分多边形的重 心是基准位置。在这种情况下，如图6所示，确定由多边形的全 部或部分顶点(xa,ya)、 (xb,yb)、 (xc，yc)等形成的、具有k个顶点 的多边形的重心位置。具有k个顶点的多边形的重心可以由以下 公式来确定X=(xa+xb+xc...)/kY=(ya+yb+yc...)/k在图6所示的例子中，a-2, b=3, c=4, k=3。当将它们 进行存储时可以从物体的坐标来确定基准位置。对于另 一种处理，该处理能够适用于给定边或对角线上的 点为基准位置。在这种情况下，如图7所示，两个顶点(xa,ya) 和(xb，yb)之间的边或对角线上的位置可以由以下7>式来确定 X = xa*(l-m)+xb*m Y=ya*(l-m)+yb*m 其中0SnKl。在图7所示的例子中，a==2， b=4, m=0.3。当将它们进行存 储时，可以从物体的坐标来确定基准位置。基准点可以根据这 些处理以外的处理来确定。接下来，将说明搜索区域大小的设置。在物体的形状不变但大小变化的情况下，存在最好与变化 的大小相关联地改变搜索区域的情况，但这样做并不好。例如， 在期望发现汽车旁的人的情况下，人的大小并不依赖于汽车的 大小而变化。然而，在由于相同的汽车位于远处而使人的大小 发生变化的情况下，期望以与汽车相同的比率减小人的大小。 据此，也需要以相同比率改变距基准点的距离。为了实现此，引入比例系数S来定义在表示搜索区域的顶 点时相对于来自基准位置的矢量的比率。比例系数S可以由物 体大小的改变(例如物体面积的变化量)来确定，但是由于即使 前提是具有N个顶点的多边形，边的长度也发生变化，因而比 例系数是面积变化的平方根。如以上所述的例子，尽管存在使 用原样S = l(即没有改变)的方案，例如，可从外部对其进行设 置。在显示典型画面时讨论如上所述设置搜索区域的例子。例 如，为监视道路上的停车位置的例子。图8示出该位置由监视照 相机1 a拍摄并由客户端3监视以进行显示的例子。假设该地点通 过成像被持续监视，并且如图9所示，汽车m停在该地点。停泊 的汽车为检测物体。这里，如图IO所示，通过在客户端3中的计算来获得物体(汽 车m)被标准化的多边形形状X。然后，计算多边形形状X内的基 准位置Y。当确定了基准位置Y时，如图11所示，在与基准位置分开特定距离(区间)的位置处设置搜索区域Ra和Rb。这里，在假定 所检测到的物体是汽车的情况下，通过物体形状来推测汽车侧 门存在的方向，并且在所推测的方向上设置搜索区域Ra和Rb。 在图ll中，在汽车的左右侧设置搜索区域，但也可能在一侧设 置搜索区域。然后，如上所述，从这样设置的搜索区域内的物 体(人)的所检测到的状态，来检测上下车的人的状态。另外， 在监视视频中不显示图10和11所示的被标准化的多边形及搜索 区域。然而，也可以在监视视频中显示它们。对于搜索区域的大小依赖于作为监视画面中的基础的物体 的才企测到的状态而变化的例子，例如，如图12所示，可以4艮定 这种情况为照相机与成像的两汽车ml和m2之间的距离有很大 的不同。在这种情况下，因为检测的上下车的人的成像大小自 然发生变化，所以搜索区域R1和R2的大小也改变以进行设置。 基准位置与搜索区域R1和R 2之间的距离可能会相应地改变。另外，在上述实施例中，监视照相机配置成输出视频数据 及元数据，其中在客户端侧对元数据进行分析以搜索物体(人)。 然而，对于监—见照相机，其可能配置成输出一见频数据，其中通 过客户端经图像识别处理来分析视频数据所示的视频(图像)的 描述以进行相同的处理。作为选择，可能进行以下方案可在 一见频照相才几(监 一见照相机)内执行全部处理，并且照相机输出处 理后的结果。而且，上述实施例的 一 系列处理步骤可以由硬件来执行， 其也可以由软件来执行。在由软件执行一系列处理步骤的情况 下，将构成该软件的程序安装在专用硬件所包含的计算机中， 或者将构成期望软件的程序安装在能够通过安装各种程序执行
各种功能的多功能个人计算机中。本领域的技术人员应当理解，在所附权利要求书或其等同 内容的范围内，根据设计要求和其它因素，可以发生各种变形、 组合、子组合和变更。本发明包含与2006年7月27日在日本专利局提交的日本专 利申请JP2006-205070有关的主题，其全部内容通过引用包含于 此。
权利要求
1.一种监视设备，其使用从监视成像装置成像和输出的视频数据以进行监视，该设备包括所检测物体确定处理部，其被配置为从所述视频数据确定所检测物体的位置；基准位置设置处理部，其被配置为设置由所述所检测物体确定处理部确定的物体的基准位置；以及检测处理部，其被配置为相对于由所述基准位置设置处理部设置的所述基准位置而在所述视频数据所示的视频的范围内相对地设置单个或多个搜索区域，并在所设置的搜索区域内检测物体。
2. 根据权利要求l所述的监视设备，其特征在于，所述所 才企测物体确定处理部中的所检测物体确定处理和所述 一全测处理 部中的检测处理是使用与所述视频数据 一 起从所述监视成像装 置输出的、表示关于监视目标的信息的元数据的确定处理和检 测处理。
3. 根据权利要求l所述的监视设备，其特征在于，所述检 测处理部中的搜索区域的设置是在与所述基准位置沿预定方向 分开预定距离的位置处以预定大小设置的区域。
4. 根据权利要求l所述的监视设备，其特征在于，在所述 检测处理部中设置的搜索区域的大小是与在所述所^r测物体确 定处理部中确定的物体被标准化的大小相对应的大小。
5. —种监视方法，其使用从监视成像装置成像和输出的视 频数据以进行监视，该方法包括以下步骤从所述视频数据确定所检测物体的位置；设置在所检测物体确定处理中确定的物体的基准位置；以及相对于在基准位置设置处理中设置的所述基准位置而在所 述视频数据所示的视频的范围内设置单个或多个搜索区域，并 在所设置的搜索区域内检测物体。
6. —种程序，其使用从监视成像装置成像和输出的视频数 据并允许通过在数据处理设备上安装该程序来进行监视，该程 序包括以下步骤从所述视频数据确定所检测物体的位置；设置在所检测物体确定处理中确定的物体的基准位置；以及相对于在基准位置设置处理中设置的所述基准位置而在所 述视频数据所示的视频的范围内设置单个或多个搜索区域，并 在所设置的搜索区域内检测物体。
全文摘要
本发明提供一种监视设备、监视方法及程序。该监视设备使用从监视成像装置成像和输出的视频数据进行监视，包括所检测物体确定处理部，其被配置为从视频数据确定所检测物体的位置；基准位置设置处理部，其被配置为设置由所检测物体确定处理部确定的物体的基准位置；以及检测处理部，其被配置为相对于由基准位置设置处理部设置的基准位置而在视频数据所示的视频的范围内相对地设置单个或多个搜索区域，并在所设置的搜索区域内检测物体。
文档编号G08B25/00GK101118679SQ20071014940
公开日2008年2月6日 申请日期2007年7月27日 优先权日2006年7月27日
发明者小西哲也 申请人:索尼株式会社