专利名称：数据关联设备和方法
技术领域：
本发明涉及传感器领域，具体涉及一种基于定位传感器和摄像机的异质传感器数据关联设备和方法。
背景技术：
越来越多的传感器出现在人们的日常生活中，改变和提高人类的生活质量。位置信息，尤其是人的位置信息的获取可以为人类的日常生活提供各种便利。比如，在交通应用中，如果知道人群经常聚集的道路，就可以进一步优化交通设施的部署，改变车行路线，从而提高人们出行的效率。又如，在日常办公中，如果能够将办公设备放置在合适的位置，就可以节约人们到达这些设备的距离，进一步提高工作效率。
更为广泛的是基于位置的服务，根据个人所处的位置，信息系统可以按照位置特点提供不同种类的服务。如在机场，当用户在不同的区域内时，就可以获得不同的信息服务，如位置索引、店铺信息、公共设施的位置提示等等。在商场，当用户走到不同的柜台和货架时，相关的商品信息就可以通过公共显示屏或者移动设备显示，以方便用户寻找自己需要商品以及相关信息，提供个性化的信息服务。当今的社会，公共的视频采集设备已经广泛存在，为人们的日常生活提供安全服务。同样，这些设备也可以用来分析人类的行为习惯， 从而为个体提供精准的信息服务分析结果。因此，在人们的日常生活中，将来自不同传感器的不同种类的信息汇集起来，形成一个无所不在的网络，就可以为用户提供高质量的个性化信息服务。因此，将位置信息和图像信息结合起来，就能够形成专门针对人类的行为以及位置相关的全方位信息服务。
特定环境中布置的各种传感器一方面按照自己的工作方式感知这个环境，同时也能够相互配合，从不同方面感知这个环境中的事物。相互协同工作的传感器能够在多个信息通道感知目标的信息，能够提供比单个传感器更为准确和丰富的信息。然而，当一个被感知的目标同时被多个异种传感器感知时，判断哪些传感器为该目标提供了传感信息则成为一个问题。原因是这些不同种类的传感器往往被部署在整个环境中，每种传感器工作在不同的时间和空间上，拥有不同的作用范围和感知特性，并感知着环境中的不同目标。另外， 环境的目标也是随机存在的，不同类型的目标能够被感知的信息也可能不同。因此，针对一个目标，需要处理布置在同一个环境中的异质传感器的数据关联问题，即在某一时刻，需要判断哪些传感器在同一时刻感知到了相同的目标对象。
一种直接将传感器数据进行关联的方式是将所有传感器安装到一起，如拥有多种传感器的机器人和数据衣。在这种方式下，异质传感器同时感知周围环境并协同工作。这种传感器的数据关联是建立在直接硬件关联之上，不需要特殊的判别过程。与此类似，将所有传感器安装到同一个环境中，感知这个环境下的目标。
另一种传感器关联的情况是传感器分散安装。在某一时刻，部分传感器感知到了目标。在这种情况下，需要实时根据目标关联传感器的数据。如果能够将传感器的作用范围事先确定，一旦目标进入到传感器的工作区域时，这些传感器就工作起来，将各自的数据进行关联汇总。这种传感器数据关联的方式是基于传感器的工作区域来进行的。也就是说， 同一个工作区域的传感器是关联的。然而，当传感器的工作范围不确定时，因为无法判断哪些传感器的工作区域是共同的，所以传感器的数据的实时关联依旧是一个问题。传感器数据的动态关联则是解决这类问题的策略。动态关联传感器的数据就是要根据传感器感知的目标，实时将与该目标相关的传感器数据进行关联。
然而，动态的传感器数据关联同传感器的特性相关，不同种类的传感器采用不同的策略关联算法。参考文献 1 (Association andidentification in heterogeneous sensors environment withcoverage uncertainty. S. H. Cho, S.Hong, Y.Nam. Internationalconference on advanced video and signal based surveillance, PP. 553-558,2009)提出了一种动态关联身份传感器和摄像机的技术，其中，通过时间和历史信息可以将这两种传感器有效关联。具体地，该方法主要是通过目标进入和离开身份传感器的感应区这两种事件来关联身份传感器和摄像机。当目标进入到身份传感器的感应区域时，该“进入”事件被检测到。同时，由于目标进入，摄像机可对目标进行跟踪。所以，当目标“进入”事件发生时，目标被摄像机定位和跟踪，目标的身份信息就和摄像机的轨迹信息根据目标进入感应区域的时间关联起来。同理，当物体离开身份感应区时，“离开”事件被检测到，根据目标离开的事件和目标在环境中的历史轨迹，就可以追溯目标历史轨迹的身份信息，从而将身份信息同轨迹信息关联起来。然而，如果多个目标同时进入并且同时离开，则这种方法无法将多个目标中每一个目标的身份信息和轨迹信息相关联。
发明内容
因此，为了解决上述问题，本发明公开了一种利用位置信息将位置传感器和摄像机进行传感器数据关联的设备和方法。本发明是一种动态传感器数据关联技术，并不需要对每种传感器的工作区域进行事先确定。在本发明中，位置传感器提供两类信息目标位置信息和身份信息；而摄像机提供目标的属性信息。在此基础上，本发明将目标的位置信息、 身份信息和属性信息进行动态关联，形成对目标的统一描述。本发明的基本思想是利用单个摄像机的目标位置信息直接计算目标的环境位置信息，通过位置信息的关联，从而实现位置传感器和摄像机的数据关联。
根据本发明的一个方面，提供了一种数据关联设备，包括目标定位单元，被配置为从摄像机接收目标的图像数据，并产生目标的第一位置信息；存储单元，被配置为存储目标定位单元产生的目标的第一位置信息，并存储来自位置传感器的目标的第二位置信息； 以及关联单元，被配置为根据存储单元中存储的第一位置信息和第二位置信息，把来自摄像机的目标的图像数据和来自位置传感器的目标的第二位置信息进行关联。
优选地，目标定位单元被配置为根据目标的图像数据来估算目标的第一位置信息，目标的第一位置信息包括目标与摄像机之间的水平转角信息。
优选地，关联单元被配置为当多个目标的第一位置信息相同时，将多个目标中每一个目标的第一位置信息与其相对应的第二位置信息进行匹配，从而把来自摄像机的多个目标的图像数据和来自位置传感器的多个目标的第二位置信息一一进行关联。
优选地，关联单元被配置为针对每一个特定目标的第一位置信息，利用多个目标的第二位置信息计算目标的高度，把与最小高度相对应的目标的第二位置信息与该特定目标的第一位置信息相关联。
优选地，位置传感器包括位置信号接收器和位置标签，并且来自位置传感器的目标的第二位置信息包括目标的位置数据和目标的身份数据。更优选地，位置传感器是超声定位系统。更优选地，目标是人脸。
优选地，数据关联设备还包括投票单元，被配置为在特定时间段中对关联单元的关联结果进行累积，并通过投票的方式获得最终的关联结果。
根据本发明的另一个方面，提供了一种数据关联方法，包括以下步骤从摄像机接收目标的图像数据，并产生目标的第一位置信息；从位置传感器接收目标的第二位置信息； 以及基于第一位置信息和第二位置信息，把来自摄像机的目标的图像数据和来自位置传感器的目标的第二位置信息进行关联。
优选地，目标的第一位置信息包括目标与摄像机之间的水平转角信息。更优选地， 当多个目标的第一位置信息相同时，将多个目标中每一个目标的第一位置信息与其相对应的第二位置信息进行匹配，从而把来自摄像机的多个目标的图像数据和来自位置传感器的多个目标的第二位置信息一一进行关联。
优选地，针对每一个特定目标的第一位置信息，利用多个目标的第二位置信息计算目标的高度，把与最小高度相对应的目标的第二位置信息与该特定目标的第一位置信息相关联。
优选地，数据关联方法还包括以下步骤在特定时间段中，对关联步骤的关联结果进行累积，并通过投票的方式获得最终的关联结果。
优选地，位置传感器包括位置信号接收器和位置标签，并且来自位置传感器的目标的第二位置信息包括目标的位置数据和目标的身份数据。更优选地，位置传感器是超声定位系统。更优选地，目标是人脸。
本发明能够处理多个目标同时进入和同时离开的情况，不需要对目标进行相关事件检测。此外，本发明能够从单个摄像机推算位置信息，避免了使用摄像机进行三维位置估计时的特殊限制(如检测目标的脚部、标志等)。
通过下文结合附图的详细描述，本发明的上述和其它特征将会变得更加明显，其中 图1是示出了根据本发明一个实施例的数据关联设备的框图； 图2示出了根据本发明实施例的数据关联设备的一个示例应用场景； 图3示出了传感器数据关联的基本原理； 图4和图5是示出了摄像机与目标在空间中的位置关系的示意图； 图6示出了两个位置标签(两个人)在摄像机的同一水平方向的情景； 图7是示出了根据本发明另一个实施例的数据关联设备的框图； 图8是示出了根据本发明一个实施例的数据关联方法的流程图；以及 图9是示出了图8的方法中当摄像机同一水平方向出现多个目标的情况下用于确定位置标签的示例方法的流程图。
6
具体实施例方式下面，通过结合附图对本发明的具体实施例的描述，本发明的原理和实现将会变得明显。应当注意的是，本发明不应局限于下文所述的具体实施例。另外需要说明，为了简便起见，附图中没有示出与本发明直接相关的公知组件。
图1是示出了根据本发明一个实施例的数据关联设备100的框图。如图1所示，数据关联设备100包括目标定位单元101、存储单元102和关联单元103。目标定位单元101 的输入接收来自摄像机的数据。存储单元102的一个输入接收来自位置传感器的数据，另一个输入接收来自目标定位单元101的输出。关联单元103从存储单元102获取所需数据， 执行关联，从而将针对多个目标的来自摄像机的数据和来自位置传感器的数据彼此关联。
图2示出了根据本发明实施例的数据关联设备的一个示例应用场景。如图2所示， 该应用场景中包括位置传感器和单个摄像机。位置传感器由位置信号接收器201和位置标签202组成。位置标签202佩戴在目标上，用于向位置信号接收器201发送定位信号。例如，在本示例中，两个位置标签202分别佩戴在两个人身上。安装在场景顶部的多个位置信号接收器201接收位置标签202发来的定位信号，计算出位置标签202在该场景中的三维位置坐标。由于可以给位置标签指定身份ID，因此，每一个位置标签与各自的身份ID —一对应。位置传感器就可以得到形如(tag_id，X，Y，Z)的位置数据。其中，tag_id为位置标签的ID，(X，Y，Z)为目标在环境中的三维坐标。相应地，摄像机203用来采集同目标相关的图像信息，并对图像信息进行分析处理，以获取目标的属性信息。例如以人为目标，可以获取人的属性信息，比如人脸的大小、衣服的颜色等。
当环境中只有一个目标时，位置传感器输出的位置数据和摄像机输出的目标属性数据的关联是一个直接关联的过程。也就是说，一旦从图像信息中分析出目标的属性数据， 可以直接同位置数据进行关联。然而，当有若干个目标同时出现在摄像机中时(例如图2 所示场景中的两个人)，如何区分哪个目标佩戴了哪个位置标签则导致了传感器的动态数据关联问题。
图3示出了传感器数据关联的基本原理。来自传感器1和传感器2的数据分别为 Cl1, d3和d2，d4。通过传感器数据关联处理，可以得知数据Cl1和d2，d3和d4是关联的，即Cl1 和(12，(13和(14是分别来自场景中的同一个目标。于是，关联结果输出一个关联矩阵，其中1 表示对应的行列数据是关联的，0则表示无关。
然而，由图像获得的目标属性具有一定的不确定性。如以人脸作为目标对象，从图像中检测的人脸，在准正面情况下可以达到98%的精度，而非正面情况下则只有95%左右。那么，根据人脸信息获得的人的属性就具有一定的不确定性。另外，由于人脸出现在图像中的位置不同，在图像中深度不同且大小不同的人脸可能获得相同尺寸的人脸区域，因此无法直接获得人脸在环境中的三维位置信息。此外，位置标签往往佩戴在衣服区域，也就是说不可能直接从人脸区域获得位置标签的位置信息，从而导致关联位置信息和图像信息的困难。
由于图像信息的不确定性，因此将位置传感器和摄像机进行数据关联的问题是一个动态的传感器数据关联问题。通常来说，动态关联两种传感器的数据的一般方法是定义一个数据的关联函数AW1, d2)，其中屯，d2是需要进行关联判断的来自不同传感器的数据。 当数据是来自同一个目标时，关联函数输出为1，否则输出为0。在实现上，可以定义一个数据匹配函数来实现关联函数。通过图像数据的相似性，将满足一定相似度的数据确定为关联的。这样，就实现了关联函数。数据的匹配往往需要在同一个测度空间进行，因此必须要将图像信息转化为某种位置信息才能实现同位置传感器数据的位置信息匹配。或者，将位置信息转化到图像信息上。从图像中估计位置信息的技术称为视觉测量。在实际环境中， 出于成本的考虑，往往在一个地方布置单个摄像机，因此要考虑单目摄像机的测量问题。
综上所述，在本发明中，将位置传感器和摄像机进行传感器数据关联的基本思想是通过估算单目摄像机中目标的位置信息，匹配摄像机估计的目标位置和位置标签的获得的位置信息，从而实现这两种传感器的数据关联。
具体说来，再次参考图1和图2，摄像机203首先对采集的图像信息进行目标对象检测，从而得到目标对象在图像中的属性信息，如目标对象编号、其在图像中的坐标(X，y) 以及相应的宽高(w，h)等。根据对象在图像中的坐标并结合摄像机203自身的参数，数据关联设备100中的目标定位单元101就可以估算出对象在环境中的位置信息，并将其传送至存储单元102中进行存储。另一方面，从位置传感器获得位置标签202的信号，定位位置标签202，从而直接计算出位置标签202的环境坐标(X，Y，Z)，该环境坐标也被存储在存储单元102中。在此基础上，关联单元103从存储单元102中获取对象位置信息和标签位置信息，并进行基于位置的数据匹配，最终输出关联结果。在本实施例中，目标对象为人脸，而且位置传感器为超声定位系统。另外，由位置传感器获取的位置标签的数据可以通过参考文献1中的方法获得，而人脸检测的结果可以通过参考文献2 (Paul Viola,Michael Jones. Rapid object detection using a boosted cascade of simplefeatures. Proceedings of the 2001 IEEE Computer SocietyConference on Computer Vision and Pattern Recognition, Vol. lpp. 511-518，2001)获得。
下面，结合附图4-6来具体描述目标定位单元101如何由人脸检测的结果获得人脸在环境中的位置信息，以及关联单元103如何基于来自位置传感器和目标定位单元101 的位置信息进行匹配以获得关联结果。
首先，如图4(a)所示，当一个摄像机拍摄人脸时，摄像机同地面、人脸的几何关系是一个简单的三角几何关系。人脸的高度Hp可以通过下式计算得到
权利要求
1.一种数据关联设备，包括目标定位单元，被配置为从摄像机接收目标的图像数据，并产生目标的第一位置信息；存储单元，被配置为存储所述目标定位单元产生的目标的第一位置信息，并存储来自位置传感器的目标的第二位置信息；以及关联单元，被配置为根据存储单元中存储的第一位置信息和第二位置信息，把来自摄像机的目标的图像数据和来自位置传感器的目标的第二位置信息进行关联。
2.如权利要求1所述的数据关联设备，其中，所述目标定位单元被配置为根据目标的图像数据来估算目标的第一位置信息，目标的第一位置信息包括所述目标与摄像机之间的水平转角信息。
3.如权利要求2所述的数据关联设备，其中，所述关联单元被配置为当多个目标的第一位置信息相同时，将所述多个目标中每一个目标的第一位置信息与其相对应的第二位置信息进行匹配，从而把来自摄像机的所述多个目标的图像数据和来自位置传感器的所述多个目标的第二位置信息一一进行关联。
4.如权利要求3所述的数据关联设备，其中，所述关联单元被配置为针对每一个特定目标的第一位置信息，利用所述多个目标的第二位置信息计算目标的高度，把与最小高度相对应的目标的第二位置信息与该特定目标的第一位置信息相关联。
5.如权利要求1所述的数据关联设备，其中，所述位置传感器包括位置信号接收器和位置标签，并且来自位置传感器的目标的第二位置信息包括目标的位置数据和目标的身份数据。
6.如权利要求5所述的数据关联设备，其中，所述位置传感器是超声定位系统。
7.如权利要求1所述的数据关联设备，其中，所述目标是人脸。
8.如权利要求1所述的数据关联设备，还包括投票单元，被配置为在特定时间段中对所述关联单元的关联结果进行累积，并通过投票的方式获得最终的关联结果。
9.一种数据关联方法，包括以下步骤从摄像机接收目标的图像数据，并产生目标的第一位置信息；从位置传感器接收目标的第二位置信息；以及基于第一位置信息和第二位置信息，把来自摄像机的目标的图像数据和来自位置传感器的目标的第二位置信息进行关联。
10.如权利要求9所述的数据关联方法，其中，目标的第一位置信息包括所述目标与摄像机之间的水平转角信息。
11.如权利要求10所述的数据关联方法，其中，当多个目标的第一位置信息相同时，将所述多个目标中每一个目标的第一位置信息与其相对应的第二位置信息进行匹配，从而把来自摄像机的所述多个目标的图像数据和来自位置传感器的所述多个目标的第二位置信息一一进行关联。
12.如权利要求11所述的数据关联方法，其中，针对每一个特定目标的第一位置信息， 利用所述多个目标的第二位置信息计算目标的高度，把与最小高度相对应的目标的第二位置信息与该特定目标的第一位置信息相关联。
13.如权利要求9所述的数据关联方法，还包括以下步骤在特定时间段中，对所述关联步骤的关联结果进行累积，并通过投票的方式获得最终的关联结果。
14.如权利要求9所述的数据关联方法，其中，所述位置传感器包括位置信号接收器和位置标签，并且来自位置传感器的目标的第二位置信息包括目标的位置数据和目标的身份数据。
15.如权利要求14所述的数据关联方法，其中，所述位置传感器是超声定位系统。
16.如权利要求9所述的数据关联方法，其中，所述目标是人脸。
全文摘要
本发明提供了一种数据关联设备，包括目标定位单元，被配置为从摄像机接收目标的图像数据，并产生目标的第一位置信息；存储单元，被配置为存储所述目标定位单元产生的目标的第一位置信息，并存储来自位置传感器的目标的第二位置信息；以及关联单元，被配置为根据存储单元中存储的第一位置信息和第二位置信息，把来自摄像机的目标的图像数据和来自位置传感器的目标的第二位置信息进行关联。本发明还提供了一种相应的数据关联方法。
文档编号G06K7/00GK102200578SQ20101013579
公开日2011年9月28日 申请日期2010年3月25日 优先权日2010年3月25日
发明者曾炜, 张洪明, 赵军辉 申请人:日电(中国)有限公司