用于确定迁移对象的数量的方法和系统的制作方法
用于确定迁移对象的数量的方法和系统的制作方法
【专利摘要】本发明提出一种用于确定从观测区域（5）的第一子区域（8）移动到所述观测区域（5）的第二子区域（9）中的迁移对象的数量（13）的方法，其中，所述观测区域（5）的一系列图像被记录，以分别识别所述对象（1；2；3；4）且分别确定所述对象（1；2；3；4）的位置（1b，1c；2a，2b，2c；3a，3b，3c；4a，4b），基于所述对象的位置（1b，1c；2a，2b，2c；3a，3b，3c；4a，4b），所述对象（1；2；3；4）分别与所述第一子区域（8）关联或者与所述第二子区域（9）关联，当确定迁移对象的数量（13）时，考虑同一个对象在所述第一子区域（8）和所述第二子区域（9）之间的多次迁移。本发明还提出一种可以用来实施该方法的合适的系统，该系统包括传感器装置和被连接到所述传感器装置的计算单元。
【专利说明】用于确定迁移对象的数量的方法和系统
【技术领域】
[0001]本发明涉及一种用于确定从观测区域的第一子区域移动到观测区域的第二子区域中的迁移对象的数量的方法和系统。
【背景技术】
[0002]在许多【技术领域】和日常生活中，可移动的对象的计数是极其重要的。例如，店主很想知道在给定的时间段内有多少客人访问了他的商店。
[0003]对于这样的应用和类似的应用，在从现有技术中得知的计数方法中，包括被连接到图像分析单元的视频摄像机的系统被用作计数装置。这种类型的系统被设计成观测区域(例如，该区域为商店或运输工具的入口区域)来识别和定位在该区域中移动的对象，且当其中一个对象越过在该区域中延伸的预定分界线(例如，穿行在该区域中且划分该区域的门槛)时，触发计数事件。
[0004]然而，这些已知方法具有以下缺点:对象在观测区域内来回移动且多次越过分界线，这样每当这些对象越过分界线时触发计数事件。表现如此行为的对象也被称为再进入者。这可以很大程度地歪曲计数的结果。
【发明内容】
[0005]因此，本发明的目的是开发一种方法和系统，在该方法和系统的帮助下，无论对象如何移动，都能够尽可能可靠地计算可移动的对象的数量。
[0006]根据本发明，通过根据权利要求1的方法和通过根据权利要求9的系统实现了该目的。在附属权利要求中描述了本发明的有利的改进。
[0007]描述了一种用于确定从观测区域的第一子区域移动到观测区域的第二子区域中的迁移对象的数量的方法，其中
[0008]-记录观测区域的图像序列，其中，识别对象，并且确定对象的位置，
[0009]-根据对象的位置，将对象与第一子区域关联或者与第二子区域关联，和
[0010]-当确定迁移对象的数量时，考虑同一个对象在第一子区域和第二子区域之间的多次迁移。
[0011]借助于该方法，可以可靠地确定迁移对象的数量。当确定迁移对象的数量时，由于考虑了同一个对象在第一子区域和第二子区域之间的多次迁移，故可有效地修正误差(例如，利用根据现有技术的计数方法，当再进入者被多次计算时出现的误差)。
[0012]利用传感器装置可记录观测区域的图像序列，该传感器装置优选包括光学传感器。该光学传感器可形成为简易摄像机、CCD (电荷耦合器件)摄像机、立体摄像机、视频摄像机、高速扫描摄像机或飞行时间摄像机。该记录的特征在于曝光时间和图像重复率。在此处，图像重复率表明，在给定时段内记录了多少图像。当利用传感器装置记录图像时，观测区域为通过传感器装置观测到的区域。典型地，观测区域是三维的且连续的。观测区域的第一子区域和第二子区域优选被选择成这样:观测区域为第一子区域和第二子区域的分开的组合。在此处，第一子区域和第二子区域也可以是相连的。通过分界线分离第一子区域和第二子区域。在由记录图像序列而给出的观测期间内，对象在观测区域内移动。在图像中被识别的对象的数量可以改变。对象可以不断地离开观测区域和再进入观测区域。曝光时间和图像重复率优选适应于对象在观测区域内移动的速度。为此，曝光时间被选择成这样:在曝光时间内由对象覆盖的第一路径小于第一阈值。图像重复率也可以被选择成这样:在记录两个连续图像之间的由对象覆盖的第二路径小于第二阈值。
[0013]在第一子区域和第二子区域之间的对象的迁移为对象从第一子区域至第二子区域的迁移或者对象从第二子区域至第一子区域的迁移。在第一图像的记录和第二图像的记录之间，如果对象在第一图像中与第一子区域关联并且如果对象在第二图像中与第二子区域关联，则已经发生了对象从第一子区域至第二子区域的迁移。以类似的方式定义对象从第二子区域至第一子区域的迁移。如果该对象在图像序列中至少一次从第一子区域移动至第二子区域中，然后再从第二子区域返回至第一子区域中，则出现同一个对象的多次迁移。如果该对象在图像序列中至少一次从第二子区域移动至第一子区域中，然后从第一子区域再返回至第二子区域中，则也出现同一个对象的多次迁移。如果该对象至少两次越过在第一子区域和第二子区域之间的分界线，则由此出现同一个对象的多次迁移。考虑迁移对象的数量包括至少一次数量的核对。这可以包含数量的改变，但不是必须的。
[0014]在本发明的含义内，迁移对象首先是在第一个图像序列中与第一子区域关联且在图像序列的末尾或在对象离开观测区域的之前与第二子区域关联的对象。此外，在本发明的含义内，迁移对象也是在图像序列中从观测区域外部进入观测区域且在观测区域中首先与第一子区域关联且在图像序列的末尾或在对象离开观测区域的之前与第二子区域关联的对象。所有其他的对象都不是本发明的含义内的迁移对象。换句话说，在这里描述的方法和系统的情况下，计数只在一个方向(从第一子区域到第二子区域)上实施。与这里描述的计数方法相似，通过交换第一子区域和第二子区域，可以容易地执行相反方向(从第二子区域到第一子区域)的计数。这里描述的系统和方法因此也可以用于在两个方向上同时计数。
[0015]在本发明的有利实施方式中，图像中对象的识别包括图像分割。分割包括结合图像的多个单独的图像像素，用来形成图块。根据图像像素的灰度值，可以进行分割。图块优选对应被识别的对象。例如，被识别的对象的位置可选为图块的中心点。在分割过程期间，可考虑图像背景。
[0016]在本发明另一有利实施方式中，轨迹与每个对象关联，且根据图像序列中的对象的位置确定轨迹，其中，该轨迹具有位于第一子区域中或者位于第二子区域中的起始位置。因此，轨迹包括在连续图像中同一个对象的位置。轨迹也可以仅包括对象的一个单一的当前位置。如果在连续图像中所确定的两个位置是相邻的，则这两个位置优选与同一个轨迹关联。这意味着，在这两个位置之间的间距小于最大间距。然而，关于关联性，也可以考虑多于两个连续位置的许多位置。因此，可以可靠地跟踪图像序列中对象的移动。
[0017]当对象离开观测区域时，则对象的轨迹结束。起始位置可以是在进入观测区域后第一时间被识别的对象的位置。起始位置也可以是在第一图像中被识别的对象的位置。起始位置也可以是在此期间已经离开观测区域然后重新进入观测区域的对象的位置。当对象离开观测区域时，轨迹可以被删除或者可以保持保存。因为轨迹与每个对象关联，故在图像序列中可以跟踪对象的移动。
[0018]在本发明另一有利实施方式中，存储状态根据对象轨迹与每个对象关联，并且轨迹的给定起始位置取决于相应的对象是与第一子区域还是与第二子区域关联。当相应的对象被第一次识别时，存储状态优选通过预定值来初始化。对象的存储状态包括关于观测区域中对象的移动的另外信息。当该对象离开观测区域时，对象的存储状态优选保持保存。
[0019]在本发明另一有利实施方式中，迁移对象的数量的确定包括，对象中的一个在第一子区域和第二子区域之间迁移后的数量的更新，其中，根据相应的对象的存储状态和根据相应的对象的迁移的方向，执行更新。在此处，更新可以包括增加迁移对象的数量、减少迁移对象的数量、或不改变迁移对象的数量。当开始记录图像序列时，迁移对象的数量优选通过初始值初始化。在此处，相应的对象的迁移方向表示相应的对象是否从第一子区域已经迁移至第二子区域中，或相应的对象是否从第二子区域已经迁移至第一子区域中。当前存储状态优选总是在迁移对象的数量被更新之前建立。一旦一个或多个对象已经越过了在第一子区域和第二子区域之间的分界线，则迁移对象的数量被更新。根据存储状态和相应的对象的迁移方向，执行更新过程使得可以识别所述对象的多次迁移的存在。
[0020]在本发明另一有利实施方式中，当相应的对象的轨迹的起始位置和相应的对象的当前位置分别位于不同的子区域中时，存储状态为第一存储状态，当相应的对象的起始位置和相应的对象的当前位置位于同一个子区域中时，存储状态为第二存储状态。当对象越过在第一子区域和第二子区域之间的分界线时，对象的存储状态因此改变。只要对象仍然在同一个子区域中，则对象的存储状态不变。
[0021]在本发明另一有利实施方式中，存储状态为一数值，每当相应的对象在第一子区域和第二子区域之间迁移时，该数值增加第一值，其中，当数值为第一值的奇数倍时，则处于第一存储状态，当数值为第一值的偶数倍，则处于第二存储状态。因此，从对象的存储状态可以确定相应的对象多久一次越过在第一子区域和第二子区域之间的分界线。如果在相应的对象的首次识别的事件中的数值通过初始值初始化，则这是有利的。选择O作为初始值是有利的。在这种情况下，如果设置第一值等于1，相应的对象的存储状态立即表明，从而对象多久一次越过在第一子区域和第二子区域之间的分界线。
[0022]在本发明另一有利实施方式中，迁移对象的数量以这样的方式更新:当相应的对象从第一子区域迁移至第二子区域且相应的对象的存储状态为第一存储状态时，迁移对象的数量增加第二值，当相应的对象从第二子区域迁移至第一子区域且相应的对象的存储状态为第二存储状态时，迁移对象的数量减小第二值。同样在这种情况下，首先有利地建立相应的对象的存储状态，且然后更新迁移对象的数量。
[0023]如果递增变量和递减变量与每个被识别的对象关联且被存储，则这是极其有利的。当迁移对象的数量在相应的对象迁移后增加第二值时，递增变量增加第二值。同样地，当迁移对象的数量在相应的对象迁移后减小第二值时，递减变量减小第二值。当对象离开观测区域时，也优选保持保存各个对象的递增变量和递减变量的值。以此方式，可以记录和了解再进入者的数量。例如，当观测区域为连续自动扶梯(如通常可在百货商店中发现)的入口区域和出口区域时，这具有实际意义。在这种情况下，第一区域可以是由自动扶梯覆盖的路径，所述路径包括在第一层和第二层之间的第一自动扶梯以及在第二层和第三层之间的第二自动扶梯，第二区域可以是商店的第二层的一部分。来自第一自动扶梯(即，第一子区域)的人短暂地进入第二层(即，第二子区域)，然后踏上第二自动扶梯，因此再进入第一子区域，该人总体上不会改变迁移对象的数量-在这个例子中，这些人是到第二层的访客。设计递增变量和递减变量，使得到第二层的短暂逗留仍然被记录。
[0024]在另一【具体实施方式】中，从第一子区域至少一次迁移或被迁移至第二子区域，或从第二子区域至少一次迁移或被迁移至第一子区域的对象(优选每个对象)被标记为进入者和/或离开者，其中
[0025]-如果对象的起始位置位于第一子区域中，则该对象被标记为进入者，
[0026]-如果对象的起始位置位于第二子区域中，则该对象被标记为离开者，和
[0027]-如果对象的存储状态为第二存储状态时，则该对象被标记为进入者和离开者。
[0028]标记可以包括进入者属性和/或离开者属性的关联。例如，可以分别精确地采取两个不同的值(即，初始值和最终值)的进入者变量和/或离开者变量可以与每个被识别的对象关联。在此处，初始值可以是0，最终值可以是I。然而，非数值的值也是可以的。当对象第一次被识别时，进入者变量和离开者变量优选分别通过初始值初始化。如果将进入者变量设置成初始值，则因此相应的对象不被标记为进入者。同样地，如果将对象的离开者变量设置成初始值，则该对象不被标记为离开者。通过将进入者变量设置成最终值，相应的对象可被标记为进入者。同样地，通过将离开者变量设置成最终值，该对象可被标记为离开者。当对象离开观测区域时，优选保持保存进入者变量和离开者变量的值。标记过程的其他实施方式也是可以的。对于被识别的对象，优选对于每个被识别的对象，可以在任何时刻确定该对象是否被标记为进入者和/或该对象是否被标记为离开者，以这种方式执行或实施标记过程是关键的。在对象在子区域之间的每次迁移之后优选立即核对对象的标记，然后在合适的情况下更新。
[0029]通过计算以此方式被标记为进入者和/或离开者的对象的数量，可以优选在任何时刻确定进入者数量和/或离开者数量，其中，进入者数量等于被标记为进入者的对象的数量，和/或离开者数量等于被标记为离开者的对象的数量。从而可以获得关于在先前描述的实施方式中对象的还未被考虑的另外的信息。例如，当计算百货商店中顾客的数量(其中销售站位于门口区域中)时，可以使用进入者数量和/或离开者数量的确定，其中，门槛是在第一子区域和第二子区域之间的分界线，并且，售货处位于第二子区域中。可以想到这样的情况，来自外部的顾客越过门槛(即，从第一子区域通过分界线移动到第二子区域中)与售货处的顾问对话，然后返回移入第一子区域，随后离开百货商店。该顾客被识别为再进入者，从而不作为迁移对象被计数。然而，当对被标记为进入者和/或离开者的对象计数时，考虑该顾客。
[0030]一种用于确定从观测区域的第一子区域移动到观测区域的第二子区域中的迁移对象的数量的系统，该系统包括至少一个传感器装置和被连接到传感器装置的计算单元，其中，传感器装置被设计成记录观测区域的图像序列，并且其中，计算单元被程序化，从而
[0031]-识别图像中的对象，且确定对象的位置，
[0032]-根据对象的位置，将每个对象与第一子区域关联，或者与第二子区域关联，和
[0033]-当确定迁移对象的数量时，考虑同一个对象在第一子区域和第二子区域之间的多次迁移。【专利附图】
【附图说明】
[0034]下列【专利附图】
【附图说明】了本发明的示例性实施方式，下文将详细地解释本发明的示例性实施方式。在附图中:
[0035]图1示出通过传感器装置所观测的大厦的入口区域的示意图，其中，人们在该区域中移动；
[0036]图2示出图1的入口区域的第一记录的示意图，其中，所述第一记录已经经过分割;
[0037]图3示出第一记录，其中，在分割后，已经确定了图1的一些个体的位置；
[0038]图4示出带有被识别的个体的位置和轨迹的入口区域的第二记录的示意图；
[0039]图5示出同样带有被识别的个体的位置和轨迹的入口区域的第四记录的示意图；和
[0040]图6示出通过五个记录的序列，在入口区域中的个体的轨迹的示意图，其中，个体在各个情况下被标记为进入者和/或离开者。
【具体实施方式】
[0041]图1示出了大厦的入口区域的示意图，例如，该大厦为百货商店。传感器装置14可以被看见，且被设计成观测入口区域。在本示例性实施方式中，传感器装置14形成为单独的视频摄像机。照片摄像机、立体摄像机、扫描摄像机、或飞行时间摄像机也可以被用作传感器装置14。传感器装置14也可以包括多个相同的或不同的传感器的组合。优选地，此处的这些传感器是光学传感器。计算单元被布置在传感器装置14中且连接到传感器装置
14,该计算单元不能被看见。个体(也就是说,对象1、对象2、对象3和对象4)在入口区域移动。传感器装置14被设计成记录入口区域的图像序列。对象1、对象2、对象3和对象4通常以大约lm/s的速度在入口区域中移动。传感器装置14的曝光时间和图像记录频率适于该速度。因此，传感器装置14的图像记录频率大约是20Hz，图像序列的单个图像的曝光时间是40ms。
[0042]图2示出了第一个图像序列，其示出观测区域5。观测区域5是矩形形状，该矩形具有大约5m的长度6和大约3m的宽度7。分界线10贯穿观测区域，且将观测区域分割成第一子区域8和第二子区域9。例如，分界线10再现入口区域中门槛的路线。在图2所示的第一图像(也称为第一记录)中，由传感器装置14记录的图像已经被分割。示出了由分割获得的图块2’、图块3’和图块4’。图块2’、图块3’和图块4’分别对应图1所示的对象2、对象3和对象4。通过该分割，在观测区域5中的对象2、对象3和对象4分别被识别。图1中所示的对象I位于观测区域5的外部，且因此没有在图2中被识别。在下列附图中重复的特征用同样的附图标记表示。
[0043]图3再一次示出了已经在图2中说明的图像序列的第一记录，其中，计算单元从图块2’、图块3’和图块4’(在其辅助下识别出对象2、对象3和对象4)确定了对象2、对象3和对象4的位置2a、位置3a和位置4a。在每个图像序列中以相似的方式实现了借助分割识别对象和随后从图块中确定各个对象的位置，在各个情况下通过计算单元实施这些过程。在图3至图5的各个附图中，只示出对象的位置。在各个情况下，这些附图表示与位置关联的对象。[0044]计算单元被设计成，在各个情况下，根据对象的各个位置2a、位置3a和位置4a，将对象2、对象3和对象4与第一子区域8关联或者与第二子区域9关联。因此，在图3中，对象3a和对象4a与第一子区域8关联。对象2a与第二子区域9关联。在下文中将描述迁移对象的数量的确定，该对象从观测区域5的第一子区域8移入观测区域5的第二子区域9。
[0045]在图3中，轨迹与每个与位置2a、位置3a和位置4a关联的对象关联，且根据图像序列中的各个对象的位置而被确定。在图3中说明的第一图像中，对象2、对象3和对象4的轨迹分别与位置2a、位置3a和位置4a相一致。在图3所示的第一图像中，每个轨迹因此仅包含一个位置。在此处，在图3中的每个位置2a、位置3a和位置4a也是相应轨迹的起始位置。
[0046]在图3中，通过O初始化的标识21此外与具有位置2a的对象2关联。相应地，同样分别通过O初始化的标识31和标识41分别与具有位置3a和位置4a的对象3和对象4关联。标识21的值意在表明相应的对象2多久越过在第一子区域8和第二子区域9之间的分界线10 —次。关于对象3的标识31和对象4的标识41具有类似的含义。标识21、标识31和标识41分别构成对象2、对象3和对象4的存储状态。在图3中说明的图像序列的第一记录中，迁移对象的数量13被初始化为O。这意味着，所识别的对象2、对象3和对象4都没有被识别为第一记录中的迁移对象。
[0047]图4示出了图像序列的第二图像，该第二图像也称为第二记录，且在图3所示的第一图像后按时间顺序被记录。在第二记录中，已经进行了分割，且已经确定了对象I的当前位置lb、对象2的当前位置2b、对象3的当前位置3b和对象4的当前位置4b，其中，当前位置分别作为黑点被示出。在图3所示的第一记录和图4所示的第二记录之间，对象2已经从位于第二子区域9中的位置2a移动到位于第一子区域8中的当前位置2b。在图4中，轨迹22与具有位置2b的对象2关联，轨迹22包括作为起始位置的对象2的位置2a和对象2的当前位置2b。
[0048]在第一记录和第二记录之间，对象2已经从第二子区域9迁移至第一子区域8中。在对象2的该迁移之后，与对象2关联的标识21递增第一值，标识21表示对象2的存储状态。在此处，第一值等于I。在图4中，与对象2关联的标识21的值因此为I。在图4中的对象2的存储状态因此为第一存储状态，其特征在于，标识21为第一值I的奇数倍。换句话说，对于在第一存储状态中的标识21，P mod2=l为真，其中，“P”采用第一存储状态中标识的值，“mod”为模运算符。图4中的对象2的第一存储状态的特征也在于，对象2的当前位置2b和对象2的轨迹22的起始位置2a分别位于不同的子区域中。换句话说，如果相应的对象已经越过分界线10奇数次，则出现第一存储状态。
[0049]一旦对象2已经越过分界线10，并且与其关联的标识21已经递增1，则尤其根据对象2的存储状态，和根据对象2越过边界10所朝着的方向，更新迁移对象的数量13。在对象2的情况下，该对象2在图4中处于第一存储状态并且已经在从第二子区域至第一子区域的方向上越过分界线10，则更新包括不改变数量13。
[0050]在图4中与当前位置Ib关联的对象I在图4中第一次被识别。轨迹可以也与该对象关联，然而所述轨迹仅仅包括当前位置Ib本身。通过O初始化，并且是对象I的存储状态的标识12附加地与对象I关联。[0051]在图4中，当前位置3b与对象3关联。轨迹32附加地与对象3关联，且包括当前位置3b和初始位置3a，其中初始位置3a与在第一记录中确定的对象3的位置3a相同。一旦对象3已经越过分界线10，则与对象3关联的标识31递增1，因此在图4中标识31具有值I。
[0052]在图4中，对象3已经从第一子区域8迁移至第二子区域9中。在图4中与对象3关联的标识31具有的值是1，因此标识31表示对象3的第一存储状态。由于对象3在第一记录和第二记录之间的该迁移，因此迁移对象的数量13递增1，其中I为第二值。在图4中，与轨迹41同样关联的对象4的情况类似于对象3的情况。由于对象4从第一子区域8迁移至第二子区域9，因此迁移对象的数量13也递增I。一旦对于对象2、对象3和对象4已经更新了迁移对象的数量13 (对象2、对象3和对象4在图4中已经被识别且已经分别越过在第一记录和第二记录之间的分界线10)，则迁移对象的数量13在图4中具有的值是
2。这相当于，在第一记录和第二记录的过程中，各自首先在第一子区域8中被识别的两个对象，尤其是对象3和对象4，已经从第一子区域8横穿至第二子区域9中。
[0053]图5示出了图像序列的第三记录。通过分割已经识别了对象1，2和3，其位置lc，2c和3c已经分别被确定。在第二记录和第三记录之间，对象2已经从在第一子区域8中的位置2b移动到在第二子区域9中的位置2c中。因此，与对象2关联的轨迹22包括对象2的当前位置2c以及在第二记录中确定的位置2b和在第一记录中确定的位置2a，该位置2a为轨迹22的起始位置。对象2因此再一次越过了分界线10。与对象2关联的标识21因此再一次递增1，并且现在具有在图5中的值2。标识21因此表示对象的第二存储状态。一方面，其特征在于，对象2的当前位置2c和对象2的轨迹22的起始位置2a与同一个子区域关联，在这里尤其是与第二子区域9关联。另一方面，对象2的第二存储状态被限定于，标识21具有是第一值的偶数倍的值。(第一值具有的值是1，在图5中标识21具有的值是2)。换句话说，对于在第二存储状态中的标识21，q mod2=0为真，其中，“q”采用第二存储状态中标识的值，“mod”依旧为模运算符。
[0054]在对象2的迁移之后，迁移对象的数量13被更新。然而在图5中的对象2的情况下，更新不包括对数量13的改变。对象2的轨迹22的当前位置2c和起始位置2a均位于第二子区域9中。在图5中的对象2因此为再进入者，并且不对迁移对象的数量13产生作用。因此在第一子区域8和第二子区域9之间，存在所述对象、尤其是对象2的多次迁移。
[0055]在第二记录和第三记录之间，对象I已经从位置Ib移动至当前位置Ic中。与对象I关联的轨迹12因此包括位置Ic和位置lb，其中位置Ib是对象I的轨迹12的起始位置。在第二记录和第三记录之间，对象I没有越过在第一子区域8和第二子区域9之间的分界线10。与对象I关联的标识11因此没有递增，而且具有的值是O。在图5中，对于对象1，数量13未被更新。
[0056]在第二记录和第三记录之间，对象3已经从位于第二子区域9中的位置3b移动到位于第一子区域8中的当前位置3c中。因此，对象3已经从第二子区域9移动到第一子区域8中。作为对象3的这种迁移的结果，与对象3关联的标识31已经递增1，且现在具有的值是2。在图5中对象3的存储状态因此为第二存储状态。作为对象3从第二子区域至第一子区域的这种迁移的结果，迁移对象的数量13因此递减I，现在具有的值是I。在此处，I再一次为第二值。[0057]在图5中，对象4已经离开了观测区域5，而未被识别。在图5中的对象4因此不促成迁移对象的数量13的更新。一旦对于在图5中识别的所有对象更新了在图5中的迁移对象的数量13，则迁移对象的数量13具有当前值I。从对象2的轨迹22和从对象3的轨迹32中显而易见，对象2和对象3各自为再进入者。在图5中，对象2和对象3因此已经各自通过在第一子区域8和第二子区域9之间的分界线10而迁移了两次。因此，在图5中的对象2和对象3各自为所述对象的多次迁移，该对象各自已经被识别。通过在此描述的用于确定数量13的规定，同一个对象在第一子区域8和第二子区域9之间的这种类型的多次迁移被考虑。
[0058]图6示出了在五个图像的序列上的对象的轨迹。在各个图像中的对象的位置50a至50e各自示出为圆圈，通过该位置确定了轨迹。重复特征依旧具有相同的附图标记。在这里描述的示例性实施方式中，除了在图像序列中由值51a至51e给出的，且表示在第一子区域8和第二子区域9之间的由对象在各个图像中已迁移的数量的存储状态，进入者变量和离开者变量附加地与对象关联。在图像序列中，进入者变量采用值52a至52e。当对象在各个图像中未被标记为进入者时，进入者变量的值52a至52e在此处具有的值是0，当对象在各个图像中被标记为进入者时，进入者变量的值52a至52e这里具有的值是I。相应地，在图像序列中，离开者变量采用值53a至53e。当对象在各个图像中未被标记为离开者时，离开者变量的值53a至53e在此处具有的值是0，当对象在各个图像中被标记为离开者时，离开者变量的值53a至53e在此处具有的值是I。迁移对象的数量在此处示出的示例性实施方式中按照之前的描述来确定，因此没有更加详细地解释。
[0059]在第一个图像序列中(其中对象首次被识别且采用在观测区域5的第一子区域8中的起始位置50a)，存储状态的值51a、进入者变量的值52a和离开者变量的值53分别初始化为O值。因此在第一图像中还没有越过分界线10的对象在第一图像中既不被标记为进入者也不被标记为离开者。因此，此处没有单独详述的进入者数量(该进入者数量等于被标记为进入者的对象数量)在第一图像中也是O。此处没有单独详述的离开者数量(该离开者数量等于被标记为离开者的对象数量)在第一图像中也是O。由于在图6的图像序列中在每个情况下只有一个对象被识别和标记为进入者和/或离开者，故在图像序列中，进入者数量等于进入者变量的对应值，离开者数量等于离开者变量的对应值。因此，进入者数量和离开者数量的更新在下文中将不再详细讨论。从图像到图像(from image to image),对象经过分界线10在第一子区域8和第二子区域9之间来回移动。在第一图像中，迁移对象(此处未示出)的数量也为O。
[0060]在第二图像中，对象的第二位置50b位于第二子区域9中。存储状态的值51b增加1，现在具有的值是I。由于在第二图像中，存储状态的值51b是偶数，故在第二图像中，对象的存储状态为第一存储状态。一旦存储状态已被更新，则进入者变量的值52b和离开者变量的值53b被更新。由于对象的起始位置位于第一子区域8中，且正如可以从存储状态的值51b中推断的，在第二图像中，对象已经越过了分界线一次，故进入者变量的值52b被设置为I。因此，对象标记为进入者。由于起始位置50a既不是位于第二子区域中且对象的存储状态也不是第二存储状态，故在第二图像中的离开者变量的值53b仍为O。因此，在第二图像中，对象没有被标记为离开者。在第二图像中，迁移对象的数量为1，且因此等于进入者数量。[0061]在第三图像中，对象的第三位置50c再一次位于第一子区域8中。对象因此在第二图像和第三图像之间再一次通过分界线10。存储状态的值51c因此增加1，且现在具有的值是2。由于值51c是偶数，故在第三图像中的对象的存储状态为第二存储状态。一旦存储状态已被更新，则进入者变量的值52c和离开者变量的值53c被更新。由于在第三图像中，对象已经越过了分界线10至少一次(具体确切地为两次)且存储状态为第二存储状态，故进入者变量的值52c和离开者变量的值53c分别为I。因此，在第三图像中，对象既标记为进入者又标记为离开者。由于对象在第三图像中为再进入者，故迁移对象的数量在第三图像中为O且因此不同于进入者数量，该进入者数量为I。
[0062]在第四图像中的第四位置50d再一次位于第二子区域9中。对象因此在第三图像和第四图像之间已经再一次越过了分界线10。存储状态的值51d增加I而到3，使得在第四图像中的存储状态为第一存储状态。进入者变量的值52d在第四图像中仍为1，离开者变量的值53d在第四图像中再一次被设置为O。在第四图像中，迁移对象的数量再一次为I且因此等于进入者数量。
[0063]在第五图像中的第五位置50e位于第一子区域8中。在第四图像和第五图像之间，对象因此已经再一次越过了分界线10。存储状态的值51e增加I而到4，因此，在第五图像中的存储状态为第二存储状态。由于对象在第五图像中已经越过了分界线至少一次(具体确切地为四次)且存储状态为第二存储状态，故进入者变量的值52e在第五图像中仍为1，离开者变量的值53e在第五图像中再一次被设置为I。在第五图像中，对象再一次为再进入者。迁移对象的数量因此再一次为O且不同于进入者数量，该进入者数量仍为I。
【权利要求】
1.一种用于确定从观测区域(5)的第一子区域(8)移动到所述观测区域(5)的第二子区域(9)中的迁移对象(I ；2 ；3 ；4)的数量(13)的方法，其中 -记录所述观测区域(5)的一序列图像，其中，识别所述图像中的所述对象(I ；2；3；4),且确定所述对象(I ；2 ；3 ；4)的位置(lb, Ic ；2a, 2b, 2c ；3a, 3b, 3c ；4a, 4b), -根据所述对象(I ；2 ；3 ；4)的位置(lb，lc ;2a，2b，2c ;3a，3b，3c ;4a，4b)，将所述对象(1;2；3 ；4)分别与所述第一子区域(8)关联或者与所述第二子区域(9)关联，和 -当确定迁移对象的数量(13)时，考虑同一个对象(I ；2 ；3 ；4)在所述第一子区域(8)和所述第二子区域(9)之间的多次迁移。
2.根据权利要求1所述的方法，其特征在于，在各个情况下识别图像中的所述对象(I；2;3;4)包括分割所述图像。
3.根据前述权利要求中任一项所述的方法，其特征在于，将轨迹(12；22 ；32 ；42)与每个对象关联，且根据所述一序列图像中的所述对象(I ;2 ；3 ；4)的位置(lb，lc ;2a，2b，2c ；3a，3b，3c ;4a，4b)确定所述轨迹(12 ；22 ；32 ;42)，其中，所述轨迹(12 ；22 ；32 ;42)具有位于所述第一子区域(8)中或者位于所述第二子区域(9)中的起始位置(lb ；2a ；3a ;4a)。
4.根据权利要求3所述的方法，其特征在于，基于所述对象的轨迹(12；22 ；32 ;42)，将存储状态(11 ；21 ；31 ;41)与每个对象(I ；2 ；3 ;4)关联，并且所述轨迹(12 ；22 ；32 ;42)的给定的起始位置(lb ；2a ;3a;4a)取决于相应的对象(I ；2 ；3 ;4)是与所述第一子区域(8)还是与所述第二子区域(9)关联。
5.根据权利要求4所述的方法，其特征在于，确定所述数量(13)包括，一旦所述对象(I ；2 ；3 ;4)在所述第一子区域(8)和所述第二子区域(9)之间迁移，则更新所述数量(13)，其中，根据相应的对象(I ;2 ；3 ；4)的所述存储状态(11 ；21 ；31 ;41)和根据相应的对象(I ； 2；3 ；4)的迁移方向，执行所述更新。
6.根据权利要求4或5所述的方法，其特征在于，当相应的对象(I;2 ;3 ;4)的所述轨迹(12 ；22 ；32 ；42)的所述起始位置(lb ；2a ；3a ;4a)和相应的对象(I ；2 ；3 ；4)的当前位置分别位于不同的子区域(8 ;9)时，所述存储状态(11 ；21 ；31 ;41)为第一存储状态，并且，当相应的对象(I ；2 ；3 ；4)的所述起始位置(lb ;2a ;3a ;4a)和相应的对象(I ；2 ；3 ；4)的当前位置位于同一个子区域(8 ；9)时，所述存储状态(11 ；21 ；31 ；41)为第二存储状态。
7.根据权利要求4至6中任一项所述的方法，其特征在于，所述存储状态(11；21 ；31 ；41)为一数值，当相应的对象(I ;2;3;4)在所述第一子区域(8)和所述第二子区域(9)之间迁移时，所述数值增加第一值，其中，如果所述数值为所述第一值的奇数倍，则处于所述第一存储状态，如果所述数值为所述第一值的偶数倍，则处于所述第二存储状态。
8.根据权利要求5和权利要求6或7中的一项所述的方法，其特征在于，所述更新过程包括，当相应的对象(I ；2 ；3 ;4)从所述第一子区域(8)迁移至所述第二子区域(9)且相应的对象(I ；2 ；3 ；4)的存储状态(11 ；21 ；31 ;41)为所述第一存储状态时，迁移对象(I ；2 ；3；4)的数量(13)增加第二值，并且当相应的对象(I ；2 ；3 ；4)从所述第二子区域(9)迁移至所述第一子区域(8)且相应的对象(I ；2 ；3 ；4)的存储状态(11 ；21 ；31 ；41)为所述第二存储状态时，迁移对象(I ;2 ；3 ；4)的数量(13)减少所述第二值。
9.根据权利要求6至8中任一项所述的方法，其特征在于，从所述第一子区域(8)进入所述第二子区域(9)至少一次或从所述第二子区域(9)进入所述第一子区域(8)至少一次的对象被标记为进入者和/或离开者，其中， -如果所述对象的起始位置(50a)位于所述第一子区域(8)中，则所述对象被标记为进入者， -如果所述对象的起始位置(50a)位于所述第二子区域(9)中，则所述对象被标记为离开者，和 -如果所述对象的存储状态为所述第二存储状态时，则所述对象被标记为进入者和离开者。
10.一种用于确定从观测区域(5)的第一子区域(8)移动到所述观测区域(5)的第二子区域(9)中的迁移对象(I ；2 ；3 ;4)的数量(13)的系统，所述系统包括至少一个传感器装置(14)和被连接到所述传感器装置(14)的计算单元，其中，所述传感器装置(14)被设计成记录所述观测区域(5)的一序列图像，并且其中，所述计算单元被程序化从而 -识别所述图像中的对象(I ；2 ；3 ;4)，且确定所述对象(I ；2 ；3 ；4)的位置(lb，lc ；2a,2b,2c ;3a，3b，3c ;4a，4b), -根据所述对象(I ；2 ；3 ；4)的位置(lb，lc ;2a，2b，2c ;3a，3b，3c ;4a，4b)，将所述对象(1;2；3 ；4)与所述第一子区域(8)关联或者与所述第二子区域(9)关联，和 -当确定迁移对象的数量(13)时，考虑同一个对象(I ；2 ；3 ；4)在所述第一子区域(8)和所述第二子区域(9)之间的多次迁移。
11.根据权利要求10所述的系统，其特征在于，所述传感器装置(14)包括光学传感器，该光学传感器优选形成为照片摄像机、CCD电荷耦合摄像机、立体摄像机、视频摄像机、高速扫描摄像机或飞行时间摄像机。
【文档编号】G06T7/20GK103460247SQ201280009702
【公开日】2013年12月18日 申请日期:2012年2月17日 优先权日:2011年2月18日
【发明者】马克·斯特凡诺维奇 申请人:赫拉胡克公司
【专利摘要】本发明提出一种用于确定从观测区域（5）的第一子区域（8）移动到所述观测区域（5）的第二子区域（9）中的迁移对象的数量（13）的方法，其中，所述观测区域（5）的一系列图像被记录，以分别识别所述对象（1；2；3；4）且分别确定所述对象（1；2；3；4）的位置（1b，1c；2a，2b，2c；3a，3b，3c；4a，4b），基于所述对象的位置（1b，1c；2a，2b，2c；3a，3b，3c；4a，4b），所述对象（1；2；3；4）分别与所述第一子区域（8）关联或者与所述第二子区域（9）关联，当确定迁移对象的数量（13）时，考虑同一个对象在所述第一子区域（8）和所述第二子区域（9）之间的多次迁移。本发明还提出一种可以用来实施该方法的合适的系统，该系统包括传感器装置和被连接到所述传感器装置的计算单元。
【专利说明】用于确定迁移对象的数量的方法和系统
【技术领域】
[0001]本发明涉及一种用于确定从观测区域的第一子区域移动到观测区域的第二子区域中的迁移对象的数量的方法和系统。
【背景技术】
[0002]在许多【技术领域】和日常生活中，可移动的对象的计数是极其重要的。例如，店主很想知道在给定的时间段内有多少客人访问了他的商店。
[0003]对于这样的应用和类似的应用，在从现有技术中得知的计数方法中，包括被连接到图像分析单元的视频摄像机的系统被用作计数装置。这种类型的系统被设计成观测区域(例如，该区域为商店或运输工具的入口区域)来识别和定位在该区域中移动的对象，且当其中一个对象越过在该区域中延伸的预定分界线(例如，穿行在该区域中且划分该区域的门槛)时，触发计数事件。
[0004]然而，这些已知方法具有以下缺点:对象在观测区域内来回移动且多次越过分界线，这样每当这些对象越过分界线时触发计数事件。表现如此行为的对象也被称为再进入者。这可以很大程度地歪曲计数的结果。
【发明内容】
[0005]因此，本发明的目的是开发一种方法和系统，在该方法和系统的帮助下，无论对象如何移动，都能够尽可能可靠地计算可移动的对象的数量。
[0006]根据本发明，通过根据权利要求1的方法和通过根据权利要求9的系统实现了该目的。在附属权利要求中描述了本发明的有利的改进。
[0007]描述了一种用于确定从观测区域的第一子区域移动到观测区域的第二子区域中的迁移对象的数量的方法，其中
[0008]-记录观测区域的图像序列，其中，识别对象，并且确定对象的位置，
[0009]-根据对象的位置，将对象与第一子区域关联或者与第二子区域关联，和
[0010]-当确定迁移对象的数量时，考虑同一个对象在第一子区域和第二子区域之间的多次迁移。
[0011]借助于该方法，可以可靠地确定迁移对象的数量。当确定迁移对象的数量时，由于考虑了同一个对象在第一子区域和第二子区域之间的多次迁移，故可有效地修正误差(例如，利用根据现有技术的计数方法，当再进入者被多次计算时出现的误差)。
[0012]利用传感器装置可记录观测区域的图像序列，该传感器装置优选包括光学传感器。该光学传感器可形成为简易摄像机、CCD (电荷耦合器件)摄像机、立体摄像机、视频摄像机、高速扫描摄像机或飞行时间摄像机。该记录的特征在于曝光时间和图像重复率。在此处，图像重复率表明，在给定时段内记录了多少图像。当利用传感器装置记录图像时，观测区域为通过传感器装置观测到的区域。典型地，观测区域是三维的且连续的。观测区域的第一子区域和第二子区域优选被选择成这样:观测区域为第一子区域和第二子区域的分开的组合。在此处，第一子区域和第二子区域也可以是相连的。通过分界线分离第一子区域和第二子区域。在由记录图像序列而给出的观测期间内，对象在观测区域内移动。在图像中被识别的对象的数量可以改变。对象可以不断地离开观测区域和再进入观测区域。曝光时间和图像重复率优选适应于对象在观测区域内移动的速度。为此，曝光时间被选择成这样:在曝光时间内由对象覆盖的第一路径小于第一阈值。图像重复率也可以被选择成这样:在记录两个连续图像之间的由对象覆盖的第二路径小于第二阈值。
[0013]在第一子区域和第二子区域之间的对象的迁移为对象从第一子区域至第二子区域的迁移或者对象从第二子区域至第一子区域的迁移。在第一图像的记录和第二图像的记录之间，如果对象在第一图像中与第一子区域关联并且如果对象在第二图像中与第二子区域关联，则已经发生了对象从第一子区域至第二子区域的迁移。以类似的方式定义对象从第二子区域至第一子区域的迁移。如果该对象在图像序列中至少一次从第一子区域移动至第二子区域中，然后再从第二子区域返回至第一子区域中，则出现同一个对象的多次迁移。如果该对象在图像序列中至少一次从第二子区域移动至第一子区域中，然后从第一子区域再返回至第二子区域中，则也出现同一个对象的多次迁移。如果该对象至少两次越过在第一子区域和第二子区域之间的分界线，则由此出现同一个对象的多次迁移。考虑迁移对象的数量包括至少一次数量的核对。这可以包含数量的改变，但不是必须的。
[0014]在本发明的含义内，迁移对象首先是在第一个图像序列中与第一子区域关联且在图像序列的末尾或在对象离开观测区域的之前与第二子区域关联的对象。此外，在本发明的含义内，迁移对象也是在图像序列中从观测区域外部进入观测区域且在观测区域中首先与第一子区域关联且在图像序列的末尾或在对象离开观测区域的之前与第二子区域关联的对象。所有其他的对象都不是本发明的含义内的迁移对象。换句话说，在这里描述的方法和系统的情况下，计数只在一个方向(从第一子区域到第二子区域)上实施。与这里描述的计数方法相似，通过交换第一子区域和第二子区域，可以容易地执行相反方向(从第二子区域到第一子区域)的计数。这里描述的系统和方法因此也可以用于在两个方向上同时计数。
[0015]在本发明的有利实施方式中，图像中对象的识别包括图像分割。分割包括结合图像的多个单独的图像像素，用来形成图块。根据图像像素的灰度值，可以进行分割。图块优选对应被识别的对象。例如，被识别的对象的位置可选为图块的中心点。在分割过程期间，可考虑图像背景。
[0016]在本发明另一有利实施方式中，轨迹与每个对象关联，且根据图像序列中的对象的位置确定轨迹，其中，该轨迹具有位于第一子区域中或者位于第二子区域中的起始位置。因此，轨迹包括在连续图像中同一个对象的位置。轨迹也可以仅包括对象的一个单一的当前位置。如果在连续图像中所确定的两个位置是相邻的，则这两个位置优选与同一个轨迹关联。这意味着，在这两个位置之间的间距小于最大间距。然而，关于关联性，也可以考虑多于两个连续位置的许多位置。因此，可以可靠地跟踪图像序列中对象的移动。
[0017]当对象离开观测区域时，则对象的轨迹结束。起始位置可以是在进入观测区域后第一时间被识别的对象的位置。起始位置也可以是在第一图像中被识别的对象的位置。起始位置也可以是在此期间已经离开观测区域然后重新进入观测区域的对象的位置。当对象离开观测区域时，轨迹可以被删除或者可以保持保存。因为轨迹与每个对象关联，故在图像序列中可以跟踪对象的移动。
[0018]在本发明另一有利实施方式中，存储状态根据对象轨迹与每个对象关联，并且轨迹的给定起始位置取决于相应的对象是与第一子区域还是与第二子区域关联。当相应的对象被第一次识别时，存储状态优选通过预定值来初始化。对象的存储状态包括关于观测区域中对象的移动的另外信息。当该对象离开观测区域时，对象的存储状态优选保持保存。
[0019]在本发明另一有利实施方式中，迁移对象的数量的确定包括，对象中的一个在第一子区域和第二子区域之间迁移后的数量的更新，其中，根据相应的对象的存储状态和根据相应的对象的迁移的方向，执行更新。在此处，更新可以包括增加迁移对象的数量、减少迁移对象的数量、或不改变迁移对象的数量。当开始记录图像序列时，迁移对象的数量优选通过初始值初始化。在此处，相应的对象的迁移方向表示相应的对象是否从第一子区域已经迁移至第二子区域中，或相应的对象是否从第二子区域已经迁移至第一子区域中。当前存储状态优选总是在迁移对象的数量被更新之前建立。一旦一个或多个对象已经越过了在第一子区域和第二子区域之间的分界线，则迁移对象的数量被更新。根据存储状态和相应的对象的迁移方向，执行更新过程使得可以识别所述对象的多次迁移的存在。
[0020]在本发明另一有利实施方式中，当相应的对象的轨迹的起始位置和相应的对象的当前位置分别位于不同的子区域中时，存储状态为第一存储状态，当相应的对象的起始位置和相应的对象的当前位置位于同一个子区域中时，存储状态为第二存储状态。当对象越过在第一子区域和第二子区域之间的分界线时，对象的存储状态因此改变。只要对象仍然在同一个子区域中，则对象的存储状态不变。
[0021]在本发明另一有利实施方式中，存储状态为一数值，每当相应的对象在第一子区域和第二子区域之间迁移时，该数值增加第一值，其中，当数值为第一值的奇数倍时，则处于第一存储状态，当数值为第一值的偶数倍，则处于第二存储状态。因此，从对象的存储状态可以确定相应的对象多久一次越过在第一子区域和第二子区域之间的分界线。如果在相应的对象的首次识别的事件中的数值通过初始值初始化，则这是有利的。选择O作为初始值是有利的。在这种情况下，如果设置第一值等于1，相应的对象的存储状态立即表明，从而对象多久一次越过在第一子区域和第二子区域之间的分界线。
[0022]在本发明另一有利实施方式中，迁移对象的数量以这样的方式更新:当相应的对象从第一子区域迁移至第二子区域且相应的对象的存储状态为第一存储状态时，迁移对象的数量增加第二值，当相应的对象从第二子区域迁移至第一子区域且相应的对象的存储状态为第二存储状态时，迁移对象的数量减小第二值。同样在这种情况下，首先有利地建立相应的对象的存储状态，且然后更新迁移对象的数量。
[0023]如果递增变量和递减变量与每个被识别的对象关联且被存储，则这是极其有利的。当迁移对象的数量在相应的对象迁移后增加第二值时，递增变量增加第二值。同样地，当迁移对象的数量在相应的对象迁移后减小第二值时，递减变量减小第二值。当对象离开观测区域时，也优选保持保存各个对象的递增变量和递减变量的值。以此方式，可以记录和了解再进入者的数量。例如，当观测区域为连续自动扶梯(如通常可在百货商店中发现)的入口区域和出口区域时，这具有实际意义。在这种情况下，第一区域可以是由自动扶梯覆盖的路径，所述路径包括在第一层和第二层之间的第一自动扶梯以及在第二层和第三层之间的第二自动扶梯，第二区域可以是商店的第二层的一部分。来自第一自动扶梯(即，第一子区域)的人短暂地进入第二层(即，第二子区域)，然后踏上第二自动扶梯，因此再进入第一子区域，该人总体上不会改变迁移对象的数量-在这个例子中，这些人是到第二层的访客。设计递增变量和递减变量，使得到第二层的短暂逗留仍然被记录。
[0024]在另一【具体实施方式】中，从第一子区域至少一次迁移或被迁移至第二子区域，或从第二子区域至少一次迁移或被迁移至第一子区域的对象(优选每个对象)被标记为进入者和/或离开者，其中
[0025]-如果对象的起始位置位于第一子区域中，则该对象被标记为进入者，
[0026]-如果对象的起始位置位于第二子区域中，则该对象被标记为离开者，和
[0027]-如果对象的存储状态为第二存储状态时，则该对象被标记为进入者和离开者。
[0028]标记可以包括进入者属性和/或离开者属性的关联。例如，可以分别精确地采取两个不同的值(即，初始值和最终值)的进入者变量和/或离开者变量可以与每个被识别的对象关联。在此处，初始值可以是0，最终值可以是I。然而，非数值的值也是可以的。当对象第一次被识别时，进入者变量和离开者变量优选分别通过初始值初始化。如果将进入者变量设置成初始值，则因此相应的对象不被标记为进入者。同样地，如果将对象的离开者变量设置成初始值，则该对象不被标记为离开者。通过将进入者变量设置成最终值，相应的对象可被标记为进入者。同样地，通过将离开者变量设置成最终值，该对象可被标记为离开者。当对象离开观测区域时，优选保持保存进入者变量和离开者变量的值。标记过程的其他实施方式也是可以的。对于被识别的对象，优选对于每个被识别的对象，可以在任何时刻确定该对象是否被标记为进入者和/或该对象是否被标记为离开者，以这种方式执行或实施标记过程是关键的。在对象在子区域之间的每次迁移之后优选立即核对对象的标记，然后在合适的情况下更新。
[0029]通过计算以此方式被标记为进入者和/或离开者的对象的数量，可以优选在任何时刻确定进入者数量和/或离开者数量，其中，进入者数量等于被标记为进入者的对象的数量，和/或离开者数量等于被标记为离开者的对象的数量。从而可以获得关于在先前描述的实施方式中对象的还未被考虑的另外的信息。例如，当计算百货商店中顾客的数量(其中销售站位于门口区域中)时，可以使用进入者数量和/或离开者数量的确定，其中，门槛是在第一子区域和第二子区域之间的分界线，并且，售货处位于第二子区域中。可以想到这样的情况，来自外部的顾客越过门槛(即，从第一子区域通过分界线移动到第二子区域中)与售货处的顾问对话，然后返回移入第一子区域，随后离开百货商店。该顾客被识别为再进入者，从而不作为迁移对象被计数。然而，当对被标记为进入者和/或离开者的对象计数时，考虑该顾客。
[0030]一种用于确定从观测区域的第一子区域移动到观测区域的第二子区域中的迁移对象的数量的系统，该系统包括至少一个传感器装置和被连接到传感器装置的计算单元，其中，传感器装置被设计成记录观测区域的图像序列，并且其中，计算单元被程序化，从而
[0031]-识别图像中的对象，且确定对象的位置，
[0032]-根据对象的位置，将每个对象与第一子区域关联，或者与第二子区域关联，和
[0033]-当确定迁移对象的数量时，考虑同一个对象在第一子区域和第二子区域之间的多次迁移。【专利附图】
【附图说明】
[0034]下列【专利附图】
【附图说明】了本发明的示例性实施方式，下文将详细地解释本发明的示例性实施方式。在附图中:
[0035]图1示出通过传感器装置所观测的大厦的入口区域的示意图，其中，人们在该区域中移动；
[0036]图2示出图1的入口区域的第一记录的示意图，其中，所述第一记录已经经过分割;
[0037]图3示出第一记录，其中，在分割后，已经确定了图1的一些个体的位置；
[0038]图4示出带有被识别的个体的位置和轨迹的入口区域的第二记录的示意图；
[0039]图5示出同样带有被识别的个体的位置和轨迹的入口区域的第四记录的示意图；和
[0040]图6示出通过五个记录的序列，在入口区域中的个体的轨迹的示意图，其中，个体在各个情况下被标记为进入者和/或离开者。
【具体实施方式】
[0041]图1示出了大厦的入口区域的示意图，例如，该大厦为百货商店。传感器装置14可以被看见，且被设计成观测入口区域。在本示例性实施方式中，传感器装置14形成为单独的视频摄像机。照片摄像机、立体摄像机、扫描摄像机、或飞行时间摄像机也可以被用作传感器装置14。传感器装置14也可以包括多个相同的或不同的传感器的组合。优选地，此处的这些传感器是光学传感器。计算单元被布置在传感器装置14中且连接到传感器装置
14,该计算单元不能被看见。个体(也就是说,对象1、对象2、对象3和对象4)在入口区域移动。传感器装置14被设计成记录入口区域的图像序列。对象1、对象2、对象3和对象4通常以大约lm/s的速度在入口区域中移动。传感器装置14的曝光时间和图像记录频率适于该速度。因此，传感器装置14的图像记录频率大约是20Hz，图像序列的单个图像的曝光时间是40ms。
[0042]图2示出了第一个图像序列，其示出观测区域5。观测区域5是矩形形状，该矩形具有大约5m的长度6和大约3m的宽度7。分界线10贯穿观测区域，且将观测区域分割成第一子区域8和第二子区域9。例如，分界线10再现入口区域中门槛的路线。在图2所示的第一图像(也称为第一记录)中，由传感器装置14记录的图像已经被分割。示出了由分割获得的图块2’、图块3’和图块4’。图块2’、图块3’和图块4’分别对应图1所示的对象2、对象3和对象4。通过该分割，在观测区域5中的对象2、对象3和对象4分别被识别。图1中所示的对象I位于观测区域5的外部，且因此没有在图2中被识别。在下列附图中重复的特征用同样的附图标记表示。
[0043]图3再一次示出了已经在图2中说明的图像序列的第一记录，其中，计算单元从图块2’、图块3’和图块4’(在其辅助下识别出对象2、对象3和对象4)确定了对象2、对象3和对象4的位置2a、位置3a和位置4a。在每个图像序列中以相似的方式实现了借助分割识别对象和随后从图块中确定各个对象的位置，在各个情况下通过计算单元实施这些过程。在图3至图5的各个附图中，只示出对象的位置。在各个情况下，这些附图表示与位置关联的对象。[0044]计算单元被设计成，在各个情况下，根据对象的各个位置2a、位置3a和位置4a，将对象2、对象3和对象4与第一子区域8关联或者与第二子区域9关联。因此，在图3中，对象3a和对象4a与第一子区域8关联。对象2a与第二子区域9关联。在下文中将描述迁移对象的数量的确定，该对象从观测区域5的第一子区域8移入观测区域5的第二子区域9。
[0045]在图3中，轨迹与每个与位置2a、位置3a和位置4a关联的对象关联，且根据图像序列中的各个对象的位置而被确定。在图3中说明的第一图像中，对象2、对象3和对象4的轨迹分别与位置2a、位置3a和位置4a相一致。在图3所示的第一图像中，每个轨迹因此仅包含一个位置。在此处，在图3中的每个位置2a、位置3a和位置4a也是相应轨迹的起始位置。
[0046]在图3中，通过O初始化的标识21此外与具有位置2a的对象2关联。相应地，同样分别通过O初始化的标识31和标识41分别与具有位置3a和位置4a的对象3和对象4关联。标识21的值意在表明相应的对象2多久越过在第一子区域8和第二子区域9之间的分界线10 —次。关于对象3的标识31和对象4的标识41具有类似的含义。标识21、标识31和标识41分别构成对象2、对象3和对象4的存储状态。在图3中说明的图像序列的第一记录中，迁移对象的数量13被初始化为O。这意味着，所识别的对象2、对象3和对象4都没有被识别为第一记录中的迁移对象。
[0047]图4示出了图像序列的第二图像，该第二图像也称为第二记录，且在图3所示的第一图像后按时间顺序被记录。在第二记录中，已经进行了分割，且已经确定了对象I的当前位置lb、对象2的当前位置2b、对象3的当前位置3b和对象4的当前位置4b，其中，当前位置分别作为黑点被示出。在图3所示的第一记录和图4所示的第二记录之间，对象2已经从位于第二子区域9中的位置2a移动到位于第一子区域8中的当前位置2b。在图4中，轨迹22与具有位置2b的对象2关联，轨迹22包括作为起始位置的对象2的位置2a和对象2的当前位置2b。
[0048]在第一记录和第二记录之间，对象2已经从第二子区域9迁移至第一子区域8中。在对象2的该迁移之后，与对象2关联的标识21递增第一值，标识21表示对象2的存储状态。在此处，第一值等于I。在图4中，与对象2关联的标识21的值因此为I。在图4中的对象2的存储状态因此为第一存储状态，其特征在于，标识21为第一值I的奇数倍。换句话说，对于在第一存储状态中的标识21，P mod2=l为真，其中，“P”采用第一存储状态中标识的值，“mod”为模运算符。图4中的对象2的第一存储状态的特征也在于，对象2的当前位置2b和对象2的轨迹22的起始位置2a分别位于不同的子区域中。换句话说，如果相应的对象已经越过分界线10奇数次，则出现第一存储状态。
[0049]一旦对象2已经越过分界线10，并且与其关联的标识21已经递增1，则尤其根据对象2的存储状态，和根据对象2越过边界10所朝着的方向，更新迁移对象的数量13。在对象2的情况下，该对象2在图4中处于第一存储状态并且已经在从第二子区域至第一子区域的方向上越过分界线10，则更新包括不改变数量13。
[0050]在图4中与当前位置Ib关联的对象I在图4中第一次被识别。轨迹可以也与该对象关联，然而所述轨迹仅仅包括当前位置Ib本身。通过O初始化，并且是对象I的存储状态的标识12附加地与对象I关联。[0051]在图4中，当前位置3b与对象3关联。轨迹32附加地与对象3关联，且包括当前位置3b和初始位置3a，其中初始位置3a与在第一记录中确定的对象3的位置3a相同。一旦对象3已经越过分界线10，则与对象3关联的标识31递增1，因此在图4中标识31具有值I。
[0052]在图4中，对象3已经从第一子区域8迁移至第二子区域9中。在图4中与对象3关联的标识31具有的值是1，因此标识31表示对象3的第一存储状态。由于对象3在第一记录和第二记录之间的该迁移，因此迁移对象的数量13递增1，其中I为第二值。在图4中，与轨迹41同样关联的对象4的情况类似于对象3的情况。由于对象4从第一子区域8迁移至第二子区域9，因此迁移对象的数量13也递增I。一旦对于对象2、对象3和对象4已经更新了迁移对象的数量13 (对象2、对象3和对象4在图4中已经被识别且已经分别越过在第一记录和第二记录之间的分界线10)，则迁移对象的数量13在图4中具有的值是
2。这相当于，在第一记录和第二记录的过程中，各自首先在第一子区域8中被识别的两个对象，尤其是对象3和对象4，已经从第一子区域8横穿至第二子区域9中。
[0053]图5示出了图像序列的第三记录。通过分割已经识别了对象1，2和3，其位置lc，2c和3c已经分别被确定。在第二记录和第三记录之间，对象2已经从在第一子区域8中的位置2b移动到在第二子区域9中的位置2c中。因此，与对象2关联的轨迹22包括对象2的当前位置2c以及在第二记录中确定的位置2b和在第一记录中确定的位置2a，该位置2a为轨迹22的起始位置。对象2因此再一次越过了分界线10。与对象2关联的标识21因此再一次递增1，并且现在具有在图5中的值2。标识21因此表示对象的第二存储状态。一方面，其特征在于，对象2的当前位置2c和对象2的轨迹22的起始位置2a与同一个子区域关联，在这里尤其是与第二子区域9关联。另一方面，对象2的第二存储状态被限定于，标识21具有是第一值的偶数倍的值。(第一值具有的值是1，在图5中标识21具有的值是2)。换句话说，对于在第二存储状态中的标识21，q mod2=0为真，其中，“q”采用第二存储状态中标识的值，“mod”依旧为模运算符。
[0054]在对象2的迁移之后，迁移对象的数量13被更新。然而在图5中的对象2的情况下，更新不包括对数量13的改变。对象2的轨迹22的当前位置2c和起始位置2a均位于第二子区域9中。在图5中的对象2因此为再进入者，并且不对迁移对象的数量13产生作用。因此在第一子区域8和第二子区域9之间，存在所述对象、尤其是对象2的多次迁移。
[0055]在第二记录和第三记录之间，对象I已经从位置Ib移动至当前位置Ic中。与对象I关联的轨迹12因此包括位置Ic和位置lb，其中位置Ib是对象I的轨迹12的起始位置。在第二记录和第三记录之间，对象I没有越过在第一子区域8和第二子区域9之间的分界线10。与对象I关联的标识11因此没有递增，而且具有的值是O。在图5中，对于对象1，数量13未被更新。
[0056]在第二记录和第三记录之间，对象3已经从位于第二子区域9中的位置3b移动到位于第一子区域8中的当前位置3c中。因此，对象3已经从第二子区域9移动到第一子区域8中。作为对象3的这种迁移的结果，与对象3关联的标识31已经递增1，且现在具有的值是2。在图5中对象3的存储状态因此为第二存储状态。作为对象3从第二子区域至第一子区域的这种迁移的结果，迁移对象的数量13因此递减I，现在具有的值是I。在此处，I再一次为第二值。[0057]在图5中，对象4已经离开了观测区域5，而未被识别。在图5中的对象4因此不促成迁移对象的数量13的更新。一旦对于在图5中识别的所有对象更新了在图5中的迁移对象的数量13，则迁移对象的数量13具有当前值I。从对象2的轨迹22和从对象3的轨迹32中显而易见，对象2和对象3各自为再进入者。在图5中，对象2和对象3因此已经各自通过在第一子区域8和第二子区域9之间的分界线10而迁移了两次。因此，在图5中的对象2和对象3各自为所述对象的多次迁移，该对象各自已经被识别。通过在此描述的用于确定数量13的规定，同一个对象在第一子区域8和第二子区域9之间的这种类型的多次迁移被考虑。
[0058]图6示出了在五个图像的序列上的对象的轨迹。在各个图像中的对象的位置50a至50e各自示出为圆圈，通过该位置确定了轨迹。重复特征依旧具有相同的附图标记。在这里描述的示例性实施方式中，除了在图像序列中由值51a至51e给出的，且表示在第一子区域8和第二子区域9之间的由对象在各个图像中已迁移的数量的存储状态，进入者变量和离开者变量附加地与对象关联。在图像序列中，进入者变量采用值52a至52e。当对象在各个图像中未被标记为进入者时，进入者变量的值52a至52e在此处具有的值是0，当对象在各个图像中被标记为进入者时，进入者变量的值52a至52e这里具有的值是I。相应地，在图像序列中，离开者变量采用值53a至53e。当对象在各个图像中未被标记为离开者时，离开者变量的值53a至53e在此处具有的值是0，当对象在各个图像中被标记为离开者时，离开者变量的值53a至53e在此处具有的值是I。迁移对象的数量在此处示出的示例性实施方式中按照之前的描述来确定，因此没有更加详细地解释。
[0059]在第一个图像序列中(其中对象首次被识别且采用在观测区域5的第一子区域8中的起始位置50a)，存储状态的值51a、进入者变量的值52a和离开者变量的值53分别初始化为O值。因此在第一图像中还没有越过分界线10的对象在第一图像中既不被标记为进入者也不被标记为离开者。因此，此处没有单独详述的进入者数量(该进入者数量等于被标记为进入者的对象数量)在第一图像中也是O。此处没有单独详述的离开者数量(该离开者数量等于被标记为离开者的对象数量)在第一图像中也是O。由于在图6的图像序列中在每个情况下只有一个对象被识别和标记为进入者和/或离开者，故在图像序列中，进入者数量等于进入者变量的对应值，离开者数量等于离开者变量的对应值。因此，进入者数量和离开者数量的更新在下文中将不再详细讨论。从图像到图像(from image to image),对象经过分界线10在第一子区域8和第二子区域9之间来回移动。在第一图像中，迁移对象(此处未示出)的数量也为O。
[0060]在第二图像中，对象的第二位置50b位于第二子区域9中。存储状态的值51b增加1，现在具有的值是I。由于在第二图像中，存储状态的值51b是偶数，故在第二图像中，对象的存储状态为第一存储状态。一旦存储状态已被更新，则进入者变量的值52b和离开者变量的值53b被更新。由于对象的起始位置位于第一子区域8中，且正如可以从存储状态的值51b中推断的，在第二图像中，对象已经越过了分界线一次，故进入者变量的值52b被设置为I。因此，对象标记为进入者。由于起始位置50a既不是位于第二子区域中且对象的存储状态也不是第二存储状态，故在第二图像中的离开者变量的值53b仍为O。因此，在第二图像中，对象没有被标记为离开者。在第二图像中，迁移对象的数量为1，且因此等于进入者数量。[0061]在第三图像中，对象的第三位置50c再一次位于第一子区域8中。对象因此在第二图像和第三图像之间再一次通过分界线10。存储状态的值51c因此增加1，且现在具有的值是2。由于值51c是偶数，故在第三图像中的对象的存储状态为第二存储状态。一旦存储状态已被更新，则进入者变量的值52c和离开者变量的值53c被更新。由于在第三图像中，对象已经越过了分界线10至少一次(具体确切地为两次)且存储状态为第二存储状态，故进入者变量的值52c和离开者变量的值53c分别为I。因此，在第三图像中，对象既标记为进入者又标记为离开者。由于对象在第三图像中为再进入者，故迁移对象的数量在第三图像中为O且因此不同于进入者数量，该进入者数量为I。
[0062]在第四图像中的第四位置50d再一次位于第二子区域9中。对象因此在第三图像和第四图像之间已经再一次越过了分界线10。存储状态的值51d增加I而到3，使得在第四图像中的存储状态为第一存储状态。进入者变量的值52d在第四图像中仍为1，离开者变量的值53d在第四图像中再一次被设置为O。在第四图像中，迁移对象的数量再一次为I且因此等于进入者数量。
[0063]在第五图像中的第五位置50e位于第一子区域8中。在第四图像和第五图像之间，对象因此已经再一次越过了分界线10。存储状态的值51e增加I而到4，因此，在第五图像中的存储状态为第二存储状态。由于对象在第五图像中已经越过了分界线至少一次(具体确切地为四次)且存储状态为第二存储状态，故进入者变量的值52e在第五图像中仍为1，离开者变量的值53e在第五图像中再一次被设置为I。在第五图像中，对象再一次为再进入者。迁移对象的数量因此再一次为O且不同于进入者数量，该进入者数量仍为I。
【权利要求】
1.一种用于确定从观测区域(5)的第一子区域(8)移动到所述观测区域(5)的第二子区域(9)中的迁移对象(I ；2 ；3 ；4)的数量(13)的方法，其中 -记录所述观测区域(5)的一序列图像，其中，识别所述图像中的所述对象(I ；2；3；4),且确定所述对象(I ；2 ；3 ；4)的位置(lb, Ic ；2a, 2b, 2c ；3a, 3b, 3c ；4a, 4b), -根据所述对象(I ；2 ；3 ；4)的位置(lb，lc ;2a，2b，2c ;3a，3b，3c ;4a，4b)，将所述对象(1;2；3 ；4)分别与所述第一子区域(8)关联或者与所述第二子区域(9)关联，和 -当确定迁移对象的数量(13)时，考虑同一个对象(I ；2 ；3 ；4)在所述第一子区域(8)和所述第二子区域(9)之间的多次迁移。
2.根据权利要求1所述的方法，其特征在于，在各个情况下识别图像中的所述对象(I；2;3;4)包括分割所述图像。
3.根据前述权利要求中任一项所述的方法，其特征在于，将轨迹(12；22 ；32 ；42)与每个对象关联，且根据所述一序列图像中的所述对象(I ;2 ；3 ；4)的位置(lb，lc ;2a，2b，2c ；3a，3b，3c ;4a，4b)确定所述轨迹(12 ；22 ；32 ;42)，其中，所述轨迹(12 ；22 ；32 ;42)具有位于所述第一子区域(8)中或者位于所述第二子区域(9)中的起始位置(lb ；2a ；3a ;4a)。
4.根据权利要求3所述的方法，其特征在于，基于所述对象的轨迹(12；22 ；32 ;42)，将存储状态(11 ；21 ；31 ;41)与每个对象(I ；2 ；3 ;4)关联，并且所述轨迹(12 ；22 ；32 ;42)的给定的起始位置(lb ；2a ;3a;4a)取决于相应的对象(I ；2 ；3 ;4)是与所述第一子区域(8)还是与所述第二子区域(9)关联。
5.根据权利要求4所述的方法，其特征在于，确定所述数量(13)包括，一旦所述对象(I ；2 ；3 ;4)在所述第一子区域(8)和所述第二子区域(9)之间迁移，则更新所述数量(13)，其中，根据相应的对象(I ;2 ；3 ；4)的所述存储状态(11 ；21 ；31 ;41)和根据相应的对象(I ； 2；3 ；4)的迁移方向，执行所述更新。
6.根据权利要求4或5所述的方法，其特征在于，当相应的对象(I;2 ;3 ;4)的所述轨迹(12 ；22 ；32 ；42)的所述起始位置(lb ；2a ；3a ;4a)和相应的对象(I ；2 ；3 ；4)的当前位置分别位于不同的子区域(8 ;9)时，所述存储状态(11 ；21 ；31 ;41)为第一存储状态，并且，当相应的对象(I ；2 ；3 ；4)的所述起始位置(lb ;2a ;3a ;4a)和相应的对象(I ；2 ；3 ；4)的当前位置位于同一个子区域(8 ；9)时，所述存储状态(11 ；21 ；31 ；41)为第二存储状态。
7.根据权利要求4至6中任一项所述的方法，其特征在于，所述存储状态(11；21 ；31 ；41)为一数值，当相应的对象(I ;2;3;4)在所述第一子区域(8)和所述第二子区域(9)之间迁移时，所述数值增加第一值，其中，如果所述数值为所述第一值的奇数倍，则处于所述第一存储状态，如果所述数值为所述第一值的偶数倍，则处于所述第二存储状态。
8.根据权利要求5和权利要求6或7中的一项所述的方法，其特征在于，所述更新过程包括，当相应的对象(I ；2 ；3 ;4)从所述第一子区域(8)迁移至所述第二子区域(9)且相应的对象(I ；2 ；3 ；4)的存储状态(11 ；21 ；31 ;41)为所述第一存储状态时，迁移对象(I ；2 ；3；4)的数量(13)增加第二值，并且当相应的对象(I ；2 ；3 ；4)从所述第二子区域(9)迁移至所述第一子区域(8)且相应的对象(I ；2 ；3 ；4)的存储状态(11 ；21 ；31 ；41)为所述第二存储状态时，迁移对象(I ;2 ；3 ；4)的数量(13)减少所述第二值。
9.根据权利要求6至8中任一项所述的方法，其特征在于，从所述第一子区域(8)进入所述第二子区域(9)至少一次或从所述第二子区域(9)进入所述第一子区域(8)至少一次的对象被标记为进入者和/或离开者，其中， -如果所述对象的起始位置(50a)位于所述第一子区域(8)中，则所述对象被标记为进入者， -如果所述对象的起始位置(50a)位于所述第二子区域(9)中，则所述对象被标记为离开者，和 -如果所述对象的存储状态为所述第二存储状态时，则所述对象被标记为进入者和离开者。
10.一种用于确定从观测区域(5)的第一子区域(8)移动到所述观测区域(5)的第二子区域(9)中的迁移对象(I ；2 ；3 ;4)的数量(13)的系统，所述系统包括至少一个传感器装置(14)和被连接到所述传感器装置(14)的计算单元，其中，所述传感器装置(14)被设计成记录所述观测区域(5)的一序列图像，并且其中，所述计算单元被程序化从而 -识别所述图像中的对象(I ；2 ；3 ;4)，且确定所述对象(I ；2 ；3 ；4)的位置(lb，lc ；2a,2b,2c ;3a，3b，3c ;4a，4b), -根据所述对象(I ；2 ；3 ；4)的位置(lb，lc ;2a，2b，2c ;3a，3b，3c ;4a，4b)，将所述对象(1;2；3 ；4)与所述第一子区域(8)关联或者与所述第二子区域(9)关联，和 -当确定迁移对象的数量(13)时，考虑同一个对象(I ；2 ；3 ；4)在所述第一子区域(8)和所述第二子区域(9)之间的多次迁移。
11.根据权利要求10所述的系统，其特征在于，所述传感器装置(14)包括光学传感器，该光学传感器优选形成为照片摄像机、CCD电荷耦合摄像机、立体摄像机、视频摄像机、高速扫描摄像机或飞行时间摄像机。
【文档编号】G06T7/20GK103460247SQ201280009702
【公开日】2013年12月18日 申请日期:2012年2月17日 优先权日:2011年2月18日
【发明者】马克·斯特凡诺维奇 申请人:赫拉胡克公司
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1