专利名称：用于计数图像中的人的方法和装置的制作方法
技术领域：
本公开一般地涉及观众测量，并且更具体地，涉及用于计数图像中的人的方法和
>J-U装直。
背景技术：
对媒体内容(例如，广播电视和/或无线电设备、从诸如数字录像机或数字视频盘这样的存储器播放的存储音频和/或视频内容、经由因特网播放的音频和/或视频内容、视频游戏等)的观众测量通常涉及收集内容标识数据(例如，签名、指纹、嵌入代码、频道信息、消费时间信息等)和人数据(例如，标识符、与观众成员相关联的人口统计数据等)。可以将该内容标识数据和人数据组合，以例如生成表示面对特定媒体内容的人的数量和/或类型的媒体公开数据。在一些观众测量系统中，收集的人数据包括面对媒体内容的人的数量。为计算面对媒体内容的人的数量，一些测量系统拍摄媒体公开环境(例如，电视室、家庭活动室、客厅等)的一系列图像，并分析这些图像，以确定有多少人在特定日期和时间出现在这些图像中。媒体公开环境中的所计算人的数量可以与在特定日期和时间呈现的媒体内容相关联，以提供针对该媒体内容的公开数据(例如，收视率数据(ratings data))。
图1是包括在此公开的示例性观众测量装置的示例性公开环境的例示图。图2是图1的示例性观众测量装置的示例性实现的框图。图3是图2的示例性人计数器的示例性实现的框图。图4A是通过图1和/或图2的示例性观众测量装置捕获的图像数据的第一帧的一部分。图4B是通过图1和/或图2的示例性观众测量装置拍摄的图像数据的第二帧的一部分。图4C是通过图1和/或图2的示例性观众测量装置拍摄的图像数据的第三帧的一部分。图5A-5C是例示可以被执行以实现图1、图2和/或图3的示例性人计数器的示例性机器可读指令的流程图。图6是例示可以被执行以实现图1、图2和/或图3的示例性人计数器的示例性机器可读指令的流程图。图7是能够执行图5A-5C和/或图6的示例性机器可读指令以实现图1、图2和/或图3的示例性人计数器的示例性处理系统的框图。
具体实施例方式为计数媒体公开环境(如房子中电视机所处的房间)中的人，一些观众测量系统尝试将该房间的一系列的拍摄的图像中的人识别为目标。针对图像数据的每一帧保持计数(tally),以反映在与各个帧相对应的时间该房间中人的数量。即，每当将一帧的一人识别为一目标就增加与该帧相关联的计数。一些如此的系统通过识别人脸部来识别人。然而，人的脸部通常例如因局部可见度、因进食或饮水而造成的脸部模糊、或者头部相对于拍摄这些帧的相机转动而变得不可识别。结果，针对包括一个或更多个未识别脸部的帧的计数不太可能准确地反映该帧中人的数量，并由此，不太可能准确地反映该媒体公开环境。在该帧中并由此在媒体公开环境中的人的不准确计数负面地影响利用该计数生成的媒体公开数据的准确性。例如，计数房间中的人的观众测量系统还可以收集内容标识信息，以标识该房间中呈现(例如，可听地和/或可视地)的媒体内容。利用媒体内容的标识和在指定日期和时间该房间中人的数量，该观众测量系统获知有多少人面对该特定媒体内容。如果脸部未被识别为脸部，则针对特定媒体内容的公开数据可以削减(例如，与实际上面对该媒体内容相比，该媒体内容具有更少收看者/收听者)。为增加人计数的准确性，并由此增加基于人计数生成的媒体公开数据的准确性，在此公开的示例性方法和装置例如在人倾斜或转动他或她的头部时，或者在人的脸部变得不可识别(例如，因某物阻挡该脸部被相机拍摄)时，利用人的身体部位(如肩部)的相对稳定性。通常来说，身体部位的位置或取向在人倾斜或转动他或她的头部时大致不改变。例如，人的肩部区的位置在对应头部转动或倾斜时大致不改变。为利用在头部倾斜或转动期间肩部的稳定性的优点，在此公开的示例性方法、制造品以及装置在识别脸部时拍摄人的肩部区的图像。即，当将目标识别为脸部时，在此公开的示例性方法、制造品以及装置拍摄和存储对应人的一个或更多个身体部位的图片和位置(例如，该帧内的X-Y坐标)。在此公开的示例性方法、制造品以及装置接着确定身体部位是否仍存在于在之后的时间拍摄的一个或更多个随后的帧中的所记录位置处。另外或另选的是，在此公开的示例性方法、制造品以及装置可以确定身体部位是否仍存在于先前拍摄的一个或更多个更早的帧中的所记录位置处。如果身体部位在先前的或随后帧中出现在所记录位置处，则即使对应脸部在先前或随后帧中未被识别出，在此公开的示例性方法、制造品以及装置也计数人如存在于帧中一样(例如，通过递增针对先前或随后帧的计数)。由此，即使实际上存在于先前或随后帧中的脸部例如因对应头部的倾斜或转动而未被识别，在此公开的示例性方法、制造品以及装置也准确地包括其身体部位在先前或随后帧的人的计数中被识别的人。下面对在此公开的示例性方法、制造品以及装置的另外的和/或可选的方面和/或优点进行描述。图1是包括媒体呈现装置102和用于测量媒体呈现装置102的观众106的示例性观众测量装置104的示例性媒体公开环境100的例示图。在图1所示的示例中，媒体公开环境100是已经被统计地选择成开发用于关注人口 /人口统计的电视收视率数据的家庭的房间。示例性观众测量装置104可以按另外和/或可选类型的环境(举例来说，如非统计地选择的家庭的房间、剧场、餐馆、酒馆、零售地点、舞台等)来实现。在图1所示的示例中，媒体呈现装置是耦接至机顶盒(STB) 108的电视机102，该机顶盒108实现数字录像机(DVR)和数字万用盘(DVD)播放机。示例性观众测量装置104可以结合另外和/或可选类型的媒体呈现装置(举例来说，如无线电设备、计算机监视器，和/或能够向一个或更多个人呈现内容的任何其它通信装置)来实现。图1的示例性观众测量装置104利用相机110来拍摄环境100的图像数据的多个时间标记帧。图1的相机Iio拍摄由虚线限定的视场内的图像。在图1所示的示例中，由相机110拍摄的图像包括三个人的观众106中的每一个成员。因此，针对与图1所示环境100的状态相对应的帧的准确人数将包括三(3)个人。如下详细描述的，图1的示例性观众测量装置104还监视环境100，以识别由观众106面对的电视机102和/或其它媒体呈现装置呈现(例如，显示、播放等)的媒体内容。观众106面对的媒体内容的识别与人数相关联，以生成针对媒体内容的公开数据。因此，公开数据的准确性取决于观众测量装置104准确地将观众106中的人的数量识别为三(3)的能力。图2是图1的示例性观众测量装置104的示例性实现的框图。图2的示例性观众测量装置104包括观众检测器200和内容识别器202。示例性观众检测器200包括:图像传感器204、人计数器206、时间标记器208以及存储器210。图2的示例性图像传感器204拍摄环境100的图像数据的帧，该环境100包括面对由图1的媒体呈现装置102输出的呈现的观众106。在一些示例中，图像传感器204仅在媒体呈现装置102处于“接通”状态时和/或在内容识别器202确定媒体内容被呈现在图1的环境100中时拍摄图像数据的帧。图像传感器204可以被实现为任何合适的装置，举例来说，如红外成像仪或如诸如电荷耦合器件(CXD)相机这样的数码相机。由图2的图像传感器204获取的帧被传送至人计数器206。在图2所示的示例中，人计数器206确定有多少人出现在每一个接收的帧中，并将人数量中的每一个记录为针对每一个帧的计数。下面，结合图3-5，对示例性人计数器206执行其操作的方式进行详细描述。图2的示例性人计数器206将所计数的人数与对应帧一起输出到时间标记器208。所例示的示例的时间标记器208包括时钟和日历。示例性时间标记器208例如通过将时间/日期数据附加至人数数据和/或图像数据的末端来将时间和日期与每一个计数的人数以及对应帧相关联。数据包(例如，人数、日期和时间，以及帧)被存储在存储器210中。存储器210可以包括:易失性存储器(例如，同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)等)和/或非易失性存储器(例如，闪速存储器)。存储器210还可以包括一个或更多个大容量存储器，举例来说，如硬盘驱动器、光盘驱动器、数字万用盘驱动器等。图2的示例性内容识别器202包括节目检测器212和输出装置214。图2的示例性节目检测器212检测媒体公开环境100中呈现的媒体内容，并且收集与所检测到的呈现相关联的标识信息。例如，节目检测器212 (其可以与图1的呈现装置102和/或STB 108有线和/或无线通信)可以识别呈现时间和呈现源。呈现时间和源标识数据可以被用来例如通过交叉引用例如被设置为查寻表的节目指南来识别节目。源标识数据例如可以是例如通过监视STB 108的调谐器或要呈现在电视机102上的频道的数字选择(例如，遥控信号)而获取的频道的标识。另外或另选的是，随经由STB 108和/或电视机102呈现的媒体内容嵌入或者随该媒体内容以其它方式广播的代码可以被节目检测器212用来识别该呈现。如在此使用的，代码是出于识别对应媒体内容的目的而随该媒体内容发送的标识符。代码可以在音频中、在视频中、在元数据中、在垂直消隐间隔中或者在媒体内容的任何其它部分中携带。另外或另选的是，节目检测器212可以收集表示媒体内容的一部分的签名。如在此使用的，签名是媒体内容的某一特征(例如，音频信号的频谱)的表述。可以比较所收集的签名与已知媒体内容的签名集，以识别对应媒体内容。所述签名可以通过节目检测器212收集，并且/或者节目检测器212可以收集媒体内容的样本，并将它们输出至用于生成签名的远程站点。与识别呈现的媒体内容的方式无关地，标识信息是由时间标记器208标记的时间，并且存储在存储器210中。在图2所示的示例中，输出装置214经由网络(例如，局域网、广域网、城域网、因特网、数字用户线路(DSL)网络、有线网络、电力线网络、无线通信网络、无线移动电话网络、W1-Fi网络等)周期性地和/或非周期性地将所记录数据从存储器210输出至数据收集设施。该数据收集设施利用由人计数器206生成的人数据和由节目检测器212收集的内容标识数据来生成公开信息。可选的是，数据分析可以本地执行并经由网络等输出至数据收集设施，以供进一步处理。例如，在通过电视机102呈现运动事件(如由节目检测器212所识另O)的时间(如通过时间标记器208用附加于人数的时间标记所指示的)，公开环境100中的人的数量(如由人计数器206所计数的)可以被用于针对该运动事件的收视率计算中。在一些示例中，将附加信息(例如，人口统计数据、地理数据等)与数据收集设施处的公开信息相关联，以扩展由图1和/或图2的示例性观众测量装置104所收集的原始数据的可用性。所例示的示例的数据收集设施汇编来自许多公开环境的数据。虽然在图2中已经例示了实现图1的观众测量装置104的示例性方式，但图2中例示的部件、处理以及/或装置中的一个或更多个可以按任何其它方式组合、划分、重新排列、省略、消除以及/或实现。而且，示例性观众检测器200、示例性内容识别器202、示例性图像传感器204、示例性人计数器206、示例性时间标记器208，以及/或者更一般地，图2的示例性观众测量装置104可以通过硬件、软件、固件、以及/或硬件、软件和/或固件的任何组合来实现。由此，例如，示例性观众检测器200、示例性内容识别器202、示例性图像传感器204、示例性人计数器206、示例性时间标记器208中的任一个，以及/或者更一般地，图2的示例性观众测量装置104可以通过一个或更多个电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)以及/或现场可编程逻辑器件(FPLD)等来实现。当所附的系统或装置权利要求中的任一项被理解成覆盖纯软件和/或固件实现时，示例性观众检测器200、示例性内容识别器202、示例性图像传感器204、示例性人计数器206、示例性时间标记器208中的至少一个，以及/或者更一般地，图2的示例性观众测量装置104由此被明确地限定成包括存储该软件和/或固件的有形计算机可读介质，如存储器、DVD、CD等。更进一步地，图2的示例性观众测量装置104除了图2所例示的那些以外或者代替地，还可以包括一个或更多个其它部件、处理和/或装置，并且/或者可以包括所例示部件、处理以及装置中的任何数个或全部。图3是图2的示例性人计数器206的示例性实现的框图。图3的示例性人计数器206包括接收由图2的图像传感器204所收集的图像数据的帧的脸部检测器300。参照图1，图3的示例性脸部检测器300在第一时间接收包括图1的公开环境100中的目标的图像数据的帧。该第一时间反映在由图2的时间标记器208附加于该帧的图像数据的时间标记中。图3的示例性脸部检测器300分析该帧中的目标，以确定这些目标中的一个或更多个是否为脸部。在图3的所示的示例中，脸部检测器300不关心属于所检测到的脸部的人的识别。然而，在一些示例中，脸部检测器300可以例如通过比较与所检测到的脸部相对应的图像数据与已知属于可识别的人(例如，与图1的房间100相关联的频繁访问者和/或家庭成员)的图像的集来尝试对人进行识别。当在当前帧中检测到第一脸部时，图3的示例性脸部检测器300生成环绕该脸部的脸部框或框架(例如，方形、椭圆形、圆形等)，以划定当前帧中该脸部所位于的位置。图4A示出了由图3的示例性脸部检测器300所生成的脸部框400的示例。图4A的示例性脸部框400可以以位于所检测到的脸部中央的点为中心。图3的示例性脸部检测器300还记录了所检测到的脸部的位置402。在图4所示的示例中，记录的位置402利用在包围该脸部的脸部框400的中心处的坐标X-Y来限定。该X-Y坐标对应于覆盖在第一帧上的二维网格。参照图1，当如图4A所示，观众成员106的脸部朝着相机取向时，图3的示例性脸部检测器300检测到属于观众106中的三个成员的三个脸部，并且(例如，在与脸部检测器300相关联的高速缓冲存储器中)记录每一个检测到的脸部的相应位置(例如，X-Y坐标)。在一些情况下，脸部检测器300另外或者可选地能够检测倾斜头部或转动头部或者头部或脸部的轮廓图。对于每一个所检测到的脸部来说，脸部检测器300将指示已经检测到人的声明和对应位置传递到脸部检测声明数据库302。在图3所示的示例中，该脸部检测声明通过诸如高速缓冲存储器这样的存储装置来实现。即，示例性脸部检测器300声明在当前帧中检测到多少脸部并由此检测到多少人，并且将每一个声明的位置(例如，图4A的X-Y坐标402)传递至脸部检测声明数据库302。由此，图3的示例性脸部声明数据库302包括针对当前帧的大量脸部检测和脸部在当前帧中的对应位置。图3的示例性脸部检测器300还将每一个所检测到的脸部的位置传送到身体图像捕获器304。图3的示例性身体图像捕获器304使用每一个所检测到的脸部的位置来计算与每一个脸部相对应的一个或更多个身体部位，如肩部、躯干部、腿部等。即，身体图像捕获器304估计当前帧的、包括属于每一个所检测到的脸部的指定身体部位的一部分。在图3所示的示例中，身体图像捕获器304生成与由脸部检测器300生成的环绕所检测脸部的脸部框相邻和/或交叠的肩部框或框架(例如，矩形、椭圆形等)。参照图4A，图3的示例性身体图像捕获器304生成与由脸部检测器300生成的脸部框400局部交叠的肩部框404。在一些示例中，肩部框404和脸部框400相邻但不交叠。图3的示例性身体图像捕获器304使用脸部框400的位置402来估计肩部的位置。具体地，示例性身体图像捕获器304使肩部框404以沿着与所检测脸部的位置402相同的Y轴(例如，与位置402互相对准)并且相对于脸部框400在负Y轴方向上的点为中心。示例性身体图像捕获器304然后在正X轴方向上以及在负X轴方向上扩展肩部框404。肩部框404根据所检测脸部的尺寸或比例定标或尺寸化。在生成肩部框之后，图3的示例性身体图像捕获器304记录肩部框的位置。参照图4A所示的示例，位置406是肩部框404的中央。示例性身体图像捕获器304捕获图像帧中在肩部框404内的图像数据(例如，像素)。换句话说，图3的示例性身体图像捕获器304拍摄经由示例性脸部检测器300检测到的人的肩部的图片，并且/或者从检测到该脸部的图像中提取与该肩部相对应的图像数据。在一些示例中，肩部的图像在二次采样网格间隔上拍摄，以节省存储空间并增加处理速度。例如，该图像可以按采用三十乘十的网格隔开的三百个点来采样，或者根据任何适当的空间采样方案遍布该区域均匀地散布。由身体图像捕获器304生成的数据(包括肩部的图像数据(例如，像素)和图片的位置406)被存储在数据库306中。身体部位图像的示例性数据库306可以通过任何合适类型的数据结构、存储器和/或数据存储装置来实现。如下所述，根据这里公开的示例，另外的或可选的身体部位可以由身体图像捕获器304例如基于对要使用哪些身体部位来计数人进行控制的可调节设置来拍摄。如上所述，头部的倾斜或转动不可能实质上改变身体部位(如肩部)的取向和/或位置。图3的示例性人计数器206采用这种可能性的优点，以避免在通过将目标识别为脸部来对人计数时错过倾斜或转动的头部。具体来说，图3的示例性人计数器206包括用于补充脸部检测器300的身体图像数据比较器308，作为用于对公开环境100中的人计数的工具。图3的示例性身体图像数据比较器308比较当前帧的图像数据与一个或更多个先前或随后帧的身体部位图片。如果身体图像数据比较器308确定在先前或随后帧中拍摄的身体部位也存在于当前帧中，则即使未检测到对应脸部(例如，因为该脸部不可被相机110识别和/或相对于相机110模糊)，也确定一人存在于当前帧中(并且由此计数)。在一些示例中，身体图像数据比较器308因在帧中检测到的脸部在随后或先前帧中未被检测到而触发。在一些示例中，身体图像数据比较器308与是否在随后或先前帧中发现帧的脸部无关地操作。为获取先前帧的身体部位图片，图3的示例性人计数器206包括身体图像检索器310。示例性身体图像检索器310检索要通过身体图像数据比较器308与当前帧比较的大量先前帧。例如，为使身体图像数据比较器308比较当前帧与先前十(10)个帧的身体部位图像(其可以在图1的公开环境100中转变至当前帧之前的十秒钟)，图3的示例性身体图像检索器310针对先前十(10)个帧，从身体部位图像数据库306检索身体部位图像和对应位置，并将其传送至身体图像数据比较器308 (例如，作为一组或顺序地)。示例性身体图像检索器310可以被调节成将更多或更少数量的先前帧与当前帧进行比较。图3的示例性身体图像数据比较器308分析从身体图像检索器310接收到的每一个位置的当前帧的图像数据。具体来说，图3的示例性身体图像数据比较器308比较和肩部框404相对应的当前帧的图像数据与那些位置处的先前或随后帧的肩部图像。参照图4A和4B，当要比较和图4B相对应的当前帧与和图4A相对应的先前帧时，示例性身体图像检索器310从身体图像数据库306检索图4A的位置406处的肩部图像404，并将其传送至身体图像数据比较器308。图3的示例性身体图像数据比较器308使用来自图4A的所接收到的位置406作为用于比较所接收到的肩部图像数据的框408的中心。结合图4A，由示例性身体图像数据比较器308使用的框408与由示例性身体图像捕获器304形成的肩部框404相似地成形和尺寸化。因此，如果来自先前帧(例如，图4A)的框404的所接收到的肩部图像数据和由身体图像数据比较器308使用的框408中的图像数据大致相同(例如，处于相似度阈值内)，则即使未检测到脸部，示例性人计数器206也确定一人出现在当前帧中的位置406处。为确定图像数据是否大致相同，图3的示例性比较器308利用例如由框404和408中相似位置中的相似像素的数量所限定的相似度阈值。另外或可选的是，图3的示例性比较器308在比较框404与408的像素时，可以利用任何其它合适的比较技术，例如，归一化关联方法、马哈朗诺比斯距离(Mahalanobis distance)等。如图4B所示,该脸部因头部转动至一侧而未被脸部检测器300检测。然而，肩部框404和408的图像数据相似。因此，认为属于肩部的人在当前帧中出现在和先前帧中的同一人相似的位置。因此，即使未检测到脸部，示例性人计数器206也将与该肩部相关联的人计数在内，并由此，当一人倾斜或转动他或她的头部(如图4A和4B之间所示)但仍保持在公开环境100中时，不会少计人数。除了上述肩部以外或代替上述肩部地，图3的示例性身体图像捕获器304可以拍摄与所检测到的脸部或头部相对的其它身体部位。图4C例示了可以被身体图像捕获器304拍摄并且通过身体图像数据比较器308分析的可选的身体部位。与上面结合图4A和4B描述的肩部相似，髋部410可以基于所检测到的头部的位置412而被身体图像捕获器304拍摄到。在所例示的示例中，身体图像捕获器304被设置成:当所检测到的脸部对应于由被构造为检测头部的轮廓的检测器所检测到的倾斜头部时，使用髋部410(或可替代上述肩部的任何其它合适身体部位)。在图4C的示例中，髋部410的位置413和髋部410的取向利用与从倾斜头部起延伸的中心线相对的角度414和自头部的位置412的距离416来计算。可以按与上述肩部相似的方式，通过身体图像数据比较器308比较图4C的所拍摄的髋部410与身体图像数据库306的其它髋部。图2和/或3的示例性人计数器206可以利用任何其它合适身体部位。图3的示例性身体图像数据比较器308针对每一个身体部位框和从身体图像检索器310接收到的位置来执行上述比较。对于当前帧与先前或随后帧之间的每一个匹配身体部位来说，示例性身体图像数据比较器308向身体部位检测声明数据库312转发对应位置(例如，图4A和4B的位置406)和人出现在当前帧中的该位置处的声明。即，示例性身体图像数据比较器308声明在当前帧中检测到与先前所检测到的身体部位相似的多少身体部位，并且将每一个声明的位置(例如，X-Y坐标406)传递至身体部位检测声明数据库312。由此，图3的示例性声明数据库312包括针对当前帧的大量身体部位检测和身体部位在当前帧中的对应位置。在所例示的示例中，身体部位检测声明数据库312通过诸如高速缓冲存储器这样的存储装置来实现。在一些示例中，数据库312可以用来生成针对指定帧在公开环境100中的人数。在这种情况下，人计数器206输出针对当前帧的身体部位检测的数量，作为针对该帧的人数。然而，在图3所示的示例中，人计数器206包括冗余检验器314，以避免多次计数在帧中出现的单个人。代替将身体部位声明用作针对特定帧的人数，图3的示例性冗余检验器314确定人是否在脸部检测声明数据库302和身体部位检测声明数据库312中都被计数。图3的示例性冗余检验器314针对相同时间帧比较每一个身体部位声明的位置与脸部声明的位置。当第一身体部位声明的位置(例如，图4B的位置406)和任何脸部声明的位置(例如，图4A的位置402)指示第一身体部位声明对应于已经检测到的脸部时，示例性冗余检验器314从针对当前帧的人数中省略该第一身体部位声明。这种指示可以是第一身体部位声明的位置位于和第一脸部声明的位置大致相似(例如，在加或减五个单位的阈值内)的X轴上，并且偏离第一脸部声明的位置的一定Y单位量。在这种情况下，由冗余检验器314使用的Y单位量对应于由身体图像捕获器304使用的、偏离脸部框中心以例如生成图4A的肩部框404的Y单位数。在把根据上述冗余检验的省略考虑在内之后，冗余检验器314求和针对当前帧的脸部声明和身体部位声明，并且输出总数作为人数。如上所述，将该人数传送至图2的时间标记器208，并且随后，传送至图2的存储器210。由此，图3的示例性人计数器206向图1和/或图2的示例性观众测量装置104提供在指定时间该公开环境100中的更准确的人数量。人数可以按任何希望频率生成(例如，每秒钟一次、每五秒钟一次等)。虽然在图3中已经例示了实现图2的人计数器206的示例性方式，但图3中例示的部件、处理和/或装置中的一个或更多个可以按任何其它方式组合、划分、重新排列、省略、消除以及/或实现。而且，示例性脸部检测器300、示例性脸部检测声明数据库302、示例性身体图像捕获器304、示例性身体图像数据库306、示例性身体图像比较器308、示例性身体图像检索器310、示例性身体部位检测声明数据库312、示例性冗余检验器314，并且/或者，更一般地，图3的示例性人计数器206可以通过硬件、软件、固件、以及/或硬件、软件和/或固件的任何组合来实现。由此，例如，示例性脸部检测器300、示例性脸部检测声明数据库302、示例性身体图像捕获器304、示例性身体图像数据库306、示例性身体图像比较器308、示例性身体图像检索器310、示例性身体部位检测声明数据库312、示例性冗余检验器314中的任一个，并且/或者更一般地，图3的示例性人计数器206可以通过一个或更多个电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)和/或现场可编程逻辑器件(FPLD)等来实现。当所附装置或系统权利要求中的任一项被理解成覆盖纯软件和/或固件实现时，示例性脸部检测器300、示例性脸部检测声明数据库302、示例性身体图像捕获器304、示例性身体图像数据库306、示例性身体图像比较器308、示例性身体图像检索器310、示例性身体部位检测声明数据库312、示例性冗余检验器314中的至少一个，并且/或者更一般地，图3的示例性人计数器206由此被明确地限定为包括存储该软件和/或固件的有形计算机可读介质，如存储器、DVD、CD等。更进一步地，图3的示例性人计数器206除了图3所例示的那些以外或者代替地，还可以包括一个或更多个其它部件、处理和/或装置，并且/或者可以包括所例示部件、处理和装置中的任何数个或全部。图5A-5C和图6是表示用于实现图2和/或图3的示例性人计数器206的示例性机器可读指令的流程图。在这个示例中，该机器可读指令包括用于通过处理器(如在下面结合图7讨论的示例性处理系统700中示出的处理器712)执行的程序。该程序可以按存储在有形计算机可读介质(如⑶-ROM、软盘、硬盘驱动器、数字万用盘(DVD)或与处理器712相关联的存储器)上的软件来具体实施，但全部程序和/或其部分可以可选地通过除了处理器712以外的其它装置来执行，并且/或者按固件或专用硬件来具体实施。而且，尽管参照图5A-5C和图6中例示的流程图对示例性程序进行描述，但可以可选地使用实现示例性人计数器206的许多其它方法。例如，框的执行次序可以改变，并且/或者描述的框中的一些可以改变、消除或者组合。如上所述，图5A-5C和/或图6的示例性处理可以利用存储在有形计算机可读介质(如硬盘驱动器、闪速存储器、只读存储器(ROM)、光盘(⑶)、数字万用盘(DVD)、高速缓冲存储器、随机存取存储器(RAM)和/或其中存储信息持续任何时间(例如，扩展时段、永久性地，简单举例，用于临时缓冲和/或用于信息的高速缓冲)的任何其它存储介质)上的编码指令(例如，计算机可读指令)来实现。如在此使用的，术语“有形计算机可读介质”被明确地限定成包括任何类型的计算机可读存储器，并且排除传播信号。另外或可选的是，图5A-5C和/或图6的示例性处理可以利用存储在非暂时计算机可读介质(如硬盘驱动器、闪速存储器、只读存储器、光盘、数字万用盘、高速缓冲存储器、随机存取存储器和/或其中存储信息持续任何时间(例如，扩展时段、永久性地，简单举例，用于临时缓冲和/或用于信息的高速缓冲)的任何其它存储介质)上的编码指令(例如，计算机可读指令)来实现。如在此使用的，术语“非暂时计算机可读介质”被明确地限定成包括任何类型的计算机可读介质，并且排除传播信号。图5A以图3的示例性人计数器206接收图像数据帧而开始(框500)。在所例示的示例中，接收到的帧被监视公开环境100的观众测量装置104的相机110拍摄。示例性人计数器206在接收到的帧中搜索脸部，以尝试计数观众106的成员(框502)。图5B示出了框502的示例性实现。作为在该帧中的人的初始计数，图3的示例性脸部检测器300分析接收到的帧的目标，以确定目标中的任一个是否为人脸部(框504)。对于任何检测到的脸部来说，示例性脸部检测器300声明在由脸部检测器300记录的一位置(例如，X-Y坐标)处存在一人(框506)。由此，脸部检测器300对存在人的每一个声明导致图3的脸部检测声明数据库302中的一个记录。这种记录还包括如通过脸部检测器300确定的、检测到的脸部的位置。示例性脸部检测器300还将接收到的帧中的每一个检测到的脸部的位置传送至示例性身体图像捕获器304 (框507)。控制接着返回至图5A (框508)。示例性身体图像捕获器304使用检测到的脸部的位置来针对每一个检测到的脸部捕获身体部位中的图像数据(框510)。为清楚起见，要在图5A-5C和图6例示的示例中拍摄的身体部位是肩部。然而，图5A-5C和/或图6的示例可以利用任何合适的身体部位。为拍摄针对第一检测脸部的第一肩部图像，所例示的示例的身体图像捕获器304识别很可能包括属于第一检测脸部的肩部的与该第一检测脸部的位置相邻的框或区域(例如，方形)。该区域的中心通过远离对应检测脸部的接收到的位置的X-Y坐标(例如，对被检测作为脸部的目标进行限定的框的中心)沿着Y轴在负方向上横贯来设置。该区域接着远离所计算的区域中心沿着X轴在正方向和负方向上扩展。由身体图像捕获器304识别的示例性区域在图4A中被示出为框404。肩部区域的图像数据(例如，像素信息)被身体图像捕获器304捕获，并连同对应位置数据(例如，中心)一起存储在身体图像数据库306中(框512)。图3的示例性人计数器206接着利用存储在数据库306中的身体图像数据来在接收到的帧中搜索人(框514)。图5C示出了框514的示例性实现。示例性身体图像检索器310针对由相机110拍摄的媒体公开环境100的一个或更多个先前帧来检索肩部图像数据(框516)。例如，所例示的示例的身体图像检索器310针对由相机110拍摄的最后十(10)个帧(例如，最后十(10)秒钟)来检索肩部图像数据。在所例示的示例中，针对每一个检索到的肩部图像的位置伴随由身体图像检索器310检索到的图像数据。身体图像检索器310将包括先前帧的肩部图像的位置的检索到的数据(例如，作为一批或者一个接一个地)传送至身体图像数据比较器308。在图5C的示例中，身体图像数据比较器308比较在接收到的肩部图像的位置处的当前帧的图像数据与来自先前帧的接收到的肩部图像(框518)。如果当前帧的在接收到的位置处的图像数据与先前帧(例如，十个帧中的任何帧)的至少阈值数量的肩部图像数据在阈值内匹配(框520)，则示例性身体图像数据比较器308声明在当前帧中的相应位置处存在人(框522)。在所例示的示例中，身体图像数据比较器308的声明被存储在身体部位检测声明数据库312中。控制接着返回至图5A (框524)。图3的示例性冗余检验器314针对对应时间帧比较每一个肩部声明的位置与脸部声明的位置(框526)。当一个肩部声明的位置和一个脸部声明的位置指示该肩部声明对应于已经检测到的脸部时，示例性冗余检验器314从针对当前帧的人数中省略该肩部声明。在识别脸部声明和肩部声明之间的冗余之后，示例性冗余检验器314对非冗余脸部和与出现在当前帧中的人相对应的肩部声明进行求和，并且输出表示图1的公开环境100的观众中的人的总和的计数(框528)。由图5A的流程图表示的示例性指令然后结束或返回至框502以处理另一帧(框530)。
图6是例示除了图5A-5C中所示的示例性实现以外的、人计数器206的另一示例性实现的流程图。在图6所示的示例中，将肩部检测声明用作人数，而不需要上述的在脸部检测声明和肩部检测声明之间的冗余检验。与图5A-5C中描述的示例性实现相比，这种方法例如可以节约处理资源和/或时间。图6以图3的示例性人计数器206接收图像数据帧而开始(框600)。在所例示的示例中，接收到的帧被监视公开环境100的观众测量装置104的相机110拍摄。示例性人计数器206分析当前帧以检测人脸部(框602)。对于任何检测到的脸部来说，示例性脸部检测器300检测所检测到的脸部的位置，并将当前帧中的每一个检测到的脸部的位置传送至示例性身体图像捕获器304 (框604)。示例性身体图像捕获器304使用检测到的脸部的位置来针对每一个检测到的脸部捕获肩部的图像数据(框606)。例如，为拍摄针对第一检测脸部的第一肩部图像，所例示的示例的身体图像捕获器304识别很可能包括属于第一检测脸部的肩部的与该第一检测脸部的位置相邻的框或区域(例如，方形)。肩部区域的图像数据(例如，像素信息)被身体图像捕获器304捕获，并连同对应的位置数据(例如，中心)一起存储在身体图像数据库306中(框 608)。在图6所示的示例中，示例性身体图像检索器310针对由相机110拍摄的媒体公开环境100的一个或更多个先前帧来检索肩部图像数据(框610)。例如，所例示的示例的身体图像检索器310针对由相机110拍摄的最后十(10)个巾贞(例如,最后十(10)秒钟)来检索肩部图像数据。在图6所示的示例中，针对每一个检索到的肩部图像的位置伴随由身体图像检索器310检索到的图像数据。身体图像检索器310将包括先前帧的肩部图像的位置的检索到的数据(例如，作为一批或者一个接一个地)传送至身体图像数据比较器308。在图5C的示例中，身体图像数据比较器308比较在接收到的肩部图像的位置处的当前帧的图像数据与来自先前帧的接收到的肩部图像(框612)。如果当前帧的在接收到的位置处的图像数据与先前帧(例如，十个帧中的任何帧)的至少阈值数量的肩部图像数据在阈值内匹配，则示例性身体图像数据比较器308声明在当前帧中的相应位置处存在人(框614)。在例示的示例中，身体图像数据比较器308的声明被存储在身体部位检测声明数据库312中。而且，将身体图像数据比较器308的声明输出作为针对当前帧的人数(框616)。由此，利用图6所示的示例，当前帧和先前帧之间的匹配肩部的数量被人计数器206输出为人数。图6的示例然后结束(框618)。虽然在观众测量装置104和生成关于媒体内容的公开数据的背景下对图2和/或图3的示例性人计数器206进行了描述，但在此公开的示例性方法、制造品和装置可以被应用至可选的或另外的背景、系统、测量、应用、程序等。即，在此公开的示例性方法、制造品和装置可以在任何应用中使用以确定有多少人位于空间中或位置。图7是可以用来执行图5A-5C的机器可读指令以实现图2和/或图3的示例性人计数器206的示例性处理器系统710的框图。图7的示例性处理器系统710包括耦接至互连总线714的处理器712。处理器712可以是任何合适的处理器、处理单元或者微处理器(例如，来自Pentium 系列、Itanmm 系列或XScale 系列的一个或更多个Intel 微处理器和/或来自其它系列的其它处理器)。系统710可以是多处理器系统，并且由此可以包括与处理器712相同或相似并且可通信地耦接至互连总线714的一个或更多个附加处理器。
图7的处理器712耦接至芯片组718，该芯片组包括存储器控制器720和输入/输出(I/O)控制器722。芯片组提供I/O和存储器管理功能，以及可通过耦接至芯片组718的一个或更多个处理器访问或使用的多个通用和/或专用寄存器、计时器等。存储器控制器720执行使得处理器712能够访问系统存储器724、大容量存储器725和/或数字万用盘(DVD) 740的功能。一般来说，系统存储器724可以包括任何期望类型的易失性和/或非易失性存储器，举例来说，如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、闪速存储器、只读存储器(ROM)等。大容量存储器725可以包括任何期望类型的大容量存储装置，包括硬盘驱动器、光学驱动器、带存储装置等。图5A-5C的机器可读指令可以存储在系统存储器724、大容量存储器725和/或DVD 740中。I/O控制器722执行使得处理器712能够经由I/O总线732与外围输入/输出(I/O)装置726和728以及网络接口 730通信的功能。I/O装置726和728可以是任何期望类型的I/O装置，举例来说，如键盘、视频显示器或监视器、鼠标等。网络接口 730例如可以是以太网装置、异步传输模式(ATM)装置、802.11装置、数字用户线路(DSL)调制解调器、有线调制解调器、蜂窝调制解调器等，其使得处理器系统710能够与另一处理器系统通信。图7的示例性网络接口 730还可通信地耦接至网络734，例如内联网、局域网、广域网、因特网
坐寸ο虽然存储器控制器720和I/O控制器722在图7中被描绘为芯片组718内的分离功能模块，但由这些模块执行的功能可以集成在单个半导体电路内，或者可以利用两个或更多个分离的集成电路来实现。尽管在此公开了具体的示例性装置、方法和制造品，但本专利的覆盖范围不限于此。与此相反，本专利覆盖完全落入本专利的权利要求书的范围内的所有装置、方法和制造
品O
权利要求
1.一种对人进行计数的方法，所述方法包括: 在第一帧中捕获身体部位的图像；以及 当与所述第一帧不同的第二帧包括所述身体部位的所述图像时，递增在所述第二帧中的人的第一计数。
2.根据权利要求1所述的方法，其中，响应于检测到与所述身体部位相对应的脸部而捕获所述图像。
3.根据权利要求1所述的方法，所述方法还包括:与所述第一帧中的所述图像的位置相关联地存储所述图像。
4.根据权利要求1所述的方法，所述方法还包括:比较所述第二帧的一部分与所述身体部位的所述图像，以确定所述第二帧是否包括所述图像。
5.根据权利要求1所述的方法，所述方法还包括:对所述第二帧中的脸部的数量进行计数，以形成第二计数。
6.根据权利要 求5所述的方法，所述方法还包括: 确定在所述第二帧中计数的身体部位是否对应于在所述第二计数中计数的脸部；以及 如果所述身体部位对应于在所述第二计数中计数的脸部，则减小所述第一计数。
7.根据权利要求5所述的方法，所述方法还包括:对所述第一计数和所述第二计数求和，以获得所述第二帧中的人数。
8.根据权利要求7所述的方法，所述方法还包括:将所述人数与媒体内容相关联。
9.一种对人进行计数的装置，所述装置包括: 脸部检测器，所述脸部检测器检测第一帧中的脸部，并且基于在所述第一帧中检测到的脸部的数量，递增与所述第一帧相关联的脸部计数； 身体图像捕获器，所述身体图像捕获器从与所述第一帧不同的第二帧中收集与检测到的脸部相邻的身体部位的图像；和 比较器，所述比较器比较所述第一帧的图像数据与来自所述第二帧的所述身体部位的所述图像，并且在所述第一帧的所述图像数据与来自所述第二帧的所述身体部位的所述图像匹配时，递增与所述第一帧相关联的身体部位计数。
10.根据权利要求9所述的装置，所述装置还包括冗余检验器，所述冗余检验器用于检验在与所述第一帧相关联的所述身体部位计数和与所述第一帧相关联的所述脸部计数之间的冗余。
11.根据权利要求10所述的装置，其中，当所述冗余检验器检测到所述冗余时，所述冗余检验器递减所述身体部位计数。
12.根据权利要求10所述的装置，所述装置还包括:对所述脸部计数和所述身体部位计数求和以形成人数。
13.根据权利要求12所述的装置，所述装置还包括内容识别器，所述内容识别器将所述人数与媒体内容标识信息相关联，所述媒体内容标识信息对应于和所述第一帧相关联的媒体内容。
14.根据权利要求9所述的装置，其中，所述身体部位的位置基于相邻脸部的位置。
15.根据权利要求14所述的装置，其中，所述位置是叠加在所述第一帧和所述第二帧上的网格的坐标。
16.一种存储指令的有形机器可读介质，所述指令在被执行时使机器至少: 检测与第一时间相对应的第一帧中的第一脸部； 在所述第一帧中捕获与所述第一脸部相邻的部位的图像，所述部位处于所述第一帧内的第一位置处； 确定与第二时间相对应的第二帧是否包括在所述第一位置处的所述图像。
17.根据权利要求16所述的机器可读介质，其中，当所述第二帧包括在所述位置处的所述图像并且在所述第二帧中未检测到所述第一帧的检测到的脸部时，所述指令使所述机器递增与所述第二帧相关联的人数。
18.根据权利要求17所述的机器可读介质，其中，所述指令使所述机器将所述人数与在所述第二时间呈现的媒体内容相关联。
19.根据权利要求16所述的机器可读介质，其中，通过基于检测到的所述第一脸部的基准点生成框来计算与所述第一脸部相邻的所述部位。
20.根据权利要求16所述的机器可读介质，其中，当所述第二帧包括和在所述第一位置处的与所述第一脸部相邻的所述部位的所述图像的相似度在阈值内的图像数据时，所述指令使所述机器确 定所述第二帧包括在所述第一位置处的所述图像。
全文摘要
本发明涉及用于计数图像中的人的方法和装置。公开了用于计数图像中的人的方法、制造品和装置。示例性方法包括在第一帧中拍摄身体部位的图像；以及，当与所述第一帧不同的第二帧包括所述身体部位的所述图像时，递增在所述第二帧中的人的第一计数。
文档编号G06K9/00GK103198353SQ20121031349
公开日2013年7月10日 申请日期2012年8月29日 优先权日2011年8月31日
发明者M·李 申请人:尼尔森(美国)有限公司