专利名称：用于监视来自各种源的音频/视觉内容的方法及装置的制作方法
技术领域：
本公开总体上涉及收视率调查，更具体地涉及用于监视来自各个源的音频/视觉内容的方法及装置。
背景技术：
电视收视率及测量信息通常是通过收集来自一组统计选择的家庭的观看记录和/或其他观看信息而生成的。各个统计选择的家庭通常具有数据记录及处理单元，该数据记录及处理单元通常被称作“家用单元”。在具有多个观看点(例如，多个电视系统)的家庭中，所述数据记录及处理功能可分布在单个家用单元和多个“点单元”(每个观看点一个点单元)之间。家用单元(或家用单元与点单元的组合)经常与向家用单元提供输入或者接收来自家用单元的输出的各种附件通信。例如，诸如检频器附件的源识别单元可与电视通信来感测电视调谐器的本振频率。按照这种方式，检频器附件可用来基于检测到的频率确定当前电视调到哪个频道。例如可提供诸如屏幕上阅读器和发光二极管(LED)显示阅读器的附加源识别设备，来确定电视机是否在工作(即，是否打开)并且/或者来确定电视调到的频道。人员计数器可置于电视机的观看地方并与家用单元通信，由此使得家用单元能够检测当前正在观看电视机上显示的节目的人的身份和/或个数。
家用单元通常处理来自附件的输入(例如，频道调谐信息、观看者身份等)，来生成观看记录。可周期性地(例如，以固定的时间间隔)或非周期性地(例如，响应于一个或更多个预定事件，例如内存已满或者输入变化(例如观看电视的人的身份的变化、频道调谐信息的变化(即，频道变化))等)生成观看记录。各观看记录通常包含频道信息(例如，频道号和/或台标(ID))以及显示该频道的时间(例如，日期和时刻)。在正显示的节目内容与本地音频/视频内容递送设备(例如，数字多功能盘(DVD)播放器(也公知为数字视频盘播放器)、数字录像机(DVR)、盒式录像机(VCR)等)相关联的情况下，观看记录可包括内容标识(即，节目标识)信息以及与显示相关联的内容的时间和方式有关的信息。观看记录还可包含诸如在观看时间存在的观看者的个数的附加信息。
家用单元通常收集多个观看记录，并周期性地(例如，每日)将收集到的观看记录发送到中央局或数据处理设施以进行进一步的处理或分析。中央数据处理设施接收来自位于统计选择的家庭中的一些或全部家庭中的家用单元的观看记录，并对这些观看记录进行分析来确定在所关注的地理区域或市场中的家庭、从所有参与的家庭中选出的特定家庭和/或特定家庭组的观看行为。另外，中央数据处理设施可生成表示与一些或全部参与家庭相关联的观看行为的测量统计和其他参数。可对该数据进行外推以反映通过统计选择的家庭来建模的市场和/或区域的观看行为。
为了从观看记录生成观看行为信息，中央局或数据处理设施可将诸如节目单(例如，电视节目时间表或电视指南)的参考数据与观看记录进行比较。按照这种方式，中央局通过将观看记录中的时间及频道信息和节目时间表中与相同的时间及频道相关联的节目进行对照，就可推断显示了哪个节目。可针对中央局接收到的各个观看记录来执行这种对照处理，由此使得中央局能够重构所选家庭显示的节目以及节目显示的时间。当然，前述对照处理在节目的标识通过家用单元来获得并包含在观看记录中的系统内是不必要的。
多种多样的音频/视频内容递送及发布平台的快速发展和应用使得向中央数据收集设施提供观看记录或信息的家用单元任务变得复杂得多。例如，尽管可采用上述检频器设备来检测在正显示网络电视广播的点处的频道信息(因为，在正常工作状况下，本振频率对应于已知的网络频道)，但是这种设备通常无法用于数字广播系统。具体来说，数字广播系统(例如，基于卫星的数字电视系统、数字线缆系统等)通常在各用户点处包括数字接收器或机顶盒宏块。数字接收器或机顶盒对多节目数据流进行解调、将多节目数据流解析为各个音频和/或视频数据包，并且选择性地对那些数据包进行处理以生成希望节目的音频/视频信号。可将由机顶盒生成的音频和/或视频输出信号直接耦合到输出设备(例如，电视机、视频监视器等)的音频/视频输入。因此，输出设备调谐器(如果有的话)的本振频率未必标识当前正显示的频道或节目。
为了能够在例如由监视信息提供设备调谐的频道不易识别或者可能不唯一对应于所显示的节目的情况下生成有意义的观看记录，可以采用基于使用辅助码和/或内容特征的测量技术。基于辅助码的测量技术经常按照使得观看者不会注意到码的方式在广播信号中编码并嵌入标识信息(例如，广播/网络频道号、节目标识码、广播时间戳、用于识别提供并且/或者广播内容的网络和/或台的源标识符、等等)。例如，在电视广播中采用的广为公知的技术包括在视频信号的看不见的垂直空白间隔(VBI)中嵌入辅助码。另一示例包括在伴随广播节目的部分音频信号中嵌入听不到的码。由于所嵌入的码例如可由电视扬声器再现并且由诸如麦克风的外部传感器非干扰地监视，所以后一种技术尤为有利。
一般来说，基于特征的节目识别技术采用当前显示(但还未识别出)的音频/视频内容的一个或更多个特性来生成该内容的基本上唯一的代理(proxy)或特征(例如，一系列数字值、波形等)。可将正在显示的内容的特征信息与和一组已知的节目相对应的一组参考特征进行比较。当发现基本匹配时，可相对较高可能性地识别出当前显示的节目内容。
由于目前将多个音频/视觉内容源并入单个家庭观看区中的趋势，所以生成准确的监视信息正日益引起人们的兴趣。例如，典型的家用娱乐系统可包括带有集成的或分立的DVR、DVD播放器、DVD记录器、VCR、视频游戏机等的有线电视或广播卫星机顶盒。为了生成准确的监视信息，必须准确地确定音频/视频内容源和任何相关联的内容标识信息。然而，单独地监视各个可能的音频/视频内容源可能导致过度复杂并且/或者笨重的监视系统。另外，希望按照无需对各种可能的音频/视频内容源进行任何售后改进的方式来执行监视。
图1是由示例多引擎测量仪监视的示例家用娱乐系统的框图。
图2是可用在图1的示例中的示例多引擎测量仪的框图。
图3是可用来实现图2中的示例多引擎测量仪的一组示例音频引擎的框图。
图4是可用来实现图2中的示例多引擎测量仪的一组示例视频引擎的框图。
图5是可用来实现图2中的示例多引擎测量仪的一组示例元数据引擎的框图。
图6是可用来实现图2中的示例多引擎测量仪的示例判定处理器的框图。
图7A到图7D一同形成了表示可执行用来实现图6中的示例判定处理器的示例可机读指令的流程图。
图8是表示可执行用来实现图3中的示例音量及静音检测器的示例可机读指令的流程图。
图9是表示可执行用来实现图3中的示例压缩检测器的示例可机读指令的流程图。
图10是表示可执行用来实现图3中的示例铃声检测器的示例可机读指令的流程图。
图11是表示可执行用来实现图3中的示例谱形处理器的示例可机读指令的流程图。
图12是表示可执行用来实现图4中的示例场景变化及空白帧检测器的示例可机读指令的流程图。
图13是表示可执行用来实现图4中的示例宏块检测器的示例可机读指令的流程图。
图14是表示可执行用来实现图4中的示例模板匹配器的示例可机读指令的流程图。
图15是可执行图7A到7D、图8到图13以及/或者图14中的示例可机读指令来实现图2中的示例多引擎测量仪的示例计算机的框图。
图16A到图16F例示了可由图6中的示例判定处理器采用的示例判定量度(metrics)。
具体实施例方式
图1中例示了带有内容监视能力的示例家用娱乐系统100的框图。示例家用娱乐系统100包括多个音频/视觉(A/V)内容源102，所述多个音频/视觉(A/V)内容源102可包括游戏机104、机顶盒(STB)106、数字视频盘(DVD)播放器108、盒式录像机(VCR)110、个人录像机(PVR)、数字录像机(DVR)112等中的任一个或全部。A/V内容源102连接到A/V切换器114的输入以将来自所选的A/V内容源102的输出择路到电视机116或其他信息呈现设备的输入。另外，信号分离器118将提供给电视机116的输入择路到多引擎测量仪120以便于监视提供给电视机116并由电视机116来呈现的A/V内容。家用娱乐系统100的部件可按照包括图1中所示的方式在内的任意的公知方式来连接。
游戏机104可以是任意能够玩视频游戏的设备。示例游戏机104是标准的专用游戏机，例如Microsoft的XBOX、Nintendo的GameCube、Sony的PlayStation等。另一示例游戏机104是便携式专用游戏设备，例如Nintendo的GameBoy SP或Game Boy DS、或者Sony的PSP。其他的示例游戏机104包括个人数字助理(PDA)、个人计算机、DVD播放器、DVR、PVR、蜂窝式/移动电话等等。
STB 106可以是任意的机顶盒，例如有线电视转换器、直播卫星(DBS)解码器、空中(OTA)数字电视(DTV)接收器、VCR等。机顶盒106接收来自广播源(未示出)的多个广播频道。通常，STB 106基于用户输入选择多个广播频道中的一个广播频道，并输出经由所选的广播频道接收到的一个或更多个信号。在模拟信号的情况下，STB 106调到特定频道来获得在该频道上传送的节目。对于数字信号，STB 106可调到一频道并对特定数据包进行解码来获得在所选频道上传送的节目。例如，STB 106可调到主频道，然后通过上述解码处理提取在主频道内的子频道上载送的节目。
DVD播放器108可设置为例如输出按照数字格式存储在DVD上的A/V内容和/或按照数字格式存储在光盘(CD)上的音频内容。VCR 110可设置为例如输出存储在视频盒上的预先记录的A/V内容，并且/或者设置为记录由另一A/V内容源102提供的A/V内容用于稍后通过电视机116进行呈现。PVR/DVR 112可设置为支持例如由STB 106提供的A/V内容的时移呈现。PVR/DVR 112通常支持包括以下内容的各种特性呈现实况A/V内容、延迟实况A/V内容的呈现、快进以及回倒A/V内容、暂停A/V内容的呈现、记录A/V内容用于日后在观看其他A/V内容的实况广播时进行呈现、等等。PVR通常是DVR，其被构造为自动地适于或者自动地响应于特定家庭中的特定用户或用户群的观看喜好。例如，很多DVR提供电话线连接，电话线连接使得DVR能够与中央服务设施通信，该中央服务设施从DVR接收观看者喜好信息并基于那些观看者喜好将配置信息发送给DVR。DVR利用配置信息自动地将其配置为记录符合与该DVR相关联的一个或多个观看者的喜好的视频节目。TiVoTM是一种广为公知的将PVR功能提供给其他标准或常规DVR的服务。
A/V切换器114被配置为将用户选择的A/V输入择路到切换器输出。如图1所示，多个A/V内容源102中的每一个的输出被择路到A/V切换器114的相应输入。用户然后可采用A/V切换器114来选择将哪个A/V内容源102连接到电视机116。A/V切换器114的输入和输出的格式将取决于A/V内容源102的输出格式和电视机116的输入格式。例如，A/V切换器114的输入和输出可以是合成音频/视频、分量音频/视频、RF等。另外，如本领域普通技术人员将认识到的，A/V切换器114可实现为独立设备或者例如集成到家用娱乐接收器、电视机或类似设备中。
来自A/V切换器114的输出被馈送到信号分离器118，信号分离器118在A/V切换器114与电视机116之间是直接合成音频/视频连接的情况下例如为合成音频/视频分离器，或者在A/V切换器114与电视机116之间是RF同轴连接的情况下例如为单模拟y分离器。在示例家用娱乐系统100中，信号分离器118生成表示来自A/V切换器114的输出的两个信号。当然，本领域普通技术人员将容易地理解，信号分离器118可生成任意数量的信号。
在所例示的示例中，将来自信号分离器118的两个信号之一馈送到电视机116，并将另一个信号递送到多引擎测量仪120。电视机116可以是任意类型的电视机或电视显示设备。例如，电视机116可以是支持国家电视标准委员会(NTSC)标准、逐行倒相(PAL)标准、顺序与存储彩色电视系统(SECAM)标准、先进电视系统委员会(ATSC)开发的标准(例如，高清电视(HDTV))、数字视频广播(DVB)项目开发的标准、多媒体计算机系统等的电视机和/或显示设备。
将来自信号分离器118的两个信号中的第二个信号(即，图1中的连接部122载送的信号)耦合到多引擎测量仪120的输入。多引擎测量仪120是能够确定向电视机116提供A/V内容的A/V内容源102的AN内容监视设备。这种源标识信息可经由源标识输出124输出。另外，可将多引擎测量仪120配置为确定取决于内容源的内容标识信息(也称为调谐信息)(例如，视频游戏标题、广播节目标题、记录节目标题、初始广播时间、呈现时间、使用的技巧模式(trickmode)等等)。这种内容标识信息可经由内容信息输出126输出。多引擎测量仪120基于与通过A/V切换器114输出的A/V内容相对应的信号来确定内容标识信息。
为了便于确定源标识信息和内容标识信息，多引擎测量仪120还可设置有一个或更多个传感器128。例如，可将一个传感器128配置为检测通过远程控制设备130发送的信号。如图1所示，示例家用娱乐系统100还包括远程控制设备130用以发送可被A/V内容源102中的任一个或全部、电视机116以及/或者多引擎测量仪120接收的控制信息。本领域普通技术人员将认识到，远程控制设备130可利用包括(但不限于)红外(IR)发送、射频发送、有线/线缆连接等在内的各种技术来发送该信息。
图2例示了可用来实现图1中的多引擎测量仪120的示例多引擎测量仪200的框图。示例多引擎测量仪200被配置为处理包括立体声左和右音频输入信号204以及视频输入信号208的合成A/V输入。音频采样器212以适当的采样率(例如，48kHz)对立体声音频输入信号204进行采样，并将其转换为数字单声道音频信号。将所得数字音频样本存储在音频缓冲器216中。通过视频采样器220对视频输入信号208进行采样来形成视频缓冲器224中存储的数字视频样本。在本示例中，视频采样器220和视频缓冲器224被配置为以640×480像素的分辨率按照29.97帧/秒的NTSC帧率对视频输入208进行采样。另外，输入的彩色视频信号被转换为黑白亮度信号。然而，本领域普通技术人员将理解，还可以采用各种采样率、分辨率以及色彩转换。
多引擎测量仪200包括一个或更多个音频引擎228用以处理存储在音频缓冲器216中的数字音频样本。音频引擎228被配置为确定输入音频信号204的特性和/或输入音频信号204中包括的可用来确定连接到多引擎测量仪200的A/V内容源的信息(例如，图1中的哪个A/V内容源102连接到多引擎测量仪120并因此连接到电视机116)。另外，音频引擎228可配置为基于输入音频信号204确定A/V内容标识信息。下面将关于图3来更详细地讨论音频引擎228的示例。
示例多引擎测量仪200还包括一个或更多个视频引擎232用以处理存储在视频缓冲器224中的数字视频样本。类似于音频引擎228，视频引擎232被配置为确定输入视频信号208的特性和/或输入视频信号208中包括的可用来确定连接到多引擎测量仪200的A/V内容源的信息(例如，图1中的哪个A/V内容源102连接到多引擎测量仪120并因此连接到电视机116)。另外，视频引擎232可配置为基于输入视频信号208确定A/V内容标识信息。下面将关于图4来更详细地讨论视频引擎232的示例。
为了接收、解码并处理可嵌入输入音频信号204和/或输入视频信号208中的元数据，示例多引擎测量仪200包括元数据提取器236和一个或更多个相关联的元数据引擎240。元数据提取器236被配置为提取并且/或者处理输入音频信号204和/或输入视频信号208中可用来载送嵌入的元数据信息的部分。然后进一步通过元数据引擎240对所提取/处理的信号部分进行处理，来确定信号部分中是否存在元数据，并且如果存在则接收/解码这种元数据。所得元数据可用来确定连接到多引擎测量仪200的A/V内容源，并且/或者确定与输入信号204、208相关联的A/V内容信息。下面将关于图5来更详细地讨论元数据引擎240的示例。
示例多引擎测量仪200包括判定处理器244，用以对音频引擎228、视频引擎232以及元数据引擎240所生成的输出信息进行处理。另外，示例多引擎测量仪200的判定处理器244被配置为处理由远程控制设备(例如，图1中的远程控制设备130)发送的远程控制信号248。正如所示，远程控制信号248由远程控制检测器252接收并作为输入提供给判定处理器244。判定处理器244对可用输入信息进行处理，来确定连接到多引擎测量仪200的A/V内容源，并经由源标识(ID)输出256输出该信息。另外，判定处理器244可确定A/V内容标识信息并经由内容信息(Info)输出260输出该信息。下面将关于图6来更详细地讨论示例判定处理器244。
图3中示出了可用来实现图2中的音频引擎228的一组示例音频引擎300。音频引擎300对例如由图2中的音频缓冲器216提供的输入音频样本304进行处理。输入音频样本304对应于正由A/V内容源(例如，图1中的一个A/V内容源102)输出的并作为输入提供给所监视的呈现设备(例如，电视机116)的音频信号。音频引擎300中包括的音频引擎被配置为按照取决于特定音频引擎执行的处理的速率及频率来读取多个输入音频样本304。因此，音频引擎300可自主运转，并且按照自主方式读取输入音频样本304且生成对应的音频引擎输出308。
示例音频引擎组300包括音频码检测器312、音频特征处理器316、音量及静音检测器320、压缩检测器324、铃声检测器328以及谱形处理器332。示例音频码检测器312被配置为检测并处理可嵌入与输入音频样本304相对应的音频信号中的辅助音频码。如上所述，辅助音频码可用来在例如伴随广播节目的音频信号的听不见部分中编码并嵌入标识信息(例如，广播/网络频道号、节目标识码、广播时间戳、用于识别提供并且/或者广播内容的网络和/或台的源标识符、等等)。用于实现音频码检测器312的方法和装置在本领域中是公知的。例如，在本文通过引用并入其全部内容的美国专利No.6,272,176中，Srinivasan公开了用于对音频信号中发送的信息进行编码和解码的广播编码系统及方法。可采用这种和/或任何其他适合技术来实现音频码检测器312。
示例音频特征处理器316被配置为生成并处理对应于输入音频样本304的音频特征。如上所述，所呈现的A/V内容的音频部分的特性可用来为该内容生成基本上唯一的代理或特征(例如，一系列数字值、波形等)。所呈现的内容的特征信息可与和一组已知的内容相对应的一组参考特征进行比较。当发现基本匹配时，可相对较高可能性地识别出当前显示的A/V内容。用于实现音频特征处理器316的方法和装置在本领域中是公知的。例如，在本文通过引用并入其全部内容的序列号为09/427,970的美国专利中，Srinivasan等公开了音频特征提取和相关技术。作为另一示例，在本文通过引用并入其全部内容的序列号为US03/22562的2007年11月21日 申请日期2005年8月9日 优先权日2004年8月9日
发明者阿伦·拉马斯瓦米 申请人:尼尔逊媒介研究股份有限公司