专利名称：信号处理器、信号处理方法、程序和记录介质的制作方法
技术领域：
本发明涉及一种信号处理器、一种适合用于控制在图像显示设备 上显示流数据内容的信号处理方法、 一种应用了该信号处理方法的计 算机程序以及一种记录有这种计算机程序的记录介质。
背景技术：
字幕(telop)(术语"字幕"是指叠加在画面上的文本)经常叠 加在诸如在电视上广播的电视节目的图像内容的画面上。经常使用字 幕来描述图像的内容。例如，在新闻节目中，可以通过在电视画面的 下侧叠加字幕来描述图像的内容。也可以通过在画面上叠加字幕来描 述新闻节目以外的节目的图像内容。
在观看这样的一小时图像节目时，用户或观众通常花费一个小时 来观看图像节目。如果用户打算花费小于一个小时的时间来观看这种 节目，则用户通常利用摇控器来执行快进再现。然而，有时， 一些用 户 一旦利用字幕的文本检查了节目的内容，就可能想要将该节目的一 个内容快进到下一个内容。相反， 一些其它用户可能想要观看画面叠 加有字幕的节目，而不进行节目的快进再现。此外，当用户读取和理 解描迷节目内容的字幕时，借助字幕来读取和理解节目内容的要点所 花费的时间在个体之间会大大不同。
第2007-184962号日本未审查专利申请公开了在再现搜索图像的
4同时帮助理解搜索图像的内容要点的技术。在该技术中，指示字幕的 存在的信号被记录在记录介质上，从而易于搜索到搜索图像中字幕的 存在。
发明内容
如上所述，通常看起来难以确定对观众显示图像内容而言多久才 是最佳持续时间。具体地讲，当利用字幕显示内容可容易被观众掌握 的图像时，对于观众来说字幕的显示持续时间可能会过长。也难以确 定对听众呈现图像内容的音频声音而言多快才是最佳持续时间。
根据本发明的实施例，观众或者听众可以最佳地读取和收听节目 等的图像内容及其音频声音。
本发明的实施例包括内容获取器，用于接收或存储流数据的内 容；特征量提取单元，用于提取由所述内容获取器获取的内容的规定 的特征量；检测器，用于检测针对由所述内容获取器获取的内容的观 看时间或收听时间。本发明的实施例还包括处理器，用于计算基于由 所述特征量提取单元提取的特征量的提取状态和观看时间或收听时 间确定的关于所述内容的观看状态或收听状态的信息，并输出计算出 的关于所述内容的观看状态或收听状态的信息。
对于该实施例，输出关于图像内容的观看状态或收听状态的信 息，并且可以根据输出的关于图像内容的观看状态或收听状态的信息 来指定所述图像内容的观看状态或收听状态。
根据本发明的实施例，创建并输出关于图像内容的观看状态或收 听状态的信息，然后可以利用输出的关于所述图像内容的观看状态或 收听状态的信息来指定所述图像内容的观看状态或收听状态。因此， 由于可以基于所述输出信息来控制图像内容的再现，所以用户可以在 最佳条件下观看再现的内容的图像或收听再现的内容的音频声音。
图1是示出了根据本发明一个实施例的整体构造的示例的框图。图2是示出了根据本发明 一个实施例的系统构造示例的说明图。
图3是示出了根据本发明一个实施例的整体处理的流程图。
图4是示出了根据本发明一个实施例的针对是否具有相同信息
帧的确定处理示例的流程图。
图5是示出了根据本发明 一 个实施例的图像分析处理的流程图。 图6是示出了根据本发明一个实施例的所需观看时间的估计处
理的流程图。
图7是示出了根据本发明 一个实施例的表的示例的说明图。 图8是示出了根据本发明另一实施例的另一个表(分类示例)的 示例的说明图。
图9是示出了根据本发明又一实施例的系统构造示例的说明图。
具体实施例方式
现在将参照附图来描述本发明的优选实施例。
参照图1来描述整体系统构造。本发明的实施例的系统包括图像 再现设备IO，该图像再现设备10连接到显示设备20，从而在显示设 备20上显示由图像再现设备10再现的图像内容的图像。图像再现设 备10包括遥控信号接收器18a，遥控信号接收器18a接收通过遥控器 30的发射器31发射的遥控信号。遥控器30包括作为操作单元的按键 32,用户M操作遥控器30的按键32以执行各种操作，诸如开始再 现、快进和停止图像内容。
接下来，将参照图2来描述图像再现设备10的内部构造。图像 再现设备10包括信息记录单元11，信息记录单元11记录并再现通过 接收器19接收的图像内容。该实施例中的图像内容是指流数据，具 体是指动态图像信号和音频信号。信息记录单元11的示例包括诸如 硬盘驱动器的大容量存储装置。接收器19用来接收图像内容。例如， 接收器19包括用来接收广播信号的调谐器或用来借助因特网接收图 像内容的接收装置。
通过图像再现单元12来读取记录在信息记录单元11上的图像内容，该图像再现单元12产生用于再现的图像数据并将产生的图像数 椐提供给显示设备20。显示设备20显示被提供的图像数据的图像。 此外，虽然没有示出，但是如果图像数据设置有音频数据，则还从信 息记录单元11读取音频数据并将其通过图像再现单元12提供给显示 设备20，从而从显示设备20的扬声器输出音频声音。
图像再现单元12基于从命令接收器18给出的指令来再现数据。 命令接收器18被提供通过遥控信号接收器18a接收的遥控信号。遥 控信号接收器18a接收从单独设置的遥控器提供的遥控信号。由观看 和收听显示设备20上给出的图像和声音的用户M来操作遥控器。从 遥控器发射作为红外信号和无线电信号的遥控信号。基于遥控信号的 指令包括再现图像内容，诸如开始、暂停和停止再现图像内容；或
者定位图像内容，诸如快进和跳过图像内容。遥控信号接收器18a接 收指令并将指令传递给命令接收器18，从而基于接收到的指令将通过
图像再现单元12再现的图像数据适当地显示在显示设备20上。从命 令接收器18接收的指令还被提供给所需观看时间测量单元15。
图像再现设备10还包括图像分析器13，图像分析器13分析图 像再现单元12的再现状态。图像再现单元12将再现的图像传递给图 像分析器13，同时使相同图像信息单元检测器14能够检测具有相同 内容的连续相同图像。当字幕已被叠加在图像上时，图像分析器13 分析字幕中的字符的数目。图像分析器13还获得图像的像素区(pixel area)之间的差，并将字符数目的值和获得的像素区的差值作为分析 结果输出。由相同图像信息单元检测器14检测到的具有相同内容的 连续相同图像是指具有相同内容的相同图像被连续地再现。具体地 讲，相同图像信息单元检测器14作为场景检测器工作，用以检测具 有相同内容的相同图像是否被连续地再现。通过计算紧邻的前一帧图 像的像素和当前帧图像的像素之间的差来执行检测相同图像的检测
处理。稍后将描述图像分析器13和相同图像信息单元检测器14的具 体处理示例。
分别将图像分析器13和相同图像信息单元检测器14的检测结果
7传递到所需观看时间测量单元15和所需观看时间估计单元17。还向 所需观看时间测量单元15提供来自命令接收器18的指令，并且所需 观看时间测量单元15基于该指令和通过图像分析器13和相同图像信 息单元检测器14获得的结果来计算所需观看时间。稍后将描述计算 所需观看时间的具体处理示例。将计算出的所需观看时间存储在由存 储器形成的表存储器16中。
基于从表存储器16、图像分析器13和相同图像信息单元检测器 14提供的信息，所需观看时间估计单元17估计在图像再现单元12再 现图像的所需观看时间，然后估计结果被传递给图像再现单元12。稍 后将描述计算所需观看时间的具体处理示例。当将估计结果提供给图 像再现单元12时，控制正被再现的图像的再现状态。当估计结果(随 后描述)指示已经将图像再现了用于观看该图像的足够时间，则再现 随后的图像。
接下来，参照图3至图6的流程图来描述再现由图像再现设备 10的信息记录单元11记录的图像内容时的处理操作。参照图3来描 述整体处理状态。具体地讲，确定是否从图像再现设备10的命令接 收器18输入了命令(步骤S11)，当检测到没有输入命令时，在通过 图像再现单元12再现图像的过程中对图像内容进行分析。具体地讲， 确定是否具有连续相同的信息帧(步骤S12),分析图像的内容(步 骤S13)，从表存储器16读取表数据(步骤S14)，以及确定呈现每 单位图像的持续时间(duration)或时间(步骤S15)。通过图像再 现单元12来控制再现图像内容的定时，从而在所确定的持续时间内 呈现信息。当控制再现的定时时，执行对下一信息单元的处理(步骤
517) 。
当在步骤Sll检测到由用户输入的命令时，解释该命令(步骤
518) 。当被解释的命令是指示停止图像内容的再现的结束命令时， 处理将结束(步骤S23)。当该命令是除了结束命令以外的命令时， 确定是否具有连续相同的信息帧(步骤S19)，分析图像的内容(步 骤S20),确定呈现每单位信息的持续时间(步骤S21)。当测量出呈现每单位信息的持续时间时，将关于测得的呈现持续时间的信息存
储在表存储器16中，以更新表存储器16的信息。
接下来，参照图4中的流程图来描述通过相同图像信息单元检测 器14来检测(确定)连续相同信息帧的处理示例。当确定是否具有 连续相同的信息帧的处理已经开始时，将相同信息帧计数器重置为 "0"(步骤S31),还将差分计数器重置为"0"(步骤S32)。随 后，针对每个像素，计算原始图像(参考图像)与当前图像之间的亮
度差(步骤S33 )，并且确定获得的差是否等于或超过阈值(步骤S34 )。 如果获得的差等于或高于阔值，则将差分计数器的计数值加1 (步骤 S35)。如果获得的差低于阈值，则差分计数器的计数值保持不变。 随后，确定是否已经对所有像素计算了亮度差(步骤S36)。如果没 有对所有像素计算出差，则处理移到下一未评价像素(步骤S37)， 以再次计算亮度差(步骤S33)。
如果在步骤S36已经对一帧内的所有像素计算了差，则确定差分 计数器的计数值是否低于阈值(步骤S38)。如果获得的差低于阈值， 则相同信息帧计数器的计数值加1 (步骤S39)，并执行下一图像帧 的处理(步骤S40)。对下一图像帧执行从步骤S32开始的处理。
如果在步骤S38中差分计数器的计数值不低于阈值，即，差分计 数器等于或高于阈值，则输出相同信息帧计数器的当前计数值(步骤 S41)，然后，确定是否具有连续相同信息帧的当前处理将结束。将 在连续地再现图像内容的同时重复从步骤S31至步骤S41的处理。在 图4的流程图中所示的对于是否具有连续相同的信息帧的确定处理 中，当在再现图像内容的同时用户没有执行操作时，将检测呈现连续 相同信息帧的持续时间或时间。然而，当用户进行操作以给出诸如快 进对图像内容的再现的指令时，检测直到用户做出这种操作前再现连 续相同信息帧的持续时间或时间，即，检测在显示设备20上连续显 示相同信息帧的持续时间或时间。
接下来，将参照图5中的流程图来描述图像分析器13的处理。 首先，如果在将要再现的一帧图像中包含字幕，则对一帧图像中的字幕字符的数目进行计数(步骤S51)。还计算对于每个像素区的原始 图像和当前图像之间的差(步骤S52)。以与在相同图像信息单元检 测器14处计算每个像素在两个图像之间的亮度差的方式相同的方式 来计算每个像素区在原始图像和当前图像之间的差。然后输出在一帧
中获得的每个像素区在两个图像之间的差和字幕字符的数目(步骤 S53)。
接下来，将参照图6的流程图来描述由所需观看时间估计单元 17执行的对所需时间的估计处理的示例。在对所需时间的估计处理 中，从图像分析器13接收经分析的数据(步骤S61)。在从图像分析 器13获得分析结果数据后，读取表中与分析结果的向量的距离最近 的数据(步骤S62)。将由表中的数据指示的所需观看时间作为估计 结果输出(步骤S63)。
将输出的所需观看时间的估计结果提供给图像再现单元12，以 控制图像节目的再现。例如，当持续观看一个静态图像的持续时间或 时间等于由所需观看时间的估计结果指示的时间时，将再现位置移到 下一单位的图像。
图7示出了存储在表存储器16中的表的示例。该示例示出了图 像中的字幕字符的数目、与字符数目对应的每个像素的平均差和针对 图像的所需观看时间的平均持续时间(秒)。如图7所示，当在一个 画面中显示的字幕字符的数目增多时，所需观看时间也增加。
对于图7所示的表，如果连续地显示具有相同信息(意味着接近 静态图像的状态)的图像，则从表中读取与相同条件(即，字幕字符 的数目、每个像素的平均差和平均持续时间)匹配的所需观看时间。 因此，将从表中读取的所需观看时间确定为针对当前显示的图像的估 计观看时间。当显示时间超过从表中读取的时间时，将显示下一单位 的图像。因此，当确定了图像主要包含字幕字符并且确定了具有相同 信息的连续图像当前正被显示时，将基于从表中读取的所需观看时间 的先前数据来改变显示状态，从而不会将相同图像显示不必要长的时 间。在图3的流程图中示出的处理中，基于特征因素的两个量，即，一个画面中的字符数目和连续显示具有相同内容(相同场景)的图像 的平均持续时间或平均时间，来计算图像的呈现时间，然而，可以仅 仅参照用表列出的这些特征因素中的 一个来计算图像的呈现时间。也 可以使用其它因素来计算图像的呈现时间。
在图7的示例中，在计算观看图像所需的时间时没有包括将要再 现的图像节目的分类因素，然而，可以针对每种类别的图像节目，对 字幕字符的数目、平均像素差和观看图像所需的平均持续时间或平均 时间(秒)进行分类，以创建如图8所示存储的表。当再现图像节目 时，从该表中读取与将要再现的图像节目的类别匹配的类别的数据， 并且可以基于来自该表的读取数据来计算观看图像节目所需的持续 时间或时间。在图8的示例中，数据被分成三个类别，即新闻、信 息和体育。如果图像内容的类别是未知的，则可以设置未知类别，使 得在再现未知类别的图像内容时可以参考该表的未知类别。
在图7的示例中，该实施例的图像再现设备10的操作者的数目 被估计为一个，从而通过用户对遥控器30的操作而获得的所有信息 被收集在一个表中。然而，当多个用户或操作者共用一个图像再现设 备10时，可以在与各个用户对应的单独的表中收集通过多个用户对 遥控器30的操作而获得的信息，其中可以用个体的特定操作或机制 识别所述各个用户。因此，可以在再现图像节目时使用与正在观看图 像节目的用户对应的表的信息。可以以这种方式设置更为精确的图像 再现持续时间或时间。
在到目前为止描述的示例中，基于用户利用遥控器来再现图像内 容的操作将用户观看图像节目所需的时间确定为与表中的字幕字符 的数目对应的时间。然而，可以基于任何其它处理来计算观看图像内 容所需的时间。例如，如图9所示，可以将摄像单元22布置在显示 设备20'的屏幕21的顶部上，以对观众M的面部进行成像，可以基 于由摄像单元22拍摄的图像来确定观众M的视线e。
可以基于观众M的视线e的改变来估计观众M读取作为字幕显 示的字符的时间。当估计出观众M对于字幕的读取时间时，将估计的时间和字幕字符的数目作为所需观看时间存储在表中。在再现图像内容时，参照字符的数目从表中读取所需观看时间，以改变与下一单位的图像相符的再现持续时间或时间。因此，可以通过除了观众的输入操作以外的处理来估计图像再现持续时间或时间。
在图2的构造中，图像再现设备和显示设备是分离设置的，然而，可以将图像再现设备并入电视接收器中，从而使从估计所需观看时间到显示图像内容的一系列处理可以由一个设备来执行。另选地，如图2所示，当分离设置图像再现设备和显示设备时，图像再现设备(图像处理设备)可以仅仅输出关于估计的所需时间的信息以提供给显示设备，并且可以通过显示设备来执行诸如设定显示持续时间的设定处理。
在到目前为止描述的实施例中，已经描述了图像节目的再现处理，然而，在音频声音节目的再现处理中，当连续再现具有相同内容的相同声音时，将再现位置移到与从表中读取的所需收听时间相符的下一单位的声音。
在到目前为止描述的实施例中，实施例被应用于图像再现设备，然而，可以将这一 系列的处理进行编程以使诸如个人计算机的信息处理设备执行计算机程序，从而信息处理设备可以执行与图2中的图像再现设备的操作相同的操作。在这种情况下，可以将用于根据本实施例的一系列处理的计算;f/U程序记录在各种记录介质上，然后可以向流数据的图像内容的观众提供该记录介质。
本领域的技术人员应当理解的是，可以基于设计要求和其它因素做出各种变型、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。
1权利要求
1、一种信号处理器，包括内容获取器，用于接收或存储流数据的内容；特征量提取单元，用于提取由所述内容获取器获取的内容的规定的特征量；检测器，用于检测针对由所述内容获取器获取的内容的观看时间或收听时间；和处理器，用于计算基于由所述特征量提取单元提取的特征量的提取状态和所述内容的观看时间或收听时间而确定的关于所述内容的观看状态或收听状态的信息，并输出计算出的关于所述内容的观看状态或收听状态的信息。
2、 根据权利要求l所述的信号处理器，还包括 场景改变检测器，用于检测由所述内容获取器获取的内容的场景改变，其中，由所述内容获取器获取的内容包括动态流数据，并且 对于由所述场景改变检测器检测到的每个场景，获得由所述特征 量提取单元提取的内容的特征量。
3、 根据权利要求2所述的信号处理器，还包括输入单元，观众或听众利用该输入单元执行与再现流数据的内容 有关的操作，其中，基于所述输入单元的操作状态，由所述检测器来检测观看 时间或4欠听时间。
4、 根据权利要求2所述的信号处理器，其中，由所述特征量提取单元提取的特征量基于以下因素中的至少一 个内容数据的图像中的字符的数目和图像改变的平均值。
5、 根据权利要求l所述的信号处理器，其中，所述处理器针对每个类别的内容计算特征量，并输出关于所述内 容的观看状态或收听状态的信息。
6、 根据权利要求2所述的信号处理器，还包括显示单元，基于由所述处理器输出的关于内容的观看状态的信 息，设定在显示所述内容时与所述内容的场景改变的时间相符的时 间。
7、 一种处理信号的方法，包括以下步骤 提取所接收或存储的流数据的内容的预定特征量； 检测所述内容的观看时间或收听时间；基于所提取的特征量的提取状态和检测到的观看时间或收听时 间，计算关于所述内容的观看状态或收听状态的信息；以及 输出计算出的关于所述内容的观看状态或收听状态的信息。
8、 一种使信息处理设备执行信号处理的计算机程序，所述计算 机程序包括提取所接收或存储的流数据的内容的预定特征量； 检测所述内容的观看时间或收听时间；基于所提取的特征量的提取状态和检测到的观看时间或收听时 间，计算关于所述内容的观看状态或收听状态的信息；以及 输出计算出的关于所述内容的观看状态或收听状态的信息。
9、 一种记录有权利要求8所述的计算机程序的记录介质。
全文摘要
本发明涉及信号处理器、信号处理方法、程序和记录介质。该信号处理器包括内容获取器，用于接收或存储流数据的内容；特征量提取单元，用于提取由所述内容获取器接收的内容的规定的特征量；检测器，用于检测针对由所述内容获取器接收的内容的观看时间或收听时间；和处理器，用于计算基于由所述特征量提取单元提取的特征量的提取状态和针对所述内容的观看时间或收听时间确定的关于所述内容的观看状态或收听状态的信息，并输出计算出的关于所述内容的观看状态或收听状态的信息。
文档编号G06F12/00GK101466013SQ20081018171
公开日2009年6月24日 申请日期2008年12月4日 优先权日2007年12月18日
发明者渡边义教, 近藤哲二郎 申请人:索尼株式会社