处理图像的设备和方法及产生再现信息的设备和方法

专利名称：处理图像的设备和方法及产生再现信息的设备和方法
技术领域：
本发明涉及用于处理图像的方法和设备和用于处理图像的程序 产品，以及用于产生再现信息的方法和设备和用于产生再现信息的程 序产品，它们可应用于用于处理与输入的图像例如电视广播节目和电 影相关的图像信号的设备等
背景技术：
用于显示电视广播节目、电影等的图像显示系统一直使用固定的 图像帧，其中呈现的图像的显示尺寸和图像帧一致。当产生电视广播 节目、电影等中的图像内容时，创建者在以这种固定的图像帧显示图 像的条件下创建所述内容。
为了显示增强其真实性的图像，近来研发了多显示器系统、弯曲 的显示器、宽视野的显示器、头戴显示器等。多显示器系统等扩大了 图像帧，从而显示宽视野的图像，借以使得能够增加其真实性.
日本专利申请公开号2004-15549披露了一种用于处理图像的 设备，其处理与输入的图像例如电视广播节目和电影相关的图像信 号。在场景改变的情况下，当在较早帧的输出信号和关于输入图像的 图像信号之间的差值不超过设置值时，这种用于处理图像的设备根据 较早帧的图像信号把图像显示位置设置到输入图像的显示位置，以便使观看者能够容易地领会场景之间的关系。

发明内容
不过，和上述的图像显示系统相关联，当在固定的图像帧上连续 地显示图像时，可能难于容易地理解例如电视广播节目和电影的内 容，除非观看者正确地领会关于被显示的图像的场景的改变。此外， 如果有时发生场景的改变，可能难于领会这些场景的关系。此外，如 果观看者未看到较早场景的任何图像，可能难于理解下一个场景的内 容。
此外，利用在日本专利申请公开号2004 _ 15549中披露的用于处 理图像的设备，通过估计在场景改变前后的图像中的相似性，观看者 可以领会场景的关系，不过，观看者难于根据图像的内容领会场景的 关系。
需要提供一种用于处理图像等的设备和方法，借以使观看者能够 根据图像的内容容易地领会场景的关系。
按照本发明的实施例，提供一种用于处理图像的设备，所述设备 包括场景改变检测单元，用于根据关于输入图像的图像信号检测输 入图像的场景改变；显示位置控制单元，用于根据场景改变检测单元 的检测结果，把场景改变之后图像的显示位置确定为与场景改变之前 的图像相关的显示位置；以及显示位置设置单元，用于把在显示位置 控制单元中确定的显示位置设置为显示在场景改变之后的图像的显 示位置.所述显示位置控制单元检测场景改变前后的图像的特征值， 并根据图像的特征值确定场景改变之后的图像的显示位置。
利用按照本发明的实施例的用于处理图像的设备，场景改变检测 单元根据关于输入图像的图像信号检测输入困像的场景改变。显示位 置控制单元根据场景改变检测单元的检测结果，确定场景改变之后的 图像的显示位置为与场景改变之前的图像相关的显示位置。在这个实 施例中，显示位置控制单元检测场景改变前后的图像的特征值，并根 据这些图像的特征值确定场景改变之后的图像的显示位置。例如，显示位置控制单元从图像信号中提取面部图像的区域，从面部图像的这 个区域检测眼睛的方向，并根据这样检测的眼睛的方向决定关于图像 信号的输入图像的显示方向。显示位置设置单元把在显示位置控制单 元中确定的显示位置设置为显示在场景改变之后的图像的显示位置。 这使得观看者能够根据图像中对象的视线方向容易地领会场景改变 前后图像的显示位置之间的关系。
按照本发明的另一个实施例，提供一种用于处理图像的方法。所
述方法包括第一步骤，用于根据关于输入图像的图像信号检测输入 图像的场景改变；第二步骤，用于根据第一步骤的检测结果，把场景 改变之后图像的显示位置确定为与场景改变之前的图像相关的显示 位置；以及第三步骤，用于把在第二步骤中确定的显示位置设置为显 示在场景改变之后的图像的显示位置。在第二步骤中，检测场景改变 前后的图像的特征值，并根据这些图像的特征值确定显示在场景改变 之后的图像的显示位置。
利用按照本发明的实施例的用于处理困像的方法，观看者能够根 据图像的内容，容易地领会场景的改变，并领会在场景改变前后图像 的内容的关系。
按照本发明的另一个实施例，提供一种程序产品，其允许计算机 通过执行上述的用于处理图像的方法来处理图像信号。
当计算机实现按照本发明的实施例的程序产品时，观看者可以根 据图像的内容容易地领会场景的改变，并领会场景改变前后的图像的 内容的关系，
利用按照本发明的用于处理图像的设备和方法以及允许计算机
按照^发明的实施例，提供一种用于产生再现信息的设备，该设 备处理关于输入的图像的图像信号，从而产生关于输入的图像的再现 信息。所述用于产生再现信息的设备包括场景改变检测单元，用于 根据关于输入图像的图像信号检测输入图像的场景改变；以及显示位 置控制单元，用于根据场景改变检测单元的检测结果把场景改变之后图像的显示位置确定为与场景改变之前的图像相关的显示位置。所述 显示位置控制单元检测场景改变前后的图像的特征值，并根据图像的 特征值产生再现信息，以便确定场景改变之后的图像的显示位置。
利用按照本发明的这个实施例的用于产生再现信息的设备，当处 理关于输入图像的图像信号以产生关于输入图像的再现信息时，场景
变。、显示位置控制单元根据场景改变检测^元的检测结果把场景改变 之后图像的显示位置确定为与场景改变之前的图像相关的显示位置. 在这个实施例中，显示位置控制单元检测场景改变前后的图像的特征 值，并根据图像的特征值产生再现信息，以便确定场景改变之后的图 像的显示位置。这样，借助于根据这样产生的再现信息再现图像，观 看者能够容易地根据图像的内容领会场景的改变，并能够领会场景改 变前后图像的内容的关系。
按照本发明的另 一个实施例，提供一种通过处理关于输入图像的
图像信号来产生关于输入图像的再现信息的方法。所述方法包括第 一步骤，用于根据关于输入图像的图像信号检测输入图像的场景改 变；以及第二步骤，用于根据第一步骤的检测结果，把场景改变之后 图像的显示位置确定为与场景改变之前的图像相关的显示位置。所述 第二步骤包括以下子步骤检测场景改变前后的图像的特征值，以及 产生再现信息，以根据图像的特征值确定在场景改变之后图像的显示 位置.
利用按照本发明的实施例的用于产生再现信息的方法，当根据这 样产生的再现信息再现图像时，观看者能够容易地根据图像的内容领 会场景的改变，并能够领会场景改变前后的图像的内容的关系。
按照本发明的另一个实施例，提供一种程序产品，其允许计算机 通过执行上述的用于产生再现信息的方法产生再现信息，用于再现关 于输入图像的图像信号。
利用按照本发明的实施例的程序产品，当根据这样产生的再现信 息再现图像时，观看者能够容易地根据图像的内容领会场景的改变，并能够领会场景改变前后的图像的内容的关系。
利用按照本发明的用于产生再现信息的设备和方法以及用于使 计算机能够产生再现信息的程序产品的实施例，能够显示观看者能够 容易理解的图像。
本说明书的结束部分具体指出了本发明的主题并直接要求保护 这些主题。不过，通过结合附图阅读本说明的其余部分，本领域技术 人员能够最好地理解本发明的组织结构及其操作方法，以及本发明的 其它的优点和目的，在附图中相同的标号表示相同的元件。


图l是一个示意图，用于表示一个可以应用按照本发明的用于处
理图像的设备的实施例的图像显示系统的配置；
图2A表示在场景改变前后帧内的内容和在场景改变前后这些帧 在屏幕上被显示时的图像，图2B表示在场景改变前后帧内的内容和 在场景改变前后这些帧在屏幕上被显示时的图像，图2C表示在场景 改变前后帧内的内容和在场景改变前后这些帧在屏幕上被显示时的
图像；
图3是用于表示按照本发明的用于处理图像的设备的实施例的 配置的方块图4是用于表示场景改变检测单元的配置的方块图； 图5是用于说明像素的稀疏化处理的示意图； 图6是用于表示场景改变检测单元的另一种配置的方块图； 图7是用于表示用于确定场景改变前后图像之间的关系的单元 (场景改变前后关系确定单元)的配置的方块图8是用于表示面部区域提取部分的配置的方块图9A，9B的每一个用于说明有色皮肤区域提取部分的操作的例
子；
图10A，10B的每一个用于说明水平线检测部分的操作的例子； 图11A，11B的每一个用于说明垂直线检测部分的操作的例子；图12A，12B的每一个用于说明面部区域提取部分的操作的例子； 图13A，13B的每一个用于说明面部图像识别部分的操作的例子； 图14A-14E的每一个用于说明面部图像识别部分的另一个操作 的例子；
图15A-15C的每一个用于说明视线方向检测部分的操作的例子； 图16A表示在场景改变前后帧内的内容和在场景改变前后这些 帧在屏幕上被显示时的图像，图16B表示在场景改变前后帧内的内容 和在场景改变前后这些帧在屏幕上被显示时的图像，以及图16C表示 在场景改变前后帧内的内容和在场景改变前后这些帧在屏幕上被显 示时的图像；
图17是用于表示场景改变前后关系确定单元的另一种配置的方
块图18是用于表示场景改变前后关系确定单元的另一种配置的方
块图19是用于表示在以离线方式进行处理的情况下按照本发明的 用于处理图像的设备的另一个实施例的配置的方块图20A表示帧内的内容和该帧在屏幕上被显示时的图像，图20B 表示帧内的内容和该帧在屏幕上被显示时的图像，以及图20C表示帧 内的内容和该帧在屏幕上被显示时的图像；
图21是用于表示可以应用本发明的实施例的计算机的配置的方
块图22是用于表示在以实时方式进行处理的情况下图像处理程序
的整个配置的方块图23是用于表示场景区别的操作的流程图24是借助于视线方向进行的场景改变前后关系确定操作的流
程围；
图25是借助于运动矢量进行的场景改变前后关系确定操作的流
程图26是借助于音量进行的场景改变前后关系确定操作的流程图27是用于表示在以离线方式进行处理的情况下图像处理程序
的整个配置的流程图28是用于表示按照本发明用于产生再现信息的设备的实施例
的配置的方块图29是用于表示信息再现设备的配置的方块图；以及
图30是用于表示在以实时方式进行处理的情况下产生显示位置
信息的流程图。
具体实施例方式
下面结合

按照本发明的用于处理图像的设备和方法、用 于处理图像的程序产品、用于产生再现信息的设备和方法以及用于产 生再现信息的程序产品的实施例。
图1表示可以应用按照本发明的用于处理图像的设备120的实施 例的图像显示系统100的配置。图像显示系统100包括3个屏幕IIOL， 110C和110R，它们被设置在用户101的前方和两侧，并作为整体构 成一个图像显示区域。提供分别对应于屏幕IIOL， 110C和110R的投 射器112L， 112C和112R。投射器112L， 112C和112R被连接到用于 处理图像的设备120。投射器112L根据从用于处理图像的设备120 接收的输出信号SDL在屏幕110L上投射图像，类似地，投射器112C
SDR在屏幕110C和110R上投射图像。
用于处理图像的设备120接收关于输入的图像的输入图像信号 SDin，并检测场景改变以确定是否发生了场景改变。如果发生了场景 改变，则用于处理图像的设备120还检测在场景改变前后的图像之间 是否具有一定关系。如果具有一定关系，则用于处理图像的设备120 这样改变场景改变前后的图像的图像显示位置，使得场景改变前后的 图像可以具有所述关系。
图2A-2C分别表示在图像显示系统IOO中的图像显示的例子。图2A表示在帧F(l)和F(2)中的图像和当帧F(l)、 F(2)被分别在 屏幕110L， 110C以及110R中的任何一个上显示时的图像。图2B表 示在帧F(3)和F(4)中的图像和当帧F(3)、 F(4)被分别在屏幕IIOL， 110C以及110R中的任何一个上显示时的图像。图2C表示在帧F(5) 和F(6)中的图像和当帧F(5)、F(6)被分别在屏幕110L， 110C以及110R 中的任何一个上显示时的图像。
当输入图像中的对象将其眼睛转向帧F(l)的右侧的同时发生场 景改变时，如图2A所示，如果关于帧F(l)的场景改变之前的图像Ha 被显示在屏幕110C上，则关于帧F(2)的场景改变之后的图像Hb被 显示在屏幕110R上，这是因为场景改变之后的图像Hb和对象使其 眼睛转向的方向相关.
当输入图像中的对象OB向帧F(3)的左侧运动的同时发生场景改 变时，如图2B所示，如果关于帧F(3)的场景改变之前的图像Hc被 显示在屏幕110C上，则关于帧F(4)的场景改变之后的图像Hd被显 示在屏幕110L上，这是因为场景改变之后的图像Hd和对象OB运 动的方向相关。
当在关于帧F(5)的图像的输入立体声音频的右侧音量大于左侧 音量的时候发生场景改变时，如图2C所示(在这种情况下，用八分 音符的数量表示音量)，如果关于帧F(5)的场景改变之前的图像He 被显示在屏幕110C上，则关于帧F(6)的场景改变之后的图像Hf被显 示在屏幕110C上，这是因为场景改变之后的图像Hf和产生具有较大 音量的任何声音的方向相关。
当如上所述每个场景的显示位置改变时，用于处理图像的设备 120，如图1所示，便通过以实时的或者离线的方式进行处理改变显 示位置。在以实时方式进行处理的情况下，用于处理图像的设备120， 如图3所示，便接收关于输入困像的图像信号SDin，并根据图像信号 SDin检测场景的改变，并确定场景改变前后的图像之间的关系。用于
图像之间的关系的确定结果实时地昧变输入图像的显示位置(要被显示的方向)。然后，用于处理图像的设备120产生输出信号SDL，SDC 和SDR，并输出这些信号，以便在其改变的显示位置上显示输入图像。
在以离线方式进行处理的情况下，用于处理图像的设备120A， 如图19所示，从存储介质或其类似物中读出积累的图像信号SDin， 并从中检测场景的改变。用于处理图像的设备120A确定这样检测的 每个场景改变前后的图像之间的关系，并由过去的和将来的场景决定 当前场景的显示位置。用于处理图像的设备120A和相关的图像信号 SDin —道保持用于指示所决定的显示位置(要被显示的方向)的显示 位置信息JP。
为了显示图像，用于处理图像的设备120A读出输入图像的图像 信号SDin和显示位置信息JP，并产生和输出输出信号 SDL，SDC，SDR，以便根据图像信号SDin和显示位置信息JP在其改 变的显示位置上显示输入的图像。
图3表示在以实施方式进行处理的情况下按照本发明的用于处 理图像的设备120的实施例的配置。场景改变检测单元121、用于确 定场景改变前后图像之间的关系的单元(下面称为场景改变前后关系 确定单元)124、以及显示位置设置单元126分别接收关于输入图像 的图像信号SDin。
场景改变检测单元121根据图像信号SDin检测场景的改变，即 检测图像中中断的位置，即，在连续的场景和与该连续的场景不同的 场景之间的连接部分。
图4表示通过利用两个帧的图像信号检测场景改变的场景改变 检测单元121的配置。
在场景改变检测单元121中的延迟电路211接收输入的图像信号 SDin，按照一帧显示输入的图像信号SDin，并作为延迟的图像信号 SDa将其提供给平均差值计算电路213。平均差值计算电路213接收 图像信号SDin和延迟的图像信号SDa，根据图像信号SDin和延迟的 图像信号SDa计算两帧之间的差的平均值Dav，并把这个差的平均值 Dav提供给标称化电路217。计算在各个像素上两帧之间的亮度值的差，并计算所得差的平均值作为差的平均值Dav，其被提供给标称化 电路217。差的平均值Dav可以按照下式(1)计算<formula>formula see original document page 16</formula>其中N是在一帧图像内的像素数，YC是基于图像信号SDin的 像素的亮度值，以及YP是基于延迟的图像信号SDa的像素的亮度值。差的平均值Dav依照图像中的亮度值而发生大的改变。例如， 在以亮色调显示图像的情况下，即使没有场景改变，仅仅通过把图像 的一部分改变成暗的也能使差的平均值Dav增加。在以暗色调显示图 像的情况下，即使场景改变，但是由于亮度值的改变小，差的平均值 Dav也不增加。因而，场景改变检测单元121包含标称化电路217， 其按照图像的量度标称化差的平均值Dav，使得借助于接收由图像中 的亮度产生的任何小的影响来检测正确的场景改变。在场景改变检测单元121中的亮度平均计算电路215根据图像信 号SDin中的每个像素的亮度值计算一帧内的亮度值的平均值。然后， 亮度平均计算电路215把计算的平均值作为亮度平均值Yav提供给标 称化电路217。亮度平均值Yav可以根据下式(2)计算Yav - ,..(2)其中N是一帧图像内的像素数，YC是基于图像信号SDin的像 素的亮度值。标称化电路217标称化差的平均值Dav。即，标称化电路217通过按照下式(3)校正表示图像中的亮度的亮度平均值Yav的差的平均值Dav来产生差的平均值的标称化值E(以后称为"标称化值E，，)<formula>formula see original document page 16</formula>然后标称化电路217把标称化值E提供给场景改变检测单元121 中的判定电路219。判定电路219接收标称值E，并使标称值E和一 个阈值比较，该阈值是在判定电路中被预先确定的，如果标称化值E超过阈值，则判定发生了场景改变。然而，如果标称化值E未超过阈 值，则判定电路219判定任何场景未发生改变。然后判定电路219产 生表示这个判定结果的场景改变检测信号SC，并把该场景改变检测 信号SC提供给图3所示的场景改变前后关系确定单元124。这样，标称化电路217按照图像中的亮度对差的平均值Dav进 行了标称化，判定电路219利用标称化值E进行了是否发生了场景改 变的判定，因而，通过接收由图像中的亮度产生的任何较小的影响， 可以检测正确的场景改变。虽然在上述的场景改变检测单元121中利用关于一帧内的所有 像素的信号检测了场景的改变，但是如果使用所有像素的信号计算差 的平均值Dav和亮度平均值Yav，则花费大量的时间进行计算处理。 如果这种计算以高速进行以便节省计算时间，则可能为此增加成本。因而，进行关于像素的稀疏化处理。例如，如图5所示，把一帧 的图像分类成为一些区域，每个区域包括8x4个像素，并从每个区域 选择一个带有对角线阴影的像素。然后通过利用关于选择的像素的信号使得能够计算差的平均值Dav和亮度平均值Yav。这种稀疏化处理 能够减少计算量，从而使计算处理得以容易地进行，并避免任何快速 的计算处理，以便避免用于计算处理的费用增加。虽然在上述的场景改变检测单元121中，利用标称化值E检测 场景改变，但是希望获得两帧图像之间的相关系数r，并使相关系数 r和一个阈值比较，借以使得能够精确地检测场景的改变。图6表示利用相关系数r的场景改变检测单元121A的配置。在场景改变检测单元121A中的延迟电路211接收图像信号 SDin，将图像信号SDin延迟一帧，并作为延迟的图像信号SDa将其 提供给相关系数计算电路216。相关系数计算电路216接收图像信号 SDin和延迟的图像信号SDa，并根据图像信号SDin和延迟的图像信 号SDa计算相关系数r。可以按照下式(4)计算相关系数r:<formula>formula see original document page 18</formula>(4)
其中N是一帧图像内的像素数，YF是基于第一帧的图像信号 的像素的亮度值，YS是基于下一帧的图像信号的像素的亮度值，YFav 是基于笫一帧的图像信号的像素的平均亮度值，YSav是基于下一帧 的图像信号的像素的平均亮度值。相关系数计算电路216把计算的相关系数r提供给场景改变检测 单元121A中的判定电路219。判定电路219接收相关系数r，并将其和一个阈值比较，该阈值 是在其中被预定确定的，如果相关系数r未超过该阈值，则判定发生 了场景改变。但是，如果相关系数r超过了该阈值，则判定电路219 判定任何场景均未改变，即该场景是一个连续的场景。然后判定电路 219产生表示这个判定的结果的场景改变检测信号SC，并把该场景改 变检测信号SC提供给图3所示的场景改变前后关系确定单元124。图7表示场景改变前后关系确定单元124的配置。场景改变前后 关系确定单元124构成显示位置控制单元。场景改变前后关系确定单 元124接收来自场景改变检测单元121的场景改变检测信号SC，被 根据场景改变检测单元121的场景改变检测信号SC把场景改变后的 图像的显示位置确定到和场景改变前的图像相关的显示位置。在这个 实施例中，场景改变前后关系确定单元124检测在场景改变前后的图 像之间的特征值，并根据该特征值确定场景改变后的图像的显示位 置，在场景改变前后关系确定单元124中的延迟电路221和第一面部 区域提取部分224A分别接收关于输入的图像的图像信号SDin,如图 7所示，延迟电路221把图像信号SDin延迟一个帧，从而产生延迟的 图像信号SDa,延迟电路221把延迟的图像信号SDa提供给场景改变 前后关系确定单元124中的第二面部区域提取部分224B。假定接收 输入图像的图像信号SDin的笫 一 面部区域提取部分224A具有和接收延迟的图像信号SDa的第二面部区域提取部分224B相同的配置。第 一面部区域提取部分224A从图像信号SDin中提取面部区域，第二面 部区域提取部分224A从延迟的图像信号SDa中提取面部区域。
图8表示面部区域提取部分224A或224B的配置。图8所示的 面部区域提取部分224A的HSV转换部分2241接收图像信号SDin， 并对图像信号SDin进行HSV (色调、饱和度和值)转换，以便利用 HSV颜色空间。
图9A和9B表示皮肤有色区域提取部分2243的操作例子。皮肤 有色区域提取部分2243从图9A所示的图像SDc提取具有在其一个 设置范围内的色调值的像素，所述设置范围例如是大于20小于40 (20<Hu<40)。皮肤有色区域提取部分2243在提取的像素上进行标 记，并判定这个标记的区域是皮肤有色区域Tr (图9B所示的有阴影 的区域)，并提取这个皮肤有色区域Tr,
图10A，10B表示图8所示的水平线检测部分2245的一个操作例 子。水平线检测部分2245计算每个水平线上的从图IOA所示的皮肤 有色区域Tr提取的像素，并检测皮肤有色区域Tr内的具有含有计算 的最大像素数的水平长度Lg的水平线，如图IOB所示.根据这个水 平线的位置获得垂直座标(垂直参考点Ver)。把计算的像素的最大 数量乘以一个预定值，例如0.8。把这个乘积设置为水平长度Lg，并 使水平长度Lg的中央沿其水平方向对准提取的皮肤有色区域Tr的中 心，
图11A，11B表示图8所示的垂直线检测部分2247的一个操作例 子，垂直线检测部分2247把检测的图11A所示的水平长度Lg乘以一 个预定值，例如1.3，并把乘积设置为垂直长度Lg2,图IIB所示的 垂直参考点Ver被设置为垂直长度Lg2的中央.
图12A和12B表示图8所示的帧区域提取部分2249的一个採作 例子。桢区域提取部分2249提取由具有在水平线检测部分2245中检 测的水平长度Lg和在垂直线检测部分2247中检测的垂直长度Lg2 的框围成的一个图像区域，如图12A所示。在这个实施例中，如图12B所示，由具有水平长度Lg和垂直长度Lg2的框围成的图像区域 被设置为要被提取的一个帧图像区域。
图13A和图13B表示图8所示的面部图像辨别部分2250的一个 操作例子。面部图像辨别部分2250具有如图13A所示的标准的面部 图像模板T叩c，并计算例如关于每个像素的该模板Tnpc和在帧区域 提取部分2249中提取的图像区域Rec之间的差的绝对值的总和。面 部图像辨别部分2250比较计算的差的绝对值的总和和一个预定的阈 值。如果差的绝对值的总和不超过预定的阈值，则面部图像辨别部分 2250判定提取的图像区域Rec是面部图像，而如果差的绝对值的总和 超过预定的阈值，则面部图像辨别部分2250判定提取的图像区域Rec 不是面部图像。
应当注意，当提取的图像区域Rec的尺寸和模板Tnpc的尺寸不 匹配时，则通过任何的内插或细化对模板Tnpc的尺寸进行合适的调 整，以便使其尺寸匹配，然后进行上述的处理。
面部图像辨别部分2250除去辨别面部图像之外还辨别面部的方 向。图14A-14E表示面部图像辨别部分2250的一个操作例子。面部 图像辨别部分2250除去图14C所示的面部朝前的标准的面部图像模 板Tnpc之外还具有一些标准的面部图像模板。如图14A-14E所示， 在这个实施例中，面部图像辨别部分2250具有5个标准的面部图像 模板，即，图14A所示的面部朝左的标准面部图像模板Tpna，困14B 所示的面部向左倾斜的标准面部图像模板Tpnb，图14C所示的面部 朝前的标准的面部图像模板Tnpc，图14D所示的面部向右倾斜的标 准面部图像模板Tpnd，以及图14E所示的面部向右的标准面部图像 模板Tpne。
当面部图像辨别部分2250借助于利用模板进行匹配辨别面部图 像时，面部图像辨别部分2250可以计算关于每个像素的面部朝不同 方向的这些模板Tnpa到Tnpe的每一个与在帧区域提取部分2249中 提取的图像区域Rec之间的差的绝对值的总和。面部图像辨别部分 2250比较计算的差的绝对值的总和和一个阈值。如果计算的差的绝对值的总和不超过所述阈值并且成为最小值，则面部图像辨别部分2250 将其辨别为面部的方向。应当注意，如果面部不是朝前的，则在皮肤 有色区域提取部分2243中提取的图像区域Rec小于当面部朝前时在 皮肤有色区域提取部分2243中提取的图像区域Rec，因而模板的尺寸 可以较小，在标准面部图像模板中，除去向右和向左之外，面部还可 以向上和向下。
应当注意，面部图像辨别部分2250辨别在帧区域提取部分2249 中提取的所有的图像区域REC上的面部图像。如果面部图像辨别部 分2250辨别多于一个的面部图像，则面部图像辨别部分2250辨别例 如面部图像当中具有最大图像区域Rec的面部图像。如果没有面部图 像被辨别，则结束处理。
向回参见图7，第一视线方向检测部分226A从关于图像信号 SDin的在第一面部区域提取部分224A中提取的面部图像的图像区域 Rec检测第一视线方向。第二视线方向检测部分226B从关于延迟的 图像信号SDa的在第二面部区域提取部分224B中提取的面部图像的 图像区域Rec检测第二视线方向。
图15A-15C表示图7所示的视线方向检测部分226A或226B的 一个操作例子。视线方向检测部分226A或226B通过利用图15A所 示的标准面部图傳j溪板Tpnc中的眼睛的瞳孔区域Receye检测眼睛的 方向。假定预先提取了标准面部图像模板Tpnc中的眼晴瞍孔区域 Tpnc。计算图15B所示的面部图像的图像区域Rec2的一个设置的搜 索范围内关于对应于眼睛瞳孔区域Receye的像素的运动矢量。如果 图15C所示的计算的运动矢量Vtr的绝对值超过预定的阈值，则确定 眼睛的方向和面部的方向不同，此时判定运动矢量Vtr的方向是新的 视线方向，如果图15C所示的计算的运动矢量Vtr的绝对值未超过预 定的阈值，则判定在面部区域提取部分224A或224B的面部图像辨别 部分2250中提取的面部方向是眼睛的方向，
图7所示的显示方向判定部分228根据表示图像的特征值的第一 和第二视线方向判定关于图像信号SDiii的输入图像被显示的方向，并产生和输出显示方向信息JP。例如，图16A到16C分别表示图像 显示的操作的例子。在本实施例中，如图16A所示，如果从关于延迟 的图像信号SDa的图像检测到眼睛的方向(在帧F(ll)中为右方向)， 而从关于图像信号SDin的帧F(12)的图像未检测到视线方向，则根据 关于延迟的图像信号SDa的检测的视线方向显示关于图像信号SDin 的图像。在本实施例中，关于延迟的图像信号SDa的图像被在屏幕 110C上显示，关于图像信号SDin的图像被在屏幕110R上显示。
如图16B所示，如果从关于延迟的图像信号SDa的帧F(13)中的 图像未检测到视线方向，而从关于图像信号SDin的图像检测到眼睛 的方向(在帧F(14)中为左方向)，则关于图像信号SDin的图像被这 样显示，使得关于图像信号SDin的视线方向可以满足关于延迟的图 像信号SDa的图像的显示位置。在本实施例中，关于延迟的图像信号 SDa的图像被显示在屏幕110C上，关于图像信号SDin的图像被显示 在屏幕110R上。
如图16C所示，如果在关于延迟的图像信号SDa的帧F(15)中的 图像和关于图像信号SDin的帧F(16)中的图像中都检测到视线方向， 则优先使用从关于延迟的图像信号SDa的图像检测到的视线方向。此 时，如果从关于延迟的图像信号SDa的图像检测到从上到右的视线方 向，从关于图像信号SDin的图,测到从下到左的视线方向，即如 果从关于延迟的图像信号SDa的图像检测到的视线方向和从关于图 像信号SDin的图像检测到视线方向彼此相交，则显示方向判定部分 228可以垂直地改变其显示位置。例如，显示方向判定部分228这样 改变其显示位置，使得其中检测到的视线方向从上到右的关于延迟的 图像信号SDa的图像可被显示在屏幕110C的下部，其中检测到的视 线方向从下到左的关于困像信号SDin的图像可被显示在屏幕110R的 上部。这使得关于延迟的图像信号SDa和图《象信号SDin的图像能够 分别按照彼此的视线方向被布置。
因而，按照本发明的用于处理图像的设备120的实施例包含场景 改变前后关系确定单元124，其把场景改变后的显示位置确定到和场景改变前的图像相关的显示位置，并且还检测场景改变前后图像的视 线方向，以便根据眼睛的方向确定场景改变后的图像的显示位置。
利用按照本发明的用于处理图像的设备120的实施例，观看者能 够容易地领会场景改变，并根据图像中的视线方向能够容易地领会场 景改变前后图像之间的关系。
图17表示场景改变前后关系确定单元124A的一种配置。场景 改变前后关系确定单元124A包含延迟电路221A和221B，运动矢量 检测电路230，运动矢量判定电路232,以及显示方向判定部分228。
延迟电路221A接收关于输入图像的图像信号SDin，并将其延迟 一帧，从而产生延迟的图像信号SDa。延迟电路221A把延迟的图像 信号SDa提供给显示电路221B,显示电路221B接收延迟的图像信号 SDa，并将其延迟一帧而产生延迟的图像信号SDb。延迟电路221A 和221B向运动矢量检测电路230提供延迟的图4象信号SDa和SDb。 然后运动矢量检测电路230从延迟的图像信号SDa，SDb检测运动矢 量。为了检测运动矢量，例如把延迟的图像信号SDa分类成每个具有 8x8个像素的块，并检测显示的图像信号SDb的所需的搜索区域内的 使得差值的绝对值的和最小的位置作为运动矢量。然后运动矢量检测 电路230把检测的运动矢量提供给运动矢量判定电路232。
运动矢量判定电路232接收来自运动矢量检测电路230的运动矢 量，并由接收的运动矢量判定表示图像之间的特征值的一个预定运动 矢量。例如，运动矢量判定电路232产生所有接收的运动矢量的直方 图，在图像的直方图中确定具有最高频率的运动矢量作为背景的运动 矢量，并确定图像的直方图上具有次最高频率的运动矢量作为主要对 象的运动矢量.运动矢量检测电路232把具有次最高频率的运动矢量 提供给显示方向判定部分228.在本实施例中，如果在直方图中具有 最髙频率的运动矢量在数量上和在图像的直方图中具有次最高频率 的运动矢量几乎相同，则运动矢量判定电路232可以确定图像直方图 中具有笫三最大频率的运动矢量为主要对象的运动矢量。如果图像的 直方图中具有最高频率的运动矢量占据运动矢量的总数，则运动矢量判定电路232可以确定这种条件为无运动条件。
显示方向判定部分228根据在运动矢量判定电路232中判定的运 动矢量判定关于图像信号SDin的输入图像的显示方向。即，如图2B 所示，例如，在图像的直方图中具有次最高频率的运动矢量Vtr表示 在关于图像信号SDin的场景改变之前主要对象的运动(显示)方向。 显示方向判定部分228这样产生显示方向信息JP，使得关于图像信号 SDin的图像Hd可以按照所述显示方向被显示。
因而，按照本发明的用于处理图像的设备120的另 一个实施例包 含这样一种场景改变前后关系确定单元124A，其把场景改变后的图 像的显示位置确定到和场景改变前的图像相关的显示位置，并检测场 景改变前的图像中的运动矢量，以便根据该运动矢量确定场景改变后 的显示位置。
因而，利用按照本发明的用于处理图像的设备120的这个实施 例，观看者能够容易地领会场景的改变，并根据图像中的运动矢量容 易地领会场景改变前后图像之间的关系。
图18表示场景改变前后关系确定单元124B的配置。场景改变 前后关系确定单元124B包含延迟电路221C，音量检测电路240，音 量比较电路242和显示方向判定部分228。
延迟电路221和显示方向判定部分228接收关于输入图像的图像 信号SDin。延迟电路221把图像信号SDin延迟一帧而产生延迟的图 像信号SDa。延迟电路221把延迟的图像信号SDa提供给音量检测电 路240,音量检测电路240检测伴随着延迟的图像信号SDa的具有一 个以上的音频信道的音频信号的音量。应当注意，为了便于说明本实 施例，假定音频信号和图像信号SDin重叠并和双通道立体声有关。
音量检测电路240检测立体声的两个通道的每个通道的音频信 号的音量，并把关于检测的音量的信息提供给音量比较电路242。
音量比较电路242计算在音量检测电路240中检测的双声道立体 声音频的右声道和左声道中的音量之间的差的绝对值，并将表示图像 的特征值的所述差的绝对值和预定阈值比较。如果差的绝对值超过预定阈值，则确定在左右声道的音量之间具有显著的差别。音量比较电
路242向显示方向判定部分228提供表示具有较大音量的声道的方向 的信息。如果双声道立体声音频的左声道L中的音量大于双声道立体 声音频的右声道R的音量，则音量比较电路242向显示方向判定部分 228提供表示左方向的信息，而如果双声道立体声音频的右声道R中 的音量大于双声道立体声音频的左声道L的音量，则音量比较电路 242向显示方向判定部分228提供表示右方向的信息。如果差的绝对 值未超过预定阈值，则确定在左右声道的音量之间没有显著的不同， 因而结束处理。
显示方向判定单元228根据音量比较电路242的确定结果判定关 于图像信号SDin的图像的显示方向.例如，当收到来自音量比较电 路242的表示方向的信息时，显示方向判定单元228输出收到的作为 关于图像信号SDin的输入图像的行驶方向信息JP的信息中的方向。 在这个实施例中，例如，如图2C所示，如果在关于场景改变前的图 像的双声道立体声信号的左右声道中的音量之间具有任何显著不同， 并且在双声道立体声音频的右声道R中的音量大于双声道立体声音 频的左声道L中的音量，则显示方向判定单元228输出右方向，使得 关于图像信号SDin的图像的Hf可在右屏幕110R上被显示，如图2C 所示。
虽然延迟电路221、 221A、 221B和221C使图像信号SDin或其 类似物延迟一帧，但是可以把要延迟的帧的数量设置为一个可选的数 量，除非被延迟的时间点远离场景改变的时间点。从其中检测音量的 帧不限于一帧。例如，可以检测关于一帧以上的音量的平均音量。
除去单声道的音频信号之外，音频信号可以包含任何任选的声 道.例如，本发明可以应用于5.1声道环绕音频信号。此时，可以根 据前两个声道或后两个声道中音量之间的差来应用上述的处理。此 外，可以根据前两个声道和后两个声道音量之间的差应用上述的处 理。
虽然场景改变前后关系确定单元124、 124A和124B分别利用视线方向、运动矢量和音量，在本实施例中，可以利用视线方向、运动 矢量和音量中任何的或所有的组合。在这种情况下，如果关于视线方 向的显示位置信息JP和关于音量的显示位置信息JP不同，则可以优 先使用关于音量的显示位置信息JP。或者，可以使用关于所有判定的 方向中最高频率的显示位置信息JP。
回来参看图3，显示位置设置单元126从场景改变前后关系确定 单元124、 124A或124B的显示方向判定部分228接收显示尺寸信息 JP，并根据输入图像的显示方向信息JP显示在场景改变前后关系确 定单元124、 124A或124B中判定的关于图像信号SDin的输入图像 的显示位置。然后，显示位置设置单元126把对应于投射器 112L，112C，112R的图像信号分别提供给信号输出单元142L，142C和 142R。
应当注意，如果没有设置输入图像的显示位置，例如，如果在当 前场景的图像被显示在右屏幕110R上时下一个场景的图像被显示在 右侧，则下一个场景的图像被显示在右屏幕110R。
如果即使在场景改变时显示位置也未改变，则显示位置可以返回 中央屏110C或者被保持在当前屏。
如果当场景改变时显示位置被改变，则场景改变前的图像可被保 持为要作为静止图像被显示的图像。这使得在场景改变前后的图像之 间的关系能够更可被理解。
因而，按照本发明的用于处理图像的设备120包含这样一种场景 改变前后关系确定单元124B，其把场景改变后的图像的显示位置确 定到和场景改变前的图像相关的显示位置，并且还检测场景改变前的 图像中的音量，以便根据该音量确定场景改变后的图像的显示位置，
因而，利用按照本发明的用于处理图像的设备120的这个实施 例，观看者能够容易地领会场景的改变，并根据图像中的音量容易地 理解场景改变前后的图像之间的关系，从而使得更容易地理解图像显 示，
图19表示当以离线方式进行处理时按照本发明的用于处理图像的设备120A的实施例的配置。和图3所示的用于处理图像的设备120 的相同的标号表示图19所示的用于处理图像的设备120A的相同的元 件，并因而省略其详细的说明。
在用于处理图像的设备120A中的存储单元130接收并存储关于 输入图像的图像信号SDin。存储单元130还把存储的图像信号SDin 提供给场景改变检测单元121。
和上述以实时方式进行处理的情况类似，场景改变检测单元121 检测场景改变，场景改变前后关系确定单元124 (124A，124B )把场景 改变后的图像的显示位置确定到和场景改变前的图像相关的显示位 置。显示位置设置单元126然后把场景改变后图像的显示位置设置到 已被确定的和场景改变前的图像相关的显示位置，并把用于显示场景 改变后的图像的关于图像信号SDin的输入图像的显示位置信息JC提 供给存储单元130。存储单元130完全根据接收的每个场景的显示位 置信息JC调节要显示的图像的显示位置，并把关于调节的显示位置 的图像信号提供给信号输出单元142L，142C和142R。
图20A-20C表示图像显示操作的例子。如图20A所示，如果在 场景改变前后的图像的显示位置被连续地改变，即，如果图20B所示 的图像Hg的显示位置和图20C所示的图像Hh的显示位置被向右方 改变，并被连续地向右方改变，存储单元130的未示出的控制器便把 笫一图像Ha的显示位置设置到左屏幕IIOL，使得图像Ha，Hg和Hh 可被连续地显示。这还使得能够实现任何连续的显示位置的改变，
因而，利用按照本发明的用于处理图像的设备120A的实施例， 通过根据场景改变前后图像之间的关系改变困像的显示位置，观看者 能够理解场景之间的关系。在以离线方式进行处理的情况下，能够处 理连续的显示位置的改变，从而观看者能够容易地理解场景的改变. 还能够作为静止图像保持显示场景改变前的图像，从而能够使观看者 更容易地理解场景的改变。
除去上述的硬件之外，任何软件也可以实现上述的处理。图21 表示可以应用按照本发明的实施例的计算机300的实施例的配置。计算机300包含中央处理单元(CPU)301。只读存储器(ROM)302、随机 存取存储器(RAM) 303、硬盘驱动器(HDD) 304以及输入/输出接口 305通过总线320和CPU 301相连。输入单元311、记录介质驱动单 元312、通信单元313、图像信号输入单元314以及图像信号输出单 元315被连接到输入/输出接口 305。
当外部设备向计算机300发送任何指令时，或者由操纵装置例如 鍵盘和鼠标构成的输入单元311或者音频输入装置例如麦克风输入任 何指令时，这些指令通过输入/输出(I/0)接口 305被提供给CPU301。
CPU 301执行在ROM 302、 RAM 303、与/或HDD 304中存储 的任何程序并根据接收的指令执行任何处理。ROM 302、 RAM 303、 与/或HDD 304预先存储任何图像处理程序，这些程序允许计算机300 执行类似于上述的用于处理图像的设备的任何处理。CPU 301控制 ROM 302、 RAM 303、与/或HDD 304根据图像信号输入单元314接 收的输入图像信号SDin读出其中的信息，并产生输出信号SDL， SDC 和SDR,并通过图像信号输出单元315传送这些输出信号。记录介质 可以存储这种图像处理程序。记录介质驱动单元312在记录介质上记 录图像处理程序，或者从记录介质中读出图像处理程序，借以使计算 机300能够执行图像处理程序。通信单元313可以通过任何传输通路 发送和接收图像处理程序，借以使计算机300能够执行接收的图像处 理程序。
图22表示在以实时方式进行处理的情况下的图像处理程序，在 图22所示的步骤ST1，对场景进行辨别。图23表示这种场景辨别操 作的例子.在图23所示的步骤ST 11,帧之间的差的平均值Dva和 每帧中亮度的平均值Yav被计算，并且处理前进到步骤ST12。在步 骤ST12，使用亮度的平均值Yav对差的平均值Dav标称化，从而计 算标称值E。
在步骤ST13，通过比较标称值E和阈值，确定是否具有场景改 变。如果标称值E未超过阈值，则处理前进到步骤ST14,在该步骤 确定没有场景改变，图像被包含在同一个场景中。如果标称值E超过阈值，则处理前进到步骤ST15，在该步骤确定具有场景改变。因而， 根据标称值E进行场景辨别。
或者，在场景辨别的操作中，如上所述，可以计算相关系数r， 并可以通过比较相关系数r和一个阈值检测场景改变。在这种情况下， 代替步骤ST11和ST12,按照上述的公式(4)计算相关系数r。代替 步骤ST13,通过比较相关系数r和所述阈值，确定是否具有场景改 变。如果相关系数r不小于所述阈值，则处理前进到步骤ST14，在 该步骤确定没有场景改变，因而图像被包含在同一个场景内。如果标 称值E小于所述阈值，则处理前进到步骤ST15,在该步骤确定具有 场景改变。
返回图22，在步骤ST2，确定是否检测到场景改变。如果确定 未检测到场景改变，则处理回到步骤ST1。如果确定在步骤ST2检测 到场景改变，则处理前进到步骤ST3。在步骤ST3，确定场景改变前 后图像之间的关系。
图24表示在步骤ST3根据视线方向确定场景改变前后图像之间 的关系的操作的例子。在图24所示的步骤ST311,对关于输入图像 的图像信号SDin进行HSV转换。在步骤ST312,从这样进行了 HSV 转换的图像中提取具有一个预定的色度值的区域。在步骤ST313，从 提取的区域提取沿水平线方向的最大连续像素的值。水平线的这个位 置被设置为垂直参考点，并检测通过对连续像素的数量进行预定的计 算而获得的值作为水平线。
在步骤ST314,通过根据垂直参考点对在步骤ST313检测的水 平线的值进行预定计算而获得垂直线的长度。在步骤ST315，提取由 具有在步骤ST313检测的水平线和在步骤ST314检测的垂直线的框 围成的图像区域。在步稞ST 316,在步骤ST315提取的图像区域和 事先准备的标准面部图M板比较，从而辨别这是否是面部图像。此 时，准备具有不同方向的标准面部图像模板，因而，除去辨别面部图 像之外还辨别面部的方向。在步骤ST317,确定是否检测到面部图像。 如果检测到面部图像，则处理前进到步骤ST318，在该步骤由标准面部图像模板中的眼睛瞳孔区域内的运动矢量检测眼睛的方向，把检测 的视线方向设置为场景改变后的图像的显示位置。如果未检测到面部 图像，则结束处理。
图25表示根据步骤ST3中的运动矢量确定场景改变前后图像之 间的关系的操作的例子。在步骤ST321,例如对于具有8x8个像素的 每个块，检测在当前帧的输入图像和在当前帧之前紧挨当前帧的一帧 的输入图像之间的运动矢量。在步骤ST322，在图像的直方图内具有 最高频率的运动矢量被规定为背景的运动矢量，在图像的检测的直方 图上具有次最高频率的运动矢量被规定为主要对象的运动矢量。从检 测的运动矢量中提取具有次最高频率的运动矢量。在步骤ST323，检 查具有次最高频率的运动矢量对运动矢量的总数的比率，如果具有次 最高频率的运动矢量的数量对于运动矢量的总数是足够的，则确定除 去背景的运动矢量之外还有任何的运动矢量。然后处理前进到步骤 ST324。如果具有次最高频率的运动矢量的数量对于运动矢量的总数 不足，则确定除了背景的运动矢量之外没有运动矢量。处理然后结束。 在步骤ST324，具有次最高频率的每个运动矢量的方向被设置为场景 改变之后的图像的显示位置。
图26表示在步骤ST3根据音量确定场景改变前后图像之间的关 系的操作的例子。在步骤ST331，从输入的立体声双声道音频信号检 测左右声道的音量.在步骤ST332，使检测的左右声道的音量相互比 较。在步骤ST333，确定在左右声道的音量之间是否具有任何差异。 如果具有任何差异，则处理前进到步骤ST334，在该步猓确定具有较 大音量的声道的方向作为场景改变后的图像的显示位置。如果没有差 异，则处理结束.
回到图22，在步骤ST4，产生用于在步骤ST3确定的显示位置 上显示图像的输出信号SDL，SDC和SDR。在产生输出信号时，图像 被存储在帧存储器中，在基于显示位置的定时从帧存储器中这样读出 图像信号，使得读出的图像信号可对于每个屏幕被划分从而产生输出 信号SDL, SDC和SDR。或者，在其中的记录区域按照图像信号的显示位置对应于图像显示区域的存储器中存储图像信号，借以使得能
够产生输出信号SDL，SDC和SDR。
然后处理前进到步骤ST5。在步骤ST5，确定关于输入图像的图 像信号是否结束。如果确定图像信号未结束，则处理返回步骤ST1， 在该步骤重复所述的图像处理。如果确定图像信号结束，则图像处理 结束。
图27表示在以离线方式进行处理的情况下图像处理程序的整个配置.
在图27所示的步骤ST21，场景被辨别。在步骤ST22，确定是 否检测到场景改变。如果在步骤ST22确定未检测到场景改变，则处 理返回步骤ST21。如果在步骤ST22确定检测到场景改变，则程序前 进到步骤ST23，在该步骤确定场景改变前后的图像之间的关系。
在步骤ST24，确定是否对于每个场景都进行了场景改变前后图 像之间的关系的确定。如果在步骤ST24确定尚未对于每个场景都进 行过场景改变前后图像之间的关系的确定，则处理返回步骤ST21继 续进行处理。如果在步骤ST24确定对于每个场景都进行了场景改变 前后图像之间的关系的确定，则处理前进到步骤ST25。
在步驟ST25，从每个场景前后确定的显示位置中提取显示位置 连续地改变的情况，并这样设置显示位置，使得显示位置可以连续地 改变.
在步骤ST26,这样产生输出信号SDL，SDC，SDR，使得图像可 以在步骤ST25确定的显示位置上被显示，在产生输出信号时，图像 被存储在帧存储器中，并且在按照图像的显示位置的定时从帧存储器 中这样读出图像信号，使得读出的图像信号对于每个屏幕被划分，借 以使得能够产生输出信号SDL，SDC和SDR。或者，把图像信号存储 器其中记录区域按照图像信号的显示位置对应于图俸显示区域的存 储器中，并使用在对应于每个屏幕的记录区域中存储的信号，从而使 得能够产生输出信号SDL，SDC和SDR。
因而，在按照本发明的用于处理图像的方法和图像处理程序产品的实施例中，检测场景改变前后的图像的特征值，并根据图像的特征 值确定场景改变后的显示位置。在这些实施例中，视线方向、运动矢 量和音量被用作图像的特征值。
因而，观看者能够容易地领会场景的改变，并由图像中的内容容 易地领会场景改变前后图像之间的关系。这使得能够实现容易理解的 图像呈现。
应当注意，虽然在上述实施例中说明了一个以上的屏幕和投射 器，它们的数量和屏幕的尺寸等可被选择地改变。可以使用其它种类 的显示器，例如宽屏显示器或者弯曲表面显示器例如圆柱显示器。
虽然在上述实施例中用于处理图像的设备120A内含有存储单元 130,可以使用任何外部信息存储装置。当存储单元130可拆卸时， 借助于利用在这个可拆卸的存储单元130中存储的图像信号SDin和 显示位置信息JC，具有任何图像显示控制功能的另一种图像显示系 统也可以显示具有任何的真实性和可容易理解的图像。
按照上述的本发明的实施例，通过使用现有内容的图像信号而不 创建新的图像源与/或其它格式，可以在显示位置上显示场景改变，从 而使得能够显示比以前的图像具有更好的效果并且能够容易理解的 图像.
下面参照图28到30说明按照本发明的用于产生再现信息的设备 和方法以及再现信息产生程序产品的实施例。图28表示按照本发明 的用于产生再现信息的设备500的实施例的配置，图29表示用于再 现信息的设备600的配置。和图3所示的用于处理图像的设备120的 相同的标号表示设备500和600的相同的元件，并因而省略对这些元 件的细节的说明。
用于处理困像的设备120被划分以便构成设备500和600。用于 产生再现信息的设备500对关于输入图像的图像信号SDin进行任何 处理，并产生关于视频的作为再现信息的例子的帧的显示位置信息 JP。用于产生再现信息的设备500包含场景改变检测单元121(121A) 和场景改变前后关系确定单元124 (124A和124B)。用于再现信息的设备600根据显示位置信息JP对图像信号SDin进行任何处理并再 现图像。
在图28所示的用于产生再现信息的设备500中的场景改变检测 单元121接收图像信号SDin，根据图像信号SDin检测帧内的场景改 变，从而产生场景改变检测信号SC，并把场景改变检测信号SC提供 给场景改变前后关系确定单元124。
当收到场景改变检测信号SC时，场景改变前后关系确定单元 124根据表示图像的特征值的面部方向与/或视线方向确定场景改变 前后图像间的关系，并把输入图像的显示位置作为显示位置信息JP 传送到输出端501。
输出端501可以连接外部存储介质例如USB存储器，其存储显 示位置信息JP。这使得能够提供用于表示每个场景的显示位置的显示 位置信息JP。此外，端子501还可以连接电信线路例如局域网(LAN) 电缆。例如，显示位置信息JP通过互联网通信网络被下栽到用户的 个人计算机(PC)。
图29所示的用于再现信息的设备600从外部存储介质中读出显 示位置信息JP,或者通过互联网获得显示位置信息JP，并根据显示 位置信息JP对关于输入图像的图像信号SDin进行任何处理以再现图 像。用于再现信息的设备600包含显示位置设置单元126和信号输出 单元142L，142C，142R。
显示位置设置单元126接收显示位置信息JP和图像信号SDin。 然后显示位置设置单元126根据显示位置信息JP设置关于图像信号 SDin的输入图像的显示位置，并划分图像信号SDin，以便把划分的 信号分别提供给信号输出单元142L，142C，142R。
信号输出单元142L，142C，142R由图flU!"储器构成。当接收图像 信号SDin时，信号输出单元142L连续地在图像存储器上存储图像信 号SDin。
然后从信号输出单元142L读出图像信号SDin,并作为输出信号 SDL提供给投射器112L。当提供划分的图像信号SDin时，信号输出单元142L在其存储器中存储该图像信号，使得不包括内容的图像信 号的部分在屏幕上以黑色被显示。
信号输出单元142C和142R具有和信号输出单元142L相同的配 置，并在其图像存储器上连续地存储图像信号SDin。然后从信号输出 单元142C和142R读出图像信号SDin，并作为输出信号SDC和SDR 分别提供给投射器112C和112R。当提供划分的图像信号SDin时， 信号输出单元142C和142R在其图像存储器中这样存储图像信号， 使得不包括内容的图像信号的部分以黑色在屏幕上被显示。
图30表示在以实时方式进行处理的情况下显示位置信息的产生 的例子，其表示再现信息产生程序。
在图30所示的步骤ST31，场景被辨别。在步骤ST32，确定是 否检测到场景改变。如果确定未检测到场景改变，则处理返回步骤 ST1,如果确定检测到场景改变，则处理前进到步骤ST3。在步骤ST3， 确定场景改变前后图像间的关系。例如根据面部方向与/或图像中眼睛 的方向、图像的运动矢量以及图像中左右声道的音量之间的差来确定 场景改变前后图像间的关系，
在步骤ST34，根据场景改变前后图像间的关系，产生关于场景 改变后的图像的显示位置的显示位置信息JP，该信息是在步骤ST33 确定的，然后处理前进到步驟ST35。
在步稞ST35，确定关于输入图像的图像信号SDin是否结束。如 果确定图像信号SDin尚未结束，则处理返回步骤ST1。如果确定图 像信号结束，则图像处理结束。
因而，利用按照上述本发明实施例的用于产生再现信息的设备 500、用于产生再现信息的方法及其程序产品，检测场景改变前后的 图像的特征值，并根据所述特征值，产生这样的显示位置信息JP，使 得场景改变后的图像的显示位置被设置到和场景改变前的图像相关 的显示位置。
因而，按照本发明的实施例，通过根据产生的显示位置信息JP 再现图像，能够容易地领会场景的改变，并能够根据图像的内容领会在场景改变前后图像间的关系。这使得图像能够以可理解的方式被呈 现。
因而，按照本发明的上述实施例的用于处理图像的设备和方法、 用于处理图像的程序产品、用于产生再现信息的设备和方法以及用于 产生再现信息的程序产品，优选地被应用于用于处理关于输入图像例 如电视广播节目和电影的图像信号的设备等。
本领域技术人员应当理解，根据迄今为止的设计要求和其它因 素，可以作出各种改型、组合、子组合以及等同替换，只要它们都落 在所附权利要求及其等效物的范围内。
权利要求
1.一种用于处理图像的设备，所述设备包括场景改变检测单元，用于根据关于输入图像的图像信号检测输入图像的场景改变；显示位置控制单元，用于根据场景改变检测单元的检测结果，把场景改变之后图像的显示位置确定为与场景改变之前的图像相关的显示位置；以及显示位置设置单元，用于把在显示位置控制单元中确定的显示位置设置为显示在场景改变之后的图像的显示位置，其中所述显示位置控制单元检测场景改变前后的图像的特征值，并根据图像的特征值确定场景改变之后的图像的显示位置。
2. 如权利要求1所述的设备，其中所述显示位置控制单元包括 第一面部区域提取部分，用于从图像信号中提取面部图像的区域；第一视线方向检测部分，用于从在第一面部区域提取部分中提取 的面部图像的区域中检测第一视线方向；延迟部分，用于延迟图像信号以产生延迟的图像信号； 第二面部区域提取部分，用于从自延迟部分接收的延迟图像信号第二视线方向检测部分，用于从在第二面部区域提取部分中提取 的面部图像的区域中检测笫二视线方向；以及显示方向判定部分，用于在第一和第二视线方向被检测出之后根 据表示特征值的第一和笫二视线方向判定关于图像信号的输入图像 的显示方向。
3.如权利要求2所述的设备，其中第一面部区域提取部分包括 有色皮肤区域提取部分，用于从图像信号提取图像的值在一个设 置范围内的像素，并把所述像素设置为有色皮肤的区域；水平线检测部分，用于计数在每个水平线上在有色皮肤区域提取部分中提取的有色皮肤区域中的像素的数量，并检测具有最大的计数 像素数的水平线，以从具有最大的计数像素数的水平线的位置获得参考点;垂直线检测部分，用于根据水平线检测部分中检测的水平线的长度获得垂直线的长度，并把参考点设置为垂直线的中点；帧区域提取部分，用于根据在水平线检测部分中检测的水平线和在垂直线检测部分中检测的垂直线从图像中提取帧区域；以及面部图像辨别部分，包含用于设置的面部图像的模板，计算在所述模板和在帧区域提取部分提取的帧区域之间的差值，比较所述差值和预定阈值，并根据比较结果辨别图像中的所述帧区域是否是面部区域。
4. 如权利要求2所述的设备，其中第二面部区域提取部分包括 有色皮肤区域提取部分，用于从延迟的图像信号提取图像的值在一个设置范围内的像素，并把所述像素设置为有色皮肤的区域；水平线检测部分，用于计数在每个水平线上在有色皮肤区域提取 部分中提取的有色皮肤区域中的像素的数量，并检测具有最大的计数 像素数的水平线，以从具有最大的计数像素数的水平线的位置获得参 考点；垂直线检测部分，用于根据水平线检测部分中检测的水平线的长 度获得垂直线的长度，并把参考点设置为垂直线的中点；帧区域提取部分，用于根据在水平线检测部分中检测的水平线和 在垂直线检测部分中检测的垂直线从图像中提取帧区域；以及面部图像辨别部分，包含用于设置的面部图像的模板，计算在所 述模板和在帧区域提取部分提取的帧区域之间的差值，比较所述差值 和预定阈值，并根据比较结果辨别固像中的所述帧区域是否是面部区 域。
5. 如权利要求1所述的设备，其中显示位置控制单元包括 第一延迟部分，用于延迟图像信号，以产生第一延迟图像信号； 第二延迟部分，用于延迟第一延迟图像信号，以产生第二延迟图像信号；运动矢量检测部分，用于接收第一和第二延迟图像信号，并从第一和第二延迟图像信号检测运动矢量；运动矢量判定部分，用于根据在运动矢量检测部分中检测的运动矢量判定表示特征值的预定的运动矢量；以及显示方向判定部分，用于根据在运动矢量判定部分中判定的运动 矢量判定关于图像信号的输入图像的显示方向。
6. 如权利要求1所述的设备，其中显示位置控制单元包括 延迟部分，用于延迟图像信号，以产生延迟的图像信号； 音量检测部分，用于检测关于伴随着延迟的图像信号的具有多个声道的音频信号的音量；音量比较部分，用于计算在音量检测部分中检测的声道之间的音 量的差值，比较所述差值和预定的阈值，并根据其比较结果辨别在声 道之间是否具有音量的差异，所述差值表示特征值；以及显示方向判定部分，用于根据在音量比较部分中的辨别结果判定 关于图像信号的输入图像的显示方向。
7. 如权利要求1所述的设备，还包括积累单元，用于积累关于输 入图像的图像信号，其中场景改变检测单元根据在所述积累单元中积累的图像信号 检测输入图像的场景改变；其中当检测到场景改变时，显示位置控制单元把场景改变后的图 像的显示位置确定为与场景改变前的图像相关的显示位置；其中显示位置设置单元把在显示位置控制单元中确定的显示位 置设置为用于显示场景改变后的图像的显示位置，并向积累单元提供 用于在该设置的显示位置上显示场景改变后的图像的显示位置信息， 以及其中积累单元根据提供的用于每个场景的显示位置信息调整用 于最终显示场景改变后的图像的显示位置。
8. —种用于处理图像的方法，所述方法包括第 一步骤，用于根据关于输入图像的图像信号检测输入图像的场景改变；第二步骤，用于根据第一步骤的检测结果，把场景改变之后图像 的显示位置确定为与场景改变之前的图像相关的显示位置；以及第三步骤，用于把在第二步骤中确定的显示位置设置为显示在场 景改变之后的图像的显示位置，其中在第二步骤中，检测场景改变前后的图像的特征值，并根据 这些图像的特征值确定显示在场景改变之后的图像的显示位置。
9. 一种程序产品，其允许计算机通过执行用于处理图像的方法来 处理图像信号，所述方法包括第一步骤，用于根据关于输入图像的图像信号检测输入图像的场 景改变；笫二步驟，用于根据第一步骤的检测结果，把场景改变之后图像 的显示位置确定为与场景改变之前的图像相关的显示位置；以及第三步骤，用于把在第二步骤中确定的显示位置设置为显示在场 景改变之后的图像的显示位置，其中在第二步骤中，检测场景改变前后的图像的特征值，并根据 这些图像的特征值确定显示在场景改变之后的图像的显示位置。
10. —种用于产生再现信息的设备，该设备处理关于输入的图像 的图像信号，从而产生关于输入的图像的再现信息，所述设备包括场景改变检测单元，用于根据关于输入图像的图像信号检测输入 图像的场景改变；以及显示位置控制单元，用于根据场景改变检测单元的检测结果把场 景改变之后图像的显示位置确定为与场景改变之前的图像相关的显 示位置，其中所述显示位置控制单元检测场景改变前后的图像的特征值， 并根据图像的特征值产生再现信息，以便确定场景改变之后的图像的 显示位置。
11. 一种通过处理关于输入图像的图像信号来产生关于输入图像的再现信息的方法，所述方法包括第 一步骤，用于根据关于输入图像的图像信号检测输入图像的场 景改变；以及第二步骤，用于根据第一步骤的检测结果，把场景改变之后图像 的显示位置确定为与场景改变之前的图像相关的显示位置，其中所述第二步骤包括以下子步骤检测场景改变前后的图像的 特征值，以及产生再现信息，以根据图像的特征值确定在场景改变之 后图像的显示位置.
12.—种程序产品，其允许计算机通过执行下述步骤产生用于再 现关于输入图像的图像信号的再现信息第一步骤，用于根据关于输入图像的图像信号检测输入图像的场 景改变；以及第二步骤，用于根据第一步骤的检测结果，把场景改变之后图像 的显示位置确定为与场景改变之前的图像相关的显示位置，其中所述第二步骤包括以下子步骤检测场景改变前后的图像的 特征值，以及产生再现信息，以根据图像的特征值确定在场景改变之 后图像的显示位置。
全文摘要
本发明公开了处理图像的设备和方法及产生再现信息的设备和方法。一种用于处理图像的设备包括场景改变检测单元，用于根据关于输入图像的图像信号检测输入图像的场景改变；显示位置控制单元，用于根据场景改变检测单元的检测结果，把场景改变之后图像的显示位置确定为与场景改变之前的图像相关的显示位置；以及显示位置设置单元，用于把在显示位置控制单元中确定的显示位置设置为显示在场景改变之后的图像的显示位置。所述显示位置控制单元检测场景改变前后的图像的特征值，并根据图像的特征值确定场景改变之后的图像的显示位置。
文档编号H04N5/74GK101291392SQ200810092940
公开日2008年10月22日 申请日期2008年4月18日 优先权日2007年4月20日
发明者山元左近, 近藤哲二郎 申请人:索尼株式会社