专利名称:图像处理设备和方法及其程序的制作方法
技术领域:
本发明涉及一种图像处理设备、方法以及程序,更具体地涉及一种更 快速并更具确定性地确定图像显示格式的图像处理设备、方法以及程序。
背景技术:
在要显示输入图像、且输入图像为运动图像的情况下,广泛地使用一种例如称为帧速率转换的技术,其中通itit动补偿在输入图像中内插帧。 也就是说,在帧速率转换中,通过运动补偿,使用帧和运动向量在输入图 像的预定帧和与该预定帧不同的输入图像的帧之间产生输入图像的新帧。在此,在一些输入图像中,预定帧的图像可简单地被用作下一帧的图 像。例如,在总体上渐进的运动图像中逐帧显示不同的图像;但是,在例 如动画片的内容的运动图像中会在两个连续的帧中显示相同的图像。这样,如果输入图4象的显示格式不同,例如在输入图像中逐帧显示不 同的图像,或在连续帧中重复显示相同的图像,则用于帧速率转换中的运 动补偿的帧会变化。因此,如果不指定输入图像的显示格式,则其中显示 相同图像的不同帧例如可能会被用于产生新的内插帧。因此,作为确定输入图像的显示格式的方法,提出了通it^连续帧的 图像之间的差进行阈值处理以确定显示格式的方法(例如,参见日本未审 查专利申请公开No. 2005-318611 ),或使用状态机确定显示格式的方法。 在设置有以此方式确定输入图像显示格式的机制的显示装置中,当播放输 入图像时,按照关于显示格式的确定结果进行帧速率转换。发明内容然而,利用上述技术,m^更具确定性地快速确定输入图像的显示格式。例如,在使用状态机的方法中,确定显示格式需要很长时间,因为存在多个条件分支。另外,由于在确定显示格式之后选择用于帧速率转换的 合适的帧需要很长时间,合适的帧不被使用的时间段变长,因此输入图像 的图像质量将变差。此外,在通过阈值处理来确定显示格式的方法中,如果阔值处理中使 用的阈值是具体的固定值,则很难设定对于输入图像合适的阈值。由此, 如果不适当地设定阈值,根据输入图像的连续帧之间的差的幅度可能会错 误地确定显示格式。希望更快并更具确定性地确定输入图像的显示格式。根据本发明的实施例的一种图像处理设备包括差计算装置,用于获 得两个连续帧的图像之间的亮度差;平均值计算装置,用于计算针对预定 数量的连续帧所获得的亮度差的平均值,每个亮度差针对预定数量的连续 帧中对应的一个获得;变化确定装置,用于针对所述预定数量的连续帧的 每个帧,通过比较针对所述帧获得的亮度差和所述平均值,确定包括所述 帧的两个连续帧的图像是否相同;以及显示格式确定装置,用于使用关于 所述预定数量的帧的确定结果,从多个显示格式中确定预定数量的连续帧 的图像的时域显示格式,在所述多个显示格式中包括其中各自具有显示相 同图像的特定数量的连续帧的多个组规则地重复的显示格式,所述确定结 果由所述变化确定装置获得。所述图像处理设备可以还包括帧内插装置,用于使用由所述变化确 定装置获得的确定结果和关于显示格式的确定结果从所述预定数量的帧 的图像中指定的第一帧图像和第二帧图^ii行运动补偿,以及用于产生要 内插在笫 一和第二帧之间的帧的图像。所述图像处理设备可以还包括比较装置,用于将针对所述预定数量 的帧所获得的亮度差的最大值和最小值之间的差与平均值相比较。所U 示格式确定装置可使用所述变化确定装置获得的确定结杲和所述比较装 置获得的比较结果确定显示格式。所述图像处理设备可以还包括次数计算装置,用于使用所述变化确 定装置获得的确定结果获得相同图像在所述预定数量的帧中显示的次数, 所述显示格式确定装置可使用由所述变化确定装置获得的确定结果和关 于由所述次数计算装置获得的相同图4象显示的次数确定显示格式。图像处理设备可以还包括缩小图像产生装置,用于通过减少图像的 像素数量产生图像的缩小图像。所述差计算装置可使用所述缩小图像获得亮度差。根据本发明的实施例的一种图像处理方法和程序包括以下步骤获 得两个连续帧的图像之间的亮度差;计算针对预定数量的连续帧所获得的 亮度差的平均值,每个亮度差针对预定数量的连续帧中对应的一个获得; 针对所述预定数量的连续帧的每个帧,通过比较针对所述帧获得的亮度差 和所述平均值,确定包括所述帧的两个连续帧的图4象是否相同;以及4吏用 关于所述预定数量的帧的确定结果,从多个显示格式中确定预定数量的连 续帧的图像的时域显示格式,在所述多个显示格式中包括其中各自具有显 示相同图像的特定数量的连续帧的多个组规则地重复的显示格式,所述确 定结果关于包括所述帧的两个连续帧的图1象是否相同。根据本发明的实施例,获得两个连续帧的图像之间的亮度差;计算针 对预定数量的连续帧所获得的亮度差的平均值,每个亮度差针对预定数量 的连续帧中对应的一个获得;针对所述预定数量的连续帧的每个帧,通过 比较针对所述帧获得的亮度差和所述平均值,确定包括所述帧的两个连续 帧的图像是否相同;以及使用关于所述预定数量的帧的确定结果,从多个 显示格式中确定预定数量的连续帧的图像的时域显示格式,在所述多个显 示格式中包括其中各自具有显示相同图像的特定数量的连续帧的多个组 规则地重复的显示格式,所述确定结果关于包括所述帧的两个连续帧的图 4象是否相同,根据本发明的实施例,能够更快速并更具确定性地确定输入图像的显 示格式。
图l是示出输入图像的显示格式的图;图2是示出应用了本发明的图像转换设备的实施例的结构示例框图;图3是示出电影模式确定单元的更详细结构的示例图;图4是示出帧间改变检测器的更详细结构的示例图;图5是示出电影格式确定单元的更详细结构的示例图;图6是示出帧速率转换处理的i^图;图7是示出电影模式确定处理的流程图;图8是示出检测帧之间的运动的图;图9A到9C是示出检测帧之间的运动的图;图IOA到10C是示出电影模式的显示格式的图;图11是示出帧速率转换的示例的图;图12是示出该帧速率转换的示例的图;图13是示出帧速率转换的示例的图;图14是示出该帧速率转换的示例的图;图15是示出帧速率转换的示例的图;图16是示出该帧速率转换的示例的图;以及图17是示出计算机的结构的示例的图。
具体实施方式
下面将参照附图描述本发明的实施例.首先,参照图1的A到C部分,描^根据本发明的实施例的图像 转换设备中要确定的输入图像的显示格式。在此,输入图像的显示格式是 输入图像的时域(temporal)显示格式,例如逐帧显示不同的图像,或定 期地重复均具有显示相同图4象的特定数量的连续帧的多个组。在此,在图1的A到C部分中,水平方向代表时间,每个方块4^ 输入图像的一个帧的图像。在图1的A到C部分中,帧的图^^具有最 早的显示时间的图像开始以从左向右的方向顺序排列。由具有相同数字的 方块代表的图像是相同的图 <象。在图1的A部分所示的显示格式中,在连续的帧中逐帧显示不同的 图像。例如,很多电视广播节目具有该显示格式。在下文中,逐帧显示不 同图像的显示格式被称为"视频"。在图1的B部分所示的显示格式中,在时域上连续的两个帧中显示 相同的图像。也就是说,对于数字中的每一个,由该数字代表的图^ML两 个连续帧中重复地显示。例如,当例如动画片的内容的运动图像的帧速率 被转换以便于电视广播时获得该显示格式。在下文中,图1的B部分示 出的显示格式称为"2-2电影"。在图1的C部分所示的显示格式中,在3个连续帧中显示相同的图 像,之后在下两个连续帧中显示不同的图像。在重复该格式时显示图像。 例如,当为了在例如电影院的剧院播放而产生的运动图像的帧速率被转换 以便于电视广播时,获得该显示格式。在下文中,图1的C部分示出的 显示格式称为"2-3电影"。图像,;并且从"视频":"2-2电影"、"2-3电影"中确定输入图像的时域 显示格式。根据确定结果,转换输入图像的帧速率。在下文,输入图像的 显示格式也称为电影模式,显示格式(电影模式)的确定也称为电影模式 确定。图2是示出应用了本发明的图像转换设备的实施例的结构示例框图。图像转换设备ll包括预处理单元21、帧存储器22、运动向量检测器 23、帧存储器24、以及运动补偿器25。输入到图像转换设备ll的输入图 像以一帧为单位被提供到预处理单元21和帧存储器24.预处理单元21确定已经输入的输入图像的电影模式。预处理单元21 包括图像缩小单元31和电影模式确定单元32.图像缩小单元31减少提供的图像的像素数量,并产生缩小的图像, 即比提供的图像小的图像,也就是具有更少像素数量的图像。图像缩小单 元31向帧存储器22、电影模式确定单元32、以及运动向量检测器23提 供所产生的缩小的图像。电影模式确定单元32使用从图像缩小单元31提供的缩小的图像、以 及从帧存储器22提供的缩小的图像即时域上从图像缩小单元31提供的缩 小的图像的帧之前的一个帧的缩小的图像,确定输入图像的电影模式。电 影模式确定单元32向运动补偿器25提供确定结果。帧存储器22仅^L显示一个帧的时间段内保持从图像缩小单元31 提供的缩小的图像,之后向电影模式确定单元32和运动向量检测器23 提供该缩小的图像。运动向量检测器23使用从图像缩小单元31提供的缩 小的图像和从帧存储器22提供的缩小的图像检测输入图像的运动向量。 运动向量检测器23向运动补偿器25提供检测的运动向量。帧存储器24是用于仅^ML显示一个帧的时间段内保持提供的图像的 存储器.帧存储器24向运动补偿器25提供所提供的图像和由帧存储器 24保持的图像。由此,从帧存储器24向运动补偿器25提供两个时域上连续的帧。在参照从电影模式确定单元32提供的确定结果时,运动补偿器25 使用从运动向量检测器23提供的运动向量和从帧存储器24提供的图像对 输入图像进行帧速率转换。即,运动补偿器25使用所提供的图像和运动 向量进行运动补偿,并产生要内插在连续帧之间的新帧的图像.这里,在 下文中通过运动4M尝将要或内插的帧也称为内插帧。如果输入图像的帧速率被运动补偿器25转换,从运动补偿器25向未 示出的例如液晶显示器的显示单元提供帧速率已转换的输入图像,并在之 上显示。接着,图3是示出图2所示的电影模式确定单元32的更详细的结构 的示例的图.电影模式确定单元32包括差绝对值之和计算单元61、差绝 对值之和延迟单元62、平均值计算单元63、帧间变化检测器64、以及电 影格式确定单元65。差绝对值之和计算单元61计算从图像缩小单元31和帧存储器22提 供的缩小的图像的各亮度值之间的差的绝对值之和,作为缩小的图像之间 的亮度差。差绝对值之和计算单元61向差绝对值之和延迟单元62提供差 的绝对值之和。差绝对值之和延迟单元62临时地保持和延i^差绝对值之和计算单 元61提供的差绝对值之和。另外,差绝对值之和延迟单元62向平均值计 算单元63和帧间变化检测器64提供有关包括当前处理的帧的最后10个 桢的差绝对值之和。也就是说,如果当前处理的帧被称为当前帧,差绝对 值之和延迟单元62向平均值计算单元63和帧间变化检测器64提供差绝 对值之和dif-sum0到dif-sum9,其中的每一个^:针对当前帧和当前帧之 前的9个帧中对应的一个计算的。平均值计算单元63计算从差绝对值之和延迟单元62提供的差绝对值 之和dif-sum0到dif-sum9的平均值dif-sum-ave,并向帧间变化检测器64 提供平均值dif-sum-ave。另外,平均值计算单元63获得从差绝对值之和 延迟单元62提供的差绝对值之和dif-sum0到dif-sum9的最大值和最小 值,并向帧间变化检测器64提供所述最大值和最小值。帧间变化检测器64使用从平均值计算单元63提供的平均值以及最大 值和最小值、以及从差绝对值之和延迟单元62提供的差绝对值之和,产 生变化信号mdc和变化数量信号CHANGES。帧间变化检测器64向电影格式确定单元65提供变化信号mdc和变化数量信号CHANGES,在此,变化信号mdc是用于指示针对包括当前帧的最后10个帧的每 一个,帧的图像与时域上前一帧的图像是否相同的信号。如果主体帧的图 像与时域上前一帧的图像不同的情况被称为帧之间存在运动,则变化信号 mdc包括关于输入图像的最后10个帧的每一个是否存在运动的信息。另 夕卜,变化数量信号CHANGES是指示在输入图像的最后10个帧中的帧之 间检测到运动的次数的信号。电影格式确定单元65使用从帧间变化检测器64提供的变化信号mdc 和变化数量信号CHANGES产生用于指示输入图像的电影模式的电影模 式信号和用于指定当前帧在显示格式中的位置的电影序列信号。电影格式 确定单元65向运动补偿器25提供所产生的电影模式信号和所产生的电影 序列信号。例如,在图1C所示的电影模式为"2-3电影"的输入图^象中,在相 同图像显示3个连续帧之后,在接下来的两个连续帧中显示与所显示的图 像不同的图像。该显示格式被重复。也就是说,在电影模式"2-3电影" 中,重复5个连续帧的显示格式,例如图1C中从位于左端并具有数字0 的帧到位于从左端起第5个并具有数字1的帧。由此,如果能够从5个帧中指定当前帧,能够确定性地确定当前帧的 图像是否与其它帧的图傳4目同等。由此,根据包括当前帧的最后几个帧中 的帧之间是否存在运动,产生电影序列信号,其指示当前帧是作为显示格 式中的重复单元的帧中的哪一个.更具体地,图3所示的帧间变化检测器64如图4所示配置。也就是说,帧间变化检测器64包括阈值处理单元91-1到91-10 (阈 值处理单元91-3到91-9未示出)、系数乘法器92、差计算单元93、比较 器94、编码单元95、以及加法器96。从平均值计算单元63提供的平均值dif-sum-ave被提供到阈值处理单 元91-1到91-10以及系数乘法器92。从平均值计算单元63提供的差绝对 值之和的最大值和最小值被提供到差计算单元93。从差绝对值之和延迟 单元62提供的差绝对值之和dif-sum0到dif-sum9被分别提供到阈值处理 单元91-1到91-10。阈值处理单元91-1到91-10使用从平均值计算单元63提供的平均值 dif-sum-ave作为阈值分别对从差绝对值之和延迟单元62提供的差绝对值之和dif-sum0到dif-sum9进行阈值处理,并向编码单元95提供处理结果。 这里,在下文中,在不需要彼此区分阈值处理单元91-1到91-10的情况 下,其被简称为阈值处理单元91。系数乘法器92将从平均值计算单元63提供的平均值dif-sum-ave和 预定系数相乘,并向比较器94提供结果值。差计算单元93计算从平均值 计算单元63提供的最大值和最小值之间的差,并向比较器94提供所计算的差。比较器94比较从系数乘法器92提供的平均值和从差计算单元93提 供的差,并向编码单元95提供比较结果。也就是说,输入图像是否被认 为是电影视频是根据通过使用比较器94比较差和平均值所获得的比较结 果来确定的。在此,术语"电影视频"是指电影模式为"2-2电影"或"2-3 电影"的输入图1象。例如,如果输入了电影模式为"视频"的输入图《象,则帧的图傳逸帧 不同。由此,总体而言,差绝对值之和的最大值和最小值之间的差大于平 均值应该极少出现。相反地,如果输入了电影模式为"2-2电影"或"2-3 电影"的输入图像,则最大值和最小值之间的差应充分大于平均值。由此,比较器94比较最大值和最小值之间的差与平均值,并向编码 单元95提供作为比较结果的指示输入图像的电影模式是"2-2电影"和"2-3 电影"之一还是"视频"的信息。编码单元95使用从阈值处理单元91-1到91-10提供的阈值处理的结 果,参照从比较器94提供的比较结果,产生变化信号mdc,并向加法器 96和电影格式确定单元65提供变化信号mdc。在此,变化信号mdc是 10比特的数据。变化信号mdc的每个比特指示针对最后10个帧中相应的 一个帧之间是否存在运动。更具体地,变化信号mdc的比特,即对应于 预定帧的比特,当针对该预定帧的帧之间存在运动时,其比特值是"1", 而当帧之间不存在运动时为"0"。加法器96通过计算从编码单元95提供的变化信号mdc的比特的值 的和,产生变化数量信号CHANGES,并向电影格式确定单元65提供变 化数量信号CHANGES。也就是说,变化信号mdc的每个比特指示针对 帧中对应的一个帧的帧之间是否存在运动,当存在运动时比特的值为"l"。 由此,比特的值之和指示在最后10个帧中帧之间检测到运动的次数。更具体地,图3所示的电影格式确定单元65配置为如图5所示。也就是说,电影格式确定单元65包括变化数量确定单元121、比较器122-1 到122-4、与电路123、模式确定单元124、序列确定单元125、变化数量 确定单元126、比较器127、与电路128、模式确定单元129、序列确定单 元130、以及输出单元131。
在此,加法器96提供的变化数量信号CHANGES被提供到变化数量 确定单元121和变化数量确定单元126。另外,从编码单元95提供的变 化信号mdc的部分被提供到比较器122-1到122-4、序列确定单元125、 比较器127、以及序列确定单元130。
在此,如果将从变化信号mdc的最后(最低比特)开始的第i个比 特(0《i《9 )到从变化信号mdc的最后(最低比特)开始的第j个比特 (0《j《9)之间的部分记为变化信号mdc[j:il,则将变化信号mdc[l:O
提供到比较器122-1到122-4,变化信号mdc[3:2]、 mdc[5:4、mdc[7:6、 以及mdc[9:81分别提供到比较器122-1到122-4。
另外,变化信号mdc[l:01被提供到序列确定单元125。此外,变化信 号mdc[4:0]和mdc[9:5被提供到比较器127。变化信号mdc[4:0]被提供到 序列确定单元130。
在电影格式确定单元65中,输入图像的电影模式是否是"2-2电影" 是由变化数量确定单元121到模式确定单元124确定,输入图像的电影模 式是否是"2-3电影"是由变化数量确定单元126到模式确定单元129确 定。
变化数量确定单元121向与电路123提供对应于从加法器96提供的 变化数量信号CHANGES的比特值。比较器122-1到122-4向与电路123 提供对应于通过将变化信号mdc[l:0分别和变化信号mdc[3:2、 mdc[5:4、mdc[7:61以及mdc[9:8相比较获得的比较结果的比特值。在此, 在下文,如果不需要彼此区分比较器122-1到122-4,将简称为比较器122。
与电路123计算从变化数量确定单元121和比较器122提供的比特值 之间的逻辑与,并向模式确定单元124提供计算结果。模式确定单元124 使用从与电路123提供的计算结果产生输入图像的电影模式信号,并向输 出单元131提供电影模式信号。序列确定单元125使用从编码单元95提 供的变化信号mdcl:0]产生输入图像的电影序列信号,并向输出单元131 提供电影序列信号。
变化数量确定单元126向与电路128提供对应于从加法器96提供的变化数量信号CHANGES的比特值。比较器127向与电路128提供对应 于通过比较从编码单元95提供的变化信号mdc[4:0I和mdc[9:5获得的比 较结果的比特值。
与电路128计算从变化数量确定单元126和比较器127提供的比特值 之间的逻辑与,并向模式确定单元129提供计算结果。模式确定单元129 使用从与电路128提供的计算结果产生输入图像的电影模式信号,并向输 出单元131提供电影模式信号。序列确定单元130使用从编码单元95提 供的变化信号mdc[4:0产生输入图像的电影序列信号,并向输出单元131 提供电影序列信号。
输出单元131使用A^漢式确定单元124和129提供的电影模式信号向 运动补偿器25提供最终电影模式信号。另外,输出单元131使用从序列 确定单元125和130提供的电影序列信号向运动补偿器25提供最终电影 序列信号。
如果向图像转换设备ll提供了输入图像,并且输入了执行输入图像 的帧速率的转换的命令,图像转换设备11开始帧速率转换处理,即其中 响应于该命令转换输入图像的帧速率,接着输出具有转换的帧速率的输入 图像。
下面将参照图6所示的流程图描述由图像转换设备11进行的帧速率 转换处理。
在步骤Sll,图像缩小单元31通itXt提供的图像进行过滤处理缩小 所提供的图像的像素数量,并产生缩小图像。图像缩小单元31向帧存储 器22、电影模式确定单元32、以;5U1动向量检测器23提供所产生的缩小 图像。
帧存储器22保持从图像缩小单元31提供的当前帧的缩小图像,并向 电影模式确定单元32和运动向量检测器23提供已经由帧存储器22保持 的缩小图像,即时域上当前帧之前一帧的帧的缩小图像。
在步骤S12,电影模式确定单元32进行电影模式确定处理,并向运 动补偿器25提供确定结果。在电影模式确定处理中,电影模式确定单元 32使用从电影缩小单元31和帧存储器22提供的缩小图像产生电影模式 信号和电影序列信号,并向运动补偿器25提供电影模式信号和电影序列 信号。电影模式确定处理的细节将在下文中描述。
在步骤S13,运动向量检测器23使用从图像缩小单元31和帧存储器22提供的缩小图像,检测当前帧的前一帧即从帧存储器22提供的帧的缩 小图像的像素的运动向量。运动向量检测使用例如块匹配或梯度方法进 行。
如果已经检测缩小图像的运动向量,运动向量检测器23向运动补偿 器25提供所检测的运动向量。更具体地,缩小图像的像素的运动向量被 升釆样,并处理为当前帧的前一帧的帧的图像的像素的运动向量。运动向 量被提供到运动补偿器25。该升釆样可由运动##器25进行.
帧存储器24在其中显示一个帧的时间段内保持所提供的当前帧的图 像,并向运动补偿器25提供当前帧的图像和已经由帧存储器24保持的帧 的图像。
在步骤S14,运动补偿器25参照从电影模式确定单元32提供的电影 模式信号和电影序列信号,使用从帧存储器24提供的图像和从运动向量 检测器23提供的运动向量进行运动补偿,并产生输入图像的内插帧。
更具体地,运动补偿器25保持在时域上当前帧之前的帧的图像和所 述图像的运动向量、以及已经提供到运动补偿器25的帧的图像。运动补 偿器25从运动补偿器25保持的帧、当前帧、以及当前帧前一帧的帧选择 由电影模式信号和电影序列信号指定的帧。另外,运动补偿器25选择由 电影模式信号和电影序列信号指定的帧的运动向量.
接着,运动补偿器25使用所选择的帧的图像和所选择的帧的运动向 量,并通过运动补偿产生输入图像的内插帧。运动补偿器25向运动补偿 器25之后设置的显示单元提供帧速率已经被转换并包括所产生的内插帧 的图像的输入图像、以M帧存储器24提供的帧的图像。帧速率已经被 转换的输入图像在显示单元上显示,桢速率转换处理完成。在图像转换设 备11中,每次输入输入图像的一个帧时进行帧速率转换处理,并且包括 内插帧的输入图^ 示。
以此方式,图像转换设备ll确定已经输入的输入图像的电影模式, 并使用根据确定结果指定的适当的帧转换输入图像的帧速率。
以此方式,通过确定输入图像的电影模式能够使用适当的帧的图像和 适当的帧的运动向量转换输入图像的帧速率,由此能够防止输入图像的图 像质量退化。
另外,在图傳游换设备ll中,确定电影模式的机构,即电影模式确 定单元32设置在图像转换设备11内的运动向量检测器23之前。由此,不需要附加地设置用于电影模式确定等的帧存储器。也就是说,由于图像
转换设备11配置为从向运动向量检测器23提供图像的帧存储器22获得 电影模式确定单元32确定电影模式时将要使用的图像,能够减少部件的 数量。
另夕卜,通过使用所提供的图像的缩小图像,能够显著减少进行电影模 式确定和运动向量检测所需的处理量,由此能够更快速地进行电影模式确 定和帧速率转换。
接着,参照图7所示的流程图,描述对应于图6的步骤S12中进行的 处理的电影模式确定处理。当缩小图像从图像缩小单元31和帧存储器22 提供到电影模式确定单元32的差绝对值之和计算单元61时,开始该电影 模式确定处理。
在步骤S41,差绝对值之和计算单元61计算所提供的缩小图像之间 的差绝对值之和。也就是说,差绝对值之和计算单元61获得从图像缩小 单元31提供的缩小图像的像素的亮度值和从帧存储器22提供的缩小图像 的像素的亮度值,计算缩小图像的对应像素之间的亮度差,并计算所计算 的亮度差的绝对值之和作为差绝对值之和。也就是说,获得从图像缩小单 元31提供的缩小图像的每个像素的亮度值和从帧存储器22提供的缩小图 像的对应的一个像素的亮度值之间的差,对应的一个像素位于从图像缩小 单元31提供的缩小图像的像素的相同位置,所获得的对应像素之间的亮 度差的绝对值之和被处理为差绝对值之和。
差绝对值之和计算单元61向差绝对值之和延迟单元62提供所计算的 差绝对值之和dif-sum0。接着,差绝对值之和延迟单元62保持和延i^ 差绝对值之和计算单元61提供的差绝对值之和dif-sum0,并向平均值计 算单元63和帧间变化检测器64提供差绝对值之和dif-sum0和由差绝对 值之和延迟单元62保持的差绝对值之和dif-suml到dif-sum9。
在步骤S42,平均值计算单元63计算从差绝对值之和延迟单元62提 供的差绝对值之和dif-sum0到dif-sum9的平均值dif-sum-ave,并向帧间 变化检测器64的阈值处理单元91和系数乘法器92提供平均值 dif-sum-ave。另夕卜平均值计算单元63获得从差绝对值之和延迟单元62 提供的差绝对值之和dif-sum0到dif-sum9的最大值和最小值,并向帧间 变化检测器64和差计算单元93提供所获得的最大值和最小值。
在步骤S43,阈值处理单元91-1到91-10的每一个使用从平均值计算单元63提供的平均值dif-sum-ave作为阈值,并比较平均值dif-sum-ave 和从差绝对值之和延迟单元62提供的对应的一个差绝对值之和。接着, 如果对应的一个差绝对值之和大于或等于平均值dif-sum-ave,阈值处理 单元91-1到91-10的每一个向编码单元95提供具有值"1"的1比特信 号。如果对应的一个差绝对值之和小于平均值dif-sum-ave,阈值处理单 元91-1到91-10的每一个向编码单元95提供具有值"0"的1比特信号。
在此,从阈值处理单元91向编码单元95提供的、指示阈值处理结果 的信号值指示帧之间是否存在运动.
例如,如图8所示,对针对从电影模式为"2-3电影"的输入图像产 生的缩小图像所获得的差绝对值之和进行阈值处理。在此,在图8中,纵 轴代表针对缩小图像获得的差绝对值之和,横轴代表时间,也就是帧。另 外,在图8中,字符"A"到"D"代表缩小图像,虚线指示差绝对值之 和的平均值。
在图8中,在最左侧的帧的缩小图像A当前被处理为主题帧的情况 下,该帧的前一帧的帧的缩小图像与该缩小图4象A不同。因此,帧之间 存在运动,并且针对该主题帧获得的差绝对值之和具有接近差绝对值之和 的最大值的值。
另外,在从左侧起第二个的缩小图像A当前被处理为主题帧的情况 下,由于该帧的前一帧的帧的缩小图^象A与该帧的缩小图4象A相同,因 而帧之间不存在运动,针对该主题帧获得的差绝对值之和为0 (最小值)。
以此方式,针对从电影模式为"2-3电影"的输入图像产生的缩小图 像的每个帧的差绝对值之和,根据帧之间是否存在运动,具有接近最大值 或最小值的值。因此,对于各个帧的差绝对值之和的平均值几乎是最大值 和最小值之间的中间值。因此,使用该平均值作为阈值,对每一个帧,通 过比较针对该帧获得的差绝对值之和和该阈值,能够确定性地确定帧之间 是否存在运动。
因此,例如,在图8所示的最左侧的帧的缩小图像A被当前处理为 主题图4象的情况下,由于最左侧的帧的缩小图像A具有大于平均值的差 绝对值之和,对针对该帧获得的差绝对值之和进行阈值处理的阈值处理单 元91作为阈值处理的结果,向编码单元95提供指示帧之间存在运动的
"1 ,,
另外,图9A到9C每一个示出针对从具有对应的一个电影模式的输入图像实际产生的缩小图像所获得的差绝对值之和。在此,在图9A到9C 中,纵轴代表针对缩小图像获得的差绝对值之和,横轴代表时间,也就是 帧.
图9A示出针对从电影模式为"视频"的输入图像产生的缩小图像所 获得的差绝对值之和以及差绝对值之和的平均值。也就是说,在图9A中, 曲线Kll指示每个帧的差绝对值之和dif-sum,曲线Vll指示每个时间处 的差绝对值之和的平均值dif-sum-ave。
如果输入图像的电影模式是"视频",针对每个帧,帧之间存在运动, 则针对每个帧的缩小图像的差绝对值之和几乎相同。因此,差绝对值之和 的平均值几乎与针对缩小图像的帧的差绝对值之和相同。因此,如果使用
平均值作为阈值对差绝对值之和进行阈值处理,m^检测缩小图《象的帧之 间的运动。
另外,图9B示出针对从电影模式为"2-2电影"的输入图像产生的 缩小图像的差绝对值之和以及差绝对值之和的平均值。也就是说,在图 9B中,曲线K21指示每个帧的差绝对值之和dif-sum,以及曲线V21指 示每个时间处的差绝对值之和的平均值dif-sum-ave。
如果输入图像的电影模式是"2-2电影",从输入图像产生的缩小图像 的帧之间是否存在运动逐帧交替变化。每个帧的差绝对值之和是接近最大 值或最小值的值。因此,差绝对值之和的平均值几乎是最大值和最小值之 间的中间值。因此,如果使用平均值作为阈值对差绝对值之和进行阈值处 理,能够针对每个帧确定性地确定缩小图像的帧之间是否存在运动。
另外,图9C示出针对从电影模式为"2-3电影"的输入图像产生的 缩小图像的帧的差绝对值之和以及差绝对值之和的平均值。也就是说,在 图9C中,曲线K31指示针对每个帧的差绝对值之和dif-sum,曲线V31 指示每个时间处的差绝对值之和的平均值dif-sum-ave。
如果输入图像的电影模式是"2-3电影",在从输入图像产生的缩小图 像的帧中存在特定格式的运动。由此,在针对一个帧的帧之间存在运动, 而在针对另 一帧的帧之间不存在运动。针对每个帧的差绝对值之和是接近 最大值或最小值的值。因此,差绝对值之和的平均值是几乎最大值和最小 值之间的中间值。因此,如果使用平均值作为阈值对差绝对值之和进行阈 值处理,能够针对每个帧具有确定性地确定缩小图像的帧之间是否存在运 动。以此方式,通过使用动态变化的、差绝对值之和的平均值作为用于确
定缩小图像的帧之间是否存在运动的阈值,至少对于从电影模式为"2-2 电影"或"2-3电影"的输入图像产生的缩小图像,每次都能够设定适用 于确定帧之间是否存在运动的阈值。
返回图7的流程图,在步骤S43,由阈值处理单元91进行阈值处理, 阈值处理的结果从阈值处理单元91提供到编码单元95。在此,阈值处理 单元91-1到91-10均输出指示针对当前帧到当前帧之前的9个帧中对应 的 一个帧的缩小图像的帧之间是否存在运动的信号。
例如,如果从阈值处理单元91-1输出的信号的值是"1",该值指示 针对当前帧的缩小图像的帧之间存在运动。另夕卜,例如,如果从阈值处理 单元91-2输出的信号的值是"0",该值指示针对当前帧前一帧的帧的缩 小图像的帧之间不存在运动.
在步骤S44,差计算单元93通it^最大值减去最小值获得从平均值 计算单元63提供的差绝对值之和的最大值和最小值之间的差,并向比较 器94提供所获得的差。
另夕卜,系数乘法器92将从平均值计算单元63提供的平均值乘以一个 系数,并向比较器94提供结果值。在此,将平均值与预定系数相乘的原 因是为了将平均值调整为更合适的值作为当确定输入图像是否被认为是 电影影片时使用的阈值。
期望用于确定输入图像是否是电影影片的阈值是差绝对值之和的最 大值和最小值之间的中间值。然而,在一些输入图像的情况下,差绝对值 之和的最小值不是0,由此平均值不是每种情况下都是最大值和最小值之 间的差的一半。另外,例如,在电影模式为"2-3电影"的输入图像(缩 小图像)的情况下,重复地显示的图像的数量很大,因此差绝对值之和的 平均值略敞比最大值和最小值之间的中间值小。因此,平均值被乘以预定 系数,以变为作为阈值的合适值。
在步骤S45,比较器94比较从系数乘法器92提供的平均值和从差计 算单元93提供的差,并向编码单元95提供比较结果。
也就是说,如果从差计算单元93提供的差比平均值大预定值或更多, 则比较器94向编码单元95输出指示输入图像(缩小图像)的电影模式是 "2-2电影"或"2-3电影"的值"1"。
另外,如果从差计算单元93提供的差不比平均值大预定值或更多,则比较器94向编码单元95输出指示输入图像(缩小图像)的电影模式是 "视频"的值"0"。例如,如果电影模式是"视频",最大值和最小值之 间的差比平均值充分小。由此,作为比较结果,向编码单元95提供指示 电影模式是"视频"的值"0"。
在步骤S46,编码单元95参照从比较器94提供的比较结果,并根据 从阈值处理单元91-1到91-10提供的阈值处理的结果产生变化信号mdc。
更具体地,如果从比较器94提供值"1"作为比较结果,编码单元 95认为输入图像(缩小图像)的电影模式是"2-2电影"或"2-3电影", 并认为通过将从阈值处理单元91提供的阈值处理结果按顺序排列所获得 的10比特信号是变化信号mdc。在此,从阈值处理单元91-1到91-10提 供的1比特值分别对应于变化信号mdc的最后(最低)比特到第一 (最 高)比特。
另外,如果从比较器94提供值"0"作为比较结果,编码单元95认 为输入图像(缩小图像)的电影模式为"视频",并认为每个比特具有值 "1"的10比特信号是变化信号mdc。也就是说,如果输入图像(缩小图 像)的电影模式是"视频",应在针对每个帧的帧之间检测到运动,由此 变化信号mdc的每个比特的值是"1"。
如果产生变化信号mdc,则编码单元95向加法器96以及电影格式确 定单元65提供所产生的变化信号mdc。以此方式,由于也利用关于输入 图像是否被认为是电影影片的确定结果产生变化信号mdc,因此能够减少 对帧之间是否存在运动的错误确定。
在步骤S47,加法器96通过计算从编码单元95提供的变化信号mdc 的比特值之和从变化信号mdc产生变化数量信号CHANGES,并向电影 格式确定单元65提供变化数量信号CHANGES。也就是说,如a测到 在针对对应于预定比特的缩小图像的帧的帧之间存在运动,则变化信号 mdc的该比特的值是"1",由此变化信号mdc的比特值之和指示缩小图 像的最后10个帧的帧之间检测到的运动的次数。
在步骤S48,电影格式确定单元65使用从编码单元95提供的变化信 号mdc和从加法器96提供的变化数量信号CHANGES进行"2-2电影" 确定,并产生电影模式信号。
更具体地,如果从加法器96提供的变化数量信号CHANGES的值是 "5",则变化数量确定单元121向与电路123提供1比特信号值'T'。如果变化数量信号CHANGES的值不是"5",则变化数量确定单元121向 与电路123提供1比特信号值"0"。
另外,如果从编码单元95提供的变化信号mdc[l:0]与从编码单元95 提供的变化信号mdc[3:2、mdc[5:4、mdc7:6]、以及mdc[9:8相匹配, 则比较器122-1至122-4将信号值"1"提供给与电路123。如果不相匹配, 则比较器122-1至122-4将信号值"0"提供给与电路123。
与电路123计算从变化数量确定单元121提供的信号值与从比较器 122-1到122-4提供的信号值之间的逻辑"与",并向模式确定单元124提 供结果。也就是说,如果从变化数量确定单元121和比较器122提供的所 有信号值是"1",与电路123向模式确定单元124提供1比特值"1"。如 果从变化数量确定单元121和比较器122提供的信号值包括"0",则与电 路123向模式确定单元124提供1比特值"0"。
另夕卜,如a与电路123提Wi "1",模式确定单元124向输出单元 131提供指示输入图像(缩小图像)的电影模式为"2-2电影"的1比特 值"3"作为电影模式信号。如果从与电路123提供值"0",模式确定单 元124向输出单元131提供指示输入图像(缩小图像)的电影模式为"视 频"的1比特值"1"作为电影模式信号。
在此,如图10A到10C所示,能够4吏用变化信号mdc和变化数量信 号CHANGES指定输入图像(缩小图像)的电影模式。在此,在图10A 到10C中,水平方向代表时间,每个方块代表输入图像(缩小图像)的 一个帧。
另外,在图IOA到10C中,图像(缩小图像)的帧排列为从具有最 老的显示时间的帧开始在图IOA到10C的从左向右的方向上排列。由具 有相同数字的方块代表的图像是相同的图像。由此,最右侧的方块代表当 前帧的图4象。另夕卜,在图IOA到10C中,方块下方的数字"1"指示针对 该帧的图像(缩小图像)的帧之间存在运动。方块下方的数字"0"指示 针对该帧的图像(缩小图像)的帧之间不存W动。
在图10A中,示出了电影模式为"视频"的输入图l象(缩小图^象)。 在此情况下,帧的图4ML此不同,由此,针对每个帧在帧之间检测到运动。 由此,变化数量信号CHANGES的值是"10",变化信号mdc的每个比
特的值是"r。
由此,如果电影模式是"视频",则从变化数量确定单元121输出的值是"0",从比较器122输出的值是"1"。因此,从与电路123输出值"0"。
结果,M式确定单元i24输出值为"r的电影模式信号。该电影模式 信号的值"r指示电影模式是"视频",因而这意味着已经恰当地确定了 输入图像的电影模式。
在图10B中,示出了电影模式为"2-2电影"的输入图像(缩小图像)。
如果电影模式为"2-2电影",则两个连续帧的图傳^目同。因此,当前 帧是图10B的上半部分所示的其中显示相同图像的两个连续帧中的时域 上的后一帧,或如图10B的下半部分所示的其中显示相同图像的两个连 续帧中的时域上的前一帧。
如果电影模式是"2-2电影",在图10B的上和下半部分所示的两种 情况下在最后10个帧中检测到帧之间的运动的次lbl 5.因此,变化数 量信号CHANGES的值是"5"。
另夕卜,如果电影模式是"2-2电影",每隔一个帧检测到帧之间的运动。 因此,变化信号mdc[l:0是"10"或"01",变化信号mdc[2i+l:2i](其 中l^iS4)与变化信号mdc[l:O]相同。
由此,如果电影模式是"2-2电影",从变化数量确定单元121输出的 值是"1",从比较器122输出的值是"1"。因此,从与电路123输出值"1"。 结果,>^溪式确定单元124输出值为"3"的电影模式信号。该电影模式 信号的值"3"指示电影模式是"2-2电影",由此这意味着适当地确定了 输入图像的电影模式。
在图10C中,示出了电影模式为"2-3电影"的输入图像(缩小图像)。
如果电影模式是"2-3电影",两个连续帧的图,同,^3个连续 帧的图IS^目同。因此,按照从最顶一行到最下一行的顺序,当前帧是其中 显示相同图像的两个连续帧中时域上的后一帧,其中显示相同图像的3 个连续帧中的时域上的第一帧、时域上的中间帧、或时域上的最后一帧, 或者其中显示相同图像的两个连续帧中时域上的前一帧。
如果电影模式是"2-3电影",在涉及图10B中最后10个帧的从上至 下的行所示的全部情况下,在最后10帧中检测到帧之间的运动的次^tA 4。因此,变化数量信号CHANGES的值是"4"。
另外,如果电影模式是"2-3电影",重复5个连续帧的显示格式。因 此,变化信号mdc[4:0]和mdc[9:5相同,是"10010"、 "00101"、 "01010"、 "10100"、或"01001"。如果输入图像(缩小图像)的电影模式是"2-3电影",从变化数量确 定单元121输出的值是"0"。因此,从与电路123输出值"0"。结果,从 模式确定单元124输出值为"1"的电影模式信号。电影模式信号的值"1" 指示电影模式为"视频"。如果电影模式未被变化数量确定单元121到模 式确定单元124确定为"2-2电影",则输入图像的电影模式被认为是"视 频"。
再次参照图7所示的流程图,如果进行了 "2-2电影"确定,则在步 骤S49,序列确定单元125使用从编码单元95提供的变化信号mdc[l:0
产生"2-2电影"的电影序列信号,并向输出单元131输出电影序列信号。
也就是说,如果变化信号mdc[l:0是"10",则序列确定单元125产 生值为"0"的电影序列信号。如果变化信号mdc[l:0是"01",则序列确 定单元125产生值为"1"的电影序列信号。在此,如果变化信号mdc[l:O
是"00"或"11",则序列确定单元125产生值为"0"的电影序列信号。
在此,值为"0"的电影序列信号指示输入图像(缩小图像)的最后 IO帧具有如图10B的上半部分所示的显示格式。也就;1说,这是当前帧 是其中显示相同图像的两个连续帧中时域上的后一帧的情况。类似地,值
为"1"的电影序列信号指示输入图像(缩小图像)的最后10帧具有如图 10B的下半部分所示的显示格式。
以此方式,如果输入图像的电影模式是"2-2电影",则v^溪式确定单 元124输出指示电影模式"2-2电影"的电影模式信号。否则,>^漠式确 定单元124输出指示电影模式"视频"的电影模式信号。另外,M列确 定单元125输出在假设输入图像的电影模式是"2-2电影,,的情况下用于 指定当前帧在输入图像的显示格式中的位置的电影序列信号。
如上所述,如果进行了 "2-2电影"确定,则在步骤S50,电影格式 确定单元65使用从编码单元95提供的变化信号mdc和从加法器96提供 的变化数量信号CHANGES进行"2-3电影"确定,并产生电影模式信号。
更具体地,如M加法器96提供的变化数量信号CHANGES的值是 "4",则变化数量确定单元126向与电路128提供1比特信号值"1"。如 果变化数量信号CHANGE的值不是"4",则向与电路128提供1比特信 号值"0"。
另外,如果从编码单元95提供的变化信号mdc[4:0匹配变化信号 mdc[9:5,则比较器127向与电路128提供信号值"1"。如果不匹配,则比较器127向与电路128提供信号值"0"。
接着,与电路128计算从变化数量确定单元126提供的信号值与从比 较器127提供的信号值之间的逻辑"与",并向模式确定单元129提供结 果。也就是说,如果从变化数量确定单元126和比较器127提供的两个信 号值均为"1",则与电路128向模式确定单元129提供1比特值"1"。否 则,与电路128向模式确定单元129提供1比特值"0"。
例如,如图IOA到IOC所示,仅仅当电影模式是"2-3电影"时变化 数量信号CHANGES是"4"。另外,如图10A到10C所示,仅当电影模 式是"2-3电影"或"视频"时变化信号mdc[4:0匹配变化信号mdc[9:5。
由此,仅当电影模式是"2-3电影"时,从与电路128输出比特值"r。 在其它情况下,从与电路128输出比特值"0"。
另外,如果从与电路128向模式确定单元129提供值"1",模式确定 单元129向输出单元131提供指示输入图^U缩小图像)的电影模式是"2-3 电影"的l比特值"2"作为电影模式信号。另外,如果从与电路128向 模式确定单元129提供值"0",则模式确定单元129向输出单元131提供 指示输入图像(缩小图像)的电影模式是"视频"的1比特值"1"作为 电影模式信号。
在步骤S51,序列确定单元130使用从编码单元95提供的变化信号 mdc[4:0]产生"2-3电影"的电影序列信号,并向输出单元131提供电影 序列信号。
也就是说,如果变化信号mdc[4:0是"10010",则序列确定单元130 产生值为"0"的电影序列信号。如果变化信号mdc[4:0是"00101",则 序列确定单元130产生值为"1"的电影序列信号。
另外,如果变化信号mdc[4:0是"01010",则序列确定单元130产生 值为"2"的电影序列信号。如果变化信号mdc4:0]是"10100",则序列 确定单元130产生值为"3"的电影序列信号。如果变化信号mdc[4:0是 "01001",则序列确定单元130产生值为"4"的电影序列信号。
在此,关于输入图像(缩小图像)的最后10个帧的显示格式,从值 为"0"的电影序列信号到值为"4"的电影序列信号分别指示图10C从 顶行到底行所示的显示格式。
以此方式,如果输入图像的电影模式是"2-3电影",则M式确定单 元129提供指示电影模式"2-3电影"的电影模式信号。否则,g式确定单元129指示电影模式"视频"的电影模式信号。另外,从序列确定单 元130输出用于当假设输入图像的电影模式是"2-3电影"的情况下指示 当前帧在输入图像的显示格式中的位置的电影序列信号。
在步骤S52,输出单元131 4吏用M式确定单元124和129提供的电 影模式信号以及从序列确定单元125和130提供的电影序列信号输出最终 电影模式信号和最终电影序列信号。
更具体地,如果^式确定单元124提^i为"3"的电影模式信号, 则输出单元131向模式补偿器25提供g式确定单元124提供的电影模 式信号和从序列确定单元125提供的电影序列信号。在此情况下,作为结 果,电影模式被确定为"2-2电影"。
如果M式确定单元129提M为"2"的电影模式信号,则输出单 元131向运动补偿器25提供从模式确定单元129提供的电影模式信号以 及从序列确定单元130提供的电影序列信号。在此情况下,作为结果,电 影模式被确定为"2-3电影"。
如果值为"3"的电影模式信号不g式确定单元124提供,并且值 为"2"的电影模式信号不#式确定单元129提供,则输出单元131向 运动补偿器25提供值为"1"的电影模式信号和值为"1"的电影序列信 号。在此情况下,作为结果,电影模式被确定为"视频"。
如^输出单元131提供电影模式信号和电影序列信号,则电影模式 确定处理完成。处理步骤进入图6中的步骤S13。
以此方式,电影模式确定单元32确定缩小图像(输入图像)的帧之 间是否存在运动,并使用确定结果确定输入图像的电影模式。
以此方式,使用对针对缩小图像的帧的帧之间是否存在运动的确定结 果能够更快速地更具备确定性地确定输入图像的电影模式。也就是说,在 电影模式确定单元52中,由于仅需要进行简单的处理,其中通过使用排 列的信息项进行比较确定针对每个帧的帧之间是否存在运动,每个信息项 指示针对最后10个帧中对应的一个是否存在运动(变化信号),因此快速 地确定电影模式。另外,由于使用涉及10个帧的信息进行电影模式确定, 能够更准确性地进行确定。
此外,当针对每个帧确定是否帧之间存在运动时通过使用针对最后 10个帧的差绝对值之和的平均值作为阈值进行阈值处理,能够更具备确 定性地确定是否帧之间存在运动。另夕卜,通过比较差绝对值之和的最大值和最小值之间的差与平均值,确定输入图像是否被认为是电影影片。由此,
动的最终确定结果,由此能够利用最终确定结果更具备确定性地确定帧之 间是否存在运动。
此外,在电影模式确定的情况下,不仅使用通过进行比较获得的关于
针对每个帧的帧之间是否存在运动的信息,还使用涉;M^最后io个帧中 的帧之间检测到运动的次数的信息,由此能够提高电影模式确定的精确 度。
另外,因为在图像转换设备u中能够更快速地确定电影模式,甚至 在输入图像的电影模式在播放中突然变化的情况下,也能够使用适用于变 化后获得的电影模式的帧立即进行运动补偿。因此,能够防止输入图像的 图l象质量退化。
在电影模式确定处理中产生的电影模式信号和电影序列信号在图6
的步骤S14中被利用来指定用于运动补偿的一个或更多个输入图像的帧。
例如,如图11所示,假i殳电影模式为"视频"并且帧速率为60Hz 的输入图像通过帧速率转换转换为帧速率为120Hz的输入图像的情况。 在此,在图11中,纵轴代表输入图像的帧中的位置,横轴代表时间,也 就是说,每个帧的显示时间。另外,在图11中,沿着横轴的第一行的数 字代表时间,沿着横轴的最下一行的数字代表电影序列信号的值。
此夕卜,不加阴影的圆圈代M进行帧速率转换之前获得的输入图像的 帧中的运动对象,加阴影的圓圏代^4进行帧速率转换后获得的输入图像 的帧中的运动对象。
在电影模式"视频"中,在连续帧中不显示相同的图像。因此,能够 使用两个连续帧的图像产生内插帧的图像,内插帧定位在两个连续帧之 间。
例如,在当前帧的显示时间是时间2/120,如果使用输入图像中包括 的当前帧的图像和输入图像中包括的并在时间0/120获得的帧的图像产生 针对时间1/120的内插帧,则帧内插能够适当地进行。也就是说,产生内 插帧的图像,其中针对时间1/120的运动对象位于连接在时间0/120获得 的运动对象和在时间2/120获得的运动对象的假想直线上。
因此,如果电影模式是"视频",也就是说,如果电影模式信号的值 是'T',则应使用当电影序列信号的值是"1"时获得的帧的图像和运动
2向量进^ft运动补偿。
以此方式,如果使用当前帧和当前帧前一帧的帧产生内插帧,例如,
如图12所示,产生具有夹在两个连续帧之间的内插帧的输入图像。
在此,在图12中,从第一行到最后一行示出了输入图像、电影模式 信号、电影序列信号、以及帧速率转换后的输入图像(在下文称为"输出 图像"),水平方向代表时间。
在图12中,在第一行示出其中帧水平排列的输入图像,每个数字代 表输入图像中包括的一个帧。类似地,在图12中,在最后一行示出其中 帧水平排列的输出图像,每个数字代表输出图像中包括的一个帧。另夕卜,
输入图像的电影模式是"视频",因此在每一个场合,电影模式信号的值 和电影序列信号的值是"1"。
在图像转换设备ll中,在当输入图像的图像"2"被输入时,输入图 像的图像"0"被简单地作为输出图像的图像"0.0"输出。也就是说,通 过各种图像处理,输入图像的图像"0" ^U^迟其中显示两个帧的时间段, 并作为输出图像的图像"0.0"输出。另外,使用输入图像的图像"1"和 图像"0"以及图像"0"的运动向量产生并输出输出图像的图像"0.5"。
此外,输入图像的图像"r被以输出图像的图像"i.o"输出。接着,之 后类似地产生内插帧。
另夕卜,例如,如图13所示,假设电影模式为"2-2电影"并且是通过 将运动图像的帧速率从30Hz转换为60Hz而获得的输入图像被进一步通 过帧速率转换转换为具有帧速率120Hz的输入图像的情况。在此,在图 13中,纵轴代表在输入图像的帧中的位置,横轴代表时间,也就是说每 个帧的显示时间。另外,在图13中,沿着横轴在第一行中的数字代表时 间,沿着横轴在最下一行中的数字代表电影序列信号的值。
此夕卜不加阴影的圆闺代M进行帧速率转换之前获得的输入图像的 帧中的运动对象,加阴影的圆團代^进行帧速率转换后获得的输入图像 的帧中的运动对象。
在电影模式"2-2电影"中,在两个连续帧中显示相同的图像。因此, 应使用其中显示相同图像的两个连续帧中时域上的后一帧产生内插帧的 图像。
例如,在时间4/120是当前帧的显示时间的情况下,如果使用当前帧 的图像和在时间0/120获得的帧的图像产生针对时间1/120、 2/120、以及3/120的内插帧,则能够适当地进行帧内插。也就^li兌,产生内插帧的图 像,其中针对时间1/120、2/120、以及3/120的运动对象位于连接时间0/120 获得的运动对象和在时间4/120获得的运动对象的假想直线上。在此,在 产生内插帧的情况下,使用在时间0/120获得的输入图像的帧的运动向量。
如上所述,如果电影模式是"2-2"电影,也就是说,如果电影模式 信号的值是"3",应使用当电影序列信号的值为"0"时获得的帧的图像 以及图像的运动向量进行运动补偿。
以此方式,如果使用其中重复显示相同图像的两个帧中时域上的后一 帧产生内插帧,例如,如图14所示,产生输入图4象,其中预定帧和预定 帧之前2帧的帧之间的帧被内插。
在此,在图14中,从图14的第一行到最下一行示出输入图像、电影 模式信号、电影序列信号、已经进行帧速率转换的输入图像(输出图像)。 水平方向代表时间。
在图14中,在第一行示出其中帧水平排列的输入图像,每个数字代 表输入图像中包括的一个帧。类似地,在图14中,在最后一行示出其中 帧水平排列的输出图像,每个数字代表输出图像中包括的一个帧。
输入图像的电影模式是"2-2电影"。因此,在进行"2-2电影"确定 的第ll帧中和之后,也就是说,在输入图像中包括的图像"5"的帧中和 之后,电影模式信号的值变为"3",电影序列信号的值变为"0"或"1"。
在图像转换设备ll中,在输入图像中包括的、当电影序列信号的值 为"0"时获得的图〗象"6"被输入时,输入图^象中包括的、当电影序列信 号的值为"0"时获得的图像"5"被简单地作为输出图像的图像"5.0" 输出。也就是说,输入图像中包括的图像"5"通过各种图像处理M迟 其中显示两个帧的时间段,并作为输出图像的图像"5.0"输出。
另外,使用输入图4象中包括的、当电影序列信号的值为"0"时获得 的图像"5"和"6"以及输入图像中包括的、当电影序列信号的值为"0" 时获得的图像"5"的运动向量产生输出图像的图像"5.25"到"5.75"。 图像"5.25"到"5.75"被输出。此外,输入图像中包括的、当电影序列 信号的值为"0"时获得的图像"6"被作为输出图像的图像"6.0"输出。 之后,类似地产生内插帧。
另夕卜,例如,如图15所示,^Ri殳电影模式为"2-3电影"并且是通过 将运动图像的帧速率从24Hz转换为60Hz而获得的输入图像被进一步通过帧速率转换转换为具有帧速率120Hz的输入图像的情况。在此,在图 15中,纵轴代表在输入图像的帧中的位置,横轴代表时间,也就是说, 每个帧的显示时间。另外,在图15中,沿着橫轴在笫一行中的数字代表 时间,沿着横轴在最下一行中的数字代表电影序列信号的值。
此夕卜,不加阴影的圆團代^E进行帧速率转换之前获得的输入图像的 帧中的运动对象,加阴影的圆圏代M进行帧速率转换后获得的输入图像 的帧中的运动对象。
在电影模式"2-3电影"中,在两个或3个连续帧中显示相同图像。 因此,例如,应使用其中重复显示相同图像的3个连续帧中的时域上中间 的帧、以及其中重复显示相同图像的两个连续帧中的时域上的后一帧产生 内插帧。
例如,在时间12/120是当前帧的显示时间的情况下,如果使用输入 图像中包括的当前帧的图像、输入图像中包括的在时间8/120获得的帧的 图像、以及输入图像中包括的在时间2/120获得的帧的图像产生针对时间 3/120到11/120的内插帧,则能够适当地进行了帧内插。也就是i兌,产生 了内插帧,其中针对时间3/120到11/120的运动对象位于连接在时间2/120 获得的运动对象和在时间12/120获得的运动对象的假想直线上。
在此,在内插帧的情况下,使用输入图像中包括的并在时间8/120和 4/120获得的图像的运动向量。也就是说,在内插帧的情况下,使用在时 间2/120获得的帧的图像和输入图像中包括的并在时间4/120获得的帧的 图像,检测输入图像中包括的并在时间2/120获得的帧的图像的运动向量。 因为输入图像中包括的并在时间2/120获得的帧的图像与输入图像中包括 的并在时间4/120获得的帧的图傳湘同,因jH^逸动向量是0。由此,如果 使用输入图像中包括的并在时间2/120获得的图像的运动向量,则帧内插 不能适当地进行。
另外,在内插帧的情况下所需的运动向量;U吏用输入图 <象中包括的并 在时间2/120和时间8/120获得的图像检测的运动向量。由此,在内插帧 的情况下,使用输入图像中包括的并在时间4/120获得的图像的运动向量, 其与使用输入图像中包括的并在时间2/120和时间8/120获得的图^^r测 的运动向量相同。
如上所述,如果电影模式是"2-3电影",也就是说,如果电影模式信 号的值是"2",则应使用输入图像中包括的并当电影序列信号的值是"0"时以及电影序列信号的值是"2"时获得的帧的图像、以及输入图《象中包 括的并当电影序列信号的值是"0"以及电影序列信号的值是"3"时获得 的帧的图像的运动向量进行运动补偿。
以此方式,如果使用输入图像中包括的3个帧的图像产生内插帧,例 如,如图16所示,则产生输入图像,其中预定帧和预定帧之前5帧之间 的帧被内插。
在此,在图16中,从图16的第一行到最下一行示出输入图像、电影 模式信号、电影序列信号、已经进行帧速率转换的输入图像(输出图像)。 水平方向代表时间.
在图16中,在第一行示出其中帧水平排列的输入图像,每个数字代 表输入图像中包括的一个帧.类似地,在图16中,在最后一行示出其中 帧水平排列的输出图像,每个数字代表输出图像中包括的一个帧。
输入图像的电影模式是"2-3电影"。由此,在允许"2-3电影"确定 的第11帧中和之后,也就是说,在输入图像中包括的图像"4"的帧中和 之后,电影模式信号的值变为"2",电影序列信号的值变为"0"到"4" 中之一。
在图像转换设备ll中,在当输入图像中包括的并当电影序列信号的 值为"4"时获得的图像"5"被输入时,输入图像中包括的并当电影序列 信号的值是"2"时获得的图像"4"被简单作为输出图像的图像"4.0" 输出。也就是说,输入图像中包括的图像"4"被通过各种图像处理延迟 其中显示两个帧的时间段,并作为输出图像的图像"4.0"输出。
另外,使用输入图像中包括的并当电影序列信号的值是"2"时获得 的图像"4"和"6"、输入图像中包括的并当电影序列信号的值是"0"时 获得的图像"5"、输入图像中包括的并当电影序列信号的值是"3"时获 得的图像"4"的运动向量、以及输入图像中包括的并当电影序列信号的 值是"0"对获得的图像"5"的运动向量来产生输出图像的图像"4.2" 到"5.8"。图像"4.2"到"5.8"被输出。此外,输入图像中包括的并当 电影序列信号的值是"2"时获得的图像"6"被作为输出图像的图像"6.0" 输出。之后,类似地产生内插帧。
如上所述,在运动补偿器25中,使用输入图像中包括的并由电影模 式信号和电影序列信号指定的帧的图像和运动向量产生内插帧。
以此方式,通过指定将要用于根据电影模式信号和电影序列信号产生内插帧的帧和运动向量,能够简单地且确定性地选择适用于产生内插帧的 帧和运动向量。由此,能够防止输入图像的图像质量变差。
尽管在以上描述中运动补偿器25使用电影模式信号和电影序列信号 选择用于进行运动补偿(产生内插帧)的运动向量,运动向量检测器23 可仅仅在必要时检测特定的运动向量。
在此情况下,例如,从电影模式确定单元32向运动向量检测器23 提供电影模式信号和电影序列信号。接着,运动向量检测器23检测输入 图像中包括的并由所提供的电影模式信号和电影序列信号指定的帧的图 像的运动向量,并向运动补偿器25提供运动向量。
另夕卜,要被进行帧速率转换的输入图像不限于逐行图像,而可以是隔 行图像。
例如,在图像转换设备ll中,隔行输入图^^L转换为逐行图像,接 着可进一步对逐行图像进行帧速率转换。另外,例如,在图像转换设备 11中,逐行倒相(phase alternation by line, PAL )输入图像可通过帧速率 转换被转换为全国电视系统委员会(NTSC)图像。如果输入图像是隔行 图像,使用每个场的图像进行帧速率转换。
上述一系列处理步骤可由硬件或软件执行.如果该系列处理步骤由软 件执行,组成软件的程序从程序记录介质安装到由专用硬件构建的计算 机、例如能够使用之上安装的各种程序执行各种功能的通用个人计算机等 等中。
图17是示出执行上述一系列处理步骤的计算机的硬件的示例性结构 的框图。
在该计算机中,中央处理单元(CPU)201、只读存储器(ROM)202、 以及随M取存储器(RAM) 203经由总线204彼此相连。
另外,输"输出接口 205连接到总线204。包括^Jt、鼠标、以及麦 克风的输入单元206、包括显示器和扬声器的输出单元207、包括硬盘和 非易失性存储器的记录单元208、包括网洛接口的通信单元209、以及用 于驱动例如磁盘、光盘、磁光盘和半导*储器的可移除<^质211的驱动 器210连接到输A/输出接口 205。
在具有以上描述的配置的计算机中,通过将记录单元208中记录的程 序经由输/v/输出接口 205和总线204加载到RAM 203并执行该程序来执 行例如上述一系列处理,加载和执行是由CPU 201进行。要被计算机(CPU 201)执行的程序经由有线或无线传输介质提供, 例如使用为封装介质并且其中记录了程序的可移除介质211,例如>#盘(包 括软盘)、光盘(例如致密只读盘存储器CD-ROM )或数字通用盘(DVD ))、 磁光盘、或半导M储器,或使用局域网、因特网、数字卫星广播等。
程序能够通过将可移除介质211安装到驱动器210中经由输^/输出 接口 205加栽到记录单元208。另外,程序可由通信单元209经由有线或 无线传输介质接收,并可安装到记录单元208中。程序可预先安装到ROM 202或记录单元208中。
在此,将由计算机执行的程序可以是按照此处描述的时间顺序执行上 述一系列处理步骤的程序,或可以是并行地执行处理步驟或在需要时例如 当处理步骤^L调用时执行每个处理步骤的程序。
本申请包含涉及2008年6月27日向日本专利局提交的日本在先专利 申请JP2008-168235中公开的主题,并要求其优先权,其完整内容在此通 过引用并入。
在此,本发明的实施例不限于以上描述的实施例。可在本发明的范围 内进行各种变化。
本领域技术人员应理解的是,根据设计要求和其它因素可出现各种修 改、组合、子组合以及替换,只要它们落入所附的权利要求和等价物的范 围内。
权利要求
1.一种图像处理设备,包括差计算装置,用于获得两个连续帧的图像之间的亮度差;平均值计算装置,用于计算针对预定数量的连续帧所获得的亮度差的平均值,每个亮度差针对所述预定数量的连续帧中对应的一个获得;变化确定装置,用于针对所述预定数量的连续帧的每个帧,通过比较针对所述帧获得的亮度差和所述平均值,确定包括所述帧的两个连续帧的图像是否相同;以及显示格式确定装置,用于使用关于所述预定数量的帧的确定结果,从多个显示格式中确定预定数量的连续帧的图像的时域显示格式,在所述多个显示格式中包括其中各自具有显示相同图像的特定数量的连续帧的多个组规则地重复的显示格式,所述确定结果由所述变化确定装置获得。
2. 如权利要求l所述的图像处理设备,还包括帧内插装置,用于使用由所述变化确定装置获得的确定结果和关于显 示格式的确定结果从所述预定数量的帧的图像中指定的第一帧图像和第 二帧图^ii行运动补偿,以及用于产生要内插在第 一和笫二帧之间的帧的 图像。
3. 如权利要求l所述的图像处理设备,还包括比^置,用于将针对所述预定数量的帧所获得的亮度差的最大值和 最小值之间的差与平均值相比较,其中所述显示格式确定装置使用所述变化确定装置获得的确定结果 和所迷比较装置获得的比较结果确定显示格式。
4. 如权利要求l所述的图像处理设备,还包括次数计算装置,用于使用所述变化确定装置获得的确定结果获得相同 图像在所述预定数量的帧中显示的次数,其中所述显示格式确定装置使用由所述变化确定装置获得的确定结果和关于由所述次数计算装置获得的相同图像显示的次数确定显示格式。
5. 如权利要求1所述的图像处理设备,还包括缩小图像产生装置,用于通过减少图像的像素数量产生图像的缩小图像,其中所述差计算装置使用所述缩小图像获得亮度差。
6. —种用于图像处理设备的图像处理方法,所述图像处理设备包括差计算装置,用于获得两个连续帧的图傳-之间的亮度差;平均值计算装置,用于计算针对预定数量的连续帧所获得的亮度差的 平均值,每个亮度差针对所述预定数量的连续帧中对应的一个获得;变化确定装置,用于针对所述预定数量的连续帧的每个帧,通过比较 针对所述帧获得的亮度差和所述平均值,确定包括所述帧的两个连续帧的 图像是否相同;以及显示格式确定装置,用于使用关于所述预定数量的帧的确定结果,从 多个显示格式中确定预定数量的连续帧的图4象的时域显示格式,在所述多 个显示格式中包括其中各自具有显示相同图像的特定数量的连续帧的多 个组规则地重复的显示格式,所述确定结果由所述变化确定装置获得,所 述图像处理方法包括以下步骤使用差计算装置获得亮度差;使用平均值计算装置计算平均值;使用变化确定装置比较亮度差与平均值,并确定两个连续帧的图像是 否相同;以及使用显示格式确定装置确定显示格式。
7. —种使计算机执行包括以下步骤的处理的程序 获得两个连续帧的图〗象之间的亮度差;计算针对预定数量的连续帧所获得的亮度差的平均值,每个亮度差针 对所述预定数量的连续帧中对应的一个获得;针对所述预定数量的连续帧的每个帧,通过比较针对所述帧获得的亮度差和所述平均值,确定包括所述帧的两个连续帧的图像是否相同;以及使用关于所述预定数量的帧的确定结果,从多个显示格式中确定预定 数量的连续帧的图像的时域显示格式,在所述多个显示格式中包括其中各 自具有显示相同图像的特定数量的连续帧的多个组规则地重复的显示格 式,所述确定结果由确定包括所述帧的两个连续帧的图像是否相同的步骤 获得。
8. —种图像处理设备,包括差计算单元,用于获得两个连续帧的图像之间的亮度差;平均值计算单元,用于计算针对预定数量的连续帧所获得的亮度差的 平均值,每个亮度差针对所述预定数量的连续帧中对应的一个获得;变化确定单元,用于针对所述预定数量的连续帧的每个帧,通过比较 针对所述帧获得的亮度差和所述平均值,确定包括所述帧的两个连续帧的 图《象是否相同;以及显示格式确定单元,用于使用关于所述预定数量的帧的确定结果,从 多个显示格式中确定预定数量的连续帧的图像的时域显示格式,在所述多 个显示格式中包括其中各自具有显示相同图像的特定数量的连续帧的多 个组规则地重复的显示格式,所述确定结果由所述变化确定单元获得。
全文摘要
本发明涉及一种图像处理设备和方法及其程序。根据本发明的图像处理设备包括差计算装置,用于获得两个连续帧的图像之间的亮度差;平均值计算装置,用于计算针对预定数量的连续帧所获得的亮度差的平均值;变化确定装置,针对所述预定数量的连续帧的每个帧,通过比较针对所述帧获得的亮度差和所述平均值,确定包括所述帧的两个连续帧的图像是否相同;以及显示格式确定装置,使用由所述变化确定装置获得的确定结果,从多个显示格式中确定预定数量的连续帧的图像的时域显示格式,其中所述多个显示格式包括其中各自具有显示相同图像的特定数量的连续帧的多个组规则地重复的显示格式。
文档编号H04N7/01GK101616291SQ200910146398
公开日2009年12月30日 申请日期2009年6月26日 优先权日2008年6月27日
发明者井原利升, 冈田绅太郎, 西堀一彦, 西智裕 申请人:索尼株式会社