图像处理装置和图像处理方法与流程

1.本技术涉及图像处理装置和图像处理方法，并且更具体地涉及到包含帧率转换的图像处理装置和图像处理方法。


背景技术：

2.例如，在专利文献1中，陈述了通过在60hz帧率的图像流中的每对连续的两帧之间插入中间帧图像来将60hz帧率的图像流转换为120hz帧率的图像流使得运动图像的显示变平滑。此外，在专利文献1中，陈述了将黑色图像帧插入到与中间帧图像对应的部分中实现电影内容(胶片图像)特有的清晰图像质量。在黑色图像帧插入为中间帧图像的情况下，存在整体亮度降低的缺点。
3.现有技术文献
4.专利文献
5.专利文献1：日本专利公开号2009-058785


技术实现要素：

6.本发明要解决的问题
7.本技术的目的是使得可以利用高亮度和高对比度的电视机进行例如低帧率内容的图像的良好显示。
8.问题的解决方案
9.本技术的概念在于一种图像处理装置，该图像处理装置包括：目标对象检测处理部，目标对象检测处理部基于具有第一帧率的图像流，针对每个帧检测具有超过亮度阈值的亮度和/或具有超过运动量阈值的运动量的对象作为目标对象；以及插值图像插入处理部，该插值图像插入处理部通过在具有第一帧率的图像流中的每对连续的两帧之间插入预定帧数的插值图像来获取具有第二帧率的图像流，该第二帧率大于第一帧率，预定帧数的插值图像是通过执行使目标对象顺序移动的运动补偿而得到的。
10.在本技术中，由目标对象检测处理部，基于具有第一帧率的图像流，针对每个帧将具有超过亮度阈值的亮度和/或具有超过运动量阈值的运动量的对象检测为目标对象。例如，亮度阈值可以包括在具有第一帧率的图像流中抖动(频闪)不明显的对象亮度的最大值。此外，例如，运动量阈值可以包括在具有第一帧率的图像流中抖动(频闪)不明显的对象运动量的最大值。此外，例如，亮度阈值和运动量阈值均可以包括根据环境而改变的变量。
11.由插值图像插入处理部，通过在具有第一帧率的图像流中的每对连续的两帧之间插入预定帧数的插值图像来获取具有第二帧率的图像流，该第二帧率大于第一帧率，该预定帧数的插值图像是通过执行使目标对象顺序移动的运动补偿而得到的。例如，插值图像插入处理部可以根据目标对象的亮度和/或运动量，使得预定数量的插值图像中的目标对象的移动量发生变化。
12.此外，例如，具有第一帧率的图像流可以包括帧率为24hz并且与电影内容相关的
图像流。在这种情况下，例如，第二帧率可以是帧率为120hz的图像流。
13.在本技术中，通过以如上所述的这种方法，通过在具有第一帧率的图像流中的每对连续的两帧之间插入预定帧数的插值图像来获取具有第二帧率的图像流，该第二帧率大于第一帧率，预定帧数的插值图像是通过执行使目标对象(该目标对象作为具有超过亮度阈值的亮度和/或超过运动量阈值的运动量的对象)顺序移动的运动补偿而得到的。因此，即使是高亮度高对比度的电视机，也能够在抖动不明显，但仍有如电影般运动特性的状态下良好地显示例如电影内容的图像。
14.此外，在本技术中，例如，还可以提供显示第二帧率的图像流的显示面板。在这种情况下，例如，显示面板可以包括4k尺寸或8k尺寸的显示面板。此外，在本技术中，可以通过接收广播信号、从存储器再现、或者通信来获取具有第一帧率的图像流。此外，在本技术中，目标对象检测处理部检测除了具有超过亮度阈值的亮度和/或具有超过运动量阈值的运动量之外、还具有超过尺寸阈值的尺寸的对象作为目标对象。
附图说明
15.图1是示出根据传统技术的用于将24hz(24p)帧率的电影内容图像流转换为120hz(120p)帧率的图像流的帧率转换的实例的示图。
16.图2是示出了根据本技术的用于将24hz(24p)帧率的电影内容图像流转换为120hz(120p)帧率的图像流的帧率转换的实例的示图。
17.图3是用于描述从24hz(24p)至120hz(120p)的帧率转换的实例的示图。
18.图4是示意性地示出生成插值图像的实例的示图。
19.图5是示意地示出生成插值图像的另一实例的示图。
20.图6是示出对象亮度与亮度参数之间的对应关系、对象运动量与运动量参数之间的对应关系、以及各参数与运动补偿之间的对应关系的实例的示图。
21.图7是示出对象亮度与亮度参数之间的对应关系、对象运动量与运动量参数之间的对应关系、以及各参数与运动补偿之间的对应关系的其他实例的示图。
22.图8是示出运动补偿的效果的变化的实例的示图。
23.图9是示出作为实施方式的电视接收器的配置实例的框图。
24.图10是示出帧率转换单元的配置实例的框图。
具体实施方式
25.在下文中，将描述用于执行本发明的方式(在下文中被称为“实施例”)。注意，将按照以下顺序进行描述。
26.1.实施方式
27.2.变型例
28.《1.实施方式》
29.[本技术的基本描述]
[0030]
图1示出根据传统技术的用于将24hz(24p)帧率的电影内容图像流转换为120hz(120p)帧率的图像流的帧率转换的实例。在24p帧率的图像流的显示中，运动量大，并且抖动明显。通过在24p帧率的图像流中的每对连续的两帧图像之间插入四帧插值图像来获得
120p帧率的图像流，该四帧插值图像是通过对整个图像执行顺序移动的运动补偿而得到的。在这种情况下，插值使帧之间的运动量小，从而使得抖动变得不明显，但是运动变得不再是电影特有的。
[0031]
图2示出了根据本技术的用于将24hz(24p)帧率的电影内容图像流转换成120hz(120p)帧率的图像流的帧率转换的实例。在该实例中，第一帧率对应于24hz，并且第二帧率对应于120hz。通过在24p帧率的图像流中的每对连续的两帧图像之间插入四帧插值图像来获得120p帧率的图像流，四帧插值图像是通过仅对具有亮度高且运动量大(即，其中抖动是明显的)的目标对象执行顺序运动的运动补偿而得到的。在这种情况下，由于仅对抖动明显的对象对应的部分执行运动补偿，因此抖动变得不明显，并且可以维持电影特有的动作。
[0032]
图3中的(a)示出包括24p帧率的图像流中的第n帧和第(n+1)帧的连续两帧，并且图3中的(b)示出与该连续的两帧相对应的120p帧率的图像。在这种情况下，包括第5n帧至第(5n+4)帧的五帧对应于24p帧率的图像流的第n帧，第5n帧的图像与第n帧的图像相同，并且包括第(5n+1)帧至第(5n+4)帧的四帧图像是通过仅对目标对象执行运动补偿而得到的插值图像。
[0033]
此外，类似地，包括第5(n+1)帧至第5(n+1)+4帧的五帧对应24p帧率的图像流的第(n+1)帧，第5(n+1)帧的图像与第(n+1)帧的图像相同，并且包括第(5(n+1)+1)帧至第(5(n+1)+4)帧的四帧图像是通过仅对目标对象执行运动补偿而得到的插值图像。
[0034]
图4示意性地示出生成插值图像的实例。该实例是在24p帧率的图像流中存在运动量大的高亮度对象和运动量大的低亮度对象的情况下的实例。注意，对于高亮度对象，如果在其局部部分具有高亮度就足够了，并且高亮度对象不需要完全具有高亮度。这同样适用于以下描述。
[0035]
由于高亮度对象具有的运动量也大，并且因此，该高亮度对象被检测为目标对象。在包括第(5n+1)帧至第(5n+4)帧的四个帧的插值图像的每一个中，高亮度对象被运动补偿并被放置在顺序移动的位置处。相比之下，低亮度对象具有的运动量大但具有的亮度低，因此不进行运动补偿。在包括第(5n+1)帧至第(5n+4)帧的四个帧的插值图像的每一个中，低亮度对象被放置在与第5n帧的图像中的位置相同的位置处。
[0036]
图5示意性示出生成插值图像的另一实例。该实例是在24p帧率的图像流中存在运动量大的高亮度对象和运动量小的另一高亮度对象的情况下的实例。
[0037]
运动量大的高亮度对象被检测为目标对象，并且在包括第(5n+1)帧至第(5n+4)帧的四个帧的插值图像的每一个中，该高亮度对象被运动补偿并被放置在顺序移动的位置处。相比之下，在包括第(5n+1)帧至第(5n+4)帧的四个帧的插值图像的每一个中，具有的运动量小的高亮度对象不被运动补偿并放置在与第5n帧的图像中的位置相同的位置处。
[0038]
如上所述，在插值图像中将被运动补偿的目标对象是具有的亮度高并且运动量大的对象。图6的(a)示出对象亮度与亮度参数之间的对应关系。亮度阈值lobj0是在24p帧率的图像流中对象亮度的最大值，在该最大值处值抖动是不明显的。该亮度阈值lobj0是根据周围区域(观看图像的环境)的亮度而改变的环境参数(变量)。随着对象亮度增加超过亮度阈值lobj0，亮度参数从零线性地增加。注意，也可以考虑使亮度参数非线性地变化。
[0039]
图6的(b)示出对象运动量与运动量参数的对应关系。运动量阈值mobj0是在24p帧率的图像流中抖动值不明显的对象运动量的最大值。该运动量阈值mobj0是根据显示面板
的尺寸和观看距离改变的环境参数(变量)。随着对象运动量增加超过运动量阈值mobj0，运动量参数从零线性增加。注意，也可以考虑使运动量参数非线性地变化。
[0040]
在本技术中，将通过将亮度参数乘以运动量参数而得到的值大于零的对象检测为待被运动补偿的目标对象。在这种情况下，如图6的(c)所示，对于通过将亮度参数乘以运动量参数而得到的值等于零的对象，运动补偿为关，即，不执行运动补偿；然而，对于通过将亮度参数乘以运动量参数而得到的值超过零的对象，运动补偿为开，即，执行运动补偿。
[0041]
注意，也可以考虑运动补偿的效果不被控制在关和开两级之间，而是根据通过将亮度参数乘以运动量参数而得到的值来变化。图7的(c)示出使运动补偿对目标对象的效果根据通过将亮度参数乘以运动量参数获得的值而线性地变化的情况。注意，虽然省略了图7的(a)和图7的(b)的详细描述，但图7的(a)和图7的(b)分别地与图6的(a)和图6的(b)相同。注意，也可以考虑使运动补偿的效果非线性地变化。
[0042]
在此，运动补偿的最大效果与图6的(c)中的运动补偿为开的状态下的效果相同。上述图4和图5中示出的运动补偿实例均示出运动补偿的效果被设定为其最大值的情况。此外，当通过将亮度参数乘以运动量参数而得到的值等于零时，运动补偿的效果最小，即，运动补偿的效果与图6的(c)中的运动补偿为关的状态下的运动补偿的效果相同。
[0043]
图8示出运动补偿的效果的变化的实例。图8的(a)示出运动补偿的效果最大的情况。在这种情况下，当目标对象在第5n帧的图像中的位置由r0表示并且目标对象在第5(n+1)帧的图像中的位置由r1表示时，r0与r1之间的距离被平均划分为例如五个部分，并且目标对象在包括第(5n+1)帧至第(5n+4)帧的四个帧的插值图像中的位置被设定为五个部分的边界。
[0044]
图8的(b)示出运动补偿的效果小于图8的(a)的情况。在这种情况下，由r2表示比r1稍接近于r0的位置，将r0与r2之间的距离平均划分为例如四个部分，并且将包括第(5n+1)帧至第(5n+4)帧的四个帧的插值图像中的目标对象的位置设定为四个部分与r2的边界。此外，图8的(c)示出运动补偿的效果比图8的(b)的情况小的情况。在这种情况下，用r3表示比r2更稍微靠近r0的位置，将r0与r3之间的距离平均划分为例如四个部分，并且将目标对象在包括第(5n+1)帧至第(5n+4)帧的四帧插值图像中的位置设定为四个部分与r3的边界。
[0045]
[电视接收器]
[0046]
图9示出了作为实施方式的电视接收器100的配置实例。电视接收器100包括：视频输入单元101、图像质量调整单元102、帧率转换单元103、面板驱动电路104、以及显示面板105。
[0047]
视频输入单元101通过接收广播信号、通信或存储器(盘)的再现来获取视频信号。这里假设视频信号对应于帧率为24hz并且与电影内容相关的图像流。在广播信号的情况下，与电影内容相关的24hz帧率的视频信号在广播站侧通过例如2至3下推拉方法被转换成60hz(60p)帧率的视频信号的状态下被发送到广播信号。视频输入单元101接收60hz帧率的视频信号，并且从接收的60hz帧率的视频信号中提取与电影内容相关的原始24hz帧率的视频信号的各个帧，从而重构与电影内容相关的24hz帧率的视频信号。
[0048]
图像质量调整单元102对由视频输入单元101获取的视频信号执行用于调整亮度、对比度、清晰度等的图像质量调整处理。帧率转换单元103对从图像质量调整单元102输出的视频信号sva执行将帧率从24hz转换为120hz的处理，并输出与帧率为120hz的图像流对
应的视频信号svb。
[0049]
图10示出了帧率转换单元103的配置实例。帧率转换单元103包括：亮度比较处理部131、运动量比较处理部132、目标对象检测处理部133、以及插值图像插入处理部134。
[0050]
亮度比较处理部131接收对应于帧率为24hz的图像流并且与电影内容相关的视频信号sva的输入。亮度比较处理部131针对每个帧以预定单位(例如，以宏块为单位)检测亮度，将每个单位部分的亮度与亮度阈值lobj0(参见图6的(a)和图7的(a))进行比较，并且获取图像中关于具有超过亮度阈值lobj0的亮度的单位部分的信息。除了位置信息以外，关于单位部分的信息还包括关于亮度参数的信息(参见图6的(a)和图7的(a))。
[0051]
运动量比较处理部132接收与上述帧率为24hz的图像流对应并且与电影内容相关的视频信号sva的输入。运动量比较处理部132针对每个帧以预定单位(例如，以宏块为单位)检测运动矢量，将每个单位部分的运动量与运动量阈值mobj0(参见图6的(b)和图7的(b))进行比较，并且获取关于图像中具有超过运动量阈值mobj0的运动量的单位部分的信息。除了运动矢量和运动量(运动矢量的大小)之外，关于单位部分的信息还包括关于运动参数(参见图6的(b)和图7的(b))的信息。
[0052]
针对每个帧，目标对象检测处理部133被提供有由亮度比较处理部131获取并且与图像中具有超过亮度阈值lobj0的亮度的单位部分相关联的信息、以及由运动量比较处理部132获取并且与图像中具有超过运动量阈值mobj0的运动量的单位部分相关联的信息。基于通过以如上所述的这种方法提供的信息，目标对象检测处理部133针对每个帧检测存在于图像中并且具有超过亮度阈值lobj0的亮度和超过运动量阈值mobj0的运动量的对象(对应于图4和图5的实例中的运动量大的高亮度对象)作为目标对象。注意，虽然省略了用于检测对象的方法的详细描述，但是例如可以使用传统已知的方法中的任何一种。
[0053]
插值图像插入处理部134提供有关由目标对象检测处理部133检测的每个目标对象的信息。该信息包括与目标对象相关联的位置信息、运动矢量、亮度参数、以及运动参数。另外，插值图像插入处理部134还接收与上述帧率为24hz的图像流对应且与电影内容相关的视频信号sva。
[0054]
插值图像插入处理部134通过在帧率为24hz的图像流中的每对连续的两帧图像之间插入四帧的插值图像来获取帧率为120hz的图像流，并且输出与帧率为120hz的图像流对应的视频信号svb。在这种情况下，插值图像插入处理部134基于每个目标对象的信息(参见图4和图5)，在四帧插值图像中执行仅使目标对象顺序移动的运动补偿。
[0055]
此外，在这种情况下，插值图像插入处理部134例如根据预定的设定执行图6的(c)所示的运动补偿或图7的(c)所示的运动补偿。在如图6的(c)所示的运动补偿中，不管通过将亮度参数乘以运动量参数所获得的值的大小如何，针对每个目标对象执行始终使其移动量最大的运动补偿(参见图8的(a))。相比之下，在图7的(c)所示的运动补偿中，执行运动补偿，使得通过将亮度参数乘以运动量参数获得的值越大，移动量变得越大(依次参见图8的(c)、图8的(b)和图8的(a))。
[0056]
注意，帧率转换单元103的各个部分的处理的一部分或全部也可以通过由计算机执行的软件处理来执行。
[0057]
返回参考图9，面板驱动单元104基于由帧率转换单元103获取并且对应于帧率为120hz的图像流的视频信号svb来驱动显示面板105，以使显示面板105显示帧率为120hz的
图像流。显示面板105是液晶显示面板、有机el显示面板、cled(晶体led)面板等。显示面板105例如是4k尺寸的显示面板、8k尺寸的显示面板等。
[0058]
将简要描述图9中示出的电视接收器100的操作。在视频输入单元101中，通过接收广播信号、通信或存储器(盘)的再现来获取与帧率为24hz并且与电影内容相关的图像流相对应的视频信号，并且将所获取的视频信号提供给图像质量调整单元102。在图像质量调整单元102中，对与帧率为24hz的图像流相对应的视频信号进行用于调整亮度、对比度、清晰度等的图像质量调整处理。将作为图像质量调整处理的结果获得的视频信号sva供应给帧率转换单元103。
[0059]
在帧率转换单元103中，对从图像质量调整单元102输出的视频信号sva进行用于将帧率从24hz转换为120hz的处理，由此获取与帧率为120hz的图像流相对应的视频信号svb。在这种情况下，在帧率为24hz的图像流中的每对连续的两帧之间插入四帧插值图像，以获取帧率为120hz的图像流。这里，在四帧插值图像中，仅具有超过亮度阈值lobj0的亮度并且具有超过运动量阈值mobj0的运动量的目标对象被运动补偿以顺序移动。
[0060]
将由帧率转换单元103获取并且对应于帧率为120hz的图像流的视频信号svb供应给面板驱动电路104。在面板驱动单元104中，基于视频信号svb驱动显示面板105，并且在显示面板105上显示帧率为120hz并且与电影内容相关的图像流。
[0061]
如上所述，在图9所示的电视接收器100中，帧率转换单元103在帧率为24hz的图像流中的每对连续的两帧图像之间插入四帧插值图像，从而获取帧率为120hz的图像流，该四帧插值图像是通过执行仅使具有超过亮度阈值的亮度并且具有超过运动量阈值的运动量的目标对象顺序移动的运动补偿而得到的。因此，即使是高亮度和高对比度的电视机，也能够在抖动不明显但留下适当抖动的状态下对电影内容的图像进行良好地显示。
[0062]
《2.变型例》
[0063]
注意，在上述实施方式中，具有超过亮度阈值的亮度并且具有超过运动量阈值的运动量的对象被确定为待被运动补偿的目标对象，但是也可以认为具有超过亮度阈值的亮度的对象或具有超过运动量阈值的运动量的对象被确定为待被运动补偿的目标对象。
[0064]
此外，在上述实施方式中，在不考虑对象的尺寸的情况下确定待被运动补偿的目标对象，但是也可以考虑仅将尺寸超过尺寸阈值的对象确定为待被运动补偿的目标对象。
[0065]
此外，虽然上面没有描述，但是在用户在图像质量模式设定中设定电影模式的情况下，或者在自动模式中检测到电影内容的情况下，可以应用本技术中的上述帧率转换。
[0066]
此外，虽然参考附图详细描述了本发明的优选实施方式，但是本发明的技术范围并不限于这种实例。显而易见地，在本公开技术领域中具有普通知识的任何人均能够在权利要求中描述的技术思想的范围内想到各种变化例或变型例，并且自然地，应当理解，这些实例也属于本公开的技术范围。
[0067]
此外，在本说明书中描述的效果仅是说明性的或示例性的，而不是限制性的。即，除了上述效果之外或者代替上述效果，根据本公开的技术可以带来本说明书的描述中对本领域的技术人员显而易见的其他效果。
[0068]
此外，本技术还可具有如下所述的配置
[0069]
(1)一种图像处理装置，包括：
[0070]
目标对象检测处理部，目标对象检测处理部基于具有第一帧率的图像流，针对每
个帧检测具有超过亮度阈值的亮度和/或具有超过运动量阈值的运动量的对象作为目标对象；以及
[0071]
插值图像插入处理部，插值图像插入处理部通过在具有第一帧率的图像流中的每对连续的两帧图像之间插入预定帧数的插值图像来获取具有第二帧率的图像流，该第二帧率大于第一帧率，预定帧数的插值图像是通过执行使目标对象顺序移动的运动补偿而得到的。
[0072]
(2)根据(1)所述的图像处理装置，其中，亮度阈值是在具有第一帧率的图像流中抖动不明显的对象亮度的最大值。
[0073]
(3)根据(1)或(2)所述的图像处理装置，其中，运动量阈值是在具有第一帧率的图像流中抖动不明显的对象运动量的最大值。
[0074]
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，亮度阈值和运动量阈值均包括根据环境而改变的变量。
[0075]
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，插值图像插入处理部根据目标对象的亮度和/或运动量，使预定数量的插值图像中的目标对象的移动量变化。
[0076]
(6)根据(1)至(5)中任一项所述的图像处理装置，其中，具有第一帧率的图像流包括帧率为24hz并且与电影内容相关的图像流。
[0077]
(7)根据(6)所述的图像处理装置，其中，第二帧率为120hz的图像流。
[0078]
(8)根据(1)至(7)中任一项所述的图像处理装置，还包括：
[0079]
显示面板，显示具有第二帧率的图像流。
[0080]
(9)根据(8)所述的图像处理装置，其中，显示面板包括4k尺寸或8k尺寸的显示面板。
[0081]
(10)根据(1)至(9)中任一项所述的图像处理装置，其中，通过接收广播信号、从存储器再现、或者通信来获取具有第一帧率的图像流。
[0082]
(11)根据(1)至(10)中任一项所述的图像处理装置，其中，目标对象检测处理部检测除了具有超过亮度阈值的亮度和/或具有超过运动量阈值的运动量以外、还具有超过尺寸阈值的尺寸的对象，作为目标对象。
[0083]
(12)一种图像处理方法，包括：
[0084]
基于具有第一帧率的图像流，针对每个帧检测具有超过亮度阈值的亮度和/或具有超过运动量阈值的运动量的对象作为目标对象的步骤；并且
[0085]
通过在具有第一帧率的图像流中的每对连续的两帧图像之间插入预定帧数的插值图像来获取具有第二帧率的图像流的步骤，该第二帧率大于第一帧率，预定帧数的插值图像是通过执行使目标对象顺序移动的运动补偿而得到的。
[0086]
附图标记列表
[0087]
100：电视接收器
[0088]
101：视频输入单元
[0089]
102：图像质量调整单元
[0090]
103：帧率转换单元
[0091]
104：面板驱动单元
[0092]
105：显示面板
[0093]
131：亮度比较处理部
[0094]
132：运动量比较处理部
[0095]
133：目标对象检测处理部
[0096]
134：插值图像插入处理部。