扫描转换装置的制作方法

专利名称：扫描转换装置的制作方法
技术领域：
本发明涉及用于将隔行视频信号转换成逐行视频信号的扫描转换装置。
背景技术：
为了在近年来己经快速普及的等离子显示器和液晶显示器上输出根据诸如NTSC (美国国家电视标准委员会)制式和PAL (逐行倒相)制式 传送的信号，必需执行隔行/逐行转换(下文中，简写为"IP转换")。常 规上，将隔行视频信号的扫描线之间的像素插值方法用于IP转换。作为像素插值方法的示例，提供了扫描场内(intra-field)插值。图 1是用于说明根据常规技术的扫描场内插值的概要的图。在图1的例示中， 仅清楚地示出了特定点的像素以说明插值处理，而省略了其它区域。在 清楚地示出像素的区域中，颜色区别扫描线是通过对隔行视频信号进行 IP转换而获得的像素。该图中^留白(white-out)扫描线表示插值扫描 线。作为示例，图1中由x标记指示的像素示出了利用由o标记指示的 像素在双线性插值中插值的示例。扫描场内插值不改变在未插值的情况下垂直方向上的分辨率，而基 于真实视频信号的扫描线和插值扫描线被保证为同一时钟时间的视频信 号。这种插值方法在视频中存在移动时有效，并且存在针对作为视频中 存在/不存在移动的判断结果而存在移动的情况能够执行上述扫描场内插 值的技术，如日本特开专利申请公报No. 2003-32636、 2004-266395、 2005-191619以及2006-67009中所示。图2是用于说明根据常规技术的运动自适应IP转换的图。图2中所 示的移动判断单元101基于前一扫描场的视频信号与当前扫描场的视频 信号之间的比较来判断视频图像的移动。接着，它基于移动判断单元针
对视频图像的移动而生成的判断结果，来生成针对静止图像的扫描场间 插值像素，并且生成针对运动图像的扫描场内插值像素。图3是用于说明根据常规技术的运动补偿IP转换的图。运动补偿IP 转换对具有相同奇偶性的扫描场信号进行比较，由此测量视频图像的移 动量并且基于该移动量生成插值像素。图3中所示的运动矢量检测单元 lll搜索两个扫描场信号(在此即是Fld(t)和Fld(t-2))之间的预定目标像 素的移动量，并且估计单个扫描场中的移动量以对它进行插值。混合处 理单元在一扫描场信号内针对每一个点计算扫描场间/扫描场内插值像素 的加权和，并且输出IP转换后信号。另外，传送的视频信号包括电影、动画等的胶片素材，和计算机图形素材等。这些信号经受电视电影转换，如2:2影院还原(pull-down)、 2:3影院还原或者在信号的传送源并且通过在隔行视频信号上叠加而传 送的转换。接收侧需要执行用于释放这些影院还原序列的处理。图4是示出用于释放影院还原的扫描转换装置的构造的图。当在 2:3/2:2序列检测单元121处从接收到的信号中检测到2:3或2:2视频图像 传送序列时，将视频信号提供给执行逐行转换处理的影院还原释放处理 单元。未经受影院还原的视频信号在隔行用IP转换单元处经受扫描转换。 应注意到，隔行用IP转换单元的构造和操作类似于运动自适应IP转换或 运动补偿IP转换的处理。这里，提供了对影院还原序列的进一步说明。图5A和图5B是用于 说明影院还原序列的图。图5A是表示2:2影院还原处理的图，而图5B 是表示2:3影院还原处理的图。首先对图5A所示的2:2影院还原进行说明.。相对于该图中所示的时 间轴，上部是执行影院还原之前的视频信号，而下部是执行影院还原之 后的视频信号。而且在该图中，实线表示视频信号中的在上扫描场中传 送的信号，而虚线表示在下扫描场中传送的信号。当将特定帧改变成隔行视频信号时，2:2影院还原处理通过交替加载 上扫描场和下扫描场来传送信号。这里，单个扫描场的传送定时假定为 tl、 t2等。假定第一帧的上扫描场的视频信号在时钟时间tl加载，第一
帧的下扫描场的视频信号在作为下一传送定时的时钟时间t2加载。类似 地，针对第二帧，上扫描场的视频信号在时钟时间t3加载，而下扫描场的视频信号在时钟时间t4加载。这样，奇数号帧与偶数号帧之比2:2构成扫描场的指配数量。类似地，在图5B所示的2:3影院还原处理中，奇数号帧与偶数号帧 之比2:3构成扫描场的指配数量。S卩，针对第一帧，上扫描场和下扫描场 的视频信号分别在时钟时间tl和t2加载/传送，而针对第二帧，上扫描场、 下扫描场以及上扫描场的视频信号分别在随后的时钟时间t3、 t4以及t5 加载/传送。现实中，在2:2和2:3序列检测单元处难于避免的问题是因噪声等而 造成的错误检测。尽管2:2素材和2:3素材可以高度有效地实现高图像质 量，但错误检测可以导致图像质量的较大劣化。因为这个原因，通常在 电视机制造商处设置最终调节，用于仅检测可以稳定检测到的素材。结 果，作为传送序列中的2:2或2:3视频图像序列，存在不能检测到的一些 视频图像序列。同时，在真实视频图像信号中，存在将2:2或23影院还原视频信号 和隔行视频信号在时间和空间上相混合而传送的情况。在这种情况下， 不能局部地执行常规的隔行用IP转换。而且，因为扫描场之间的变化差别较小，所以难于检测到针对慢运 动视频图像的扫描场之间的变化差别。因为这些原因，所以对没有检测 到序列的视频图像信号执行隔行用IP转换。在对2:2或2:3视频图像信号的隔行用IP转换中执行运动自适应插 值或运动补偿插值，会导致生成闪烁、锯齿、隔行干扰等的问题。艮口， 尽管针对电视电影视频信号实际上不需要对影院还原至上扫描场和下扫 描场的两个扫描场的视频信号进行插值，但如果在当前帧与下一帧之间 检测到运动则执行插值处理，从而作为对实际上不存在于帧内的信号进 行像素插值的结果，造成了图像中的干扰。同时，日本特开专利申请公报No. 2005-102191和2004-180242，提出了首先执行影院还原释放处理来检测生成的错误插值以改进包括2:2
或2:3的视频图像的图像质量的多种技术。在日本特开专利申请公报No. 2005-102191中提到的技术，首先释放 影院还原，接着，如果在影院还原错误检测单元处检测到错误插值，则 通过执行隔行用IP转换来修正被检测到错误插值的点。采用这种方法使 得一方面难于设置用于检査错误插值的条件，而另一方面妨碍了已经用 于常规2:2/2:3检测处理的信息在用于检测错误插值的处理中的有效使 用。由此，生产这种图像处理装置成本相对较高。而且，因为不是必需 在数值上判断错误插值，所以在用于检测错误插值的影院还原错误检测 单元处执行的处理可能难于成为有效的错误插值检测手段。在日本特开专利申请公报No. 2004-180242中提到的技术，通过检测同一图像的重复来判断电视电影视频图像，由此使得可以对因影院还原 处理而造成的错误插值做出响应。虽然这种技术对电视电影视频图像 (即，通过电视电影转换生成的视频图像)和隔行视频图像在时间上相 混合的视频图像是有效的，然而，该技术不能对它们在空间上相混合的 视频图像做出响应。同时，在日本特开专利申请公报No. 2004-180242中 提到的技术是一种用于对在不能将视频图像信号判断为非电视电影图像 时使该视频图像信号经受影院还原处理的问题进行响应的技术。希望能够检测到针对包括2:2和2:3的视频图像信号执行隔行IP转换 的事实并且对与执行隔行用IP转换相关联地生成的错误插值做出响应。发明内容本发明的目的是，提供一种用于高精度地检测与针对难于检测的电 视电影视频图像执行IP转换相关联的错误插值的技术。为了解决上述问题，本发明提供了一种用于将隔行视频图像信号转 换成逐行图像信号的扫描转换装置，该扫描转换装置包括第一插值像 素生成单元，该第一插值像素生成单元用于基于在具有相同奇偶性的两 个扫描场的图像之间检测到的运动矢量，针对所述两个扫描场的图像中 的一个图像生成不存在的扫描线的插值像素；第二插值像素生成单元， 该第二插值像素生成单元用于利用扫描场内的像素，针对所述两个扫描 场的图像中已由所述第一插值像素生成单元生成了插值像素的所述扫描 场的图像，生成不存在的扫描线的插值像素；错误插值检测单元，该错 误插值检测单元用于基于与位于上扫描线和下扫描线的像素的比较，来检测由所述第一插值像素生成单元生成的插值像素中的错误插值；输出单元，该输出单元用于基于所述错误插值检测单元的检测结果，利用所 述第一插值像素生成单元和所述第二插值像素生成单元生成的插值像素 来输出视频图像信号。当生成扫描场间插值像素时，利用根据具有相同奇偶性的扫描场获 得的运动矢量来执行运动补偿IP转换。在针对包括电视电影视频图像在 内的图像执行运动补偿IP转换的情况下，通过错误插值检测单元检测沿 扫描线方向在真实像素与插值像素之间出现偏移的事实。这种构造使得 可以防止在包括电视电影视频图像在内的视频图像中出现伪像。运动矢量检测单元可以使用具有不同奇偶性的扫描场数据，作为用 于在仅从具有相同奇偶性的两个扫描场的图像之间获得一矢量之后验证 该矢量的参照。并且，可以根据水平边缘的存在或不存在来控制插值单元。所述错误插值检测单元可以被设置成包括偏移检测单元，该偏移 检测单元用于检测在被确定为所述第一插值像素生成单元执行插值的对 象的扫描线与位于前述扫描线上方或下方一条扫描线处的扫描线之间出 现的扫描线方向上的偏移；和比较判断单元，该比较判断单元用于在所 述偏移检测单元检测到偏移时，基于与所述扫描线方向有关的偏移与所 述运动矢量之间的比较，来判断是否为错误插值。所述比较判断单元可 以被设置成，如果所述偏移等于扫描线方向上的运动矢量的一半，则判 断所述第一插值像素生成单元执行的插值为错误插值。所述输出单元可以被设置成，如果所述比较判断单元判断为错误插 值，则利用所述第二插值像素生成单元生成的插值像素来输出视频信号。 由于没有输出因运动补偿IP转换而造成错误插值的像素，从而防止了图 像的伪像。一种另选的构造还可以包括记录单元，该记录单元用于记录输入 扫描场的像素信号和所述第一插值像素生成单元生成的扫描场的像素信
号，其中，如果所述比较判断单元判断为错误插值，则所述输出单元对 记录在所述记录单元中的先前扫描场的像素信号和被判断为错误插值的 扫描场的像素信号进行组合，并且输出组合后的像素信号。即使所述第 一插值像素生成单元生成的插值被判断为错误插值，也可以通过有效地 利用该插值像素而非丢弃它，来防止图像的伪像。本发明被设计成，即使错误插值是由于使在时间和空间上与电视电 影素材相混合并且难于检测的视频图像信号经受运动补偿IP转换所引起 的，也可以高度准确地对其进行检测，由此使得能够防止错误插值。这 使得能够转换成逐行图像信号，而不会产生伪像。


图1是用于说明根据常规技术的扫描场内插值的概要的图; 图2是用于说明根据常规技术的运动自适应IP转换的图；图3是用于说明根据常规技术的运动补偿IP转换的图；图4是用于说明根据常规技术的影院还原序列释放的图；图5A是用于说明影院还原序列的图；图5B是用于说明影院还原序列的图；图6是根据本发明实施方式的扫描转换装置的原理的图；图7例示了错误插值检测单元的构造；图8A是说明扫描场之间的运动矢量和插值的图；图8B是说明扫描场之间的运动矢量和插值的图；图9是用于说明错误插值检测单元的操作的图；图10A是用于说明扫描转换装置的操作的图；图10B是用于说明扫描转换装置的操作的图；图11例示了信号混合输出单元的构造；图12例示了信号混合输出单元的另一构造；图13A是用于说明对扫描场组合的控制的图；图13B是用于说明对扫描场组合的控制的图；图14示出了用于获得运动矢量的另一方法； 图15A是说明图9中所示的运动矢量检测单元11的操作的图； 图15B是说明图9中所示的运动矢量检测单元11的操作的图； 图16A是用于说明对具有运动矢量的一半长度的矢量和插值图像进 行比较的处理；图16B是用于说明对具有运动矢量的一半长度的矢量和插值图像进 行比较的处理；以及图17是示出在利用通过图14中所示的运动矢量检测单元获得的运 动矢量来执行运动补偿IP转换时获得的图像的图。
具体实施方式
下面，参照附图，对本发明的优选实施方式进行详细说明。 图6是根据本发明实施方式的扫描转换装置的原理的图。图6所示 扫描转换装置1包括运动矢量检测单元11、第一插值像素生成单元12、 第二插值像素生成单元13、错误插值检测单元14、信号混合输出单元15、 序列检测单元16、影院还原释放单元17以及选择器单元18。运动矢量检测单元11对具有相同奇偶性的两个扫描场进行比较，并 且检测视频图像的运动矢量。如果运动矢量检测单元ll检测到运动，则 第一插值像素生成单元12生成在扫描场之间插值的像素。如果运动矢量 检测单元11没有检测到运动，则第二插值像素生成单元13生成在扫描 场内插值的像素。错误插值检测单元14基于检测到的矢量与在扫描场之 间插值的图像来检测与IP转换相关联的错误插值。信号混合输出单元15 基于插值像素、运动矢量以及错误插值检测单元14的处理结果生成输出 信号。序列检测单元16从接收到的视频图像信号中检测诸如2:2和2:3的 序列。影院还原释放单元17执行用于释放针对由序列检测单元16检测 到的序列的影院还原的处理，并且将视频图像信号转换成逐行图像信号。 选择器单元18被设置成包括选择器，并且基于信号混合输出单元15和 影院还原释放单元17的输出而从扫描转换装置1输出信号。根据本实施方式的扫描转换装置1包括错误插值检测单元14，该错
误插值检测单元14基于扫描场之间的运动矢量和插值像素，检测针对实 际上不需要扫描场间插值的电视电影视频图像执行的错误插值。信号混 合输出单元15基于错误插值检测单元14关于错误插值的判断结果，输 出插值像素，作为对扫描场之间插值的像素进行加权和对扫描场内插值 的像素进行加权的结果。选择器单元18基于对序列进行影院还原的结果 和与扫描场的视频图像信号相关联的插值结果来选择要输出的信号。 下面，对构成扫描转换装置1的单个单元的操作进行具体说明。图7例示了错误插值检测单元14的构造。错误插值检测单元14包 括运动矢量搜索单元21和比较判断单元22。运动矢量搜索单元21基于时钟时间t处的扫描场中的像素(其被定 义为当前扫描场输入像素Fld(t))和由第一插值像素生成单元12根据当 前扫描场输入像素Fld(t)生成的扫描场间插值像素Fld(t)'，来搜索在水平 方向上存在或不存在位移。比较判断单元22对由运动矢量检测单元11 检测到的运动矢量MV和由运动矢量搜索单元21获得的表示水平方向上 的偏移的矢量MV'进行比较，由此判断扫描场像素Fld(t)与Fld(t)'之间在 扫描线方向上的偏移是否是由于在将影院还原序列视频图像错误地转换 成逐行图像时造成的错误插值所导致的。下面，对运动矢量检测单元11检测到的运动矢量MV进行说明。图 8A和8B是说明扫描场之间的运动矢量与插值的图。图8A是用于说明检 测与在时钟时间t传送的扫描场像素Fld(t)有关的运动矢量的方法的图。相对于时钟时间t处的扫描场隔两个扫描场(即，时钟时间"t-2" 处)的先前扫描场中的扫描场信号，和时钟时间t处的扫描场信号具有相 同奇偶性。即，如果在时钟时间t接收到上/下扫描场的视频信号，则在 时钟时间t-2也接收到上/下扫描场的视频信号。基于这个事实，通过与 具有相同奇偶性的最接近扫描场信号进行比较，获得时钟时间t处的图像 的移动量。作为示例，与6X4大小的区域(即，在时钟时间t-2处的占用由该 图中的斜阴影线指示的位置的像素)有关的是，在时钟时间t处(即，两 个扫描场之后)对该区域所在的位置进行搜索。在图8A所示的示例中，
搜索沿水平方向加/减两个像素的范围和加/减一个像素的范围。根据搜索 范围中具有最高相关度的点获得运动矢量MV。在图8A中，运动矢量MV为(-2， 1)。运动矢量MV是在两个时钟时间时段内的移动量，因此， 假定时钟t-l与时钟t之间的移动量为MV/2，由此执行扫描场间插值。图8B是用于说明利用运动矢量MV的扫描场间插值的图。在图8B 的例示中，阴影线部分表示存在扫描场信号的区域，而留白部分表示要 生成插值像素的区域。为了对时钟时间t处的帧信号Frm(t)进行插值，需要在时钟时间t前 一时钟时间处的帧信号，即，时钟时间t-l处的帧信号Frm(t-l)。通过按 等于针对一个时钟时间的移动量的矢量MV/2的量移动时钟时间t-l处的 信号，来执行插值。图8B所示的示例用x标记表示在帧信号Frm(t)中的 通过将Frm(t-l)处的扫描场信号移动MV/2而获得的插值像素。另外，存在没有用整数坐标表示作为用于执行扫描场间插值的运动 矢量MV的一半的矢量的情况。在这种情况下，针对在时钟时间t前一 时钟时间处的帧信号Frm(t-l)生成扫描场内插值像素，并且基于获得的插 值像素数据对帧信号Frm(t)的插值进行插值。用于利用运动矢量执行扫描 场间插值的方法(包括针对没有用整数表示一个时钟时间的移动量的情 况而使用的插值方法)采用已知技术。如上所述，由于在前一时钟时间处的扫描场和当前扫描场之间存在 MV/2的移动，获得了扫描场间插值像素。即，按运动矢量的一半长度平 行移动扫描场间插值像素。图7中所示的比较判断单元22对等于一个时 钟时间时长内的移动量的MV/2，和时钟时间t处的真实扫描场信号Fld(t) 与沿扫描线方向的插值扫描场信号Fld(t)'之间的偏移量进行比较。图9是用于说明错误插值检测单元14的操作的图。如己经说明的， 通过将前一时钟时间处的具有不同奇偶性的扫描场信号移动运动矢量 MV的一半长度，来获得与时钟时间t对应的进行了扫描场间插值的插值 像素Fld(t)'。应注意到，出于简化说明的目的，下面的说明仅采用了水平 移动。当运动矢量搜索单元21识别到当前扫描场的扫描场信号Fld(t)与其
在水平方向上的插值扫描场信号Fld(t)'之间存在偏移的事实时，比较判断 单元22对插值扫描场信号Fld(t)'的偏移与具有运动矢量的一半长度的矢量MV/2进行比较。,如上所述，作为电视电影转换的结果，按2:2或2:3的序列传送由诸 如动画的帧构成的视频图像。这使得通过划分上扫描场和下扫描场来传 送特定帧。如果所述帧与下一帧之间存在移动，则检测到运动矢量MV， 然而，如果基于该运动矢量MV执行扫描场间插值，则因为在上扫描场 与下扫描场之间不存在真实移动，所以在真实扫描场信号与插值扫描场 信号之间沿矢量方向出现偏移。基于这种情况，如果扫描场信号Fld(t)与插值扫描场信号Fld(t)'之间 的偏移的长度和方向和作为运动矢量的一半的MV/2的长度和方向相同， 则比较判断单元22判断视频信号为电视电影视频图像。图IOA和10B是用于说明根据本实施方式的扫描转换装置1的操作 的图。图IOA示出了在传送视频图像时每一个阶段处的信号；而图10B 示出了在传送逐行图像时每一个阶段处的信号。在该图的从左到右的方 向上，按单个发生定时(例如，1/60秒)的接收序列示出信号，而在从 上到下的方向上，按提供给扫描转换装置1的相应单元的在特定定时处 传送的视频图像信号的序列示出视频信号。这里，说明例示了将4X6像 素的图像向右移动 一个像素的情况。首先说明扫描转换装置1在处理视频图像时的操作。图10A的上部 示出了输入给视频摄像机的视频图像信号。图IOA的中部示出了转换成 用于传送上部所示视频图像信号的隔行信号的状态，而下部示出了插值 视频图像信号。因为图像在每一个传送定时向右移动一个像素，所以检 测到运动矢量MV并且执行运动补偿IP转换，即，扫描场间插值。不对 上部图像和下部图像之间的边界线上的像素进行插值。接下来说明扫描转换装置1在处理逐行图像时的操作。在图10B中， 阶段(1)是原始图像，假定按30帧每秒(fps)的速率传送该原始图像。 阶段(2)是经受影院还原处理的视频图像信号。图IOB所示示例示出了 每一个图像被划分成上扫描场和下扫描场来传送的2:2序列。阶段(3)
示出了已经在序列检测单元16处从影院还原释放的信号。如果如上所述 通过序列检测单元16检测到序列，则获得等同于扫描线(1)的原始图 像的视频图像。如果序列检测单元16没有检测到序列，则执行正常运动 补偿IP转换。阶段(4)示出了在通过运动补偿IP转换生成扫描场间插值像素时的信号。例示了时钟时间t = t3时的图像，如果在时钟时间t = t3时的扫描场信号与具有相同奇偶性的扫描场(即，时钟时间t-tl时的扫描场信号)之间检测到运动矢量，则旨=(2， 0)。因为这种情况，所以通过 假定将时钟时间t3处的扫描场信号相对于时钟时间t-t2 (=t3-l)处的 扫描场向右移动一个像素来执行扫描场间插值。然而，时钟时间t2处的 信号是按2:2影院还原获得的信号，由此与时钟时间t3处的扫描场信号 相比真实图像向左偏移了两个像素。因为这种情况，所以执行针对电视 电影视频图像的运动补偿IP转换使得图像在水平方向上的梳状干扰清楚 可见。根据本实施方式的扫描转换装置1被设置成，在错误插值检测单 元14处检测梳状图像干扰(下文中，其被简称为"梳状")并且修正因 再一次IP转换而造成的图像干扰。阶段(5)示出了因错误插值的像素而修改的信号。如果在错误插值 检测单元14处检测到梳状，则扫描转换装置1判断使用扫描场间插值像 素带来了视频图像的可见干扰(即，根据图IOB所示示例的水平锯齿(即， 伪像))，执行后面说明的混合处理，并利用合适的插值像素来输出视频 图像信号。阶段(6)示出了插值帧。如果检测到运动补偿IP转换生成错误插 值的事实，则利用每一个扫描场的信号来生成相对于图像移动方向没有 可见锯齿的合适帧。后面，将对用于生成阶段(6)的帧的方法的细节进 行说明。如上所述，因未检测到序列而对包括电视电影视频图像在内的视频 图像信号执行扫描场间插值处理生成了错误插值。当检测到这种错误插 值时，信号混合输出单元15针对从每一个插值单元输出的信号进行加权， 并且合成视频图像信号，以输出经恰当IP转换的视频图像信号。
图11例示了信号混合输出单元的构造。图11中所示的信号混合输 出单元15A包括混合处理单元51和选择器单元52。混合处理单元51基于从运动矢量检测单元11输入的信息，根据视 频图像的运动输出插值像素。作为示例，混合处理单元51识别视频图像内具有移动的区域，并且确定扫描场间插值像素与扫描场内插值像素之 比。在本实施方式中，用混合处理来表示用于确定扫描场间插值像素与 扫描场内插值像素之比并且合成输出信号的处理。信号混合输出单元15A的选择器单元52基于从错误插值检测单元 14输入的信息，判断是否恰当地执行了运动补偿IP转换，即，是否恰当 地生成了扫描场间插值像素。接着，如果没有检测到错误插值，则选择 器单元52输出从混合处理单元51输出的合成信号，而如果检测到错误 插值，则输出扫描场内插值像素。如果对于包括电视电影视频图像的视频图像信号发生了错误插值， 则如图11所示构成的信号混合输出单元15A输出扫描场内插值像素。因 此，即使针对包括尚未检测到序列的电视电影在内的视频图像信号执行 IP转换，也能够防止因错误插值而造成伪像的可见呈现。图12例示了信号混合输出单元的另一构造。图12所示的信号混合 输出单元15B包括混合处理单元51、选择器单元53以及扫描场存储器 54。混合处理单元51的操作和图11所示信号混合输出单元15A包括的 混合处理单元51的操作类似，由此省略了对其的说明。扫描场存储器54被用于以扫描场为单位记录视频图像信号，由此记 录真实像素信号和扫描场之间的插值像素信号。选择器单元53在基于从 错误插值检测单元14输入的信息识别出因IP转换而生成错误插值的事 实后，利用存储在扫描场存储器54中的信号来生成输出信号。作为示例， 它将与在时钟时间t2接收到的视频图像信号对应的插值像素信号(其是 针对上扫描场插值的)以及与在一个扫描场后(即，在时钟时间t3)接 收到的视频图像信号对应的插值像素信号(其是针对下扫描场插值的) 进行组合，并且将在时钟时间t3接收到的视频图像信号(即，上扫描场) 和在时钟时间t4接收到的视频图像信号(即，下扫描场)进行组合，如 图10B中的阶段(6)所示。这使得可以获得没有伪像的视频图像信号。 将利用存储在扫描场存储器54中的视频图像信号而生成输出信号表达为 "扫描场组合"。图13A和13B是用于说明对扫描场组合的控制的图。图13A示出了 用于表示构成一个帧的上扫描场和下扫描场的方法。图13B的上部示出 了真实扫描场信号，而中部除示出真实扫描场信号外还示出了通过运动 补偿IP转换生成的扫描场之间的插值像素。在通过执行运动补偿IP转换 而去隔行化的信号中，在真实扫描场信号与通过插值获得的扫描场信号 之间出现时间偏移。该时间偏移和参照图10B中的阶段(4)所述的偏移 相同。如图13B的下部所示，对扫描场组合的控制被设置成，输出利用扫 描场存储器54延迟一个扫描场的扫描场插值数据。这种设置使得，即使 在错误插值检测单元14处检测到错误插值，也可以通过有效地利用扫描 场之间的插值数据而非丢弃该数据，来执行运动补偿。而且，运动矢量检测单元ll可以如下所述，被设置成能够按更高准 确度选择合适的运动矢量。图14示出了用于获得在运动矢量检测单元11处检测到的运动矢量 的改进方法。运动矢量检测单元11包括边缘检测单元61、第一矢量检测 单元62、插值图像生成单元63以及第二矢量检测单元64。第一矢量检测单元62对具有相同奇偶性的两个扫描场图像进行比 较，以检测视频图像的运动矢量MV。第一矢量检测单元62的操作和参 照图8A所述的操作相同。边缘检测单元61根据具有相同奇偶性的两个 扫描场图像来检测图像的边缘。插值图像生成单元63执行针对奇偶性与为在第一矢量检测单元62 处获得运动矢量而使用的奇偶性不同的扫描场图像的插值处理。即，它 获得用于和为获得运动矢量MV而使用的扫描线相同的扫描线的插值像 素。应注意到，用于在插值图像生成单元63处生成插值图像的方法采用 了上述的扫描场内插值方法。另外，通过具有不同奇偶性的扫描场图像内的边缘存在性来适当控制 插值图像的生成方法。作为最佳方法的一个示例，使用了最近邻域方法。这里，边缘检测单元61通过利用诸如Sobd和拉普拉斯算子的已知 边缘检测算子的方法，或者在第一矢量检测单元62处检查候选矢量的匹 配程度的方法，来检测边缘。即，用于检查匹配程度的方法监测在矢量 搜索中搜索候选矢量时的最大和最小匹配程度。接着，它可以判断存在 与匹配程度的最小值(即，最佳矢量)与最大值之间的动态范围的量值成比例并且与构成候选矢量的坐标紧密度(closeness)成比例的更陡峭边缘。 可以基于通过第一矢量检测单元62获得的运动矢量MV，沿和运动 矢量MV相同的方向执行对边缘的检测。另选的是，可以沿图像的水平 方向，即，沿扫描线方向检测边缘。当插值图像生成单元63生成插值图 像时，可以通过参照与图像边缘有关的信息，同样针对具有更高空间频 率的区域按更高的准确度执行用于检测运动矢量的匹配处理。第二矢量检测单元64利用在插值图像生成单元63处生成的插值图 像，检查由第一矢量检测单元62检测到的运动矢量是否被恰当地选择。 图14所示的运动矢量检测单元11参照具有不同奇偶性的扫描场图 像，以便按更高准确度获得运动矢量，并且该运动矢量是采用和图8A所 示相同的方式，在第一矢量检测单元62处在具有相同奇偶性的扫描场之 间获得的。S卩，插值图像生成单元63根据具有不同奇偶性的扫描场图像 通过插值处理生成了具有相同奇偶性的扫描场图像。接着，第二矢量检 测单元64参照在插值图像生成单元63处生成的图像，并且验证第一矢 量检测单元62处获得的运动矢量MV。如果选择了不合适的候选矢量， 则执行再选择另一候选矢量或从一些候选矢量中选择/保留一个候选矢量 的处理。接下来说明图14所示运动矢量检测单元的操作。图15A和15B是说明图14所示运动矢量检测单元11的操作的图。 考虑传送图像为视频图像的情况。如图15A的上部所示，针对每一个扫 描场，4X6大小的矩形图像都向右移动一个像素。与图15A的上部所示 的视频图像相对应地，如图15A的下部所示将上扫描场和下扫描场的隔 行信号交替输入至扫描转换装置1。200710154431.3说明书第15/16页图14的第一矢量检测单元62根据图15A的下部所示的图像获得运 动矢量MV。图15B是说明用于验证针对图15A下部所示的图像获得的 运动矢量MV的处理操作的图。通过与时钟时间t = n-2处的作为具有相同奇偶性的扫描场图像的图 像进行比较(类似地，通过用于获得上述运动矢量MV的方法)，来获得 与时钟时间t = n处的扫描场有关的运动矢量MV。针对具有获得的运动 矢量MV的一半长度的矢量MV/2位于为获得运动矢量而使用的两个图 像之间的时钟时间t-n-l处的图像的插值像素上的事实，来执行验证。根据图15B所示的示例，判断具有根据时钟时间t = n和t = n-2处的 扫描场图像获得的三个矢量的相应一半长度的三个矢量是否位于相应时 钟时间t = n-l处的扫描场的插值图像上。在具有在第一矢量检测单元62处获得的三个运动矢量的一半长度 的三个矢量中，与时钟时间t = n-2和时钟时间t = n处的图像的中部和下 部对应的矢量的端部位于时钟时间t = n-l处的插值图像上。在这种情况 下，第二矢量检测单元64通过执行矢量与插值像素之间的匹配而判断插 值像素位于矢量的端部处，并且第一矢量检测单元62判断这些运动矢量 具有高可靠度，并且判断选择了合适的矢量。同时，关于与时钟时间t = n-2和t = n处的图像的上部的扫描线对应 的矢量，不存在与时钟时间t:n-l对应的插值图像。在这种情况下，第 二矢量检测单元64判断运动矢量具有低可靠度，并且判断未选择到合适 的运动矢量。使第二矢量检测单元64判断为未被恰当选择的运动矢量经 受诸如再选择运动矢量的处理。图16A和16B是说明用于对具有运动矢量MV的一半长度的矢量 MV/2和插值图像进行比较的处理的图。图16A示出了由第一矢量检测单元62获得的具有相同奇偶性的扫描 场图像之间的运动矢量MV;而图16B示出了获得具有获得的运动矢量 MV的一半长度的矢量MV/2的处理，和将该矢量MV/2与根据奇偶性与 为获得所述运动矢量而使用的扫描场图像的奇偶性不同的图像获得的插 值图像进行比较的处理。在图16A中，实线和虚线分别示出了具有互不相同的奇偶性的扫描 场，即，上扫描场和下扫描场。这里，针对由实线表示的扫描场图像获得运动矢量MV。在图16B中，实线表示时钟时间t-n-l处的扫描场的插值像素，艮口， 和时钟时间t二n-2 (和t-n)处的扫描场的扫描线相同的像素。判断根 据图16A所示的运动矢量MV获得的一半长度的矢量MV/2的端部是否 位于时钟时间t = n-l处的扫描场中的插值像素上。如果矢量MV/2的端 部处于针对时钟时间t-n-1的图像的插值像素上，则判断获得的矢量MV是合适的。图17是示出在利用通过图14所示的运动矢量检测单元11获得的运 动矢量来执行运动补偿IP转换时获得的图像的图。关于图16A和168的时钟时间1 = 11-2和1 = 11的图像，第二矢量检 测单元64针对上部中的扫描线的验证确认矢量的端部处不存在插值像 素。基于不存在针对最上部扫描线的与运动矢量(即，具有其一半长度 的矢量)对应的插值像素的事实，可以根据扫描场内插值，如图17所示， 在时钟时间t:n-l处针对最上部扫描线执行像素的插值。同样针对其它扫 描场，使得能够基于第二矢量检测单元64的验证结果来执行恰当的插《直。如上所述，图14所示的运动矢量检测单元11被构造成，在第二矢 量检测单元64处验证获得的运动矢量MV，判断在矢量MV/2的端部处 是否存在具有不同奇偶性的插值图像，并且在不存在插值图像时，再选 择恰当的运动矢量。这种构造使得可以按更高的准确度获得运动矢量。同时，关于高空间频率的区域，即，密集图像的区域，往往出现运 动矢量的错误检测。运动矢量的错误检测会造成诸如在利用运动矢量执 行扫描场间插值像素生成处理时的图像劣化以及在执行错误插值检测处 理时的错误插值检测准确度降低的问题。然而，上述运动矢量验证处理， 改进了向图6所示的第一插值像素生成单元12和图7所示的错误插值检 测单元14的判断单元22输入的运动矢量MV/2的准确度，由此有助于 防止出现这些问题。
权利要求
1、 一种扫描转换装置，其用于将隔行视频信号转换成逐行图像信号， 所述扫描转换装置包括第一插值像素生成单元，该第一插值像素生成单元用于基于在具有 相同奇偶性的两个扫描场的图像之间检测到的运动矢量，针对所述两个 扫描场的图像中的一个图像生成不存在的扫描线的插值像素；第二插值像素生成单元，该第二插值像素生成单元用于利用扫描场 内的像素，来针对所述两个扫描场的图像中由所述第一插值像素生成单 元生成了插值像素的所述扫描场的图像，生成不存在的扫描线的插值像 素；错误插值检测单元，该错误插值检测单元用于基于与位于上扫描线 和下扫描线的像素的比较，来检测由所述第一插值像素生成单元生成的 插值像素中的错误插值；输出单元，该输出单元用于基于所述错误插值检测单元的检测结果， 利用所述第一插值像素生成单元和所述第二插值像素生成单元生成的插 值像素，来输出视频图像信号。
2、 根据权利要求1所述的扫描转换装置，所述扫描转换装置还包括 序列检测单元，该序列检测单元用于检测正在输入经电视电影转换的隔行视频信号的事件，和影院还原释放单元，该影院还原释放单元用于在所述序列检测单元 检测到经电视电影转换的隔行视频图像信号时，将该隔行视频图像信号 转换成逐行图像信号，其中如果所述影院还原释放单元尚未执行逐行图像转换处理，则所述输 出单元利用所述第一插值像素生成单元和所述第二插值像素生成单元生 成的插值像素，来输出视频图像信号。
3、 根据权利要求1所述的扫描转换装置，其中， 所述错误插值检测单元包括偏移检测单元，该偏移检测单元用于检测在被确定为所述第 一插值像素生成单元执行插值的对象的扫描线与位于前述扫描线 上方或下方一条扫描线处的扫描线之间出现的扫描线方向上的偏 移，和比较判断单元，该比较判断单元用于在所述偏移检测单元检 测到偏移时，基于所述扫描线方向有关的偏移与所述运动矢量之 间的比较，来判断是否为错误插值。
4、 根据权利要求3所述的扫描转换装置，其中， 如果在所述扫描线方向上所述偏移等于所述运动矢量的一半，则所述比较判断单元判断所述第一插值像素生成单元执行的插值为错误插. 值。
5、 根据权利要求4所述的扫描转换装置，其中， 如果所述比较判断单元判断为错误插值，则所述输出单元利用所述第二插值像素生成单元生成的插值像素来输出视频信号。
6、 根据权利要求4所述的扫描转换装置，所述扫描转换装置还包括 记录单元，该记录单元用于记录输入扫描场的像素信号和所述第一插值像素生成单元生成的扫描场的像素信号，其中，如果所述比较判断单元判断为错误插值，则所述输出单元对记录在 所述记录单元中的先前扫描场的像素信号和被判断为错误插值的扫描场 的像素信号进行组合，并且输出组合后的像素信号。
7、 根据权利要求1所述的扫描转换装置，所述扫描转换装置还包括运动矢量检测单元，该运动矢量检测单元用于检测所述运动矢量， 其中，所述运动矢量检测单元包括第一运动矢量检测单元，该第一运动矢量检测单元用于根据 一对具有相同奇偶性的扫描场图像获得运动矢量，扫描场图像生成单元，该扫描场图像生成单元用于根据具有 不同奇偶性的扫描场图像生成具有相同奇偶性的扫描场图像，以 及第二运动矢量检测单元，该第二运动矢量检测单元用于基于 所述生成的图像和从所述一对具有相同奇偶性的扫描场图像检测 到的边缘，来验证所述第一运动矢量检测单元获得的运动矢量， 其中，所述错误插值检测单元利用所述第二运动矢量检测单元验证的运动 矢量来检测错误插值。
8、 根据权利要求7所述的扫描转换装置，在检测所述边缘时，沿和所述第一运动矢量检测单元获得的运动矢 量相同的方向检测所述边缘。
9、 根据权利要求8所述的扫描转换装置， 在检测所述边缘时，沿扫描线方向检测所述边缘。
10、 一种运动矢量检测电路，其用于在将隔行视频图像信号转换成逐行图像信号的扫描转换装置中使用，所述运动矢量转换电路包括第一运动矢量检测单元，该第一运动矢量检测单元用于根据一对具有相同奇偶性的扫描场图像获得运动矢量；扫描场图像生成单元，该扫描场图像生成单元用于根据具有不同奇 偶性的扫描场图像生成具有相同奇偶性的扫描场图像；以及第二运动矢量检测单元，该第二运动矢量检测单元用于基于所述生 成的图像和从所述一对具有相同奇偶性的扫描场图像检测到的边缘，来 验证所述第一运动矢量检测单元获得的运动矢量，并且将经验证的运动 矢量提供给插值像素生成单元，该插值像素生成单元针对具有相同奇偶 性的两个扫描场的图像中的一个图像生成不存在的扫描线的插值像素。
11、 一种扫描转换方法，其用于将隔行视频信号转换成逐行图像信 号，所述扫描转换方法包括以下步骤基于在具有相同奇偶性的两个扫描场的图像之间检测到的运动矢 量，针对所述两个扫描场的图像中的一个图像生成扫描场间插值像素；针对所述两个扫描场的图像中已被生成扫描场间插值像素的所述扫 描场的图像生成扫描场内插值像素；基于与所述两个扫描场的图像之间的扫描场图像的比较，来检测与 已被生成扫描场间插值像素的所述扫描场的图像有关的错误插值；以及 基于对所述错误插值的检测结果，利用所述扫描场间插值像素和所 述扫描场内插值像素来输出视频图像信号。
12、 一种错误插值检测方法，其用于检测在将隔行视频图像信号转 换成逐行图像信号时出现的错误插值，所述错误插值检测方法包括以下 步骤基于在具有相同奇偶性的两个扫描场的图像之间检测到的运动矢 量，针对所述两个扫描场的图像中的一个图像生成扫描场间插值像素；针对所述两个扫描场的图像中已被生成扫描场间插值像素的所述扫 描场的图像生成扫描场内插值像素；基于与所述两个扫描场的图像之间的扫描场图像的比较，来检测与 已被生成扫描场间插值像素的所述扫描场的图像有关的错误插值；以及基于对所述错误插值的检测结果，利用所述扫描场间插值像素和所 述扫描场内插值像素来输出视频图像信号。
全文摘要
本发明提供一种扫描转换装置。在该扫描转换装置中，第一插值像素生成单元基于在具有相同奇偶性的图像之间检测到的运动矢量，针对两个扫描场的图像中的一个图像生成不存在的扫描线的插值像素。第二插值像素生成单元利用针对在两个扫描场的图像中已由第一插值像素生成单元生成了插值像素的扫描场的图像的像素，来生成不存在的扫描线的扫描场内插值像素。错误插值检测单元通过与位于上扫描线和下扫描线处的像素进行比较，来针对第一插值像素生成单元生成的插值像素检测错误插值。信号混合输出单元基于错误插值检测单元的检测，利用第一插值像素生成单元和第二插值像素生成单元生成的插值像素来输出视频信号。
文档编号H04N7/01GK101146203SQ20071015443
公开日2008年3月19日 申请日期2007年9月12日 优先权日2006年9月13日
发明者佐藤辉幸 申请人:富士通株式会社