自适应边缘增强的制作方法
【专利摘要】本发明涉及自适应边缘增强。在本发明的至少一个实施例中，用于视频信号的自适应边缘增强的设备包括瞬态改善模块。瞬态改善模块被配置为基于初始地具有输入像素值的关注像素周围的像素的像素值窗口产生第一调整像素值。所述设备包括被配置为基于第一调整像素值和输入像素值产生第二调整像素值的自适应峰化模块。在所述设备的至少一个实施例中，自适应峰化模块包含被配置为基于第一调整像素值产生像素调整的高通滤波器。在所述设备的至少一个实施例中，自适应峰化模块还包括被配置为向像素调整施加至少一个自适应增益值以产生自适应调整值的增益路径。
【专利说明】自适应边缘增强
【技术领域】
[0001]本申请涉及视频处理系统，更特别地，涉及视频信号的边缘增强。
【背景技术】
[0002]一般地，图像处理系统和视频处理系统执行边缘增强技术以改善图像或以下称为“图像”的视频信号帧(即，视频帧、视频图像)的表观锐度。典型的边缘增强滤波器(例如，瞬态改善滤波器)被设计为改善图像或视频巾贞的亮度(Iuma)的边缘过渡(edge transition)。例如，边缘增强滤波器识别帧中的锐化边缘边界，例如主体与对比色的背景之间的边缘，并且增加紧挨着边缘周围区域中的对比度。但是，边缘增强滤波器会过冲(overshoot)或欠冲(undershoot),从而产生视觉不自然或噪声调整边缘。
【发明内容】
[0003]在本发明的至少一个实施例中，用于视频信号的自适应边缘增强的设备包括瞬态改善模块。瞬态改善模块被配置为基于初始地具有输入像素值的关注像素周围的像素的像素值窗口产生第一调整像素值。所述设备包括被配置为基于第一调整像素值和输入像素值产生第二调整像素值的自适应峰化模块。在所述设备的至少一个实施例中，自适应峰化模块包含被配置为基于第一调整像素值产生像素调整的高通滤波器。在所述设备的至少一个实施例中，自适应峰化模块还包括被配置为向像素调整施加至少一个自适应增益值以产生自适应调整值的增益路径。
[0004]在本发明的至少一个实施例中，用于视频信号的边缘增强的方法包括基于关注像素周围的像素的像素值窗口产生关注像素的瞬态调整像素值。所述关注像素初始地具有输入像素值。所述方法包括基于至少一个自适应增益值、像素值窗口的高通滤波和瞬态调整像素值产生关注像素的输出调整像素值。
[0005]在本发明的至少一个实施例中，用于视频信号的自适应边缘增强的设备包括被配置为基于具有输入色度值和输入亮度值的关注像素周围的像素的色度值窗口产生第一调整色度值的第一色度瞬态调整模块。所述设备包括被配置为基于第一调整色度值、输入色度值和输入亮度值产生关注像素的输出调整色度值的第一控制模块。
【专利附图】
【附图说明】
[0006]通过参照附图，可以更好地理解本发明，并且对于本领域技术人员来说，其大量的目标、特征和优点将变得十分明显。
[0007]图1示出示例性视频处理系统的功能框图。
[0008]图2A和图2B示出符合本发明的各种实施例的自适应边缘增强视频处理模块的功能框图。
[0009]图3示出符合本发明的至少一个实施例的图2A和图2B的瞬态改善模块的功能框图。[0010]图4示出符合本发明的至少一个实施例的图3的亮度瞬态改善模块的功能框图。
[0011]图5A和图5B示出符合本发明的至少一个实施例的分别通过图4的查找表402和410实现的示例性函数。
[0012]图6示出符合本发明的至少一个实施例的图2A和图2B的具有环控制(ringingcontrol)的二维自适应峰化模块204的功能框图。
[0013]图7示出符合本发明的至少一个实施例的图6的环控制模块804的功能框图。
[0014]图8示出符合本发明的至少一个实施例的图2A和图2B的色度成分瞬态改善模块206的功能框图。
[0015]图9示出符合本发明的至少一个实施例的图8的色度成分瞬态改善模块504的功能框图。
[0016]图1OA和图1OB示出符合本发明的至少一个实施例的分别由图6的软核心化模块946和查找表910实现的示例性函数。
[0017]图1OC示出符合本发明的至少一个实施例的图9的用于产生加权因子k的控制路径。
[0018]在不同的附图中，用相同的附图标记表示类似或相同的项目。
【具体实施方式】
[0019]参照图1，示例性视频片上系统(SOC)集成电路(例如，视频SOC 102)通过存储器104从外部源接收一个或多个视频数据流。视频处理器108和110从存储器104取回未压缩的视频数据。视频处理器108和110—次仅取回视频数据的单个帧的多个部分。视频处理器108和110可包括下述中的一个或多个:巾贞速率转换器、显示器、去隔行器(deinterlacer)、排字机、定标器(scaler)、边缘增强模块、颜色操作模块、面部或对象识别模块、对比度增强器、超限分辨定标器(superresolution scaler)、去块器(deblocker)、时间和/或空间减噪器、其它适当的视频处理模块或它们的任意的组合。视频处理器108和110将处理的、未压缩的视频数据重新存储到存储器104以供随后的使用，或者将处理的视频数据直接提供给片上缓冲器、直接提供给另一视频处理器或提供给片外电路(未示出)。
[0020]虽然解压缩器106和视频处理器108和110被示为直接与存储器控制器112耦合，但是在SOC的其它的实施例中，解压缩器106和视频处理器108和110与一个或多个共享的存储器总线耦合。典型的存储器104是双数据速率同步动态随机存取存储器(即，DDRSDRAM存储器或DDR存储器)。在至少一个实施例中，存储器104是符合DDR SDRAM存储器标准、DDR2SDRAM存储器标准、DDR3SDRAM存储器标准、其它的DDR SDRAM标准或其它适当的存储器标准的DDR存储器。
[0021]参照图1和图2，在视频系统100的至少一个实施例中，视频处理器108和110是对图像执行边缘增强技术以提高图像的表观锐度的自适应边缘增强模块(例如，自适应增强模块200)。图像的特定像素一般由亮度值(Y)和两个色度值(例如，(；和Ck)表示。如这里提到的那样，“像素值”指的是亮度值或色度成分值，例如，用于图像的特定像素的Y、CB或CK。对于至少一种复合视频编码系统，亮度值代表图像中的亮度(即，图像的黑白或非彩色部分)。色度信号与亮度信号分离地传送图像的颜色信息。一般地，色度信号一般由两个颜色差成分U = 0.492X (B' -Y) (B卩，蓝-亮度)和V = 0.877Χ (R' -Y) (B卩，红-亮度)表示。在复合视频信号中，U和V信号调制颜色子载波信号。结果被称为色度信号。调制的色度信号的相位和振幅大致与颜色的色调和饱和度对应。在复合视频系统的至少一个实施例中，不使用视频信号的蓝色和红色成分的绝对值(例如，B'和R')，而使用颜色差成分(例如，分别是Cb和CK)。在至少一个实施例中，自适应增强模块200增强图像的亮度值和色度值。但是，符合这里描述的技术的自适应增强模块增强亮度值、Cb色度值、Ck色度值或它们的任意的组合。
[0022]参照图2A和图2B，在自适应增强模块200的至少一个实施例中，瞬态改善模块(例如，亮度瞬态改善模块202)对于图像的亮度值(例如，Yin)执行边缘增强技术，并且对于图像的各亮度值产生调整的亮度值(例如，Zi (x，y))。但是，亮度瞬态改善模块202将高频引入图像的亮度中。附加的增强模块(例如，具有环控制的二维自适应峰化模块204)增强图像的亮度的这些新引入的高频成分以产生图像的输出调整亮度值(例如，YotX附加的瞬态改善模块(例如，色度瞬态改善模块208)对于色度成分(例如，Cb和Ck)中的每一个执行边缘增强技术以产生输出调整色度成分值(例如，分别是Cbtot和C_T)。一般地，图像的色度成分由于高的压缩量因此是噪声信号，从而使得与在图像的相应亮度中相比，更难以在图像的色度成分中检测到边缘。与图像的亮度和色度中的边缘相比，单独的色度成分(例如，Cb)中的边缘不可能被人眼检测到。由于边缘增强技术会引入噪声伪信号，因此在自适应增强模块200的至少一个实施例中，色度成分瞬态改善模块206的边缘增强技术由图像的相关亮度值的函数(例如，Yin)控制。例如，当对于相应亮度值检测到边缘时，仅通过色度成分瞬态改善模块206调整图像的色度成分值。在自适应边缘增强模块200的至少一个实施例中，色度成分的边缘增强由图像的相应亮度值的延迟形式的函数(Y1/ )控制。
[0023]参照图3，在亮度瞬态改善模块202的至少一个实施例中，像素值窗口(例如，亮度值窗口)被存储于缓冲器302中。注意，窗口 302是不对称的，行数小于列数。7X9窗口仅是示例性的，并且以相应的关注像素(即，当前像素或输入像素)为中心的具有不同尺寸和/或对称性的其它窗口(例如，3 X 3、4 X 4、9 X 9 )符合这里描述的技术。亮度值窗口包括关注像素周围的那些像素的亮度值，其中关注像素以窗口为中心。像素数据可直接从存储器104被取回，或者可被存储于视频SOC 102的帧缓冲器或其它适当的缓冲器中。
[0024]在亮度瞬态改善模块202的至少一个实施例中，四个方向滤波器模块(例如，水平边缘增强滤波器模块304、垂直边缘增强滤波器模块306、正对角边缘增强滤波器模块308和负对角边缘增强滤波器模块310)中的每一个通过向与关注像素相关的亮度值窗口施加二维非线滤波来确定相应方向(例如，分别为水平、垂直、正对角和负对角)的瞬态改善值。如这里提到的那样，“改善值”或“增强值”指的是要改善图像的视觉的调整值。
[0025]在至少一个实施例中，方向滤波器模块304、306、308和310中的每一个包含基于来自以关注像素为中心的窗口的亮度值的线性滤波产生相应的平滑化的像素值(例如，分别为Xsh(0:8)、Xsv(0:6)、xs+45(0:6)、xs_45(0:6))的相应的平滑滤波器(例如，平滑滤波器314、316、318和320)。平滑化的像素值沿要被改善的边缘具有减少的瞬态噪声。在至少一个实施例中，平滑滤波器单元分别向不强调使用相同取向或关注方向的亮度信息的那些亮度值施加滤波器矩阵。在亮度瞬态改善模块202的至少一个实施例中，平滑滤波器314、316、318和320是输出三个共线值的3 X 3滤波器。在2009年12月16日提交的以BradleyArthur Wallace和James C.Lynch作为发明人的美国专利申请N0.12/639，353中描述了3X3像素窗口的水平、垂直、正对角和负对角方向的示例性滤波器技术，在此加入该申请作为参考。这些教导可被扩展到以具有位于像素窗口的第3行第4列上的关注像素(即，X34)的关注像素为中心的7X9窗口。
[0026]在亮度瞬态改善模块202的至少一个实施例中，平滑滤波器314是输出九个平滑的共线值的7X9滤波器，并且平滑滤波器316、318和320是输出七个平滑的共线值的7X9
滤波器。例如，如果亮度值的窗口是
[0027]
【权利要求】
1.一种用于视频信号的自适应边缘增强的设备，包括:被配置为基于初始地具有输入像素值的关注像素周围的像素的像素值窗口产生第一调整像素值的瞬态改善模块；和被配置为基于自适应调整值、第一调整像素值和输入像素值产生第二调整像素值的自适应峰化模块。
2.如权利要求1所述的设备，其中，自适应峰化模块包含被配置为基于第一调整像素值产生像素调整的高通滤波器，以及其中，自适应峰化模块还包含被配置为向像素调整施加至少一个自适应增益值以产生自适应调整值的增益路径。
3.如权利要求2所述的设备，还包括:被配置为产生所述至少一个自适应增益值的控制路径，所述控制路径包含:被配置为产生第一调整像素值的低通滤波形式的二维低通滤波器；被配置为放大第一调整像素值的低通滤波形式中在至少第一方向上的边缘的至少一个二维高通滤波器，其中，所述至少一个自适应增益值基于所述至少一个二维高通滤波器的至少一个相应的输出；可选地，所述控制路径还包含:被配置为基于低通滤波输入像素的强度提供第一自适应增益值的增益控制模块；其中，所述至少一个二维高通滤波器包含:被配置为放大二维低通滤波器的输出中在水平方向上的边缘的第一二维高通滤波器；被配置为放大二维低通滤波器的输出中在垂直方向上的边缘的第二二维高通滤波器；其中，第二自适应增益值基于第一和第二二维高通滤波器的输出。
4.如权利要求2或3所述的设备，其中，自适应峰化模块还包含被配置为组合自适应增益调整值与第一调整像素值以产生第二调整像素值的求和模块。
5.如前述权利要求中任意一项所述的设备，还包括:被配置为基于第二调整像素值产生输出调整像素值的环控制模块，所述输出调整像素值处于基于最小像素值和最大像素值的范围内。
6.如前述权利要求中任意一项所述的设备，其中，瞬态改善模块是亮度瞬态改善模块，并且所述设备还包括:被配置为基于包含关注像素的输入色度值的色度像素值的窗口产生至少一个调整色度像素值的色度瞬态改善模块，以及所述输入像素值是相应的亮度值。
7.如前述权利要求中任意一项所述的设备，其中，亮度瞬态改善模块和色度瞬态改善模块中的至少一个还包含冲击抑制模块，其中，冲击抑制模块被配置为在瞬态调整像素值大于最大调整像素值时选择最大调整像素值作为第一调整像素值，其中，冲击抑制模块被配置为在瞬态调整像素值小于最大调整像素值时选择最小调整像素值作为第一调整像素值，以及其中，冲击抑制模块被配置为在瞬态调整像素值小于等于最大调整像素值并且瞬态调整像素值大于等于最小调整像素值时选择瞬态调整像素值作为第一调整像素值。
8.如前述权利要求中任意一项所述的设备，其中，瞬态改善模块被配置为:组合对应于多个水平方向、垂直方向、+45度对角方向和-45度对角方向的调整与输入像素值，以产生第一调整像素值；和/或组合沿第一方向共线的像素的共线像素值的第一近似值、共线像素的第二近似值和基于像素值的平均亮度值的增益控制值，以产生调整值，其中所述第一调整像素值基于调整值。
9.一种用于视频信号的边缘增强的方法，包括:基于关注像素周围的像素的像素值窗口产生关注像素的瞬态调整像素值，所述关注像素初始地具有输入像素值；和基于至少一个自适应增益值、像素值窗口的高通滤波器和瞬态调整像素值产生关注像素的输出调整像素值。
10.如权利要求9所述的方法，其中:产生输出调整像素值包含减少由线性钝化遮罩滤波引入的环效应；产生输出调整像素值包含当调整形式的瞬态调整像素值处于像素值的范围之外时，提供输出调整像素值的上限或输出调整像素值的下限作为输出调整像素值，所述像素值的范围由上限和下限限定，所述上限和下限基于像素的窗口和瞬态调整像素值；和/或所述至少一个自适应增益被配置`为限制输出调整像素值的变化率。
11.如权利要求9或10所述的方法，还包括:低通滤波关注像素周围的像素的像素值的第二窗口和瞬态调整像素值；和基于低通滤波的输出产生至少一个自适应增益值；可选地，产生至少一个自适应增益值包含:二维高通滤波低通滤波的输出以产生第一增益值，所述二维高通滤波放大第一方向上的任意边缘；二维高通滤波低通滤波的输出以产生第二增益值，所述二维高通滤波放大第二方向上的任意边缘，所述第二方向与所述第一方向不同；以及基于第一和第二增益值产生所述至少一个自适应增益。
12.如权利要求9、10或11所述的方法，其中，产生瞬态调整像素值包含:当第一瞬态调整像素值大于最大瞬态调整像素值时，选择最大瞬态调整值作为瞬态调整像素值；当第一瞬态调整像素值小于最小调整像素值时，选择最小瞬态调整值作为瞬态调整像素值；和当第一瞬态调整像素值小于等于最大瞬态调整像素值并且第一瞬态调整像素值大于等于最小调整像素值时，选择第一瞬态调整像素值作为瞬态调整像素值。
13.如权利要求9~12中的任一项所述的方法，其中:瞬态调整像素值是瞬态调整亮度值，并且输入像素值是亮度像素值，并且所述方法还包括基于亮度像素值产生瞬态调整色度值；或者瞬态调整像素值是瞬态调整色度值，以及所述输入像素值是色度像素值。
14.如权利要求9~13中的任一项所述的方法，其中，瞬态调整值基于关于水平方向、垂直方向、+45度对角方向或-45度对角方向中的至少一个的多个调整值；可选地，产生瞬态调整像素值包含:组合对应于多个水平方向、垂直方向、+45度对角方向和-45度对角方向的调整与输入像素值以产生瞬态调整像素值。
15.如权利要求9~14中的任一项所述的方法，还包括:基于沿第一方向共线的像素的共线像素值的第一近似值、共线像素值的第二近似值和基于平均亮度值的增益控制值，产生 瞬态调整像素值。
【文档编号】H04N5/208GK103517048SQ201210209570
【公开日】2014年1月15日 申请日期:2012年6月20日 优先权日:2012年6月20日
【发明者】B·A·华莱士 申请人:Vixs系统公司