专利名称：图像处理方法及其相关装置的制作方法
技术领域：
本发明关于 一种图像处理机制，尤其指一种能够降低电路成本并减少运算复杂度的图像处理方法及其相关装置。
背景技术：
公知图像处理机制在进行区块对比操作(block matching operation)时考虑一先前图像中的二维预定范围内的多个图像区块，从该多个图像区块中找出与目前图像内某一图像区块最相像的图像区块来决定出一移动向量。然而，实际上，执行该区块对比操作时需要对大量的像素进行计算而其计算程序相当复杂，用以暂存像素数据的线緩冲器(1 ine buffer)则因为需要暂存大量的像素数据而造成需要使用较多的线緩沖器， 一般来说在此情况下实际需要约10-20个线緩冲器。是故公知图像处理机制的整体电路成本会因使用较多的线缓冲器而提高，而在完成区块对比操作之前亦需要较长的运算时间。
发明内容
因此本发明的目的的一在于提供一种能够降低整体电路成本并同时减少运算复杂度的图像处理方法及其相关装置，以解决上述的问题。
依据本发明的实施例，其公开一种图像处理方法。该图像处理方法包含有仅依据水平方向的多个图像区块而不参考垂直或其他方向的图像区块来完成一 区块对比操作以及依据该区块对比操作的结果来执行一 图像处理操作。
依据本发明的实施例，其另公开一种图像处理装置。该图像处理装置包含有一计算电路与一图像处理电路，其中该计算电路用来仅依据水平方向的
多个图像区块而不参考垂直或其他方向的图像区块来完成一区块对比操作，以及该图像处理电路耦接于该计算电路并依据该区块对比操作的结果来执行一图像处理操作。 -
4图1为本发明一实施例的图像处理装置的示意图。
图2为图1所示的计算电路针对两帧进行区块对比的操作示意图。
图3为图l所示的计算电路针对两图场(field )进行区块对比的操作示意图。
主要元件符号说明
100图像处理装置
105存储器
110计算电路
115图像处理电路
具体实施例方式
请参照图1，图1是本发明一实施例的图像处理装置100的示意图。图像处理装置100包含有存储器105、计算电路110与图像处理电路115，其中计算电路110还包括有多个线緩冲器(未显示于图1中)。存储器105用来存储由外部所接收的输入数据DATAin (多个帧(frame)或图场(field)的像素数据)，而计算电路110耦接于存储器105并〗又依据输入数据DATA,n中水平方向的多个图像区块而不参考垂直或其他方向的图像区块来完成一区块对比操作，图像处理电路115则耦接于计算电路110并依据该区块对比搡作的结果来执行一图像处理操作(例如图像插补运算(interpolation));计算电路110与图像处理电路115在实际上可共同组成一移动估测/补偿电路单元。如上所迷，由于计算电路110仅依据水平方向的多个图像区块来完成该区块对比操作而不参考垂直或其他方向的图像区块，所以图像处理装置100与上述的公知图像处理机制相比，可避免进行大量的像素运算并降低运算复杂度，同时亦可减少线緩沖器数目而使整体电路成本下降。可如此实现的原因是，统计上来说图像画面中发生水平移动的物件比发生垂直移动的物件来得较多，例如，当为了插补出某一时间点的帧/图场中的图像区块时，进行区块对比操作来找出前一时间点的帧/图场中哪一图像区块与下一时间点的帧/图场中哪一图像区块最相像以找出插补出此图像区块时所需要的移动向,，而有相当大的机率是所找出来的移动向量为一水平向量，亦即，该图像区块所对应到的物件此时发生水平移动。因此，本实施例仅参考水平方向上^图像区块来进行区块对比操作以节省整体电路成本，同时避免浪费运算时间与减少运算复杂度；实际上，本实施例中的计算电路110仅利用2-3个线緩沖器即可达到参考水平方向上的图像区块来进行区块对比操作的目的，与公知图像处理机制一般所需要的线緩沖器数目相较来说减少相当多。
在本实施例中利用图像插补运算的例子来加以说明，当然本发明并不以
此为限。计算电路110在进行区块对比时会将存储于存储器105的输入数据DATAi 中所需要的像素数据逐一地暂存于其内部的线緩冲器中，并累计每一相对应位置所计算后的像素差来得到一区块对比差值(block matchingdifference )。请参照图2，图2是图1所示的计算电路110针对两帧进行区块对比搡作的操作示意图。如图2所示，此时输入数据DATA^为一连串的帧所构成，而在此种情况下若要尽量节省线緩冲器的数目，则计算电路110至少仍需包含两线緩冲器，而计算电路110的操作在图2中即以两线緩沖器为例子来描述的。
如上所述，在此例中计算电路110包含有线緩冲器L,及L。举例来说，当计算电路110欲针对帧F -的图像区块与帧Fn中的图像区块Bn计算一 区块对比差值(例如像素的绝对差值总和(S咖of Absolute Differences, SAD ))时，由于线緩冲器L与"至多可各同时存储帧R-与F。中对应同一水平位置
上的像素数据，例如，线緩冲器L可同时存储与图像区块B。-,同一水平位置
的多个图像区块内的像素数据而线缓冲器L2则可同时存储与图像区块Bn同一水平位置的多个图像区块内的像素数据(亦即计算电路110所参考的多个图像区块于线緩冲器L,及"中产生)，因此，计算电路110可逐一计算图像区
块B。—,与Bn中相对应位置的像素差值并将其累计的，最后即可算出图像区块B —,与Bn的区块对比差值，请注意，图像区块B^与Bn的水平位置相同。如此
持续针对同一水平位置的图像区块进行区块对比，必可算出一最小区块对比
差值，而对应于此最小区块对比差值的移动向量即有助于决定出对两帧
与F。执行该图像插补运算时一待插补位置所需要的图像区块，其中该待插补位置与图像区块B。-,/Bn同一水平位置。当然，亦可将线緩沖器L,与"设计为至多可各同时存储帧F"与Fn中对应同一水平扫描线上的像素数据，换句话
说，若为了更节省电路成本，则可将线緩冲器L与L2分别设计成至多仅存储同一扫描线上的像素数据，而因为计算电路110可通过累计像素差值的方式来算出区块对比差值，所以计算电路110的操作不会受到影响。此外，本发
明并未限定上述图像区块B^与B。内的像素个数与其面积大小，例如，图像
6区块8 -与B。可以是具有l峭个像素的区块(亦即由l条水平线与m条垂直线所交叉组成的图像区域)，而非仅限定于如图2所示具有nM个像素的图像区块(n与ra为大于1的整数，其分别表示出垂直方向与水平方向上的像素个数)；对于具有hm个像素的图像区块来说，仍仅需两线緩沖器即可完成区块对比运算，此时两线緩冲器至多会同时存储两帧中对应于同 一水平扫描线位置上的像素数据，为了省略篇幅，其余操作则不另赘述。
再者，若计算电路110的区块对比操作的结果指示出依据水平方向的图像区块所计算出的多个区块对比差值均大于一预定阈值Vth，则图像处理电路115在决定上述待插补位置的图像时会直接重复一先前图像(亦即帧)中与该待插补位置相同位置的图像区块；反之，当该结果指示出该多个区块对比差值中一最小区块对比差值不大于预定阈值Vth时，图像处理电路115会依据该最小区块对比差值所对应的移动向量来对该待插补位置进行图像插补，亦即参考前段说明中的移动向量来进行图像插补。上述该多个区块对比差值若均大于预定阈值Vth，则可能表示对应于该待插补位置的物件在前/后张图像中应以垂直或其他方向进行移动而非以水平方向进行移动，由于在此一情况中直接利用该移动向量进行图像插补将造成插补出的图像画面产生较大失真，因此，图像处理电路115选择直接重复一先前图像中与该待插补位置相同位置的图像区块而不参考该移动向量。
在另一例子中，若输入数据DATAin由一连串的图场所组成，则除了线緩沖器L,与L2之外，计算电路110会还包含有一线緩沖器L3。其中线緩冲器L，至多同时存储一第一图像(为图场数据)中第一水平线位置上的像素数据，线緩冲器L2至多同时存储一第二图像(亦为图场数据)中第一水平线位置的上一相邻水平线位置上的像素数据，而线緩冲器13则至多同时存储该第二图像中第一水平线位置的下一相邻水平线位置上的像素数据。计算电路110会先计算线緩冲器"及L3中的像素数据来产生至少一暂时像素数据，而计算电路110所参考的水平方向上该多个图像区块则会根据该第一图像中第一水平线位置上的像素数据以及此一暂时像素数据而得以产生。
举例来说，请参阅图3,图3是图1所示的计算电路110针，两图场进行区块对比的操作示意图。以下以至多仅可同时存储同 一 水平扫描线上的像素数据的线緩冲器来说明，然而，此非本发明的限制。当然，可同时存储同一水平位置多个扫描线上的像素数据的线緩冲器亦可实现，为避免篇幅过长，
7在此不另赘述。当计算电路110针对图场FnV的图像区块BJ与图场F/
中的图像区块B ，计算一区块对比差值时，线緩冲器L,至多同时存储图场FnV中图像区块Bn-,，内水平扫描线SL位置上的像素数据，而线緩冲器L2与L3至
多分别同时存储图场Fn，中图像区块Bn，内水平扫描线SL，位置的上一相邻水
平扫描线SL2位置上的像素数据以及下一相邻水平扫描线SL3位置上的像素数
据。由于图场Fn-，与Fn，分属于偶图场与奇图场，因此，在本实施例中为了
能够计算出该区块对比差值，计算电路110会先对线緩沖器"及L3中的像素数据进行平均产生至少一暂时像素数据，然后计算电路110再依据该暂时像素数据以及存储于线緩冲器L,中的水平扫描线SL,位置上的像素数据来产生
多个像素差值，当然该暂时像素数据亦可通过加权平均或是其他计算方式来
加以产生。接着为了计算出其他的像素差值，线缓冲器L2会改成存储图场F _,，
中图像区块B。V内水平扫描线SL4位置上的像素数据，计算电路则依据水平
扫描线SL,位置上的像素数据与水平扫描线SL位置上的像素数据进行平均所产生的至少一暂时像素数据以及存储于线缓沖器L3中水平扫描线SLJ立置上
的像素数据来计算像素差值，如此交替地运算将可计算出所有的像素差值。
同样地，通过累计像素差值的方式，最后计算电路110亦可算出图像区块BnV与B。，的区块对比差值。另外，本发明并未限定图像区块BJ与Bn'内的像
素个数及其面积大小。例如，图像区块B。—i，与Bn，可以是由l条水平线与m条垂直线所组成的图像区域，而非仅限定于如图3所示由n条水平线与m条垂直线所组成的图像区域。对于由1条水平线与m条垂直线所组成的图像区
域来说，仍仅需三个线緩冲器即可完成区块对比运算，而其余运算过程则类似于上述例子中的运算过程，为了避免说明书过于冗长在此不另赘述。此外，上述针对奇偶图场计算一像素差值亦可利用不同的方式来实现的，
例如，当图像区块B^，内水平扫描线SL，位置上的一像素数据P，落入图像区
块Bn，内水平扫描线SL2、SL3上对应于相同垂直位置的两像素数据P2与P3之
间，其像素差值将为零，此因为一奇一偶所组成的两连续图场中，若该奇/偶图场中一像素值落入另 一图场中相对应垂直上下位置的两像素值之间，则
可能表示对应于该像素值的图像是静止的，所以上述的像素差值应视为零；
反之，当像素数据P,未落入像素数据P2、 P3之间且像素数据P,、 P2的像素差值小于像素数据P,、 P3的像素差值，其像素差值则为像素数据P、P2的像素差值。
8另外，亦可通过额外增加多个存储器来依序地存储输入数据DATA^中的帧/图场而非仅使用单一存储器105。其好处是，当计算电路110为了将某一存储器内所存储的像素数据读取至其内部的线緩沖器而占用该存储器的频宽时，另 一存储器因为其频宽闲置而可被用来接收输入数据DATAin的帧/图场，如此一来，接收输入数据DATAin中的帧/图场的操作以及计算电路110由存储器中读取其所需要的像素数据将不会同时占用到同 一存储器，故可加速图像
处理装置100的操作速度。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求所进行的等效变化与修改，皆应属本发明的涵盖范围。
9
权利要求
1. 一种图像处理方法，包含有仅依据水平方向的多个图像区块而不参考垂直或其他方向的图像区块来完成一区块对比操作；以及依据该区块对比操作的一结果来执行一图像处理操作。
2. 如权利要求1所述的图像处理方法，其中该图像处理操作为一图像插 补运算，以及依据该区块对比操作的该结果来执行该图像插补运算的步骤包 含有当该结果指示出依据水平方向的该多个图像区块所计算出的多个区块对 比差值均大于一预定阈值时，直接重复一先前图像中对应一待插补位置的一 图像区块；以及当该结果指示出该多个区块对比差值中一最小区块对比差值不大于该预 定阈值时，依据该最小区块对比差值所对应的一移动向量来对该待插补位置 进行图像插补运算。
3. —种图像处理装置，包含有一计算电路，用来仅依据水平方向的多个图像区块而不参考垂直或其他 方向的图像区块来完成一区块对比操作；以及一图像处理电路，耦接于该计算电路，依据该区块对比操作的一结果来 执行一图像处理操作。
4. 如权利要求3所述的图像处理装置，其中该图像处理操作系一图像插 补运算；当该结杲指示出依据水平方向的该多个图像区块所计算出的多个区 块对比差值均大于一预定阈值时，该图像处理电路会直接重复一先前图像中 对应 一待插补位置的 一图像区块；以及当该结果指示出该多个区块对比差值 中一最小区块对比差值不大于该预定阈值时，该图像处理电路会依据该最小 区块对比差值所对应的一移动向量来对该待插补位置进行图像插补运算。
5. 如权利要求3所述的图像处理装置，其还包含有 一存储器，耦接于该计算电路，用来存储多个输入帧/图场数据。
6. 如权利要求3所述的图像处理装置，其中该计算电路包含有一第一线 緩冲器及一第二线緩沖器，该第一及第二线缓冲器至多各同时存储两图像中 对应同一水平线位置上的像素数据，其中该两图像为帧数据，且该多个图像区块于该第 一线缓沖器及该第二线緩沖器中产生。
7.如权利要求3所述的图像处理装置，其中该计算电路包含 一第一线緩冲器，用来至多同时存储一第一图像的一第一水平线位置上 的像素数据；一第二线緩冲器，用来至多同时存储一 第二图像的该第 一 水平线位置的 上一相邻水平线位置上的像素数据；以及一第三线緩冲器，用来至多同时存储该第二图像的该第 一水平线位置的 下一相邻水平线位置上的像素数据；其中该计算电路先计算该第二线緩冲器及该第三线緩冲器中的像素数据来产生至少一暂时像素数据，该多个图像区块根据该第一图像的该第一水平 线位置上的像素数据以及该暂时像素数据产生，且该第 一及第二图像为图场 数据。
全文摘要
本发明提供一种图像处理方法。该图像处理方法包含有仅依据水平方向的多个图像区块而不参考垂直或其他方向的图像区块来完成一区块对比操作以及依据该区块对比操作的一结果来执行一图像处理操作。
文档编号H04N5/14GK101459761SQ200710199449
公开日2009年6月17日 申请日期2007年12月13日 优先权日2007年12月13日
发明者吴振禧, 陈仲怡 申请人:晨星半导体股份有限公司