专利名称：图像修复装置及方法
技术领域：
本发明系关于一种图像修复装置，其能对电荷耦合装置(Charge CoupledDevice，CCD)或接触式图像传感器(Contact Image Sensor，CIS)所输出的图像(Image)施以修复的动作，以除去图像中的黑线或异色线的异常现象，进而改进扫描器等装置的图像输出品质。
在科学发达的今日，图像处理技术亦日新月异，将照片或图片等各式各样的图像信息(Image information)输入电脑已不再是难事，最简单且便宜的方式，即是利用扫描器将图像扫入电脑，再运用图像处理技术，对所扫入图像做修正，诸如黑点、异色线的去除等等。
然而一般的掌上型或平台式扫描器系统，基于商业上的考量，其价位都不会太高；然而就因为造价上的限制，扫描器系统的图像传感元件，诸如CCD与CIS等的制造精密度亦不高，故常会在光程(Optical path)中、因为灰尘、臓点或其他系统本身的瑕疵而造成图像异常的现象，例如黑线或异色线之产生。因此亟需在扫描器系统输出图像之前，增加一图像修复的方法，将上述图像中的异常部分消除，并对图像施以修复的工作。
鉴于上述的发明背景中，传统的扫描器系统因本身的瑕疵而造成输出图像具有黑线或异色线的异常现象，因此亟需在扫描器系统输出图像之前，利用一图像修复装置，将上述图像中的异常部分消除，并对图像施以修复的工作，本发明即针对该项需求提出改进措施。
根据以上所述的目的，本发明提供了一种图像修复装置，包含一图像拾取(pick-up)单元、一图像修复单元、一控制单元、以及一图像输出单元。图像修复装置于图像拾取单元在输入图像时，利用图像修复单元对该图像执行修复的动作，再将修补过的图像经由图像输出单元输出之；控制单元则控制图像修复单元的修复动作。
本发明提供的图像修复装置修复图像的方法，系先扫描一校准用的校准纸(Calibration paper)以获得基底扫描线(Base scan line)，于找出参考扫描线(Reference scan line)后，接着再利用基底扫描线与参考扫描线以找出图像的缺陷点(Defect point)，最后再对所有的缺陷点进行修补的操作。
本发明的目的、特征及优点，将结合较佳实施例参考附图做更详细的阐述附图简要说明
图1为本发明揭露的图像修复装置的架构(construction)方框图；图2为图像修复装置中的图像修复单元的内部架构(construction)方框图；图3描述图像修复装置在图像修复中的操作流程图；图4描述本发明较佳实施例中，扫描一基底扫描线(Base scan line)的运作情形；图5为一流程图，描述较佳实施例中扫描一参考扫描线(Reference scanline)的情形；图6描述较佳实施例中，用以求取动态缺陷程度电平(Dynamic defectlevel)的方法；图7为较佳实施例中，补偿图像缺陷点的方法；图8A描绘参考扫描线的一典型曲线；及图8B描绘运用曲线逼近法(Approximate curve)于求取区块电平平均值的情形。
图1为本发明揭露的图像修复装置的架构(Construction)方框图，包含一图像拾取(pick-up)单元101、一图像修补单元102、一图像输出单元103、以及一控制单元104。图像拾取单元101可以是CCD(Charge Coupled Device)或是CIS(Contact Image Sensor)，负责图像收取的工作；图像修补单元102输入图像拾取单元101所输出的图像，经由控制单元104的控制，从事图像修复的操作；图像输出单元103则输出图像修补单元102所修补后的图像。
图2描述图像修复装置中，图像修补单元102的内部结构(Construction)方框图，图中包含一基底扫描线拾取(pick-up)单元201、一参考扫描线拾取(pick-up)单元202、一缺陷程度设定(set)单元203、一缺陷程度记录单元204、一图像修复单元205。基底扫描线拾取单元201利用一校准纸(Calibrationpaper)产生一基底扫描线(Base scan line)；参考扫描线拾取单元202则输入由图像拾取单元101所输出的图像后，并据以产生复数条参考扫描线(Referencescan line)；缺陷程度设定单元203输入基底扫描线与参考扫描线，据以设定图像的缺陷程度电平(Defect level)；缺陷程度记录单元204则依据设定的缺陷程度电平，于该图像中标出所有缺陷点；最后由图像修复单元205负责修复图像。
图像修复单元102内部的所有单元都可利用硬件(Hardware)、固件(Firmware)、或软件(Software)来完成，但操作动作须受控制单元104的控制，因为控制单元104提供其所需的时序(Timing)等控制信号。
图3描述图像修复装置在图像修复中的操作流程图。当图像修复装置在修复图像之时，其必须先扫描一校准纸(步骤301)，用以找出一基底扫描线(步骤302)，并于找出参考扫描线(步骤303)后，利用基底扫描线与参考扫描线找出该图像拾取装置所形成图像的所有缺陷点(步骤304)，并对该缺陷点执行修复的动作(步骤305)。
往后的说明中将对基底扫描线、参考扫描线、与图像缺陷点的获取方式做更进一步的阐述。
图4描述的是较佳实施例中，扫描一基底扫描线的运作情形。首先令扫描线总数为N，且需跳过L条线后再开始扫描(步骤401)，并于扫描之前设定一变数i(步骤402)，以记录目前所扫描的线，究竟为扫描纸上的第几条线，并在获得欲扫描的线数后，随即由校准纸扫入该线的信息(information)(步骤403)。接着判断该扫入的线是否需跳过步骤(步骤404)；若需跳过则此线的相关信息(information)不列入计算(步骤405)，并令该变数i的内容增加1(步骤407)，接着重复上述扫入该线的信息(步骤403)，判断该线是否需跳过的步骤(步骤404)直到所扫入的扫描线为所需的为止。
当所扫入的扫描线信息(information)不再被消去之时，图像修复装置必须判断所扫入的扫描线总数是否足够(步骤406)；若数量不足，则需要再继续扫描的动作，因此增量变数i的内容(步骤407)，接续扫描的操作(步骤403)。上述的扫描程序一直重复执行，直到扫描线总数达到N为止，并利用所有扫描线信息(information)找出基底扫描线(步骤408)。
较佳实施例中所选用的校准纸为纯白色的白纸，并对校准纸扫描100(N)条线的信息(information)以找寻基底扫描线，且开始时需跳过10(L)条线。以较佳实施例而言，由扫描纸所扫入的线数为第11条线开始，至第110条的扫描线信息(information)为止。
此外，较佳实施例中获得基底扫描线的方法，系将所获得的所有扫描线，分别于红(R)、绿(G)、蓝(B)三个频道(Channel)中取得其平均值而得，所以实际上R、G、B各有其基底扫描线，往后亦仅以一频道的运作以作为说明之用。
在修复图像之前，仍需获得一参考扫描线，并以基底扫描线为比较基准做比较。然而获得参考扫描线的方法，在习知技术中，已有邻近点参考法(Neighborhood reference)可做运用，其中又分为参考左点(Left reference)与参考右点(Right reference)两种运作方式。以参考左点技术为例，若基底扫描线各点的信息(information)为Pb0，Pb1，Pb2，......，Pbn-1参考扫描线则为Pr0，Pr1，Pr2，......，Prn-1其中Pr0＝Pb0，Pru＝Pbi-1，i＝1，......n-1；参考右点方法与参考左点相似。然而不论是参考左点或参考右点方法，纵然容易实施，亦只对于一些相对尖峰(Spike)或波谷(Valley)的消除较有效，所以需要更好的参考扫描线获取方法。
图5即描述较佳实施例中所提出的获得更具参考价值参考扫描线的取得方法，并命名为曲线逼近法(Approximate curve)。首先将图像切为多个区块(步骤501)，接下来在每个图像区块中找出多个点以求出其电平平均值(步骤502)，接着运用该电平平均值于每个区块中找出一对应点(步骤503)，并以三个对应点为一组绘出一曲线，用以代表区域参考扫描线(步骤504)，最后连接所有的区域参考扫描线，即获得所需的参考扫描线(步骤505)。
上述的步骤502中所指的电平，为图像点的色调电平；而步骤503中系将区块的电平平均值，于该区块中找出一电平值与电平平均值最接近的图像点，并以该点为对应点，这样做的好处在于增加抗噪声性(Noise immunity)，除非是噪声过多的区块，否则都可获得令人满意的结果。步骤504系将三个相邻的对应点求出一二次曲线，所以在此三个相邻对应点的图像区块中所有参考扫描线上的点，都可利用该二次曲线而求出。如此则不仅使参考扫描线更平滑(Smoothing)之外，亦更符合图像传感装置的特征，因此所获得的参考扫描线较邻近点参考法为佳。
利用图8A与图8B对步骤502做更进一步的解说，图8A描绘参考扫描线的一典型曲线，图8B则描绘运用曲线逼近法来求取区块电平平均值的情形。由图8A得知，典型的参考扫描线除了两端点附近之外，其余部分事实上是相当平滑的区域，所以利用虚线标出一区域800，于图8B中作为详尽说明之用。
在图8B中，除了最低点A点之外，区域800亦被A点切割为两部分。图中标出六个区块801、802、803、804、805、与806，其中区块801与802各位于区域800之两端；区块803与804则于A点的两侧；区块802与805则分别位于区块801与803，以及区块804与806之间。较佳实施例中，每个区块都选取十个点来求取其电平平均值。
因为在曲线的斜率变化较大的区域中，需要较多的点才能获得较好的曲线逼近，因此在参考扫描线两端点附近需切割较多的区块，因此区块密度亦较大；相较之下，参考扫描线较平滑的区域，因为斜率变化不大之故，所以区块密度较低。此外，参考扫描线上任一点都可包含于一个以上的区块之中，以图8B为例，区块803与804可以包含相同的点。再者，在获得参考扫描线的信息(information)时，针对区域极小值或极大值(Local minimum ormaximum)进行分割，可获得较好的逼近结果，原因在于区域极小值或极大值即为最低与最高点所在之处。
在获得基底扫描线与参考扫描线之后，必须再决定所需的缺陷程度电平(Defectlevel)，方能于图像中找寻缺陷点，可兹运用的方法有固定缺陷程度电平(Fixed defect level)与动态缺陷程度电平(Dynamic defect level)。顾名思义，固定缺陷程度电平即是预先设定(set)一缺陷程度电平，当一图像点的缺陷程度超越该缺陷程度电平时，即判定该图像点为缺陷点。固定缺陷程度电平获得的方式多半经由实验，诸如人眼所能分辨的图像缺陷程度，或是图像拾取装置总观的特性而决定。此法虽然在使用上甚为便利，但却无法对个别的图像拾取装置的差异性有所反应，尤其对扫描器所常用的CCD或CIS而言，此方式并非十分合用的方法。
本发明的较佳实施例中，另提出一用以决定动态缺陷程度电平的方法，在此利用图6所描述的流程图加以解释。首先，求出图像各点的基底扫描点与参考扫描点的差值(Difference)(步骤601)，接着求出所有差值的标准偏差(Standard deviation)σtotal(步骤602)，以及该偏差值中最大的20个值的标准偏差σtop20(步骤603)，最后求出σtotal与σtop20的平均值，此平均值即为动态缺陷程度电平。
事实上，有许多方法都可运用于求出动态缺陷程度电平，诸如利用更多的对应点求出更高次的曲线，或利用全部的对应点求出最佳化的曲线等。此外，若σtotal与σtop20比较有过小的情况时，应以σtop20为动态缺陷程度电平。
在获得图像缺陷点之后，即可进行图像修复的工作，图7即描述较佳实施例中执行图像修复的流程图。首先输入每个图像点的基底扫描点与参考扫描点的差值(步骤701)，据以判断该差值是否超越缺陷程度电平(步骤702)。若差值低于该缺陷程度电平，表示该图像点的色调电平不须修正，因此继续下一个图像点的判别程序(回到步骤701)；若差值高于该缺陷程度电平，表示该图像点的色调电平需要修正，首先利用内插法于该图像点的邻近点中求出该需修复图像点的色调电平值(步骤703)，并对该图像点的正确频道(channel)做修正后，修正其色调电平值(步骤704)，最后再将修正后的结果输出之。
上述的步骤704系在图像点的正确频道上，以内插法求出一色调电平，再取得正确频道(channel)原本的色调电平与利用内插法所求出的值间的平均值，以取代该正确频道(channel)原本的色调电平值。因为该图像点其中一频道于修补后，其色调电平有着相当程度的改变，故该图像点的正确频道亦需做某些程度的修正，以使图像点获得更好的补偿。
此外，当获知该图像拾取装置所形成图像中需做修正的图像点后，只要储存所需补偿的图像点与其补偿方式(因为缺陷点的正确频道亦需修复)，便可利用硬件、固件、软件、或混合运用方式加以实施，以增进图像修复的速度。
再者，经过多次实验的结果，若一图像拾取装置的缺陷点多为波谷(Valley)时，运用邻近点参考法，配合固定缺陷程度电平或动态缺陷程度电平皆可获得不错的成效；但在图像拾取装置的缺陷点不仅有波谷，亦包含为数甚多的尖峰(Spike)之时，就必须利用本发明揭露的曲线逼近法，配合动态缺陷程度电平方可获得较佳的成效。
在上述修补图像的过程中，若出现需要修复的图像点过多的情形，则必须停止整个修复程序，因为在图像的大部分都需修正的情形下，表示该图像拾取装置的品质相当差，与其执行修补图像的工作，倒不如换一个图像拾取装置较为划算。
综合以上所述，本发明的图像修复装置在扫描器系统输出图像之前，增加一图像修复的方法，将扫描图像中的异常部分消除，并对图像施以修复的工作，以改进低价位扫描器系统的图像输出品质。
以上所述仅为本发明的较佳实施例而已，并非用以限定本发明；凡其它未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在本发明的权利要求范围内。
权利要求
1.一种图像修复装置，该图像修复装置至少包含一拾取装置，输入光学信号用以产生一图像；一修补装置，输入该图像，配合该拾取装置的取像特性对该图像进行图像修复工作；一控制装置，控制该图像修复装置的该图像修复工作的进行；及一输出装置，输出该修复后的图像。
2.如权利要求1的图像修复装置，其中，所述的拾取装置包含一电荷耦合装置CCD。
3.如权利要求1的图像修复装置，其中，所述的拾取装置包含一接触型图像传感装置CIS。
4.如权利要求1的图像修复装置，其中，所述的修补装置至少包含一基底扫描线拾取装置，用以产生复数条基底扫描线；一参考扫描线拾取装置，用以产生复数条参考扫描线；一缺陷程度设定装置，输入该基底扫描线与该参考扫描线，用以产生缺陷程度电平；一缺陷程度记录装置，输入该缺陷程度电平，用以记录该图像的缺陷点；及一图像补偿装置，输入该缺陷点，以对该图像进行修复工作。
5.如权利要求4的图像修复装置，其中，所述的基底扫描线拾取装置，该参考扫描线拾取装置，该缺陷程度设定装置，该缺陷程度记录装置，与该图像补偿装置可以用硬件、固件、软件、或是硬件、固件、软件混合的方式实施。
6.一种图像修补装置，能对具瑕疵的图像传感元件所输出图像进行图像修复的动作，该图像修补装置至少包含一基底扫描线拾取装置，用以产生复数条基底扫描线；一参考扫描线拾取装置，用以产生复数条参考扫描线；一缺陷程度设定装置，输入该基底扫描线与该参考扫描线，用以产生缺陷程度电平；一缺陷程度记录装置，输入该缺陷程度电平，用以记录该图像的缺陷点；及一图像补偿装置，输入该缺陷点，以对该图像进行修复工作。
7.如权利要求6的图像修补装置，其中，所述的基底扫描线拾取装置，该参考扫描线拾取装置，该缺陷程度设定装置，该缺陷程度记录装置，与该图像补偿装置可以用硬件、固件、软件、或是硬件、固件、软件混合的方式实施。
8.一种图像修补方法，能对具瑕疵的图像传感元件所输出的图像进行图像修复的动作，该图像修补方法至少包含下列步骤扫描校准纸以获得基底扫描线；找出参考扫描线；利用该基底扫描线与该参考扫描线找出该图像的缺陷点；及对该图像的该缺陷点执行对该图像修复的动作。
9.如权利要求8的方法，其中，所述扫描该校准纸以获得该基底扫描线的步骤，至少包含下列步骤设定一扫描线总数；由校准纸扫描一条扫描线；重复所述扫描的步骤复数次，直到该扫描线总数达到该扫描线总数为止；求出所有的该扫描线的平均扫描线；及输出该平均扫描线，使其成为该基底扫描线。
10.如权利要求9的方法，其中，所述由该校准纸扫描该扫描线的步骤更包含跳过由校准纸起始端至一预先设定的扫描线数目的值。
11.如权利要求8的方法，其中，所述找出该参考扫描线的步骤，至少包含下列步骤以该基底扫描线最左方的点被定义为该参考扫描线的最左方的点；该基底扫描线上各点往左移位一点，以定义为该参考扫描线的点；及重复所述步骤复数次，直到该基底扫描线最右方的点被定义为止。
12.如权利要求8的方法，其中，所述找出该参考扫描线的步骤，至少包含下列步骤以该基底扫描线最右方的点被定义为该参考扫描线的最右方的点；该基底扫描线上各点往右移位一点，以定义为该参考扫描线的点；及重复所述步骤复数次，直到该基底扫描线最左方的点被定义为止。
13.如权利要求8的方法，其中，所述找出该参考扫描线的步骤，至少包含下列步骤将该图像切为复数个区块；于每个该区块选取复数个点；与每个该区块中，利用该复数的点求出电平平均值；利用该电平平均值于每个该区块中找出一对应点；以复数个对应点为一组求出一区域参考扫描线；及连接复数条的该区域参考扫描线，以成为该参考扫描线。
14.如权利要求13的方法，其中，所述利用该电平平均值于每个该区块中找出一该对应点的步骤，系利用该平均值于该相对应的区块中找出一点，该点的电平与该平均值为最接近者。
15.如权利要求8的方法，其中，所述利用该基底扫描线与该参考扫描线找出该图像的该缺陷点的步骤，至少包含下列步骤求出该图像点的该基底扫描线与该参考扫描线相对应点的差值；设定一缺陷程度电平；当该图像点的该差值超越该缺陷程度电平时，即为该缺陷点。
16.如权利要求15的方法，其中，所述设定一缺陷程度电平的步骤，至少包含下列步骤求出所有该差值的标准偏差；由该差值中的最大的复数个求出一较大差值标准偏差；及求出该所有该差值的标准偏差与较大差值标准偏差的平均值，使其成为该缺陷程度。
17.如权利要求15的方法，其中，所述的缺陷程度电平系预先设定的固定缺陷程度电平。
18.如权利要求8的方法，其中，所述对该图像的该缺陷点执行该图像修复动作的步骤，至少包含下列步骤对该缺陷点需要修复的频道，利用内插法求出该缺陷点应有的电平；及调整该缺陷点的正确频道的电平。
19.如权利要求18的方法，其中，所述调整该缺陷点的正确频道的电平的步骤，至少包含下列步骤利用内插法求出该图像点的内插电平；求出该图像点的电平与该内插电平的平均值；及利用该平均值取代该图像点的电平。
20.一种图像修补方法，能依据具瑕疵的图像传感元件的特性，对该图像传感元件所输出的图像进行对图像的修复的动作，该图像修补方法至少包含下列步骤扫描校准纸以获得基底扫描线；找出参考扫描线；设定一缺陷程度电平；利用该缺陷程度电平，与基底扫描线以及该参考扫描线找出该图像的缺陷点；及对该图像的该缺陷点执行该图像修复的动作。
21.如权利要求20的方法，其中，所述扫描该校准纸以获得该基底扫描线的步骤，至少包含下列步骤设定一扫描线总数；由校准纸扫描一条扫描线；重复所述扫描的步骤复数次，直到该扫描线总数达到该扫描线总数为止；求出所有的该扫描线的平均扫描线；及输出该平均扫描线，使其成为该基底扫描线。
22.如权利要求21的方法，其中，所述由该校准纸扫描该扫描线的步骤更包含跳过由校准纸起始端至一预先设定的扫描线数目的值。
23.如权利要求20的方法，其中，所述找出该参考扫描线的步骤，至少包含下列步骤以该基底扫描线最左方的点被定义为该参考扫描线的最左方的点；该基底扫描线上各点往左移位一点，以定义为核参考扫描线的点；及重复所述步骤复数次，直到该基底扫描线最右方的点被定义为止。
24.如权利要求20的方法，其中，所述找出该参考扫描线的步骤，至少包含下列步骤以该基底扫描线最右方的点被定义为该参考扫描线的最右方的点；该基底扫描线上各点往右移位一点，以定义为该参考扫描线的点；及重复所述步骤复数次，直到该基底扫描线最左方的点被定义为止。
25.如权利要求20的方法，其中，所述找出该参考扫描线的步骤，至少包含下列步骤将该图像切为复数个等长度的区块；对每个该区块求出一电平平均值；利用该电平平均值于每个该区块中找出一对应点；以复数个对应点为一组求出一区域参考扫描线；及连接复数条的该区域参考扫描线，以成为该参考扫描线。
26.如权利要求25的方法，其中，所述利用该电平平均值于每个该区块中找出一该对应点的步骤，系利用该平均值于该相对应的区块中找出一点，该点的电平与该平均值为最接近者。
27.如权利要求20的方法，其中，所述设定一缺陷程度电平的步骤，至少包含下列步骤求出所有该差值的标准编差；由该差值中的最大的复数个，求出一较大差值标准偏差；及求出该所有该差值的标准偏差与较大差值标准偏差的平均值，使其成为该缺陷程度电平。
28.如权利要求20的方法，其中，所述利用该基底扫描线与该参考扫描线找出该图像的该缺陷点的步骤，至少包含下列步骤求出该图像点的该基底扫描线与该参考扫描线相对应点的差值；及当该图像点的该差值超越该缺陷程度电平时，即为该缺陷点。
29.如权利要求20的方法，其中，所述的缺陷程度电平系预先设定的固定缺陷程度电平。
30.如权利要求20的方法，其中，所述对该图像的该缺陷点执行对该图像修复动作的步骤，至少包含下列步骤对该缺陷点需要修复的频道，利用内插法求出该缺陷点应有的电平；及调整该缺陷点的正确频道的电平。
31.如权利要求30的方法，其中，所述调整该缺陷点的正确频道的电平的步骤，至少包含下列步骤利用内插法求出该图像点的内插电平；求出该图像点的电平与该内插电平的平均值；及利用该平均值取代该图像点的电平。
全文摘要
一种图像修复装置,可将扫描图像中的异常部分消除,以改进低价位扫描系统输出的图像。该图像修复装置,包含一图像拾取单元、一图像修复单元、一控制单元、以及一图像输出单元,于图像拾取单元在输入图像时,利用图像修复单元对该图像执行修复动作,再将其由图像输出单元输出。该图像修复装置修复图像的方法包括,先扫描一校准纸以获得基底扫描线,然后找出参考扫描线,再利用基底扫描线与参考扫描线以找出图像的缺陷点,最后再对所有的缺陷点进行修补的动作。
文档编号H04N5/243GK1196633SQ97110080
公开日1998年10月21日 申请日期1997年4月14日 优先权日1997年4月14日
发明者杨淑芬 申请人:鸿友科技股份有限公司