图像输入装置的制作方法

专利名称：图像输入装置的制作方法
技术领域：
本发明涉及一种能够处理输入图像的图像输入装置。
背景技术：
近几年来，为在图像输入装置方面实现以较高分辨率读出图像投入了大量的工作，并且增加了处理图像的数据大小。通过USB或并行端口，从图像输入装置的数码照相机和平板扫描仪接收的图像数据由PC等装入，在那对数据进行处理以便使用。具有200dpi分辨率的A4大小的彩色图像将占用大约12兆字节用于图像数据。当USB1.1或窄带的蓝牙接口传输12兆字节的图像数据时，它将需用大约十秒钟。可以使用较宽带接口，但它们是昂贵的并且不能够很容易地与笔记本型PC等相连接。以较高分辨率读出图像的该项技术已在被改进，并且将来图像的高速传输以及图像的高速读出将成为一个要解决的重要问题。
这里将简要叙述具有高分辨率的读出系统。
移动一维线传感器的读出系统允许高分辨率读出。但是，系统读出图像而同时持续曝光时间并以2000线(A4,200dpi)这样高的精度移动光学系统。因此，在高速读出方面它具有限制。
另一方面，二维面传感器不必移动光学系统。但是，其分辨率水平达不到A4，每英寸200点数(200dpi)，并且具有较高分辨率的二维面传感器是昂贵的。
另有一些其他的方法利用多个具有低分辨率的二维面传感器，并行读出图像并将它们合成来提高分辨率；在数百个像素上移动一个面传感器的读出位置的同时，多次读出图像并合成；以及当改变扫视、倾斜和图像缩放时，多次读出图像并合成。但是这些的任何一种方法都涉及一个问题，即读出光学系统在此种程度变得较大。
作为一种与这些方法相比其中光学系统可以被构成得较小的方法，有一种叫做“像素移位”的方法，其被公开在日本专利公布第2000-244932号中。该方法使用一部能够在一个像素内水平和垂直地移动来自图像拾取光学系统的入射光的图像拾取装置上图像成形位置的摄像机，在一个像素内移动图像成形位置同时实现多次的读出，合成多个图像数据并获取一张具有高分辨率的图像。这种方法不增加CCD的像素数目就能够实现所获图像的较高分辨率。
尽管这种图像拾取摄像机实现了较高的分辨率，但它要求多个图像的读出，其不能促使较高速度的产生。
现在，假设对要读出的文档进行考虑，某个需要高分辨率，而另外一些不需要并且可以接受低分辨率而没有问题。取决于文档，一种可能的方法确定文档是否需要高分辨率，如果不需要，则以低分辨率读出文档并传输。在公布的日本专利平9-9044号中提出的方法首先以高分辨率预先扫描文档，确定用于读出所要求的分辨率，并且如果它不需要是高分辨率，则以低分辨率读取，从而减少被传输的图像数据量。

发明内容
如上所述，在公布的日本专利平9-9044号中公开的这种方法在读出之前需要以高分辨率读出，其需用更多的时间用于图像的读出。该种方法只实现一张具有均匀分辨率的文档的读出。因此，如果文档包含很少一部分具有高分辨率的图像，读出具有高分辨率的图像则是可靠的。否则，如果用户需要的信息存在于高分辨率的区域中，则必须反复地进行读取。在这样一种情况下，就可能性而言，以低分辨率被传输的文档减少，这使效果降低。
所以，本发明的一个目的是在具有低分辨率的图像中提供一种实现分辨率测定的图像输入装置，使其能够以最佳分辨率读出并减少读出时间。
根据本发明的一个方面，图像输入装置具有图像拾取单元，所述图像拾取单元把入射到图像拾取光学系统的光引向成二维排列的多个像素组成的单板色的图像拾取装置，并通过对入射光进行光电转换图像拾取装置产生一个图像信号。此外，该图像输入装置包含像素移位光学装置，其允许在来自图像拾取光学系统的入射光的图像拾取装置上在一个像素到几个像素内水平和垂直地移动图像成形位置；图像拾取控制装置，其控制像素移位光学装置的像素位移条件；分辨率检测装置，其根据通过改变像素移位光学装置的像素位移条件读出的图像信息检测图像的分辨率；以及存储装置，其存储根据分辨率比预定值高检测的像素信息和/或根据与分辨率比预定值高检测的像素位置相对应的信息。
另外，图像拾取控制装置的像素移位光学装置的像素位移条件由通过分辨率检测装置检测的分辨率确定。
再有，图像输入装置包含传输装置，其传输根据分辨率比预定值高检测的像素信息和/或根据与分辨率比预定值高检测的像素位置相对应的信息。
此外，图像输入装置包含第一存储装置，其通过存储控制装置存储图像信息；传输装置，其传输存储的图像信息；第二存储装置，其存储传输的图像信息；和一种根据在第二存储装置中存储的像素信息和像素位移条件执行像素的重排和/或像素的插值的装置。


参照附图从下面实施例的描述中可以看出本发明的其他目的和优点将变得明显，其中图1根据本发明说明了图像输入装置的一个实施例；图2说明了根据本发明的图像输入装置的分辨率测定单元的一个图4说明了在根据本发明的图像输入装置中用于分辨率测定的图像拾取控制的一个实施例；图5说明了根据本发明的图像输入装置的选择传输单元的一个实施例；图6A到6I是帮助说明在根据本发明的图像输入装置中像素重排的简图；图7说明了根据本发明的图像输入装置的分辨率测定单元的另一个实施例；图8是帮助说明在根据本发明的图像输入装置中分辨率测定的简图；图9说明了根据本发明的图像输入装置的另一个实施例；图10说明了在根据本发明的图像输入装置中用于插值处理的基准像素的存储映像；图11说明了在根据本发明的图像输入装置中用于插值处理的基准像素的存储映像；图12说明了有关本发明的图像输入装置的另一个实施例；以及图13说明了根据本发明的图像输入装置的另一个实施例。
具体实施例方式
参照图1将描述本发明的实施例。
图1说明了一种本实施例的装置配置。这个实施例的图像输入装置包含摄像机单元1，其由文档平台13、支架12和在文档平台13上读出文档14的摄像头11等构成；以及图像处理单元8，其实现对由摄像机单元1读出的图像的图像处理。
在这个实施例中，摄像头11使用二维图像拾取装置，单板色(singleplate color)图像拾取装置的CCD面传感器安装在其上。它是一种用于具有像素移位光学单元的图像拾取单元的图像拾取摄像机，该像素移位光学单元将来自图像拾取光学系统的入射光的图像拾取装置上的图像成形位置在一个像素到几个像素内水平和垂直移动。该图像拾取单元把入射到图像拾取光学系统的入射光引向到由多个二维排列的像素构成的单板色的图像拾取装置。图像拾取装置将光电转换应用于入射光将其转换成图像信号。
对于在文档平台13上放置的一张文档，由放在文档平台13上面的支架12支撑的摄像头11能够在以1/3像素为单元水平移位0像素、1/3像素(1/3像素移位一次)以及2/3像素(1/3像素移位两次)的图像成形位置上获取三张的图像数据。同样地，当垂直地移动图像成形位置0像素、1/3像素以及2/3像素时，摄像机能够获取三张图像数据，所以，总共可以获得九张图像数据。将获得的图像数据传输到图像处理单元8。
图像处理单元8包含根据摄像机单元1读取的图像信息测定图像分辨率的分辨率测定单元3、根据测定的分辨率设定和控制像素移位光学单元的像素位移条件(condition)例如位移(一般是1/3像素)和读出的频率(一般是9次)等的图像拾取控制器2，以及仅有选择地传输通过分辨率测定单元3测定的它的分辨率为高的那部分的选择传输单元4。将传输的图像数据存储在存储器5。图像合成单元6根据存储的图像数据将图像数据合成一张高分辨率图像数据。
在公布的日本专利公开第2000-244932号中具体描述了图像拾取控制器2和图像拾取摄像机的控制，因而有关这些内容的说明将在此省略。并且在公布的日本专利公开第2000-244932号中，图像成形位置移位1/2像素，然而移位1/3像素同样可以被设想。
下面将参照图2描述分辨率测定单元3，其变换像素移位光学单元的像素位移条件，并根据已读出的图像信息测定被读出图像的分辨率。
将由摄像机单元1读出的图像数据分别地传输到一个路径，通过该路径图像数据被输出到选择传输单元4，其仍保持为完整的图像数据a，传输到一个路径，通过该路径图像数据被存储在存储装置31，以及传输到一个路径，通过该路径图像数据被输入到减法器32以计算与先前的图像数据的差值。假设在该实施例中由摄像机单元1读出的图像数据是图像成形位置移位1/3像素之后图像数据，在存储装置31中存储的图像数据是图像成形位置移位1/3像素之前的图像数据。
对于由移位之前的图像数据和移位之后的图像数据组成的两张图像数据，减法器32通过每一个像素计算差值。比较器33将差值与在寄存器36中存储的特定值相比，例如如果差值大于特定值，比较器输出“1”；如果差值小于特定值，比较器则将“0”输出到选择传输单元4做为信号b。特定值可以事先设定，或者可以设计为用户能够随时从外部设定该值。
加法器34增加从比较器33输出像素的数目(差值大于特定值)。如果加法器34的总值小于寄存器37中存储的特定值，比较器35则断定整个文档的分辨率是低的，并且将与具有低分辨率和/或读出频率等的文档相对应的像素位移条件输出到图像拾取控制器2。
在这种情况下，比较器35比较总值。但是可以事先在表中存入像素位移条件和/或读出频率，并且借助于基于总值的转换表获得像素位移条件和/或读出频率。
此外，将参照图3描述如何测定分辨率。假设被扩大了使得能看清的文档14的某部分是作为部分A的具有垂直排列的细线的图形。如果具有低分辨率的这部分被读出，则将不分辨细线，并且它们将作为部分B在黑块中被读出。
如果通过像素移位读出这部分，则将获得作为部分C的图像。尽管分辨率不可与部分B相比，但是它与部分B明显不同。部分B和部分C的区别通过读出产生，其中将图像成形位置移位例如2/3像素。一张具有低分辨率的图像在部分A中不显示细线的边缘，但是利用差值图像将显示更多的边缘。并且可以认为如区域具有的其中部分A和部分B之间有大的区别的部分越多，在该区域中的分辨率越高。可以认为按照两张图像数据，即通过像素移位移动图像拾取装置上的图像成形位置之前的图像数据和移动图像成形位置之后的图像数据，计算其中差值大的像素的数目允许测定分辨率是高或低。在这种情况下，尽管是基于两张图像之间的差值测定分辨率的高或低，但变换位移之后同样重复进行测定处理可以实现最佳分辨率。最佳图像成形位置的位移被认为是包含大量其中差值大的像素的图像成形位置的位移。如果在其中差值大的像素的数目没有大的改变，将位移变成较大的则是可能的。位移有点像陷波值(notch value)。在这种情况下，最大位移比一个像素小。如果位移较大，读出的频率则变得较低；如果位移较小，读出的频率则变得较高。
其中产生的差值大的像素的数目也与在图像成形位置的位移和文档的分辨率有关。为了通过反复测定处理获得最佳分辨率，可以较大地移动图像成形位置，然后稍稍将它移动，如图4中所示。例如，首先将在左上方的图像成形位置沿主扫描(水平的)方向移动2/3像素，其后将它移动1/3像素，于是在主扫描(水平的)方向获得图像成形位置的最佳位移。在垂直的(副扫描)方向进行相同的操作以获得在图像成形位置的最佳位移。
反之，也可以首先稍稍移动图像成形位置，其后将其较大地移动。
下面将参照图5描述选择传输单元4。对于来自分辨率测定单元3的图像数据a，只有其中差值信号b是“1”(差值是大的)的像素由存储控制器控制存储在存储器41中。做为游程长度(run length)数值的差值信号b通过RL计算单元42也被存储在存储器41中。将图像数据a和存储器41中存储的差值信号b的游程长度数值从传输单元44传输到图像处理单元8的外部。
于是回到图1，将由此传输的图像数据a和差值信号b的游程长度数值存储在存储器5中。图像合成单元6根据在存储器5中存储的图像数据生成高分辨率图像。例如当将通过垂直移位的三张和通过水平移位的三张的九张图像合成一张时，在存储器5内像素的排列变为如图6中所示的那样。
图6A到图6I说明了读出第一张到第九张图像后在存储器5内的像素排列。在水平方向排列第一张的像素①，接着排第2张的像素②，又接着排第3张的像素③。将第4张的像素④排列在第一行下面像素①的正下方，第5张的像素⑤紧接在它的右面，然后排第6张的像素⑥。同样地，将第7张的像素⑦排列在第二行下面像素④的正下方，第8张的像素⑧紧接在它的右面，然后排第9张的像素⑨。照这样，第一张到第九张的图像按像素被重新排列。
在本发明提出的方法中，第一张图像被利用(develop)，并且第二张以及后面的几张中的图像利用有其中图像间的差值大的像素的图像数据和与像素位置相对应的差值信号的游程长度数值排列。
由于差值信号“1”表示差值大的像素，因而对数目“1”的图像数据存储。需要将该数据在像素“1”的位置设置和顺序地重排。当传输的图像数据的重排完成时，在其中图像间的差值小的像素的位置保留图像数据，即在差值信号“0”的像素位置的图像数据。例如可以考虑用在那的替换在第一张上相同像素位置的那些图像数据，而没有任何问题。此外，参照周围的像素，这些像素的平均值可以被使用。置于差值信号“0”的像素位置的图像数据不必最后生成，当第一张图像被利用时，或在第一张被利用中和被利用后它们可以被生成。
下面将描述图7中说明的分辨率测定单元3的另一个实施例。
存储装置31存储第一张的图像数据，并且减法器32通常总是计算第一张之后输入的图像数据和第一张的图像数据之间的差值。比较器33通过比较减法器32获得的差值与在寄存器36中存储的特定值，并将结果输出到选择传输单元4。存储控制器38指定被比较的第一张上的像素位置。这里，可以根据与正读出的图像数据的图像成形位置从第一张上对应的位置被移动多远相对应的信号，图像拾取控制器2指定被比较的第一张上的像素位置。
如图8中所示，假设将与第一张图像数据F1的第N个像素和第N+1个像素相对应的像素位置排列，并且通过第二张图像数据F2的第N个像素给出通过像素移位、移位2/3像素读出的图像数据。在这种情况下，F2的第N个像素与F1的第N个像素偏移2/3像素，但它仅偏移F1的第N+1个像素1/3像素。因此，可以认为F2的第N个像素表示较接近于F1的第N+1个像素的值。所以通过获取该差值，计算F2的第N个像素与F1的第N+1个像素之间的差别将比计算F2的第N个像素与F1的第N个像素之间的差别进一步减小差别，并且被传输的其中差值大的像素的数目变少。
下面将参照图9描述本发明的一个实施例。在这个实施例中，将通过像素移位读出的9张图像合成具有高分辨率的一张图像。通过摄像机单元1读出的图像数据首先由锁存器81锁存，然后将其存储在图像存储器84中。将在图像存储器84中存储的9张图像数据通过通信单元传输到PC等。在该实施例中，通信单元使用USB 83，但是对其是没有限制的，并且它可以使用IEEE 1394等，或者可以通过无线电发送图像数据。
将传输的图像数据存储在存储器5中，其通过图像合成单元6合成。通过像素移位的读出必然需要通过该帧的每一个像素重排。这里为了一同实现插值处理，需要通过借助周围像素产生插值像素。在这样一种情况下，如图10中所示，将涉及到内存上的较远位置。这种情况要求的区域是每张1360×1030字节，并且在每一个是1360×1030字节的九个独立的内存地址涉及到图像数据。因此，有一种可能性即在CPU 82中高速缓冲存储器的误选(miss hit)增加从而花费更多的处理时间。
假设当图像数据存储在图像存储器84中时，在图像处理单元8中的CPU 82是高速的并且其总线吞吐量是大的。如果将图像数据每一个像素(一个字节)一个地写入以便用于数据读出的时间是及时的，则将不存在任何问题。在写入中，由于被垂直和水平地排列，将图像数据每一个像素一个地写入，留有各帧的空间，并且将该数据在下一个帧的空间中写入，留有相同的空间。因而当九张图像数据的读出完成时，像素的重排也被完成。
但是，高速的CPU或具有大的总线吞吐量的CPU是昂贵的。所以图11说明了一种通过使用便宜的CPU实现简单重排以降低在PC端上的CPU中高速缓存误选的方法。
在这种情况下，把16个像素看作用于排列的一个块。因此，该写入处理需要由每16个像素来实现。所以与每一个像素写入一个比较，每16个像素的16像素连续数据的写入能够节省时间。传输到PC端的m1的扩展是m11。在插入中，如果涉及到周围的9个像素，则48个像素×3行的范围需要被监视，从而可以降低CPU的高速缓存误选。在插值处理的模拟中，将用于表示PC端上内存的地址与图10的情况和图11的情况相比较。结果显示图11方法的处理时间减少到了图10的方法的1/3。同样地，在插值处理的模拟中，将其中每一个像素一个重排的情况和其中图11的每16个像素一个重排的情况进行比较，结果显示其处理时间是类似的。
图12说明了本发明的另一个实施例，其中结合了分辨率测定和选择传输以及上述简化的重排。
分辨率测定单元3实现每一个像素一个的处理，但是它可以实现以块为单元的处理。
例如，根据分块的大小可以实现简化的重排。在这种情况下，对于块的像素区域是否是具有高分辨率的区域，计算来自先前图像的关于块内部的像素差值，并且当具有差值大的像素时，或当具有很多像素时，可以认为块具有高分辨率。图像存储器84存储第一张图像数据、在其中第一张和以后各张的差值大的(分辨率是高的)块的内部的图像数据和块的位置信息。图像存储器84不存储其中差值小的像素的块的图像信息。在写入中，由于其中差值小的像素的块的图像信息没有被存储，所以它们被靠近地写入。在这种情况下，那么将一个块写入之后，由于进行了简化的重排，所以进行写入，其中块的间隔与读出的帧的数目相对应的。
如图13中所示，当完成分辨率测定后希望停止读出时，可以提供一种自动确定分辨率和自动读出最佳分辨率的模式转换开关9。当模式转换开关9达到“1”时，在分辨率测定单元3中比较不同的差值的寄存器被设置为“0”。因此不输入强信号，全部变为具有高分辨率的部分，并且像素位移条件和读出频率以及/或传输变得与高分辨率对应。可以将当前模式是否是以最佳分辨率读出的模式通知到用户。例如，可以通过提供模式转换开关9一个LED通过光将模式通知到用户，或者可以通过提供显示单元例如显示器或监视器显示模式。
根据本发明可以对具有低分辨率的图像实现分辨率的测定，可以最佳分辨率读出，并且可以缩短读出时间。
尽管在它的优选实施例中已经描述了本发明，但应该理解其所述是用于描述而非用于限定，并且在广义上在不脱离本发明的实际范围和精神的情况下，可以在所附权利要求书的范围内对其进行各种变化。
权利要求
1.一种图像输入装置，其具有图像拾取单元，所述图像拾取单元把入射到图像拾取光学系统的光引向成二维排列的多个像素组成的单板色的图像拾取装置，并通过对入射光进行光电转换图像拾取装置产生一个图像信号，该图像输入装置包含像素移位光学装置，其允许在来自图像拾取光学系统的入射光的图像拾取装置上在一个像素到几个像素内水平和垂直地移动图像成形位置；图像拾取控制装置，其控制像素移位光学装置的像素位移条件；分辨率检测装置，其根据通过改变像素移位光学装置的像素位移条件读出的图像信息检测图像的分辨率；以及存储装置，其存储根据分辨率比预定值高检测的像素信息和/或根据与分辨率比预定值高检测的像素位置相对应的信息。
2.一种图像输入装置，其具有图像拾取单元，所述图像拾取单元把入射到图像拾取光学系统的光引向成二维排列的多个像素组成的单板色的图像拾取装置，并通过对入射光进行光电转换图像拾取装置产生一个图像信号，该图像输入装置包含像素移位光学装置，其允许在来自图像拾取光学系统的入射光的图像拾取装置上在一个像素到几个像素内水平和垂直地移动图像成形位置；图像拾取控制装置，其控制像素移位光学装置的像素位移条件；分辨率检测装置，其根据通过改变像素移位光学装置的像素位移条件读出的图像信息检测图像的分辨率，其中图像拾取控制装置的像素移位光学装置的像素位移条件由通过分辨率检测装置检测的分辨率确定。
3.一种如权利要求2所述的图像输入装置，其中由通过分辨率检测装置检测的分辨率确定的图像拾取控制装置的像素移位光学装置的像素位移条件，是要读出的多个像素的位移数量和/或通过移动像素读出的读出频率。
4.一种如至少在权利要求1-3其中的一个所述的图像输入装置，其中分辨率检测装置利用像素移位光学装置的像素位移条件、改变到像素位移条件之前读出的图像信息和改变到像素位移条件之后读出的图像信息。
5.一种如至少在权利要求1-4其中的一个所述的图像输入装置，其中像素移位光学装置的像素位移条件首先进行大的像素位移，然后进行小的像素位移。
6.一种如权利要求1所述的图像输入装置，包含传输装置，其传输根据分辨率比预定值高检测的像素信息和/或根据与分辨率比预定值高检测的像素位置相对应的信息。
7.一种如权利要求1所述的图像输入装置，其中当改变到像素位移条件之前读出的图像信息和改变到像素位移条件之后读出的图像信息的差值信息比预定值大时，分辨率检测装置检测分辨率为高。
8.一种如权利要求7中所述的图像输入装置，其中当改变到像素位移条件之前读出的图像信息的帧和改变到像素位移条件之后读出的图像信息的帧之间的差值信息比预定值大时，分辨率检测装置检测分辨率为高。
9.一种如权利要求8中所述的图像输入装置，其中当改变到要读取的像素位移条件并计算帧之间的差值信息时，分辨率检测装置改变像素位置，其中根据像素位移量计算差值。
10.一种如权利要求1所述的图像输入装置，其中图像拾取控制装置根据通过分辨率检测装置检测的分辨率确定像素移位光学装置的像素位移条件。
11.一种图像输入装置，其具有图像拾取单元，所述图像拾取单元把入射到图像拾取光学系统的光引向成二维排列的多个像素组成的单板色的图像拾取装置，并通过对入射光进行光电转换图像拾取装置产生一个图像信号，该图像输入装置包含像素移位光学装置，其允许在来自图像拾取光学系统的入射光的图像拾取装置上在一个像素到几个像素内水平和垂直地移动图像成形位置；图像拾取控制装置，其控制像素移位光学装置的像素位移条件；存储控制装置，其通过改变像素移位光学装置的像素位移条件将读出的图像信息分为特定大小的块，并留有与像素位移条件相对应的空间进行存储；第一存储装置，其通过存储控制装置存储图像信息；传输装置，其传输存储的图像信息；第二存储装置，其存储传输的图像信息；以及根据在第二存储装置中存储的像素信息和像素位移条件执行像素的重排和/或像素的插值的装置。
12.一种如权利要求11所述的图像输入装置，其中仅在块具有的由分辨率检测装置检测的分辨率比预定值高的情况下，存储控制装置存储块，而留有与像素位移条件相对应的空间。
13.一种如权利要求11所述的图像输入装置，其中存储控制装置根据通过分辨率检测装置检测的分辨率确定图像拾取控制装置的像素位移条件；通过改变像素移位光学装置的像素位移条件将读出的图像信息分为特定大小的块，并存储根据分辨率检测装置检测比预定值高的分辨率检测的像素信息，而留有与像素位移条件相对应的空间。
14.一种如权利要求1所述的图像输入装置，其包含自动确定分辨率和以最佳分辨率读出的模式转换开关。
15.一种如权利要求14中所述的图像输入装置，其包含将关于它是否是以最佳分辨率读出的模式的状态通知用户的装置。
全文摘要
一种图像输入装置包含像素移位光学装置，其允许在来自图像拾取光学系统的入射光的图像拾取装置上在一个像素到几个像素内水平和垂直地移动图像成形位置；图像拾取控制装置，其控制像素移位光学装置的像素位移条件；分辨率检测装置，其根据通过改变像素移位光学装置的像素位移条件读出的图像信息检测图像的分辨率；以及存储装置，其存储根据分辨率比预定值高检测的像素信息和/或根据与分辨率比预定值高检测的像素位置相对应的信息。
文档编号H04N5/335GK1466374SQ0215137
公开日2004年1月7日 申请日期2002年11月21日 优先权日2002年6月14日
发明者篠田伸一, 中岛启介, 七夕高也, 小西义治, 也, 介, 治, 田伸一 申请人:株式会社日立制作所