专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及图像处理装置和图像处理方法。
背景技术：
已知这样一种系统，其对通过OCR从扫描文档中获取的文本进 行翻译，并在使译文适应原始文档的版面布局的条件下输出译文(例 如参见专利文献l ( JP-A-8-6948))。
然而，在公知技术中，为了保持原始文档的版面布局，译文的字 符大小基于语句区域的大小及翻译后的字符数来确定。因此，存在这 样的情况，即在原始文档中具有相同大小的字符被输出为在译文中 具有不同大小的字符。为此，在公知技术中存在这样的问题，g卩无
法保持原始文档中各个文档区域之间的字符大小相对关系。
发明内容
本发明的目的在于提供这样一种图像处理装置和图像处理方法 其允许保持文档的翻译前后文档中各语句区域之间的字符大小相对关 系。根据本发明的一个方面，提供一种图像处理装置，该图像处 理装置包括区域划分部、字符识别部、分类部、翻译部、计算部和校 正部。区域划分部将文档图像划分成至少一个语句区域。字符识别部 对通过所述区域划分部划分的各个语句区域中包含的字符进行识别。 分类部根据通过所述字符识别部识别出的字符的大小而将所述语句 区域分类成至少一个组。翻译部为所述各个语句区域而将相应语句区 域中的包含字符的语句翻译成给定语言。计算部基于翻译前相应语句 区域的大小、行间距和字符间距以及翻译后语句的字符数，计算已经 通过所述翻译部为所述各个语句区域翻译的语句的字符大小。校正部为通过所述分类部分类成同一组的每一个语句区域校正每一个语句 区域的翻译出的字符的大小，以使通过所述计算部计算出的各字符大 小变为相等。根据第[l]项所述的图像处理装置，所述校正部可以进行校 正，以便匹配通过所述分类部分类成同一组的语句区域之中的最小字 符大小。根据第[1]项或第[2]项所述的图像处理装置，所述图像处理 装置还可包括顺序确定部，其基于通过所述分类部分类而成的各组 的字符大小确定各组的顺序。所述校正部可以校正所述各个语句区域 的字符大小，以使通过所述顺序确定部确定的各组的顺序保持不变。根据第[3]项所述的图像处理装置，所述图像处理装置还可以 包括字符大小信息存储部，其存储通过所述分类部分类而成的各组 的字符大小比例。所述校正部可以基于存储在所述字符大小信息存储 部中的各组的字符大小比例校正各组的字符大小。根据本发明的另一方面，提供一种图像处理二方法，该图像处 理方法包括将文档图像划分成至少一个语句区域；识别所述各个语 句区域中包含的字符；根据识别出的字符的大小而将所述语句区域分 类成至少一个组；为所述各个语句区域而将相应语句区域中的包含字 符的语句翻译成给定语言；基于翻译前相应语句区域的大小、行间距 和字符间距以及翻译后语句的字符数，来计算已经为所述各个语句区 域翻译的语句的字符大小；以及对分类成同一组的每一个语句区域校 正每一个语句区域的翻译出的字符的大小，以使计算出的各字符大小
变为相等。根据第[5]项所述的图像处理方法，校正翻译出的字符的大
小的步骤可以包括进行校正，以便匹配分类成同一组的语句区域之
中的最小字符大小。根据第[5]项或第[6]项所述的图像处理方法，所述图像处理 方法还可包括基于分类的各组的字符大小来确定各组的顺序。校正 翻译出的字符的大小的步骤可以包括校正所述各个语句区域的字符 大小，以使确定的各组的顺序保持不变。
5[8]根据第[7]项所述的图像处理方法，所述图像处理方法还可 包括存储分类后的各组的字符大小比例。校正翻译出的字符的大小 的步骤可以包括基于所存储的各组的字符大小比例来校正各组的字 符大小。
根据第[1]项或第[5]项，可以保持文档的翻译前后各语句区域之 间的字符大小相对关系。
根据第[2]项或第[6]项，可以在保持文档图像的版面布局的同时 保持各语句区域之间的字符大小相对关系。
根据第[3]项或第[7]项，可以保持各语句区域的字符大小的顺序。 根据第[4]项或第[8]项，可以清楚各语句区域之间的字符大小相 对关系。
附图简要说明
基于下列附图对本发明的示例性实施例进行详细说明，其中
图、是示出根据示例性实施例的图像处理系统的系统构造的视
图2是示出生成翻译文档的处理的流程图3A、 3B、 3C和3D是示出扫描图像的版面布局的实例的视图; 图4是示出确定语句区域的字符大小的处理的流程图；以及 图5A、 5B、 5C和5D是示出确定组的字符大小的处理的具体实 例的视图。
具体实施例方式
在下文中，将参照附图对用于实施本发明的示例性实施例进行说明。
图1是示出根据示例性实施例的图像处理系统1的系统构造的视 图。如图l所示，图像处理系统l是包括图像处理装置10和扫描仪20 的系统。根据示例性实施例的图像处理装置10和扫描仪20各自具有 USB接口，并通过使USB接口彼此连接的USB线缆在其间进行数据 通信。扫描仪20是包括CCD照相机并通过使用CCD照相机扫描文档图 像来生成扫描图像的图像扫描装置。扫描仪20将生成的扫描图像发送 到通过USB接口与其连接的图像处理装置10。
图像处理装置10是对从扫描仪20接收到的扫描图像进行图像处 理的装置。图像处理装置IO是这样的计算机，其至少包括CPU(中央 处理器)或存储器作为硬件，并通过使CPU依次执行存储在存储器中 的程序来进行处理。另外，如图1所示，图像处理装置IO包括图像获 取部100、版面布局分析部102、字符识别部104、字符大小测量部106、 组别分类部108、翻译处理部IIO、字符大小确定部112和翻译文档生 成部114作为功能构造。上述各部分的功能可通过以下方式实现使 用介质读取器(未示出)使存储在计算机可读的信息存储介质中的图 像处理程序读出到作为计算机系统的图像处理装置10中，并使图像处 理装置IO执行所读出的图像处理程序。另外，尽管在这里图像处理程 序是通过信息存储介质提供给图像处理装置10的，然而也可通过例如 互联网等数据通信网络将图像处理程序从远程地点下载到图像处理装 置10。在下文中，将对上述各部分的细节进行说明。
图像获取部100从与其连接的扫描仪20接收并获取扫描图像。扫 描图像通过USB线缆进行接收。
版面布局分析部102分析通过图像获取部IOO获取的扫描图像的 版面布局。版面布局分析是通过将文档图像划分成标题区域、文档区 域、页眉/页脚区域、图形区、表格区等而进行的。可将公知技术用于 版面布局分析。另外，从通过版面布局分析部102分析的版面布局中 提取包含文本的区域(在下文中称为语句区域)作为要处理的对象。 也可通过排除例如只包含图形的区域等不包含字符的区域来进行语句 区域的提取。
字符识别部104通过OCR处理来识别语句区域中包含的字符。 OCR处理是通过以下方式进行的将语句区域划分成与相应字符对应 的区域，对每个细分区域进行图案匹配，并基于匹配结果确定每个细 分区域中包含的字符。
字符大小测量部106测量每个语句区域中包含的字符的大小(在下文中称为字符大小)，字符大小的测量值可以是从语句区域的至少 一部分中的通过字符识别部104识别出的字符的大小计算出的平均值， 或者也可以是字符大小的常用值。字符大小的测量是对所有语句区域 进行的，并且测量出的字符大小存储在存储器中以便与各个语句区域
相关联。
组别分类部108根据对各语句区域测量的字符大小将语句区域分
类成各个组。可这样进行组的分类，即将具有相同字符大小的语句 区域分类成同一组，或者将字符大小属于预定范围的语句区域分类成 同一组。在该示例性实施例中，具有相同字符大小的语句区域被分类 成同一组。
翻译处理部110对每个语句区域中包含的语句进行语法分析，然
后将该语句翻译成不同语言(例如英语)。这里，语句区域中包含的
语句是作为通过字符识别部104进行的识别的结果而获得的文本数据。
可将公知技术用于翻译处理。
在翻译处理之后，字符大小确定部112确定每个语句区域的字符 大小。字符大小确定部112包括字符大小计算部112A和字符大小校正 部112B。
字符大小计算部112A基于语句区域的大小、行间距、字符间距 以及通过对语句区域中所含的文本进行翻译而获取的译文的字符数来 计算允许译文能够适应相应语句区域的字符大小。字符大小计算部
112A对每个语句区域进行字符大小计算处理。
字符大小校正部112B校正译文的字符大小，以便保持原文(原 稿)中各语句区域之间的字符大小相对关系。由字符大小校正部112B 进行的第一校正是这样进行的校正，即使通过字符大小计算部112A 计算出的各语句区域的字符大小对于每一个分类组都是相等的。例如， 第一校正是通过使其它语句区域的字符大小与同一组中包含的语句区 域中的最小字符大小匹配。这样，对每一个组来说，组中的字符大小 得到统一以便适应语句区域。
另外，由字符大小校正部112B进行的第二校正是这样进行的校 正，即使各组之间的字符大小的顺序与原始文档中的相应顺序一致。第二校正是通过以下方式进行的判断各组之间的字符大小的顺序是 否与原始文档中的相应顺序一致，并在判定各组之间的字符大小的顺 序不与原始文档中的相应顺序一致的情况下，进一步校正顺序不匹配 的组(在下文中称为"不匹配组")的字符大小。例如，可这样进行 第二校正，即使为不匹配组存储的原始顺序之前和之后的组的字符 大小之间所包括的字符大小成为不匹配组的新的字符大小。
另外，在第二校正中，可将原始的各组之间的字符大小的比例存 储在存储器中，以便基于存储在存储器中的字符大小的比例进一步校 正翻译后各组的字符大小。具体地说，假设原始组的字符大小分别为5 点、10点和20点，则可将这些字符大小的比例1:2:4存储在存储器中， 然后可以这样校正翻译后中间组的字符大小，即使中间组的字符大 小与其之前和之后的组的字符大小之间的间距之比为(2-l):(4-2)，即 1:2。
翻译文档生成部114基于通过版面布局分析部102分析的版面布 局、如上所述确定的每个语句区域的译文以及每个语句区域的字符大 小来生成翻译文档数据。例如，翻译文档数据可以以文字处理软件的 数据格式或者例如PDL数据等预定数据格式来生成。
接下来，将参照图2至图5说明使用图像处理装置10从原始文档 (扫描图像)生成翻译文档的处理的具体流程。图2是示出生成翻译 文档的处理的流程图。
图像处理装置10将扫描指令发送到扫描仪20。当扫描仪20从图 像处理装置10接收到扫描指令时，扫描仪20通过使用CCD照相机扫 描一组文档图像而生成扫描图像。扫描仪20将生成的扫描图像发送给 图像处理装置10，图像处理装置10接收并获取所发送的扫描图像
(5101) 。
图像处理装置10分析从扫描仪20接收到的扫描图像的版面布局
(5102) ，并指定扫描图像的版面布局中包括的语句区域。这里，在 图3A、3B、3C和3D中示出扫描图像的版面布局的实例作为具体实例。 如图3A、 3B、 3C和3D所示，扫描图像200包括语句区域a至f。
图像处理装置10对经分析的版面布局中包含的各语句区域a至f进行用于识别每个语句区域中包含的字符的处理(S103)。
然后，图像处理装置IO对每个语句区域测量字符大小(S104)。
例如，字符大小的测量可以通过对每个语句区域计算从语句区域中识
别出的字符的大小的平均值或常用值来进行。另外，图3A的各语句区 域中所示的是作为测量结果而获取的原文的字符大小。
当对所有语句区域的进行字符大小测量处理时，图像处理装置10 基于对各语句区域测量的字符大小将各语句区域分类成各个组 (S105)。在该示例性实施例中，具有相同字符大小的语句区域被分 类成同一组。在图3A所示实例中，"a" 、 "b" 、 "c, f"和"d, e" 被分类成不同的组。另外，按字符大小从小到大的顺序将各个组设置 为Gl(d, e)、 G2(a)、 G3(c， f)和G4(b)，并且每组的字符大小及与字符大 小对应的顺序被存储在存储器中。
在完成上述分组处理之后，图像处理装置IO进行这样的处理，即 将各语句区域中包含识别出的字符的语句翻译成给定语言(例如英语 或汉语)—(S106)。
在完成上述翻译处理之后，图像处理装置IO确定每个语句区域的 字符大小，以使翻译后的语句(在下文中称为翻译语句)适应每个语 句区域并保持原文中各文档区域之间的字符大小相对关系(S107)。 这里，将参照图4所示流程图说明确定每个语句区域的字符大小的处 理。
首先，如图4所示，图像处理装置IO基于语句区域的大小和翻译 语句的字符数对每个语句区域计算适应语句区域的字符大小(S201)。 在图3B中，在各语句区域中所示的是通过上述计算获得的字符大小。
在完成计算字符大小的处理之后，图像处理装置IO对每一组确定 属于该组的各语句区域的字符大小中的最小字符大小作为该组的字符 大小(S202)。然后，属于同一组的各语句区域的所有字符大小都暂 时改变为所确定的组的字符大小。这是字符大小的第一校正。在图3C 中，在各语句区域中所示的是通过第一校正改变的字符大小。
然后，在对所有组完成字符大小确定处理之后，图像处理装置IO 基于所确定的字符大小判断是否保持原始文档图像中各组之间的字符大小顺序(S203)。这里，如果判定没有保持各组之间的顺序(S203 中判断结果为否)，则图像处理装置IO计算每组的字符大小，以使 各组的顺序保持不变，然后将计算出的值设置为新的字符大小(S204)。 这是字符大小的第二校正。
这里，参照图5A、 5B、 5C禾P5D，利用具体实例说明确定组的字 符大小的处理。图5A、 5B、 5C和5D示出了如何根据上述流程确定每 个语句区域的字符大小。也就是说，图像处理装置IO首先为每个字符 大小形成组(图5A)，计算适应翻译处理后的版面布局的字符大小(图 5B)，然后统一每组的字符大小(图5C)。在这种状态下，图像处理 装置IO判断统一后的字符大小是否保持原始文档中的顺序。可以通过 按当前确定的字符大小从小到大的顺序将当前确定的字符大小与原始 顺序的字符大小作比较，来对是否保持各组的顺序做出判断。
在该示例性实施例的实例中，"d，e"是组Gl，其顺序与原始顺 序相同，而下一个小组"c,f"是组G3。因此，做出字符大小的顺序与 原文的顺序不同的判定。这里，为了使各组的顺序恢复到原始状态， 这样计算原来是第二组的组G2的字符大小，即使原始的各组之间的 字符大小的相对关系保持不变，以使组G2的字符大小成为翻译后当前 第一组(Gl)的字符大小和翻译后当前第二组(G3)的字符大小之间 的大小。字符大小的计算是基于组G1、组G2和组G3的各自原始字符 大小的比例进行的。在上述实例中，可以计算下述字符大小以便将计 算出的值设定为组G2的字符大小所述字符大小与这样的位置对应， 在该位置处，基于组Gl、组G2和组G3的各自原始字符大小的比例 8:10:12的包括组Gl与组G2之间的间距以及组G2与组G3之间的间 距的间距(即如图5A所示的组G1与组G3之间的间距)被划分成1:1。 在所计算出的字符大小不是整数值的情况下，可将最接近于所计算出 的字符大小的整数值设定为新的字符大小。另外，当将所计算出的字 符大小设定为新的组G2的字符大小时，组G3和组G4的顺序分别设 置为3和4，从而使各语句区域的顺序变为与原始状态相同。
在完成字符大小确定处理之后，图像处理装置10转入步骤S108， 其中，基于每个语句区域的已确定的字符大小生成翻译文档(S108)，然后结束处理。
另外，本发明不局限于以上实施例。
例如，可以使字符大小校正部112B进一步对各组之间的字符大 小的间距是否小于给定间距做出判断，并在判定各组之间的字符大小 的间距小于给定间距时校正各组的字符大小。这里，字符大小的校正 可以通过以等间距排列各组之间的字符大小来进行。
在判定分类成同一组的语句区域的字符大小分布存在偏差、并且 存在字符大小在很大程度上不同的元素的情况下，可以使字符大小确
定部112从该组中排除字符大小在很大程度上不同的元素。
另外，字符大小确定部112在匹配组的字符大小时，可通过改变
字符的纵横比例，基于大于最小字符大小的字符大小来匹配字符大小。 另外，限制为具有较小字符大小的区域的语句长度可通过调整语
句区域翻译后的字符间距或行间距来进行调整。
为了解释和说明起见，己经提供了对于本发明实施例的前述说
明。本发明并非意在穷举或将本发明限制在所披露的具体形式。显然， 许多修改和变型对于所属领域的技术人员而言是显而易见的。实施例 的选取和说明是为了更好地解释本发明的原理及其实际应用，从而使 所属领域的其他技术人员能够理解本发明适用于各种实施例，并且具 有各种变型的本发明适合于所设想的特定用途。本发明意在用所附权 利要求书及其等同内容来限定本发明的保护范围。
1权利要求
1.一种图像处理装置，包括区域划分部，其将文档图像划分成至少一个语句区域；字符识别部，其对通过所述区域划分部划分的各个语句区域中包含的字符进行识别；分类部，其根据通过所述字符识别部识别出的字符的大小而将所述语句区域分类成至少一个组；翻译部，其为所述各个语句区域而将相应语句区域中的包含字符的语句翻译成给定语言；计算部，其基于翻译前相应语句区域的大小、行间距和字符间距以及翻译后语句的字符数，来计算已经通过所述翻译部为所述各个语句区域翻译出的语句的字符大小；以及校正部，其为通过所述分类部分类成同一组的每一个语句区域校正每一个语句区域的翻译出的字符的大小，以使通过所述计算部计算出的各字符大小变为相等。
2. 根据权利要求1所述的图像处理装置，其中， 所述校正部进行校正，以便匹配通过所述分类部分类成同一组的语句区域之中的最小字符大小。
3. 根据权利要求1或2所述的图像处理装置，还包括顺序确定部，其基于通过所述分类部分类而成的各组的字符大 小来确定各组的顺序，其中，所述校正部校正所述各个语句区域的字符大小，以使通 过所述顺序确定部确定的各组的顺序保持不变。
4. 根据权利要求3所述的图像处理装置，还包括 字符大小信息存储部，其存储通过所述分类部分类而成的各组的字符大小比例，其中，所述校正部基于存储在所述字符大小信息存储部中的各 组的字符大小比例来校正各组的字符大小。
5. —种图像处理方法，包括 将文档图像划分成至少一个语句区域； 识别各个语句区域中包含的字符；根据识别出的字符的大小而将所述语句区域分类成至少一个组；为所述各个语句区域而将相应语句区域中的包含字符的语句翻 译成给定语言；基于翻译前相应语句区域的大小、行间距和字符间距以及翻译 后语句的字符数，来计算己经为所述各个语句区域翻译出的语句的字 符大小；以及为分类成同一组的每一个语句区域校正每一个语句区域的翻译 出的字符的大小，以使计算出的各字符大小变为相等。
6. 根据权利要求5所述的图像处理方法，其中， 校正翻译出的字符的大小的步骤包括进行校正，以便匹配分类成同一组的语句区域之中的最小字符大小。
7. 根据权利要求5或6所述的图像处理方法，还包括 基于分类的各组的字符大小来确定各组的顺序，其中，校正翻译出的字符的大小的步骤包括校正所述各个语 句区域的字符大小，以使所确定的各组的顺序保持不变。
8. 根据权利要求7所述的图像处理方法，还包括 存储分类后的各组的字符大小比例，其中，校正翻译出的字符的大小的步骤包括基于所存储的各 组的字符大小比例来校正各组的字符大小。
全文摘要
本发明公开一种图像处理装置，该图像处理装置包括区域划分部、字符识别部、分类部、翻译部、计算部和校正部。区域划分部将文档图像划分成语句区域。字符识别部识别各个语句区域中的字符。分类部根据字符的大小而将语句区域分类成各个组。翻译部为各个语句区域而将语句翻译成给定语言。计算部计算已经通过翻译部为各个语句区域翻译出的语句的字符大小。校正部为被分类成同一组的每一个语句区域校正每一个语句区域的翻译出的字符的大小，以使通过计算部计算出的各字符大小变为相等。
文档编号G06K9/22GK101320429SQ200810094520
公开日2008年12月10日 申请日期2008年4月18日 优先权日2007年6月4日
发明者今野裕也 申请人:富士施乐株式会社