信息处理装置、信息处理方法和计算机可读介质与流程

1.本公开涉及一种信息处理装置、信息处理方法及计算机可读介质。


背景技术：

2.以往，提出了自动识别填写在表单等中的字符的技术。
3.在日本特开2006-129311号公报中，记载了对定型文档以较少的计算量简单地进行位置对准的位置对准装置。装置具有：图像旋转单元，其使输入图像正立，并且保存对该输入图像进行的图像旋转处理的旋转角度；以及位置偏移校正单元，其计算与该旋转角度或输入设备的信息对应的图像的位置偏移，根据该位置偏移进行校正。


技术实现要素：

4.在根据表单等的输入图像来识别字符串的情况下，希望同时显示输入图像和识别结果，使用者对输入图像和识别结果进行比较确认，可以根据需要进行修正。
5.但是，在输入图像倾斜的情况下，如果在该倾斜的状态下进行显示，则会给使用者带来违和感。虽然也可以在修正了输入图像的倾斜的基础上进行显示，但随着倾斜的修正，有可能会丢失一定的信息而不被显示。更具体地，如果利用模板图像来定义识别区域，并且将模板图像的识别区域和输入图像的识别区域位置对准，并且仅显示模板图像的区域，则模板图像的区域之外的信息，特别是与识别结果的确认相关的信息有可能缺失而不被显示。
6.本公开的目的在于提供一种技术，该技术在利用模板图像来定义输入图像的识别区域、使模板图像的识别区域与输入图像的识别区域位置对准来识别字符串的情况下，能防止信息的缺失，使用者能够对输入图像和识别结果进行比较而容易地确认。
7.根据本公开的第1方案，提供了一种信息处理装置，其具有：输入部，其输入应识别的输入图像；以及处理器，所述处理器通过执行程序，进行如下处理：为了使所述输入图像中的识别区域与在模板图像中定义的识别区域一致，而将所述输入图像与所述模板图像位置对准；执行位置对准后的所述输入图像的所述识别区域的识别处理；生成包含有与所述模板图像位置对准后的所述输入图像的确认用图像；以及将所述确认用图像和所述识别处理的结果以能够识别它们之间的对应的方式进行显示。
8.根据本发明的第2方案，所述处理器生成矩形图像作为所述确认用图像。
9.根据本发明的第3方案，所述处理器生成与所述模板图像位置对准后的所述输入图像的外接矩形图像，作为所述确认用图像。
10.根据本公开的第4方案，所述处理器在所述外接矩形图像中的、不存在位置对准后的所述输入图像而仅存在所述模板图像的区域中，标注表示是所述模板图像的信息，作为所述确认用图像。
11.根据本公开的第5方案，所述处理器将存在于位置对准后的所述输入图像内但不存在于所述模板图像内的信息包含在所述确认用图像内而输出。
12.根据本公开的第6方案，所述模板图像定义所述输入图像中的识别区域，并且定义应识别的字符串。
13.根据本发明的第7方案，所述输入图像是在倾斜的状态下扫描文档而得到的扫描图像。
14.根据本公开的第8方案，所述文档是表单。
15.根据本发明的第9方案，提供一种计算机可读介质，其存储有使计算机执行处理的程序，所述处理包括如下步骤：为了使输入图像中的识别区域与模板图像中定义的识别区域一致，而将所述输入图像与所述模板图像进行位置对准；执行位置对准后的所述输入图像的所述识别区域的识别处理；生成包含有与所述模板图像位置对准后的所述输入图像的确认用图像；以及将所述确认用图像和所述识别处理的结果以能够识别它们之间的对应的方式进行显示。
16.根据本公开的第10方面，提供了一种信息处理方法，包括如下步骤：为了使输入图像中的识别区域与模板图像中定义的识别区域一致，而将所述输入图像与所述模板图像进行位置对准；执行位置对准后的所述输入图像的所述识别区域的识别处理；生成包含有与所述模板图像位置对准后的所述输入图像的确认用图像；以及将所述确认用图像和所述识别处理的结果以能够识别它们之间的对应的方式进行显示。
17.(效果)
18.根据第1、9或10方案，在用模板图像定义输入图像的识别区域，使模板图像的识别区域与输入图像的识别区域位置对准来识别字符串的情况下，可以防止信息的丢失，使用者能够比较输入图像和识别结果而容易地确认。
19.根据所述第2或第3方案，使用者还可以利用矩形区域进行确认。
20.根据上述第4方案，使用者还能够容易地确认模板图像。
21.根据上述第5方案，使用者还可以确认输入图像中存在的关联信息。
22.根据上述第6方案，还可以利用模板图像来规定识别对象。
23.根据上述第7方案，进而，即使由于扫描时的错误等使输入图像倾斜也能够应对。
24.根据上述第8方案，还能够识别表单并进行确认修正。
附图说明
25.图1是实施方式的概念结构图。
26.图2是实施方式的变换矩阵计算说明图。
27.图3是实施方式的位置对准说明图(其1)。
28.图4是实施方式的位置对准说明图(其2)。
29.图5是实施方式的位置对准后的输入图像的外接矩形说明图。
30.图6是实施方式的位置对准后的输入图像及模板图像的外接矩形说明图。
31.图7是实施方式的模板图像的补充说明图。
32.图8是实施方式的功能框图。
33.图9是实施方式的结构框图。
34.图10是实施方式的处理流程图。
35.图11a是实施方式的输入图像的坐标系说明图。
36.图11b是实施方式的模板图像的坐标系说明图。
37.图11c是实施方式的确认修正图像的坐标系说明图。
38.图12是变形例的功能框图。
39.图13是变形例的矩形说明图。
具体实施方式
40.以下，根据附图说明本公开的实施方式。
41.<基本原理>
42.首先，对本实施方式的基本原理进行说明。
43.在本实施方式的信息处理装置中，当输入表单等的图像并且识别所记载的字符串时，利用模板图像来定义输入图像的识别区域，并且通过将模板图像的识别区域与输入图像的识别区域位置对准来识别字符串。这里，“模板图像”是定义了输入图像中的识别对象的定型样式，包含识别区域和识别方法。具体而言，是“通过罗马字辞典识别位于xx位置的字符串”等。识别区域例如可以由矩形区域的顶点坐标、左上的顶点坐标及其大小等定义。
44.然后，对模板图像的识别区域和输入图像的识别区域进行位置对准来识别字符串，将输入图像和识别结果一起显示在显示装置等上，以供使用者确认识别结果。
45.图1是本实施方式的概念结构图。
46.在表单等的输入图像10中包含应识别的识别区域12，在图中，在该识别区域中记入了为“abc”的字符串。输入图像10被提供给识别部14。
47.预先准备定义了识别区域和识别方法的模板图像16，并将其提供给识别部14。在模板图像16中定义的识别区域在图中表示为区域(识别区域)15。
48.识别部14对模板图像的识别区域和输入图像的识别区域进行位置对准来识别字符串。这里，位置对准是使输入图像的位置与模板图像的位置对准，可以使用公知的位置对准技术。具体地说，例如提取输入图像和模板图像各自的图像中的特征点，生成输入图像中的特征点和与其对应的模板图像中的特征点的对，使用多个特征点的对，计算将输入图像的坐标变换为模板图像的坐标的变换矩阵即可。
49.当识别部14使用模板图像识别了输入图像10中的识别区域12时，在确认画面18上显示其识别结果22。另外，与此同时，将输入图像10自身并列显示在确认画面18上。使用者通过目视辨认在确认画面18上并列显示的输入图像20和识别结果22，能够容易地确认识别结果的正确与否。
50.图2示意性地表示输入图像10和模板图像16的位置对准。生成输入图像10中的识别区域12的特征点和模板图像16中定义的识别区域15的特征点的对，使用这些特征点的对计算将输入图像10的坐标变换为模板图像16的坐标的变换矩阵。变换矩阵是仿射变换矩阵或投影变换矩阵。然后，通过将该变换矩阵应用于输入图像10，使输入图像10的位置与模板图像16的位置对准，识别输入图像10中的识别区域12的字符串。
51.图3示意性地表示使用变换矩阵将输入图像10的位置对准到模板图像16的位置的情况。平行移动输入图像10，使输入图像10的识别区域12与模板图像16的识别区域15位置对准。由此，能够正确地识别记入在识别区域12中的字符串“abc”。
52.另一方面，在输入图像10倾斜的情况下，原理上只要使该输入图像10旋转、修正倾
斜并与模板图像16位置对准即可，但如果仅使输入图像10旋转，则使用者会产生违和感。
53.具体而言，在扫描并读取表单等时，在产生错误而输入图像10倾斜的情况下，在确认画面18上显示的识别结果22也以倾斜的状态显示，所以使用者感到违和感，与识别结果正立的情况相比，确认修正变得困难。
54.因此，优选在使输入图像10旋转、修正倾斜并与模板图像16位置对准而进行识别之后，以与模板图像16位置对准的方式，即正立的方式将识别结果22显示在确认画面18上，但在该情况下可能产生其他课题。
55.图4示意性地表示使输入图像10旋转而修正倾斜，以与模板图像16位置对准的方式进行正立显示的情况。对于输入图像10，用点划线表示扫描范围17。图5示出了使用变换矩阵对输入图像10进行旋转，并且以与模板图像16位置对准的形式进行了正立校正后的状态。此时，虽然输入图像10的识别区域12是正立的，但扫描范围17和模板图像16不重复，所以如果以与模板图像16位置对准的形式仅对由与模板图像16重叠的区域构成的图像进行正立显示，则尽管被扫描，但存在脱离到模板图像16的区域外的区域。如果该脱离区域与识别区域12完全无关，则对识别结果22没有影响，但在该脱离区域中存在与识别区域12相关的信息，更具体而言存在与识别区域12的字符串相关的某种关联信息的情况下，在对识别结果22进行确认修正时会产生较大的影响。例如，如图4所示，在脱离区域10a中记载有“c错误”等与识别区域12的字符串相关的关联信息的情况下，由于这样的关联信息的缺失，无法由使用者正确地进行识别结果的确认修正。
56.进而，在扫描并读取表单等时，在产生错误而输入图像10倾斜的情况下，以及在输入图像10的一部分缺失的情况下，也会产生其他问题。
57.图5示意性地表示该情况下的状态。即使使用变换矩阵对输入图像10进行旋转，并以与模板图像位置对准的形式进行了正立校正，也不会显示在扫描时缺失的部分16a，无法基于识别结果来显示想要数据输入的信息，即模板图像整体的信息，从而感到违和感(本来应该显示为矩形区域，但显示为非矩形区域的违和感)。
58.这样，在本实施方式中，为了消除在单使输入图像10旋转而与模板图像16位置对准的情况下可能产生的、由于与识别区域12关联的信息的缺失以及无法显示在扫描时缺失的部分而引起的违和感，将使用了变换矩阵的输入图像10的变换结果与模板图像16重合，设定与该重合区域外接的外接矩形区域，在确认画面18上显示该外接矩形区域。
59.图6表示将输入图像10的变换结果和模板图像16重合，与重合区域外接的外接矩形区域30。将该外接矩形区域30作为图1中的确认画面18中的输入图像20进行显示。外接矩形区域30中包含有位于模板图像16外部的脱离区域，并且还包括在扫描时缺失的部分16a。因此，通过将外接矩形区域30作为输入图像20进行显示，使用者可以视觉辨认并确认识别区域12的关联信息，并且可以在视觉辨认为矩形区域的输入图像20，从而消除了违和感。
60.注意，当关注图6中的扫描时缺失的部分16a时，由于该部分没有扫描，因此不存在图像信息，并且即使将外接矩形区域30作为输入图像20而显示在确认画面18上，部分16a也显示为空白。因此，对于部分16a，也可以如图7所示，从模板图像16中切出与部分16a相当的部分，作为模板图像16的部分16a进行显示，来代替显示为空白。由此，部分16a不是空白，而是作为模板图像16的一部分来显示，所以进一步消除了使用者的违和感。
61.在此，关于部分16a，为了强调是模板图像16的一部分的情况，也可以用特定颜色
来显示。例如，以浅灰色或浅蓝色进行显示等。
62.接着，更具体地说明本实施方式。
63.<结构>
64.图8表示本实施方式中的信息处理装置的功能框图。信息处理装置包括位置对准部50、识别部52、坐标变换部54、确认修正图像生成部56和显示部58。
65.位置对准部50输入输入图像10和模板图像16，使用变换矩阵将输入图像10与模板图像16位置对准。位置对准部50根据输入图像10和模板图像16生成变换矩阵，使用所生成的变换矩阵对两个图像进行位置对准。即，提取输入图像10和模板图像16各自的图像中的特征点，生成输入图像10中的特征点和与其对应的模板图像16中的特征点的对，使用多个特征点的对来计算变换矩阵。另外，该位置对准处理也可以是将输入图像10的坐标系变换为模板图像16的坐标系的处理。另外，在美国专利第6711293号中记载了对输入图像10进行投影变换而与模板图像16位置对准的技术，也可以使用该技术。位置对准部50在位置对准时还一并计算出从模板图像16的坐标系到确认修正图像的坐标系的移位(shift)量。位置对准部50将变换为模板图像16的坐标系后的输入图像10输出到识别部52。另外，将从模板图像16的坐标系到确认修正图像的坐标系的移位量输出到坐标变换部54。
66.识别部52使用由模板图像16定义的识别区域以及识别方法，对来自位置对准部50的输入图像10执行字符识别。将识别区域作为模板图像16的坐标系中的字符框坐标来提供。另外，如果识别方法例如是“通过罗马字辞典进行识别”，则使用罗马字辞典将字符串识别为罗马字(字母)。识别部52将字符框坐标输出到坐标变换部54，并且将识别结果(文本数据)输出到显示部58。
67.坐标变换部54使用由位置对准部50计算出的、从模板图像16的坐标系到确认修正图像的坐标系的移位量，将从识别部52输入的字符框坐标(其为模板图像16的字符框坐标)变换为确认修正图像的坐标系并输出到显示部58。字符框是规定在模板图像16中定义的识别区域15的框，字符框坐标是该框的位置坐标。
68.确认修正图像生成部56使用来自位置对准部50的输入图像10和模板图像16，生成确认修正图像。即，确认修正图像生成部56将由位置对准部50位置对准后的输入图像10和模板图像16重合，生成该重合区域的外接矩形区域作为确认修正图像。该确认修正图像相当于图1中的输入图像20。另外，确认修正图像生成部56根据需要，如图7所示，执行用模板图像16的一部分来插补缺失的部分16a的处理。用其他图像来插补或合成图像的一部分的技术是公知的。确认修正图像生成部56将生成的确认修正图像输出到显示部58。
69.显示部58相当于图1中的确认画面18，显示来自识别部52的识别结果、来自坐标变换部54的字符框坐标、来自确认修正图像生成部56的确认修正图像。
70.图9表示本实施方式中的信息处理装置的结构框图。信息处理装置由计算机构成，具有处理器60、rom 62、ram 64、输入部66、输出部68以及存储部70。
71.处理器60读取存储在rom 62或其它程序存储器中的处理程序，并使用ram 64作为工作存储器来执行该处理程序，从而实现图8中的位置对准部50、识别部52、坐标变换部54以及确认修正图像生成部56。列举处理器60中的处理如下所述。
72.·
变换矩阵的计算处理
73.·
使用变换矩阵的输入图像10的位置对准处理
74.·
输入图像10的识别处理
75.·
字符框坐标的变换处理
76.·
确认修正图像生成处理
77.·
确认修正图像、识别结果和字符框坐标的显示处理
78.处理器60是指广义的处理器，包括通用的处理器(例如cpu：central processing unit等)、专用的处理器(例如gpu：graphics processing unit(图像处理单元)，asic：application specific integrated circuit(专用集成电路)，fpga：field programmable gate array(场可编程门阵列)，可编程逻辑器件等)。另外，处理器的动作不仅可以由一个处理器实现，也可以由存在于物理上分离的位置的多个处理器协作来实现。
79.输入部66由键盘、鼠标、扫描仪、触摸面板、通信接口等构成，输入表单等的输入图像10以及模板图像16。另外，模板图像16可以预先作为程序的一部分而包含，或者也可以存储在存储部70中。另外，使用者利用确认修正图像来确认识别结果，在判断为需要修正的情况下，操作输入部66来修正识别结果。
80.输出部68由包含触摸面板的显示装置等构成，显示由处理器60生成的确认修正图像、识别结果以及字符框。输出部68实现图8中的显示部58。另外，也可以构成为由通信接口构成输出部68，经由因特网等向外部的显示装置输出确认修正图像、识别结果以及字符框来进行显示。由此，使用者能够在物理上远离信息处理装置的位置处的平板终端或pc等的画面上确认/修正识别结果。
81.存储部70存储输入图像10、模板图像、识别结果、修正后的识别结果等。
82.<处理流程图>
83.图10表示本实施方式的处理流程图。
84.处理器60输入应该识别的表单等文档作为输入图像10(s101)。具体而言，例如通过扫描仪读取设置在自动送纸器上的表单，作为数字图像数据而输入。也可以由复合机的扫描仪读取。或者，也可以从存储部70读出已经由扫描仪读取并存储在存储部70中的数字图像数据。使用者例如可以操作键盘等，从多个数字图像数据中指定识别对象的数字图像数据。
85.接着，处理器60输入模板图像16(s102)。针对每个输入图像10预先准备模板图像16。如果输入图像10是表单，则由于该表单的格式是预先已知的，所以准备了与识别对象的记入栏的位置和字符类型相对应的模板图像16。处理器60也可以识别输入图像10的种类，选择与所识别的种类对应的模板图像16。或者，使用者也可以手动选择模板图像16。模板图像16被嵌入到程序中，或者被存储在存储部70中。处理器60在输入了输入图像10后的规定定时读入模板图像16。
86.接着，处理器60根据输入图像10和模板图像16，计算用于将输入图像10位置对准到模板图像16的变换矩阵(s103)。变换矩阵生成输入图像10中的识别区域12的特征点和由模板图像16定义的识别区域15的特征点的对，使用这些特征点的对来计算。变换矩阵是仿射变换矩阵或投影变换矩阵，但不限于此。另外，也可以测量输入图像10和模板图像16的位置偏移量，在该位置偏移量小于预先设定的阈值的情况下，认为不妨碍识别处理，省略计算变换矩阵的处理。另外，在已经计算出变换矩阵并存储在存储部70等中、在输入图像10与模板图像16的位置对准中能够直接引用该变换矩阵的情况下，也能够省略计算变换矩阵的处
理。
87.接着，处理器60使用变换矩阵将输入图像10位置对准到模板图像16(s104)。通过该位置对准，使输入图像10的识别区域12与模板图像16的识别区域15的位置一致。另外，该一致可以是确保识别精度所需的范围内的一致，并不意味着完全一致。
88.接着，处理器60按照在模板图像16中定义的识别区域15以及识别方法，识别位置对准后的输入图像10的识别区域12的字符串(s105)。字符串识别处理可以使用公知的任意技术，例如可以使用日本特开平5-40853号公报中记载的方法，但不限于此。另外，在本实施方式中，例示了使用罗马字辞典的罗马字识别，但当然也可以是数字、平假名、片假名、汉字及其他字符串识别。另外，处理器60变换字符框坐标(s106)。即，将在模板图像16中定义的、定义识别区域15的字符框坐标(如果识别区域15是矩形，则例如是四个顶点的位置坐标，或者与左上的位置坐标垂直的两边的尺寸)变换为确认修正图像的坐标系(s106)。后面将更详细地描述该变换。
89.接着，处理器60生成确认修正图像(s107)。确认修正图像根据位置对准后的输入图像10和模板图像16来生成。处理器60将位置对准后的输入图像10和模板图像16重合，作为重合区域的外接矩形而生成确认修正图像。图6所示的外接矩形区域30相当于该确认修正图像。
90.接着，处理器60将在s107中生成的确认修正图像、在s106中生成的变换后的字符框坐标、s105中的识别结果一起输出到输出部68进行显示(s108)。显示形式是任意的，但优选将确认修正图像和识别结果以能够识别它们的对应的方式显示。例如，如图1所示，在画面的左侧显示确认修正图像并在其上重叠显示字符框坐标，在画面的右侧以与其对比的方式显示识别结果。也可以对确认修正图像标注“输入图像”和标签进行显示，对识别结果标注“输入图像的识别结果”和标签进行显示。或者，也可以在确认修正图像与识别结果之间附加箭头等记号。当然，也可以在上部显示确认修正图像，在下部显示识别结果。或者，也可以构成为当点击了确认修正图像时，显示其识别结果。由于在确认修正图像中包含被扫描的输入图像10的全部区域，所以即使包含与识别区域12相关联的信息，也能够可靠地显示该信息，使用者能够适当参照。另外，由于确认修正图像是矩形，所以使用者不会感到违和感，能够对确认修正图像和识别结果进行比较确认。
91.然后，处理器60判断是否需要修正识别结果(s109)。具体而言，使用者视觉辨认确认修正图像，如果需要修正(在s109中为“是”)，则从输入部66输入修正指示。处理器60接收来自使用者的修正指示，修正识别结果(s110)。例如，在虽然识别结果为“abc”、但使用者判断为是“abd”的错误的情况下，从输入部66输入将“c”修正为“d”的指示，处理器60根据该指示将识别结果修正为“abd”并进行显示。
92.另外，在使用者的确认修正结束后，处理器60根据来自使用者的指示将识别结果存储在存储部70中。或者经由输出部68向其他计算机(包括服务器计算机)输出。
93.图11a、图11b以及图11c示意性地表示由处理器60执行的坐标系的变换处理。
94.图11a示出了输入图像10的坐标系。输入图像10的坐标系被定义为将输入图像10的左上作为原点，从原点将输入图像10的外接矩形的上边作为x轴，将外接矩形的左边作为y轴的xy坐标系。当输入图像10倾斜时，输入图像10中的识别区域12也相应地倾斜。
95.图11b表示模板图像16的坐标系。定义为以模板图像16的左上为原点、从原点开始
模板图像16的上边为x轴、模板图像16的左边为y轴的xy坐标系。模板图像16中的识别区域15处于正立状态。识别区域15的框是字符框，该字符框的坐标是字符框坐标。
96.在图10的s104中，将输入图像10与模板图像16位置对准。即，将作为输入图像10的坐标系的xy坐标系变换为作为模板图像16的坐标系的xy坐标系。其结果，在模板图像16的xy坐标系上配置输入图像10。
97.然后，在图10的s107中，设定模板图像16的xy坐标系中的输入图像10与模板图像16的重合的外接矩形。假定将该外接矩形的左上位置作为原点、与模板图像16的xy坐标系平行的uv坐标系。即，u轴、v轴分别与x轴、y轴平行。该uv坐标系成为确认修正图像的坐标系。
98.图11c表示确认修正图像的uv坐标系。图11b所示的字符框坐标是模板图像16的xy坐标系中的位置坐标，所以需要将其从xy坐标系变换为uv坐标系。u轴和v轴如上所述分别与x轴和y轴平行，所以从xy坐标系到uv轴坐标系的变换只是平行移动，由移位量提供。在图10的s106中，计算该移位量并变换字符框坐标。
99.这样，在本实施方式中，使输入图像10与模板图像16位置对准，生成将位置对准后的输入图像10和模板图像重合后的图像的外接矩形区域作为确认修正图像，生成字符框坐标，将确认修正图像、字符框坐标和识别结果一起显示在确认画面18上，由此能够显示没有变形(没有旋转等)的图像，并且，能够显示记载在输入图像10的端部等的关联信息，进而通过设为矩形的确认修正图像，能够消除使用者的违和感。
100.<变形例1>
101.在实施方式中，识别部52从由位置对准部50进行了位置对准后的输入图像10中识别字符串，然而，由位置对准部50进行了位置对准后的输入图像10被提供给确认修正图像生成部56，并且由确认修正图像生成部56生成确认修正图像，所以可以使用该确认修正图像由识别部52来识别字符串。
102.图12表示该变形例中的信息处理装置的功能框图。
103.位置对准部50输入输入图像10和模板图像16，使用变换矩阵将输入图像10位置对准到模板图像16。位置对准部50根据输入图像10和模板图像16生成变换矩阵，使用所生成的变换矩阵对两个图像进行位置对准。该位置对准处理也可以是将输入图像10的坐标系变换为模板图像16的坐标系的处理。位置对准部50在位置对准时还一并计算出从模板图像16的坐标系到确认修正图像的坐标系的移位量。
104.位置对准部50将变换为模板图像16的坐标系后的输入图像10输出到确认修正图像生成部56。另外，将从模板图像16的坐标系到确认修正图像的坐标系的移位量输出到坐标变换部54。
105.坐标变换部54使用由位置对准部50计算出的、从模板图像16的坐标系到确认修正图像的坐标系的移位量，将字符框坐标(这是模板图像16的字符框坐标)变换为确认修正图像的坐标系并输出到识别部52。
106.确认修正图像生成部56使用来自位置对准部50的输入图像10和模板图像16，生成确认修正图像。即，确认修正图像生成部56将由位置对准部50位置对准后的输入图像10和模板图像16重合，生成该重合区域的外接矩形区域作为确认修正图像。另外，确认修正图像生成部56根据需要，如图7所示，执行用模板图像16的一部分来插补缺失的部分16a的处理。
确认修正图像生成部56将生成的确认修正图像输出到识别部52和显示部58。
107.识别部52使用在模板图像16中定义的识别区域以及识别方法，对来自确认修正图像生成部56的确认修正图像执行字符识别。作为识别区域，从坐标变换部54作为字符框坐标来提供。识别部52将识别结果(文本数据)以及字符框坐标输出到显示部58。
108.显示部58相当于图1中的确认画面18，显示来自识别部52的识别结果和字符框坐标、以及来自确认修正图像生成部56的确认修正图像。
109.另外，在该变形例中，是从识别部52向显示部58输出字符框坐标的结构，但也可以是从坐标变换部54向显示部58输出的结构。
110.<变形例2>
111.在本实施方式中，使位置对准后的输入图像10和模板图像16重合，设定该重合的外接矩形作为确认修正图像，但也可以将包含位置对准后的输入图像10和模板图像16的任意形状的区域作为确认修正图像，或者也可以将包含位置对准后的输入图像10和模板图像16的矩形的区域作为确认修正图像。
112.图13表示该情况下的确认修正图像的例子。示出输入图像10的变换结果和包含模板图像16的矩形区域32。将该矩形区域32作为确认修正图像。应当注意，与图6不同，矩形区域32不外接输入图像10和模板图像16。
113.另外，在该情况下，也可以如图7所示，针对部分16a强调显示其是模板图像16的一部分的情况。例如，以浅灰色或浅蓝色进行显示等。
114.使用者能够选择以下中的任意一个：
115.(1)包含位置对准后的输入图像10和模板图像16的任意形状的区域
116.(2)包含位置对准后的输入图像10和模板图像16的矩形区域
117.(3)位置对准后的输入图像10和模板图像16的外接矩形区域
118.进而，也可以构成为在默认状态下为(3)，使用者根据需要能够变更为(1)或(2)。