信息处理装置、记录介质及信息处理方法与流程

1.本发明涉及一种信息处理装置、记录介质及信息处理方法。


背景技术：

2.专利文献1中记载有如下内容：按照文档的读取结果，制作包含字符编码、表示产生有读取错误的字符位置的错误信息及文档整体的图像信息的中间文件，根据该中间文件中所包含的错误信息，检测产生有错误的字符所属的字段，从文档整体的图像信息剪切该字段的图像，显示由需修正的字段的字符读取结果及该字段的图像构成的错误修正用画面。
3.专利文献1：日本特开2000-105796号公报


技术实现要素：

4.本发明目的在于确定与修正后的字符串对应的图像的位置。
5.本发明的方案1所涉及的信息处理装置具有处理器，所述处理器进行如下处理：获取包含图像中所包含的字符串及该图像中的该字符串的位置信息的字符识别结果；显示所述字符识别结果中所包含的所述字符串；当所显示的所述字符串得到修正时，确定与所述字符识别结果中所包含的各字符串建立对应关联的所述位置信息中与修正后的所述字符串对应的位置信息。
6.本发明的方案2所涉及的信息处理装置在方案1所述的结构中，所述处理器进行如下处理：显示与所述字符识别结果中所包含的第1字符串对应的第2字符串；当所述第2字符串得到修正时，确定与所述字符识别结果中所包含的各字符串建立对应关联的位置信息中与修正后的所述第2字符串对应的位置信息。
7.本发明的方案3所涉及的信息处理装置在方案2所述的结构中，所述处理器进行如下处理：当所述第1字符串得到修正时，确定与所述字符识别结果中所包含的各字符串建立对应关联的位置信息组中与修正后的第1字符串对应的位置信息。
8.本发明的方案4所涉及的信息处理装置在方案1至3中任一项所述的结构中，所述处理器进行如下处理：获取表示图像的图像数据；显示所获取的所述图像数据所表示的图像中所确定的所述位置信息所表示的位置的图像。
9.本发明的方案5所涉及的信息处理装置在方案4所述的结构中，所述处理器进行如下处理：显示所获取的所述图像数据所表示的图像中包含修正后的字符串的图像。
10.本发明的方案6所涉及的信息处理装置在方案1至5中任一项所述的结构中，所述处理器进行如下处理：当字符串得到修正时，且修正后的该字符串的一部分与所述字符识别结果中所包含的各字符串一致时，确定包含一致的一部分字符串的字符串的位置信息。
11.本发明的方案7所涉及的信息处理装置在方案1至6中任一项所述的结构中，所述处理器进行如下处理：当字符串得到修正时，在确定有复数个与所述字符识别结果中所包含的各字符串建立对应关联的位置信息组中与修正后的字符串对应的位置信息的情况下，
显示该复数个位置信息所表示的位置的复数个图像；将从该复数个图像选择的图像显示为与得到修正的字符串对应的图像。
12.本发明的方案8所涉及的信息处理装置在方案1至7中任一项所述的结构中，所述处理器进行如下处理：当字符串得到修正时，在确定有复数个与所述字符识别结果中所包含的各字符串建立对应关联的位置信息组中与修正后的字符串对应的位置信息的情况下，确定关于各位置信息所表示的位置的复数个图像的优先度；根据所确定的所述优先度，将从该复数个图像选择的图像显示为与得到修正的字符串对应的图像。
13.本发明的方案9所涉及的信息处理装置在方案8所述的结构中，所述处理器使用用于确定所述优先度的复数个规则中的任一个。
14.本发明的方案10所涉及的信息处理装置在方案9所述的结构中，所述处理器使用所述复数个规则中与修正后的字符串相对应的规则。
15.本发明的方案11所涉及的信息处理装置在方案9所述的结构中，所述处理器使用所述复数个规则中与所述图像数据的属性相对应的规则。
16.本发明的方案12所涉及的信息处理装置在方案1至11中任一项所述的结构中，所述处理器进行如下处理：当字符串得到修正时，显示用于接收是否将与得到修正的字符串对应的图像设为字符识别对象的画面。
17.本发明的方案13所涉及的信息处理装置在方案12所述的结构中，所述处理器进行如下处理：显示用于指定在所述图像中成为字符识别对象的位置的画面。
18.本发明的方案14所涉及的记录介质记录有使计算机执行如下步骤的程序：
19.获取包含图像中所包含的字符串及该图像中的该字符串的位置的字符识别结果的步骤；
20.显示所述字符识别结果中所包含的字符串的步骤；及
21.当字符串得到修正时，确定与所述字符识别结果中所包含的各字符串建立对应关联的位置信息组中与修正后的字符串对应的位置信息的步骤。
22.本发明的方案15所涉及的信息处理方法包括如下步骤：
23.获取包含图像中所包含的字符串及该图像中的该字符串的位置的字符识别结果的步骤；
24.显示所述字符识别结果中所包含的字符串的步骤；及
25.当字符串得到修正时，确定与所述字符识别结果中所包含的各字符串建立对应关联的位置信息组中与修正后的字符串对应的位置信息的步骤。
26.发明效果
27.根据本发明的第1，14，15方案，能够确定与修正后的字符串对应的图像的位置。
28.根据本发明的第2方案所涉及的信息处理装置，当与字符识别结果中所包含的第1字符串对应的第2字符串得到修正时，能够确定与修正后的第2字符串对应的图像的位置。
29.根据本发明的第3方案所涉及的信息处理装置，当字符识别结果中所包含的第1字符串得到修正时，能够确定与修正后的第1字符串对应的图像的位置。
30.根据本发明的第4方案所涉及的信息处理装置，能够显示所确定的所述位置信息所表示的位置的图像。
31.根据本发明的第5方案所涉及的信息处理装置，能够显示包含修正后的字符串的
图像。
32.根据本发明的第6方案所涉及的信息处理装置，能够确定包含与修正后的该字符串的一部分一致的字符串的字符串的位置信息。
33.根据本发明的第7方案所涉及的信息处理装置，在确定有复数个与修正后的字符串对应的位置信息的情况下，能够显示复数个位置信息所表示的位置的复数个图像中的任一个。
34.根据本发明的第8方案所涉及的信息处理装置，在确定有复数个与修正后的字符串对应的位置信息的情况下，根据优先度，能够显示复数个位置信息所表示的位置的复数个图像中的任一个。
35.根据本发明的第9方案所涉及的信息处理装置，按照复数个规则中的任一个，能够确定优先度。
36.根据本发明的第10方案所涉及的信息处理装置，在复数个规则中，能够根据与得到修正的字符串相对应的规则确定优先度。
37.根据本发明的第11方案所涉及的信息处理装置，在复数个规则中，能够根据与图像数据的属性相对应的规则确定优先度。
38.根据本发明的第12方案所涉及的信息处理装置，当字符串得到修正时，能够指定是否将与得到修正的字符串对应的图像设为字符识别对象。
39.根据本发明的第13方案所涉及的信息处理装置，能够指定在图像中成为字符识别对象的位置。
附图说明
40.根据以下附图，对本发明的实施方式进行详细叙述。
41.图1是例示本发明的一实施方式所涉及的信息处理系统的结构的框图；
42.图2是例示本实施方式所涉及的文档图像数据管理装置的硬件结构的框图；
43.图3是例示本实施方式所涉及的用户终端的硬件结构的框图；
44.图4是例示文档的图；
45.图5是例示存储于文档图像数据管理装置的字符识别结果的图；
46.图6是例示存储于文档图像数据管理装置的提取表的图；
47.图7是例示存储于文档图像数据管理装置的提取结果的图；
48.图8是表示文档图像数据管理装置的动作的流程图；
49.图9是例示显示于用户终端的修正用ui画面的图；
50.图10是表示存储于文档图像数据管理装置的提取结果的修正例的图；
51.图11是例示显示于用户终端的修正用ui画面的图；
52.图12是例示存储于文档图像数据管理装置的提取结果的修正例的图；
53.图13是例示显示于用户终端的修正用ui画面的图。
54.符号说明
55.1-文档图像数据管理装置，11-处理器，12-内存，13-存储器，14-通信if，2-用户终端，21-处理器，22-内存，23-存储器，24-通信if，25-ui部，100-信息处理系统。
具体实施方式
56.[1]结构
[0057]
图1是例示本实施方式所涉及的信息处理系统100的结构的框图。信息处理系统100具备文档图像数据管理装置1及用户终端2。文档图像数据管理装置1及用户终端2均为计算机装置，且通过包含无线通信线路或有线通信线路的通信线路3连接。文档图像数据管理装置1为本发明中的信息处理装置的一例。
[0058]
图2是例示文档图像数据管理装置1的硬件结构的图。处理器11为控制文档图像数据管理装置1的其他要件的处理器。内存12为作为处理器11用于执行程序的工作区而发挥功能的存储装置，例如包含ram(random access memory：随机存取存储器)。存储器13为存储各种程序及数据的存储装置，例如包含ssd(solid state drive：固态驱动器)或hdd(hard disk drive：硬盘驱动器)。通过处理器11执行存储于内存12或存储器13的程序，在文档图像数据管理装置1中实现各种功能。通信if(interface：接口)14按照预先设定的无线或有线通信标准经由通信线路3与其他装置进行通信。
[0059]
图3是例示用户终端2的硬件结构的图。处理器21为控制用户终端2的其他要件的处理器。内存22为作为处理器21用于执行程序的工作区而发挥功能的存储装置，例如包含ram。存储器23为存储各种程序及数据的存储装置，例如包含ssd或hdd。通过处理器21执行存储于内存22或存储器23的程序，在用户终端2中实现各种功能。通信if24按照预先设定的无线或有线通信标准，与其他装置进行通信。ui(user interface：用户界面)部25例如具备显示器等显示装置及各种键等操作装置，并且显示对用户的ui画面，或接收用户的操作。
[0060]
在信息处理系统100中，若用户通过未图示的扫描仪装置读取文档，则通过扫描仪装置生成表示其读取结果的文档图像数据，且存储于文档图像数据管理装置1。用户操作用户终端2而能够阅览存储于文档图像数据管理装置1的各种文档图像数据，或对这些文档图像数据赋予任意的字符串，该字符串例如为被称为标签或元数据的信息。
[0061]
图4是例示本实施方式中的文档的图。在该例子中，示出了在相当于申请书的文档中包含相当于“申请书”“申请日期”“编号
”……
等的字符串t1～t7的情况。
[0062]
文档图像数据管理装置1的处理器11对表示文档的文档图像数据进行ocr(optical character recognition/reader：光学字符识别)等字符识别处理。由此，处理器11获取包含文档图像数据中所包含的字符串及该文档图像数据中的字符串的位置的字符识别结果。字符识别结果存储于文档图像数据管理装置1的存储器13。图5是例示存储于文档图像数据管理装置1的存储器13的字符识别结果的图。图5例示了对图4所例示的文档进行了字符识别处理的结果。如图5所示，将经过字符识别处理识别出的字符串组与表示各字符串在文档中的位置的位置信息组建立对应关联并存储。与各字符串对应的各位置信息例如根据针对文档设定的xy直角坐标轴(参考图4)，以包含该字符串的矩形(例如与字符串外切的外切矩形)中的任一个顶点的xy坐标值(x，y)、该矩形的x轴方向上的长度(width：宽度)及该矩形的y轴方向上的长度(height：高度)来表现。例如，在图4中，“申请书”这一字符串t1的位置信息如图5所例示为“p01”，“发行日期”这一字符串t2的位置信息如图5所例示为“p02”，“issue date”这一字符串t3的位置信息如图5所例示为“p03”，“2018年10月1日”这一字符串t4的位置信息如图5所例示为“p04”。
[0063]
文档图像数据管理装置1的处理器11从识别出的字符串组提取被称为键及值的字
符串，并且从上述文档图像数据提取相当于被称为值的字符串的图像数据。在此，键例如表示从文档的标题、该文档的发行日期及该文档所固有的编号等各文档中所包含的字符串组中预先确定的字符串的属性。相对于此，值为在各文档中相当于键的字符串其本身，键及值是成对的概念。例如，在相当于申请书的文档中，与键“标题”对应的值为“申请书”这一字符串，与键“发行日期”对应的值为“yyyy年mm月dd日”(y、m、d为任意的数字)这一字符串，与键“编号”对应的值为“xxxxxxxxx”(x为任意的字符、记号或数字)这一字符串。另外，本实施方式中的相当于键的字符串为本发明中的第1字符串的一例，本实施方式中的相当于值的字符串为本发明中的第2字符串的一例。
[0064]
文档图像数据管理装置1的处理器11存储有描述了用于从文档图像数据提取键及值的规则的提取表。图6是例示存储于文档图像数据管理装置1的存储器13的提取表的图。在该提取表中，在文档中可能会成为各键的字符串组与成为与各键对应的值的字符串的位置信息建立对应关联。在该提取表中，例如，与“标题”这一键对应的值定义为在文档中位于“最上段”的位置。并且，与“发行日期”这一键对应的值定义为在文档中位于该“键的右边”的位置。并且，与“编号”这一键对应的值定义为在文档中位于该“键的右边”的位置。另外，在图6中，将成为与各键对应的值的字符串的位置信息以“最上段”或“右边”来表现，但实际上，例如使用针对文档设定的xy直角坐标系中的坐标值来表现。例如，最上段的位置例如表示在针对文档设定的xy直角坐标轴中y坐标值最大的字符串的位置信息。并且，键的右边的位置例如表示在针对文档设定的xy直角坐标轴中，相对于键，x坐标值第2大的字符串的位置信息。
[0065]
文档图像数据管理装置1的处理器11按照该提取表，从识别出的字符串组提取被称为键及值的字符串，并且从上述文档图像数据提取相当于被称为值的字符串的图像数据。图7是例示存储于文档图像数据管理装置1的存储器13的提取结果的图。图7例示了对图4所例示的文档按照图6所例示的提取表进行提取的结果。如图7所示，提取有与键“标题”对应的值“申请书”这一字符串，而且，提取有相当于该值“申请书”的图像数据的位置信息“p01”。并且，提取有与键“发行日期”对应的值“issue date”这一字符串，而且，提取有相当于该值“issue date”的图像数据的位置信息“p03”。并且，提取有与键“编号”对应的值“invoice number”这一字符串，而且，提取有相当于该值“invoice number”的图像数据的位置信息“p06”。在此，提取相当于值的图像数据的位置信息相当于提取该图像数据。
[0066]
然而，在图7中，作为与键“发行日期”对应的值提取有“issue date”这一字符串，但这只是“发行日期”这一单词的英译，该值为与键“发行日期”对应的值即“yyyy年mm月dd日”(y、m、d为任意的数字)这一字符串，即，在此应为“2018年10月1日”。同样地，作为与键“编号”对应的值提取有“invoice number”这一字符串，这只是“编号”这一单词的英译，该值应为“li-k12554”。这种错误是因为，例如可想到如与键“发行日期”对应的值位于该键的右边的情况，并且如图4的例子那样与键“发行日期”对应的值隔着该键的英译位于右边的情况等，在各种文档中布局不同的事例。
[0067]
在这种情况下，用户操作用户终端2，能够修正这些提取结果。以下，对与该修正相关的动作进行说明。
[0068]
[2]动作
[0069]
参考图8所示的流程图对文档图像数据管理装置1的动作进行说明。在图8中，文档
图像数据管理装置1的处理器11在用户终端2中显示用户用于修正上述提取结果的修正用ui画面(步骤s0)。图9是例示修正用ui画面的图。图9所示的修正用ui画面g1例如为按照图7的内容显示有字符识别结果中所包含的相当于键的字符串、相当于值的字符串及文档图像数据所表示的图像中与相当于值的字符串对应的图像的ui画面。并且，图9所示的修正用ui画面g2为显示有图4所例示的文档图像数据所表示的文档图像整体的ui画面。这些修正用ui画面g1、g2例如两者排列显示于一个画面上，以便用户能够同时阅览。
[0070]
在此，如前述，作为与键“发行日期”对应的值显示有“issue date”这一字符串，而且显示有其图像，但该值原本应为“2018年10月1日”。因此，用户进行将作为与键“发行日期”对应的值来显示的“issue date”修正为“2018年10月1日”的操作。该修正操作例如可以是用户在修正用ui画面g1中作为与键“发行日期”对应的值直接输入“2018年10月1日”这一字符串的操作，也可以是用户将在修正用ui画面g2中显示的“2018年10月1日”这一字符串指定为与键“发行日期”对应的值的操作。
[0071]
若判断为值得到修正(步骤s1；“是”)，则文档图像数据管理装置1的处理器11在图5所例示的字符识别结果中搜索修正后的相当于值即“2018年10月1日”的字符串，并判断存在几个相符的字符串(步骤s2)。在此，当在字符识别结果中不存在修正后的相当于值的字符串时(步骤s2；“无”)，文档图像数据管理装置1的处理器11将规定的错误画面显示于用户终端2等，并结束图8的处理。
[0072]
当在字符识别结果中存在一个修正后的相当于值的字符串时(步骤s2；“一个”)，文档图像数据管理装置1的处理器11根据图5所例示的字符识别结果，确定相当于该字符串的图像的位置信息(步骤s3)。在此，如图5所例示，确定与“2018年10月1日”这一字符串对应的位置信息“p04”。
[0073]
而且，文档图像数据管理装置1的处理器11在图7所例示的数据中，将作为与键“发行日期”对应的修正前的值的字符串“issue date”改写为作为修正后的值的字符串“2018年10月1日”，并且将所对应的位置信息“p03”改写为所确定的位置信息“p04”(步骤s4)。由此，图7所例示的提取结果的内容改写为如图10所例示那样的提取结果。其结果，在修正用ui画面g1中，如图11所例示，显示与键“发行日期”对应的值“2018年10月1日”，而且显示与位置信息“p04”对应的图像(在文档图像中与“2018年10月1日”对应的图像)。
[0074]
若用户以相同的顺序将作为与键“编号”对应的值来显示的“invoice number”修正为“li-k12554”，则如图12所例示，文档图像数据管理装置1的处理器11在图7所例示的数据中，将作为与键“编号”对应的修正前的值的字符串“invoice number”改写为作为修正后的值的字符串“li-k12554”，并且将与其对应的位置信息“p06”改写为位置信息“p07”。其结果，如图13所例示那样的修正用ui画面g1显示于用户终端2。
[0075]
并且，当在字符识别结果中存在复数个修正后的相当于值的字符串时(步骤s2；“复数个”)，文档图像数据管理装置1的处理器11根据某一优先顺序，在图5所例示的字符识别结果中选择其优先顺序最高的字符串(步骤s5)。
[0076]
具体而言，文档图像数据管理装置1的处理器11按照图6的例示，将相当于值的复数个字符串各自的位置信息所表示的位置的复数个图像显示于用户终端2的修正用ui画面g2，将用户通过操作用户终端2从这些复数个图像中选择的图像作为与得到修正的字符串对应的图像显示于用户终端2。在进行该修正之后，如前述，字符串的提取结果得到改写，并
显示与其改写结果相对应的修正用ui画面g1。
[0077]
根据以上说明的本实施方式，能够确定文档中所包含的字符串组中与得到修正的字符串对应的图像的位置。而且，根据本实施方式，能够显示位于所确定的位置上的图像。
[0078]
[3]变形例
[0079]
上述实施方式只是实施本发明的一例，可以以如下方式进行变形。并且，上述实施方式及以下所示的各变形例可以根据需要组合实施。
[0080]
(1)在上述实施方式中，文档图像数据管理装置1的处理器11将与从字符识别结果检测出的相当于键的字符串(第1字符串)对应的相当于值的字符串(第2字符串)显示于用户终端2，当相当于值的字符串(第2字符串)得到修正时，确定与字符识别结果中所包含的各字符串建立对应关联的位置信息组中与修正后的相当于值的字符串(第2字符串)对应的位置信息，但也可以使用户能够修正相当于键的字符串(第1字符串)。在该情况下，当第1字符串得到修正时，处理器11也可以确定与字符识别结果中所包含的各字符串建立对应关联的位置信息组中与修正后的第1字符串对应的位置信息，并且将位于所确定的位置上的图像显示于用户终端2。
[0081]
(2)在上述实施方式中，当相当于值的字符串得到修正时，且修正后的字符串与字符识别结果中所包含的字符串一致时，文档图像数据管理装置1的处理器11确定一致的字符串的位置信息，并且将位于所确定的位置上的图像显示于用户终端2。关于该处理，当相当于值的字符串得到修正时，且修正后的字符串的一部分与字符识别结果中所包含的各字符串一致时，处理器11确定包含一致的一部分字符串的字符串的位置信息，并且将位于所确定的位置上的图像显示于用户终端2。即，修正后的字符串与字符识别结果中所包含的字符串可以局部性地一致。
[0082]
(3)在上述实施方式中，当相当于值的字符串得到修正时，且确定有复数个与字符识别结果中所包含的各字符串建立对应关联的位置信息组中与修正后的字符串对应的位置信息时，文档图像数据管理装置1的处理器11将由用户选择的图像的位置信息用作优先度最高的信息，但并不限定于该优先度的实施方式的例子。
[0083]
并且，处理器11也可以将用于确定上述优先度的复数个规则存储于存储器13，并且使用该复数个规则中的任一个。例如处理器11也可以使用复数个规则中与修正后的字符串相对应的规则。例如，当修正后的字符串为与“标题”对应的相当于值的字符串时，处理器11也可以提高尺寸最大的字符串或某一特定的字体的字符串的优先度。
[0084]
并且，处理器11也可以使用复数个规则中与文档图像数据的属性相对应的规则。例如，在如对文档图像数据赋予表示其种类(属性)的元数据的那样的情况下，关于赋予了某一元数据a的文档图像数据，例如当修正后的字符串为与键“标题”对应的相当于值的字符串时，处理器11可以提高尺寸最大的字符串的优先度，并且，关于赋予了某一元数据b的文档图像数据，例如当修正后的字符串为与键“标题”对应的相当于值的字符串时，处理器11也可以提高某一特定的字体的字符串的优先度。
[0085]
(4)当字符串得到修正时，文档图像数据管理装置1的处理器11也可以将用于接收是否将与修正后的字符串对应的图像设为之后的字符识别对象的ui画面显示于用户终端2。例如，当字符串得到修正时，文档图像数据管理装置1的处理器11也可以将用于指定成为字符识别对象的位置的画面显示于用户终端2。更具体而言，处理器11将用于向用户询问是
否将图6中例示的成为与各键对应的值的字符串的位置信息改写为表示相当于修正后的字符串的图像在文档中的位置的位置信息的画面显示于用户终端2，当存在改写这一用户的回答时，改写为表示相当于修正后的字符串的图像在文档中的位置的位置信息。由此，图6中例示的字符串的位置信息即“最上段”或“右边”得到改写，从而之后用户无需修正字符串。
[0086]
(5)在上述实施方式中，由文档图像数据管理装置1的处理器11或用户终端2的处理器21执行的程序可以经由互联网等通信线路下载。并且，这些程序可以以记录于磁记录介质(磁带、磁盘等)、光记录介质(光盘等)、磁光记录介质、半导体存储器等计算机可读取的记录介质的状态来提供。
[0087]
上述本发明的实施方式是以例示及说明为目的而提供的。另外，本发明的实施方式并不全面详尽地包括本发明，并且并不将本发明限定于所公开的方式。很显然，对本发明所属的领域中的技术人员而言，各种变形及变更是自知之明的。本实施方式是为了最容易理解地说明本发明的原理及其应用而选择并说明的。由此，本技术领域中的其他技术人员能够通过对假定为各种实施方式的特定使用最优化的各种变形例来理解本发明。本发明的范围由以上的权利要求书及其等同物来定义。