获取信息提取模型、提取文档图像的信息的方法及装置与流程

1.本技术实施例涉及图像处理技术领域，特别涉及一种获取信息提取模型、提取文档图像的信息的方法及装置。


背景技术：

2.随着图像处理技术日益成熟，不仅可以应用图像处理技术对各类文档图像进行扫描识别，还可以进一步地提取文档图像中的文字所包含的信息，例如语义信息。
3.相关技术中，常用的提取文档图像的信息的方法是通过获取信息提取模型，基于信息提取模型提取文档图像的信息。例如，基于数量有限的中文文档图像集训练得到信息提取模型，再利用信息提取模型对中文文档图像进行信息提取。
4.在基于中文文档图像集训练得到信息提取模型时，由于中文文档图像集的数量有限，远小于训练需求，最终获取到的信息提取模型准确率低，性能差。


技术实现要素：

5.本技术实施例提供了一种获取信息提取模型、提取文档图像的信息的方法及装置，可用于解决相关技术中的问题。所述技术方案如下：
6.一方面，本技术实施例提供了一种获取信息提取模型的方法，所述方法包括：
7.通过初始信息提取模型从用于训练的第一文档图像中获取位置不同的多个第一文本；
8.获取所述多个第一文本中的各个第一文本的第一特征；
9.基于所述各个第一文本的第一特征获取所述各个第一文本的第二特征，任一第一文本的第二特征用于表征所述任一第一文本的第一特征与其他第一文本的第一特征之间的相关性；
10.基于所述各个第一文本的第二特征对所述初始信息提取模型进行训练，得到信息提取模型。
11.在一种可能的实现方式中，所述初始信息提取模型包括初始特征强化子模型；所述基于所述各个第一文本的第一特征获取所述各个第一文本的第二特征，包括：
12.将所述各个第一文本的第一特征输入至所述初始特征强化子模型，基于所述初始特征强化子模型确定所述各个第一文本的第一特征之间的相关性，得到所述各个第一文本的第二特征。
13.在一种可能的实现方式中，所述基于所述各个第一文本的第二特征对所述初始信息提取模型进行训练，得到信息提取模型，包括：
14.基于所述各个第一文本的第二特征获取所述第一文档图像的信息的损失，得到第一损失；
15.基于所述第一损失对所述初始信息提取模型的参数进行调整，得到信息提取模型。
16.在一种可能的实现方式中，所述初始信息提取模型包括初始命名子模型；所述基于所述各个第一文本的第二特征获取所述第一文档图像的信息的损失，得到第一损失，包括：
17.将所述各个第一文本的第一特征与所述各个第一文本的第二特征合并，基于合并结果得到所述各个第一文本的第三特征；
18.将所述各个第一文本的第三特征输入至所述初始命名子模型，基于所述初始命名子模型获取所述第一文档图像的信息，基于所述第一文档图像的信息获取所述第一文档图像的信息的损失，得到所述第一损失。
19.在一种可能的实现方式中，所述初始信息提取模型包括初始特征提取子模型，所述各个第一文本的第一特征包括文本特征和位置特征；
20.所述获取所述多个第一文本中的各个第一文本的第一特征，包括：
21.将所述第一文本与所述第一文本对应的坐标输入至所述初始特征提取子模型，基于所述初始特征提取子模型对所述第一文本进行特征提取得到所述第一文本的文本特征，基于所述初始特征提取子模型对所述第一文本对应的坐标进行特征提取得到所述第一文本的位置特征。
22.在一种可能的实现方式中，所述初始信息提取模型还包括初始文字识别子模型，所述将所述第一文本与所述第一文本对应的坐标输入至所述初始特征提取子模型之前，还包括：
23.将所述第一文档图像输入至所述初始文字识别子模型，基于所述初始文字识别子模型对所述第一文档图像进行文字识别，基于文字识别结果得到所述第一文档图像的第一文本和所述第一文本对应的坐标。
24.另一方面，提供了一种提取文档图像的信息的方法，所述方法包括：
25.获取待提取信息的第二文档图像与信息提取模型，所述信息提取模型基于第一文档图像按照如上述获取信息提取模型的方法训练得到；
26.将所述第二文档图像输入至所述信息提取模型，通过所述信息提取模型输出所述第二文档图像的信息。
27.在一种可能的实现方式中，所述信息提取模型包括目标文字识别子模型、目标特征提取子模型、目标特征强化子模型和目标命名子模型；
28.所述将所述第二文档图像输入至所述信息提取模型，通过所述信息提取模型输出所述第二文档图像的信息，包括：
29.将所述第二文档图像输入至所述目标文字识别子模型，通过所述目标文字识别子模型从所述第二文档图像中获取位置不同的多个第二文本；
30.通过所述目标特征提取子模型获取所述多个第二文本中的各个第二文本的第四特征；
31.通过所述目标特征强化子模型基于所述各个第二文本的第四特征获取所述各个第二文本的第五特征，任一第二文本的第五特征用于表征所述任一第二文本的第四特征与其他第二文本的第四特征之间的相关性；
32.通过所述目标命名子模型基于所述各个第二文本的第四特征与所述各个第二文本的第五特征输出所述第二文档图像的信息。
33.另一方面，提供了一种获取信息提取模型的装置，所述装置包括：
34.获取模块，用于通过初始信息提取模型从用于训练的第一文档图像中获取位置不同的多个第一文本；
35.所述获取模块，还用于获取所述多个第一文本中的各个第一文本的第一特征；
36.所述获取模块，还用于基于所述各个第一文本的第一特征获取所述各个第一文本的第二特征，任一第一文本的第二特征用于表征所述任一第一文本的第一特征与其他第一文本的第一特征之间的相关性；
37.训练模块，用于基于所述各个第一文本的第二特征对所述初始信息提取模型进行训练，得到信息提取模型。
38.在一种可能的实现方式中，所述初始信息提取模型包括初始特征强化子模型；所述获取模型，用于将所述各个第一文本的第一特征输入至所述初始特征强化子模型，基于所述初始特征强化子模型确定所述各个第一文本的第一特征之间的相关性，得到所述各个第一文本的第二特征。
39.在一种可能的实现方式中，所述训练模块，用于基于所述各个第一文本的第二特征获取所述第一文档图像的信息的损失，得到第一损失；基于所述第一损失对所述初始信息提取模型的参数进行调整，得到信息提取模型。
40.在一种可能的实现方式中，所述初始信息提取模型包括初始命名子模型；所述训练模块，用于将所述各个第一文本的第一特征与所述各个第一文本的第二特征合并，基于合并结果得到所述各个第一文本的第三特征；将所述各个第一文本的第三特征输入至所述初始命名子模型，基于所述初始命名子模型获取所述第一文档图像的信息，基于所述第一文档图像的信息获取所述第一文档图像的信息的损失，得到所述第一损失。
41.在一种可能的实现方式中，所述初始信息提取模型包括初始特征提取子模型，所述各个第一文本的第一特征包括文本特征和位置特征；所述获取模块，用于将所述第一文本与所述第一文本对应的坐标输入至所述初始特征提取子模型，基于所述初始特征提取子模型对所述第一文本进行特征提取得到所述第一文本的文本特征，基于所述初始特征提取子模型对所述第一文本对应的坐标进行特征提取得到所述第一文本的位置特征。
42.在一种可能的实现方式中，所述初始信息提取模型还包括初始文字识别子模型，所述获取模块，还用于将所述第一文档图像输入至所述初始文字识别子模型，基于所述初始文字识别子模型对所述第一文档图像进行文字识别，基于文字识别结果得到所述第一文档图像的第一文本和所述第一文本对应的坐标。
43.另一方面，提供了一种提取文档图像的信息的装置，所述装置包括：
44.获取模块，用于获取待提取信息的第二文档图像与信息提取模型，所述信息提取模型基于第一文档图像按照如上述获取信息提取模型的装置训练得到；
45.交互模块，用于将所述第二文档图像输入至所述信息提取模型，通过所述信息提取模型输出所述第二文档图像的信息。
46.在一种可能的实现方式中，所述信息提取模型包括目标文字识别子模型、目标特征提取子模型、目标特征强化子模型和目标命名子模型；所述交互模块，用于将所述第二文档图像输入至所述目标文字识别子模型，通过所述目标文字识别子模型从所述第二文档图像中获取位置不同的多个第二文本；通过所述目标特征提取子模型获取所述多个第二文本
中的各个第二文本的第四特征；通过所述目标特征强化子模型基于所述各个第二文本的第四特征获取所述各个第二文本的第五特征，任一第二文本的第五特征用于表征所述任一第二文本的第四特征与其他第二文本的第四特征之间的相关性；通过所述目标命名子模型基于所述各个第二文本的第四特征与所述各个第二文本的第五特征输出所述第二文档图像的信息。
47.另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现上述任一所述的获取信息提取模型的方法，或者实现上述任一所述的提取文档图像的信息的方法。
48.另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一所述的获取信息提取模型的方法，或者实现上述任一所述的提取文档图像的信息的方法。
49.另一方面，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述任一所述的获取信息提取模型的方法，或者实现上述任一所述的提取文档图像的信息的方法。
50.本技术实施例提供的技术方案至少带来如下有益效果：
51.由于第二特征可以表征各个第一文本的第一特征之间的相关性，在基于第二特征训练初始信息提取模型时，用小批量的第二特征即可满足训练要求，最终基于第二特征训练获取的信息提取模型性能好，基于性能好的信息提取模型提取文档图像信息时，提取得到的文档图像的信息的准确率更高。
附图说明
52.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1是本技术实施例提供的一种实施环境的示意图；
54.图2是本技术实施例提供的一种获取信息提取模型的方法流程图；
55.图3是本技术实施例提供的一种获取信息提取模型的流程图；
56.图4是本技术实施例提供的一种提取文档图像的信息的方法流程图；
57.图5是本技术实施例提供的一种获取信息提取模型的装置示意图；
58.图6是本技术实施例提供的一种提取文档图像的信息的装置示意图；
59.图7是本技术实施例提供的一种服务器的结构示意图；
60.图8是本技术实施例提供的一种网络设备的结构示意图。
具体实施方式
61.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
62.本技术实施例提供了一种获取信息提取模型、提取文档图像的信息的方法，请参考图1，其示出了本技术实施例提供的方法实施环境的示意图。该实施环境可以包括：终端11和服务器12。
63.其中，终端11和服务器12可以独立实现本技术实施例提供的获取信息提取模型、提取文档图像的信息的方法。终端11和服务器12还可以通过交互实现本技术实施例提供的获取信息提取模型、提取文档图像的信息的方法。例如，终端11获取第一文档图像，将获取到的第一文档图像发送至服务器12，服务器12可应用本技术实施例提供的方法获取信息提取模型。终端11获取第二文档图像，将获取到的第二文档图像发送至服务器12，服务器12可应用本技术实施例提供的方法提取第二文档图像的信息。或者，服务器12应用本技术实施例提供的方法获取信息提取模型后，将该信息提取模型发送给终端11，终端11获取第二文档图像，应用本技术实施例提供的方法提取第二文档图像的信息。
64.可选地，终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如pc(personal computer，个人计算机)、手机、智能手机、pda(personal digital assistant，个人数字助手)、可穿戴设备、ppc(pocket pc，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱等。服务器12可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。
65.本领域技术人员应能理解上述终端11和服务器12仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本技术，也应包含在本技术保护范围以内，并在此以引用方式包含于此。
66.基于上述图1所示的实施环境，本技术实施例提供一种获取信息提取模型的方法，该方法流程可如图2所示，该获取信息提取模型的方法可由终端或服务器执行，以该方法应用于终端为例，该方法包括步骤201-步骤204。
67.在步骤201中，通过初始信息提取模型从用于训练的第一文档图像中获取位置不同的多个第一文本。
68.在一种可能的实现方式中，在通过初始信息提取模型从用于训练的第一文档图像中获取位置不同的多个第一文本之前，还需要获取用于训练的第一文档图像。本技术实施例不对获取用于训练的第一文档图像的方式进行限定，可选地，基于业务渠道获取文档图像，将获取的文档图像作为第一文档图像。其中，业务渠道是指基于业务所拥有登录非开放平台的权利。例如，基于业务登录企业开发平台获取用于开发的数据，如第一文档图像。
69.可选地，通过图像采集装置采集文档图像，将采集得到的文档图像作为第一文档图像。
70.需要说明的是，除了获取第一文档图像，还需要获取初始信息提取模型。其中，初始信息提取模型用以提取第一文档图像的信息，可选地，初始信息提取模型包括初始文字识别子模型、初始特征提取子模型、初始特征强化子模型和初始命名子模型。
71.响应于初始信息提取模型包括初始文字识别子模型的情况，通过初始信息提取模
型获取位置不同的多个第一文本的方式，包括但不限于：将第一文档图像输入至初始文字识别子模型，基于初始文字识别子模型对第一文档图像进行文字识别，基于文字识别结果得到第一文档图像的第一文本和第一文本对应的坐标。
72.关于基于初始文字识别子模型得到第一文档图像的第一文本和第一文本对应的坐标，可选地，初始文字识别子模型执行ocr(optical character recognition，光学字符识别)流程对第一文档图像进行检测与识别。对第一文档图像中存在文字的区域进行定位，通过检测确定该区域的文本行与边界框，从而得到各个第一文本的文本位置(各个第一文本对应的坐标)，通过识别得到第一文档图像中的多个第一文本。
73.需要说明的是，初始文字识别子模型可以是一个用于执行ocr流程的网络模型，也可以是由多个网络模型为执行ocr流程组合得到的模型，还可以是其他能用于获取第一文档图像的多个第一文本与多个第一文本中的各个第一文本对应的坐标的网络模型，本技术实施例对此不进行限定。
74.在一种可能的实现方式中，初始文字识别子模型在对第一文档图像文字识别之前，还会对第一文档图像进行预处理。关于预处理，示例性地，对第一文档图像进行角度矫正和去噪。通过预处理，提高对第一文档图像文字识别的精确度。
75.在步骤202中，获取多个第一文本中的各个第一文本的第一特征。
76.响应于步骤201中示出的初始信息提取模型包括初始特征提取子模型，获取多个第一文本中的各个第一文本的第一特征包括如下三种情况：
77.情况一、第一特征包括文本特征和位置特征的情况。
78.获取多个第一文本中的各个第一文本的第一特征，包括：将第一文本与第一文本对应的坐标输入至初始特征提取子模型，基于初始特征提取子模型对第一文本进行特征提取得到第一文本的文本特征，基于初始特征提取子模型对第一文本对应的坐标进行特征提取得到第一文本对应的位置特征。
79.在基于初始文字识别子模型得到第一文档图像的多个第一文本和多个第一文本对应的坐标后，可基于初始特征提取子模型提取多个第一文本中的各个第一文本的第一特征。关于初始特征提取子模型，可选地，初始特征提取子模型包括文本特征提取模块与位置特征提取模块。
80.本技术实施例不对初始特征提取子模型的各个模块进行限定，示例性地，将bert(bidirectional encoder representation from transformers，基于转换器的双向编码表征)模型作为文本特征提取模块；将soft embedding(一种弱监督网络)模型作为位置特征提取模块。
81.响应于上述实施例示出的初始特征提取子模型，基于初始特征提取子模型提取第一文本的第一特征包括：将多个第一文本输入至bert模型，基于bert模型对多个第一文本进行特征提取得到多个第一文本中的各个第一文本的文本特征；将多个第一文本中的各个第一文本对应的坐标输入至soft embedding模型，基于soft embedding模型对多个第一文本对应的坐标进行特征提取得到多个第一文本中的各个第一文本的位置特征。
82.其中，基于bert模型可以输出结构为句子的文本特征。通过将文本特征的结构由字符扩展到句子，方便与位置特征对齐使用。将文本特征与位置特征对齐使用，使得后续在基于初始命名子模型对各个第一文本命名时，初始命名子模型会自适应的判断各个第一文
本的坐标对各个第一文本命名的影响。此外，由于与位置特征对齐的文本特征的结构为句子，位置特征的结构也对应从字符扩展到句子，结构为句子的位置特征的获取要易于结构为字符的位置特征，降低了获取位置特征的难度与成本。
83.情况二、第一特征包括文本特征与其他特征。
84.在一种可能的实现方式中，其他特征为位置特征与图像特征。响应于第一特征包括文本特征、位置特征与图像特征的情况，用于获取多个第一文本中的各个第一文本的第一特征的初始特征提取子模型除了情况一中示出的两种模块，还包括图像特征提取模块。关于图像特征提取模块，可选地，将cnn(convolutional neural networks，卷积神经网络)模型作为图像特征提取模块。
85.针对第一特征包括文本特征、位置特征与图像特征，基于初始特征提取子模型获取第一特征的过程除了情况一中示出的步骤，还包括将第一文档图像输入至cnn模型，基于cnn模型输出多个第一文本中的各个第一文本的图像特征。关于图像特征，可以是各个第一文本的视觉特征。其中，视觉特征例如是各个第一文本的字体、文字颜色等。
86.情况三、第一特征包括文本特征。
87.针对第一特征包括文本特征的情况，获取多个第一文本中的各个第一文本的第一特征与上述情况一中示出的获取包括文本特征和位置特征的第一特征的原理一致，在此不再多加赘述。
88.需要说明的是，上述举例旨在说明第一特征可以包括一个特征也可以包括多个特征，而非限定第一特征。第一特征可以是上述实施例示出的三种情况，也可以包括其他特征，本技术实施例对此不进行限定。
89.在步骤203中，基于各个第一文本的第一特征获取各个第一文本的第二特征，任一第一文本的第二特征用于表征任一第一文本的第一特征与其他第一文本的第一特征之间的相关性。
90.可选地，以步骤201中示出的初始信息提取模型为例，针对初始信息提取模型包括初始特征强化子模型的情况，基于各个第一文本的第一特征获取各个第一文本的第二特征，包括：将各个第一文本第一特征输入至初始特征强化子模型，基于初始特征强化子模型确定各个第一文本的第一特征之间的相关性，得到各个第一文本的第二特征。
91.在一种可能的实现方式中，初始特征强化子模型为glcn(semi-supervised learning with graph learning-convolutional networks，图学习卷积神经网络的半监督学习)网络模型。
92.示例性地，响应于步骤202情况二中示出的第一特征包括文本特征、位置特征和图像特征的情况，可将第一文本中的文本特征、位置特征和图像特征合并，基于合并结果得到第一文本的中间特征。再将各个第一文本的中间特征输入至glcn网络模型，得到各个第一文本的第二特征。
93.关于将第一文本的文本特征、位置特征和图像特征合并的方式，示例性地，调整文本特征、位置特征与图像特征至同一维度，合并同一维度上的文本特征、位置特征与图像特征得到中间特征。
94.通过将各个第一文本的中间特征输入至glcn网络模型，确定距离较近的第一文本的中间特征之间的相关性。
95.可选地，距离较近可以是在语义上具有相关性。本技术实施例不对确定语义上具有相关性的方式进行限定，在一种可能的实现方式中，语义上具有相关性是可基于类型确定。例如，多个第一文本中包括文本一与文本二，文本一为医院名称，文本二为患者名称，文本一与文本二的类型均为名称，则文本一与文本二在语义上具有相关性，文本一与文本二距离较近。
96.可选地，距离较近也可以是指在第一文档图像上的位置具有相关性。本技术实施例不对确定位置上具有相关性的方式进行限定，在一种可能的实现方式中，位置上具有相关性可基于文本之间的直线距离确定。例如，多个第一文本中包括文本一与文本二，文本一与文本二的直线距离未超过阈值，则文本一与文本二在位置上具有相关性，文本一与文本二距离较近。可选地，阈值为第一文档图像的宽的二分之一。
97.可选地，距离较近还可以是指在视觉上具有相关性。本技术实施例不对确定视觉上具有相关性的方式进行限定，在一种可能的实现方式中，视觉上具有相关性可基于直方图确定。例如，多个第一文本中包括文本一与文本二，文本一为黑色黑体字，文本二为黑色宋体字，文本一与文本二均为黑色，文本一与文本二的直方图匹配成功，则文本一与文本二在视觉上具有相关性，文本一与文本二距离较近。
98.通过确定距离较近的第一文本之间的中间特征(合并后的第一特征)的相关性，得到用于表征该相关性的第二特征。
99.示例性地，响应于步骤202情况一中示出的第一特征包括文本特征与位置特征的情况，可将第一文本中的文本特征和位置特征合并，基于合并结果得到第一文本的中间特征。再将各个第一文本的中间特征输入至glcn网络模型，得到各个第一文本的第二特征。关于合并文本特征与位置特征的方式与上述实施例中示出的一致，在此不再多加赘述。
100.示例性地，响应于步骤202情况三中示出的第一特征包括文本特征的情况，可将文本特征输入至glcn网络模型，得到各个第一文本的第二特征。
101.在步骤204中，基于各个第一文本的第二特征对初始信息提取模型进行训练，得到信息提取模型。
102.关于基于各个第一文本的第二特征对初始信息提取模型进行训练，得到信息提取模型的方式，可选地，基于各个第一文本的第二特征获取第一文档图像的信息的损失，得到第一损失；基于第一损失对初始信息提取模型的参数进行调整，得到信息提取模型。
103.在一种可能的实现方式中，以步骤201中示出的初始信息提取模型为例，针对初始信息提取模型包括初始命名子模型的情况，基于第二特征获取第一损失的过程为：将各个第一文本的第一特征与各个第一文本的第二特征合并，基于合并结果得到各个第一文本的第三特征；将各个第一文本的第三特征输入至初始命名子模型，基于初始命名子模型获取第一文档图像的信息，基于第一文档图像的信息获取第一文档图像的信息的损失，得到第一损失。
104.可选地，响应于步骤203中示出的在获取第二特征之前，会合并第一文本的第一特征得到第一文本的中间特征的情况，可通过将第一文本的第二特征与其对应的中间特征合并，实现对第一文本的第一特征与第一文本的第二特征的合并。其中，对应是指该第二特征与该中间特征属于同一个第一文本。通过合并第一文本的第一特征与第一文本的第二特征，解决了特征强化子模型在获取各个第一文本的第二特征时出现过拟合的情况。
105.在获取各个第一文本的第三特征后，可将各个第一文本的第三特征输入至初始命名子模型。关于初始命名子模型，示例性地，由bi-lstm(bi-directional long short-term memory，双向长短期记忆网络)层与crf(conditional random fields，条件随机场)层组成。其中，bi-lstm层用于基于上下文的信息输出各个第一文本至各个标签的发射概率，crf层用于基于各个第一文本至各个标签的发射概率输出各个第一文本对应的概率最大的标签，得到最终的命名结果。其中，发射概率是指第一文本被预测为某个标签的概率。
106.需要说明的是，bi-lstm-crf在计算各个第一文本对应的概率最大的标签，所考虑的不仅是各个第三特征之间的相关性，还会考虑第三特征所包括的其他特征之间的相关性，例如位置特征与图像特征。
107.关于在计算概率时考虑位置特征与图像特征，示例性地，基于多次实验得到的经验，标签为“医院”的文本，其图像特征为黑色黑体字，位置特征为位于其他文本的最上方，多个第一文本中包括文本一，当文本一的图像特征为黑色黑体字，位置特征为位于其他文本的最上方时，bi-lstm-crf在计算文本一的对应的标签的概率时，会基于其图像特征与位置特征提高对应标签为“医院”的概率。
108.在一种可能的实现方式中，基于bi-lstm层输出的发射概率为logits(未归一化的概率)，由于发射概率没有经过归一化处理，发射概率的值域没有上下限，便于后续的处理。
109.在基于bi-lstm层输出各个第一文本至每个标签的发射概率后，可基于crf层输出各个第一文本对应的概率最大的标签，得到最终的命名结果。本技术实施例不对基于crf层得到最终的命名结果的方式进行限定，可选地，基于viterbi(维特比)算法找到各个第一文本所对应的概率最大的标签，概率最大的标签为最终的命名结果，通过输出最终的命名结果，实现对第一文档图像的信息的提取。
110.需要说明的是，crf层除了输出各个第一文本所对应的概率最大的标签，还会输出第一文档图像的信息的损失，即第一损失。在得到第一损失后，可基于第一损失训练初始命名子模型的crf层，调整crf层的参数，由于基于初始信息提取模型进行信息提取的流程是可导的，任意子模型的参数的调整都会影响到整个初始信息提取模型，因此，基于第一损失进行参数调整的除了crf层还有初始信息提取模型的其他子模型。
111.可选地，在基于初始信息提取模型提取第一文档图像的信息的过程中，除了初始命名子模型的crf层会输出第一损失，特征强化子模型在输出第二特征时也会输出在获取相关性时的损失，即第二损失，与上述基于第一损失训练crf层从而影响初始信息提取模型原理相似，也可基于第二损失训练特征强化子模型，基于特征强化子模型的训练实现了对初始信息提取模型的训练。
112.综上所述，本技术实施例提供的获取信息提取模型的方法，由于用于训练初始信息提取模型的第二特征可以表征各个第一文本的第一特征之间的相关性，这些相关性在训练过程中会转化为约束信息，约束信息的增多使得用小批量的第二特征即可满足训练要求，最终获取得到的信息提取模型的性能好。此外，结构为句子的文本特征与位置特征的对齐相比于结构为字符的文本特征与位置特征的对齐要更容易实现，同时，由于获取的第一文本的位置特征是结构为句子的位置特征，该位置特征的获取要易于结构为字符的位置特征，降低了获取位置特征的难度与成本。
113.在一种可能的实现方式中，内容请详见图3，图3是本技术一个实施例提供的获取
信息提取模型的方法流程图。以该方法应用于服务器为例进行说明，如图3所示，当第一文档图像为医疗发票图像时，获取信息提取模型包括如下过程。
114.可选地，文字识别医疗发票图像，基于文字识别结果得到多个第一文本与多个第一文本中的各个第一文本对应的坐标。
115.可选地，将多个第一文本输入至bert模型，基于bert模型输出多个第一文本中的各个第一文本的文本特征，将多个第一文本中的各个第一文本对应的坐标输入至soft embedding模型，基于soft embedding模型输出多个第一文本中的各个第一文本的位置特征，将医疗发票图像输入至cnn模型，基于cnn模型输出多个第一文本中的各个第一文本的图像特征。
116.可选地，将第一文本的文本特征、位置特征与图像特征合并得到第一文本的中间特征，将多个第一文本的中间特征输入至glcn模型得到多个第一文本中的各个第一文本的第二特征。
117.可选地，将各个第一文本的第二特征与各个第一文本的中间特征合并后输入至bi-lstm层，得到各个第一文本至各个标签的发射概率，将各个第一文本至各个标签的发射概率输入至crf层，基于crf层得到各个第一文本对应的概率最大的标签，输出对应结果(所提取的第一文档图像的信息)：姓名：xxx，医院：xxx，金额：xxx，日期：xxx。基于第一文档图像的信息得到第一文档图像的信息的损失(第一损失)。
118.可选地，基于第一损失训练crf层，基于第二损失训练glcn模型，通过训练调整crf层的参数与glcn模型的参数，实现对初始信息提取模型的参数的调整，得到信息提取模型。其中，第二损失为glcn模型在获取第二特征时输出的损失。
119.基于上述图1所示的实施环境，本技术实施例提供一种提取文档图像的信息的方法，如图4所示，以该方法应用于终端为例，该方法包括步骤401-步骤402。
120.在步骤401中，获取待提取信息的第二文档图像与信息提取模型。
121.在本技术示出的实施例中，待提取信息的第二文档图像中所包含的信息类型需要与用于获取信息提取模型的第一文档图像中所包含的信息类型一致。例如，当第一文档图像为a医院的医疗票据，包含的信息有医院名称、患者名称、金额以及就诊日期时，第二文档图像为也包含医院名称、患者名称、金额以及就诊日期这些信息的文档图像。再例如，当第一文档图像为车票，包含的信息有发车时间、到达时间、乘客姓名以及车费时，第二文档图像为也包含发车时间、到达时间、乘客姓名以及车费这些信息的文档图像。
122.需要说明的是，上述举例旨在说明第二文档图像所包含的信息类型要与第一文档图像所包含的信息类型一致，而非限制第二文档图像的范围，第二文档图像可以是上述举例说明的文档图像，还可以是其他范围的文档图像，本技术实施例对此不进行限定。可选地，第二文档图像除了所包含的信息类型要与第一文档图像所包含的信息类型一致，其排版布局可以与第一文档图像不一致，也可以与第一文档图像一致，本技术实施例不对此进行限定。
123.关于获取第二文档图像的方式，与步骤201中示出的获取第一文档图像的方式一致，在此不再多加赘述。
124.可选地，信息提取模型的获取过程详见上述图2示出的实施例，在此不再多加赘述。
125.在步骤402中，将第二文档图像输入至信息提取模型，通过信息提取模型输出第二文档图像的信息。
126.在一种可能的实现方式中，针对信息提取模型包括目标文字识别子模型、目标特征提取子模型、目标特征强化子模型和目标命名子模型的情况，通过信息提取模型输出第二文档图像的信息，包括：将第二文档图像输入至目标文字识别子模型，通过目标文字识别子模型从第二文档图像中获取位置不同的多个第二文本；通过目标特征提取子模型获取多个第二文本中的各个第二文本的第四特征；通过目标特征强化子模型基于各个第二文本的第四特征获取各个第二文本的第五特征，任一第二文本的第五特征用于表征任一第二文本的第四特征与其他第二文本的第四特征之间的相关性；通过目标命名子模型基于各个第二文本的第四特征与各个第二文本的第五特征输出第二文档图像的信息。
127.其中，将第二文档图像输入至目标文字识别子模型，通过目标文字识别子模型从第二文档图像中获取位置不同的多个第二文本的过程与上述图2示出的实施例中获取第一文档图像的第一文本的过程类似，在此不再多加赘述。
128.通过目标特征提取子模型获取多个第二文本中的各个第二文本的第四特征与上述图2示出的实施例中获取多个第一文本中的各个第一文本的第一特征的过程类似，在此不再多加赘述。
129.通过目标特征强化子模型基于各个第二文本的第四特征获取各个第二文本的第五特征的过程与上述图2示出的实施例中获取各个第一文本的第二特征的过程类似，在此不再多加赘述。
130.通过目标命名子模型基于各个第二文本的第四特征与各个第二文本的第五特征输出第二文档图像的信息的过程与上述图2示出的实施例中基于第二特征获取第一文档图像的信息的过程类似，在此不再多加赘述。
131.需要说明的是，上述提取文档图像的信息的方法除了应用于服务器，还可应用于终端，该方法应用于终端的过程与图4示出的应用于服务器的过程一致，在此不再多加赘述。
132.综上所述，本技术实施例提供的提取文档图像的信息的方法，由于训练得到的信息提取模型的性能好，使得基于该信息提取模型提取的第二文档图像的信息准确率高。
133.在一种可能的实现方式中，本技术实施例提供的提取文档图像的信息的方法可以应用于提取医疗票据的信息的任务中。示例性地，获取第二文档图像与信息提取模型，其中，第二文档图像为医疗票据图像，信息提取模型为基于医疗票据图像采用如图2所示的方法训练得到的；将第二文档图像输入至信息提取模型，通过信息提取模型输出第二文档图像的信息。
134.上述方法在提取医疗票据的信息的任务中能有效提升性能，优化效果如表1所示：
135.表1
136.网络模型模型atransformerbertbert+glcn本技术方案准确率(％)60.3485.1586.1989.3690.89
137.其中，模型a为基于固定模板文档图像的版式，选择相应关键区块进行信息提取的模型；transformer(一种机器翻译网络)为transformer模型；bert为bert模型；bert+glcn为由bert与glcn组成的模型；本技术方案是指基于本技术提供的方法训练得到的信息提取
模型。基于表1中的数据可知，应用本技术提供的技术方案训练得到的信息提取模型在提取医疗票据的信息的任务中，提取出的信息的准确率更高，有更好的表现。
138.参见图5，本技术实施例提供了一种获取信息提取模型的装置，该装置包括：获取模块501、训练模块502。
139.获取模块501，用于通过初始信息提取模型从用于训练的第一文档图像中获取位置不同的多个第一文本；
140.获取模块501，还用于获取多个第一文本中的各个第一文本的第一特征；
141.获取模块501，还用于基于各个第一文本的第一特征获取各个第一文本的第二特征，任一第一文本的第二特征用于表征任一第一文本的第一特征与其他第一文本的第一特征之间的相关性；
142.训练模块502，用于基于各个第一文本的第二特征对初始信息提取模型进行训练，得到信息提取模型。
143.可选地，初始信息提取模型包括初始特征强化子模型；获取模型501，用于将各个第一文本的第一特征输入至初始特征强化子模型，基于初始特征强化子模型确定各个第一文本的第一特征之间的相关性，得到各个第一文本的第二特征。
144.可选地，训练模块502，用于基于各个第一文本的第二特征获取第一文档图像的信息的损失，得到第一损失；基于第一损失对初始信息提取模型的参数进行调整，得到信息提取模型。
145.可选地，初始信息提取模型包括初始命名子模型；训练模块502，用于将各个第一文本的第一特征与各个第一文本的第二特征合并，基于合并结果得到各个第一文本的第三特征；将各个第一文本的第三特征输入至初始命名子模型，基于初始命名子模型获取第一文档图像的信息，基于第一文档图像的信息获取第一文档图像的信息的损失，得到第一损失。
146.可选地，初始信息提取模型包括初始特征提取子模型，各个第一文本的第一特征包括文本特征和位置特征；获取模块501，用于将第一文本与第一文本对应的坐标输入至初始特征提取子模型，基于初始特征提取子模型对第一文本进行特征提取得到第一文本的文本特征，基于初始特征提取子模型对第一文本对应的坐标进行特征提取得到第一文本的位置特征。
147.可选地，初始信息提取模型还包括初始文字识别子模型，获取模块501，还用于将第一文档图像输入至初始文字识别子模型，基于初始文字识别子模型对第一文档图像进行文字识别，基于文字识别结果得到第一文档图像的第一文本和第一文本对应的坐标。
148.上述装置在获取信息提取模型过程中，由于第二特征可以表征各个第一文本的第一特征之间的相关性，在基于第二特征训练初始信息提取模型时，用小批量的第二特征即可满足训练要求，最终基于第二特征训练获取的信息提取模型性能好。
149.参见图6，本技术实施例提供了一种提取文档图像的信息的装置，该装置包括：获取模块601、交互模块602。
150.获取模块601，用于获取待提取信息的第二文档图像与信息提取模型，信息提取模型基于第一文档图像按照如上述获取信息提取模型的装置训练得到；
151.交互模块602，用于将第二文档图像输入至信息提取模型，通过信息提取模型输出
第二文档图像的信息。
152.可选地，信息提取模型包括目标文字识别子模型、目标特征提取子模型、目标特征强化子模型和目标命名子模型；交互模块602，用于将第二文档图像输入至目标文字识别子模型，通过目标文字识别子模型从第二文档图像中获取位置不同的多个第二文本；通过目标特征提取子模型获取多个第二文本中的各个第二文本的第四特征；通过目标特征强化子模型基于各个第二文本的第四特征获取各个第二文本的第五特征，任一第二文本的第五特征用于表征任一第二文本的第四特征与其他第二文本的第四特征之间的相关性；通过目标命名子模型基于各个第二文本的第四特征与各个第二文本的第五特征输出第二文档图像的信息。
153.上述装置在提取文档图像的信息过程中，由于训练得到的信息提取模型性能好，基于该信息提取模型提取的第二文档图像的信息准确率高。
154.需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
155.图7是本技术实施例提供的一种服务器的结构示意图，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(central processing units，cpu)701和一个或多个存储器702，其中，该一个或多个存储器702中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器701加载并执行，以使该服务器实现上述图2所示的方法实施例提供的获取信息提取模型的方法，或者实现上述图4所述的方法实施例提供的提取文档图像的信息的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
156.图8是本技术实施例提供的一种网络设备的结构示意图。该设备可以为终端，例如可以是：智能手机、平板电脑、mp3(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)播放器、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
157.通常，终端包括有：处理器801和存储器802。
158.处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用dsp(digital signal processing，数字信号处理)、fpga(field-programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算
操作。
159.存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行，以使该终端实现上述图2所示的方法实施例提供的获取信息提取模型的方法，或者实现上述图4所示的方法实施例提供的提取文档图像的信息的方法。
160.在一些实施例中，终端还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
161.外围设备接口803可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
162.射频电路804用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
163.显示屏805用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在终端的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode，有机发光二极管)等材质制备。
164.摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角
摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
165.音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
166.定位组件808用于定位终端的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件808可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
167.电源809用于为终端中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
168.在一些实施例中，终端还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
169.加速度传感器811可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
170.陀螺仪传感器812可以检测终端的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端的3d动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
171.压力传感器813可以设置在终端的侧边框和/或显示屏805的下层。当压力传感器813设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
172.指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置在终
端的正面、背面或侧面。当终端上设置有物理按键或厂商logo(商标)时，指纹传感器814可以与物理按键或厂商logo集成在一起。
173.光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
174.接近传感器816，也称距离传感器，通常设置在终端的前面板。接近传感器816用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
175.本领域技术人员可以理解，图8中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
176.在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行，以使该计算机设备实现上述任一种获取信息提取模型的方法，或者实现上述任一种的提取文档图像的信息的方法。
177.在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以使计算机实现上述任一种获取信息提取模型的方法，或者实现上述任一种的提取文档图像的信息的方法。
178.在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、只读光盘(compact disc read-only memory，cd-rom)、磁带、软盘和光数据存储设备等。
179.在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种获取信息提取模型的方法，或者实现上述任一种的提取文档图像的信息的方法。
180.应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
181.以上所述仅为本技术的示例性实施例，并不用以限制本技术，凡在本技术的原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。