一种报告文档处理方法、装置、电子设备及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种报告文档处理方法、装置、电子设备及存储介质。


背景技术：

2.随着生活水平的提高，人们对健康的关注更加重视，每年各大医院、机构的体检部门日益火爆，随之产生大量的体检数据。医疗健康管理机构等在获取到用户上传的体检报告后，需要将用户上传的体检报告从非结构化数据转成结构化数据，进而对用户健康数据进行跟踪、分析，为后续个性化服务提供基础。
3.目前主流的体检报告结构化解析方法一般都基于ocr识别后处理得到的，这种方法需要针对不同的报告版面进行定制开发，通用性很差，应用比较受限。


技术实现要素：

4.本发明提供了一种报告文档处理方法、装置、电子设备及存储介质，通过结合报告文档的版面内容确定各个板块的数据，提高了报告文档结构化解析的通用性，进一步扩大报告文档的应用范围。
5.第一方面，本发明提供了一种报告文档处理方法，该方法包括：
6.通过对接收到的目标文档或目标长图分页处理，得到至少一个待处理图像；
7.针对各待处理图像，将当前待处理图像输入至预先训练得到的版面分析模型中，得到至少一个子排版所对应坐标信息；其中，至少一个子排版包括基本信息子排版、异常信息子排版、项目子排版和/或结论子排版；
8.将待处理图像和项目子排版所对应的坐标信息输入至预先训练得到的内容处理模型中，得到目标子表格、子文本框以及位于相应子文本框中的子文本内容；
9.基于目标子表格、子文本框以及子文本内容，确定项目子排版所对应的第一结构化识别结果；
10.提取基本信息子排版、异常信息子排版以及结论子排版中的文本内容提取处理，得到第二结构化识别结果；
11.基于第一结构化识别结果和第二结构化识别结果，生成目标分析报告。
12.第二方面，本发明提供了一种报告文档处理装置，该装置包括：
13.分页处理模块，通过对接收到的目标文档或目标长图分页处理，得到至少一个待处理图像；
14.坐标信息获取模块，针对各待处理图像，将当前待处理图像输入至预先训练得到的版面分析模型中，得到至少一个子排版所对应坐标信息；其中，至少一个子排版包括基本信息子排版、异常信息子排版、项目子排版和/或结论子排版；
15.文本内容获取模块，将待处理图像和项目子排版所对应的坐标信息输入至预先训练得到的内容处理模型中，得到目标子表格、子文本框以及位于相应子文本框中的子文本
内容；
16.第一结果确定模块，基于目标子表格、子文本框以及子文本内容，确定项目子排版所对应的第一结构化识别结果；
17.第二结果确定模块，提取基本信息子排版、异常信息子排版以及结论子排版中的文本内容提取处理，得到第二结构化识别结果；
18.分析报告生成模块，基于第一结构化识别结果和第二结构化识别结果，生成目标分析报告。
19.第三方面，本发明提供了一种数据处理电子设备，包括：
20.至少一个处理器；以及
21.与至少一个处理器通信连接的存储器；其中，
22.存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的报告文档处理的方法。
23.第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的报告文档处理的方法。
24.第五方面，本发明提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现本发明任一实施例的报告文档处理的方法。
25.本发明公开了一种报告文档处理方法，通过对接收到的目标文档或目标长图分页处理，得到至少一个待处理图像，随后针对各待处理图像，将当前待处理图像输入至预先训练得到的版面分析模型中，得到至少一个子排版所对应坐标信息；将待处理图像和项目子排版所对应的坐标信息输入至预先训练得到的内容处理模型中，得到目标子表格、子文本框以及位于相应子文本框中的子文本内容。基于目标子表格、子文本框以及子文本内容，确定项目子排版所对应的第一结构化识别结果，并提取基本信息子排版、异常信息子排版以及结论子排版中的文本内容提取处理，得到第二结构化识别结果，最后基于第一结构化识别结果和第二结构化识别结果，生成目标分析报告。本发明解决了文档报告结构化解析通用性差的问题，本方案通过结合报告文档版面内容确定各个板块的数据，从而提取各个板块的数据，以得到更加标准化的数据，以使用户的健康数据流转到不同的应用系统、不同的智能模块，为下游任务提供数据支撑。该方法提高了报告文档结构化解析的通用性，进一步扩大报告文档的应用范围。
26.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
27.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明实施例一提供的一种报告文档处理方法的流程图；
29.图2为本发明实施例二提供的一种报告文档处理方法的流程图；
30.图3为本发明实施例三提供的一种报告文档处理方法的结构示意图；
31.图4为本发明实施例三提供的一种报告文档处理方法的表格解析的整体流程；
32.图5为本发明实施例四提供的一种报告文档处理装置的结构示意图；
33.图6为本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
34.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
35.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一预设条件”、“第二预设条件”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
36.实施例一
37.图1为本发明实施例一提供的一种报告文档处理方法的流程图；本实施例可适用于将用户上传的体检报告从非结构化数据转成结构化数据，进而对用户健康数据进行跟踪、分析的情形。该方法可以由报告文档处理装置来执行，该报告文档处理装置可以采用硬件和/或软件的形式实现，该报告文档处理装置可以配置在计算机设备上，该计算机设备可以是笔记本、台式计算机以及智能平板等。如图1所示，该方法包括：
38.s101、通过对接收到的目标文档或目标长图分页处理，得到至少一个待处理图像。
39.其中，目标文档可以是各种医疗机构、医院等产生的体检报告文档，可以是pdf格式的文档，也可以是用户通过移动设备的拍照设备获得的图片格式。目标长图可以是各种医疗机构产生的体检报告，以长图的形式上传到系统，长图中包含多张单页的数据内容。目标长图可以是png格式、jpeg格式、tiff格式或者是bmp格式。分页处理是指将多页的目标文档或者目标长图拆分为单张的内容。待处理图像是将目标文档或者目标长图拆分为多个单张的图片，每一单张图片作为一个待处理图像。
40.具体的，用户可以获得包含各项体检数据的体检报告，这些体检报告涉及众多内容，是由多页的体检数据组成的。用户获得的体检报告可以是纸质的体检报告，也可以是pdf文件的电子报告，或者是长图形式的电子报告。当用户需要将体检报告数据上传到保险公司、互联网健康医院与医疗健康管理机构等服务平台系统，进而对用户健康数据进行跟踪、分析，为后续个性化服务提供基础时，需要将用户上传的体检报告从非结构化数据转成结构化数据。当服务平台接收到用户上传的体检报告时，首先对体检报告进行分页处理，将多页的体检报告内容拆分为多个单张图像作为待处理图像，用于后续处理。
41.示例性的，用户如果从医疗机构获得的体检报告为纸质版的目标文档，可以使用
移动设备的拍照设备获取的图片格式上传到服务平台系统；如果获得的体检报告为pdf格式的目标文档，可以直接将pdf格式文档上传到服务平台系统；如果获得的体检报告为长图格式的目标长图，可以直接将目标长图上传到服务平台系统。当服务平台系统接收到用户上传的各种格式的体检报告时，首先会对其进行分页处理，例如用户上传的pdf格式文档的体检报告包含了15个单页的体检报告数据，则系统会将15个单页的pdf格式文档处理为15张待处理图像，并以图片的形式保存，用于后续使用，后续就是针对单张待处理图像来进行处理。
42.s102、针对各待处理图像，将当前待处理图像输入至预先训练得到的版面分析模型中，得到至少一个子排版所对应坐标信息；
43.其中，至少一个子排版包括基本信息子排版、异常信息子排版、项目子排版和/或结论子排版。
44.其中，版面分析模型可以是神经网络模型，且是可以预先训练获得的。在模型应用时，可以将一张图像作为模型的输入量，随后模型可以输出四个维度的标识，以及标识所对应的坐标。模型输出的四个维度的标识便可以称之为子排版；标识对应的坐标值为坐标信息。坐标信息可以为一个矩形框表格中左上坐标以及右下的坐标，根据左上坐标和右下坐标可以确定矩形框表格的具体位置信息。基本信息子排版为体检报告中关于用户个人信息数据的排版内容，例如，用户名称、用户年龄或者用户既往史等相关内容。异常信息子排版为体检报告中关于用户异常信息数据的排版内容，例如，用户某一项体检结果存在异常的情况，可以使用特殊的符号进行标识。项目子排版为体检报告中关于用户所涉及的多个体检项目的排版内容，例如，血常规、心电图、肝功能检查等内容。结论子排版为体检报告中医生基于多项体检结果给出的最终体检结论的排版内容。
45.具体的，首先通过大量的历史数据对版面分析模型进行训练，在模型训练时，可以将一张待处理图像作为模型的输入量，随后模型可以输出四个维度的标识，以及标识所对应的坐标。随后可以对版面分析模型进行参数的优化，根据标识和坐标，以及标注的标识和坐标进行损失处理，能够对模型的参数进行修正。后续在应用时，输入一张待处理图像，输出的是基本信息子排版、异常信息子排版、项目子排版和/或结论子排版，以及各子排版所对应的坐标内容。
46.s103、将待处理图像和项目子排版所对应的坐标信息输入至预先训练得到的内容处理模型中，得到目标子表格、子文本框以及位于相应子文本框中的子文本内容。
47.其中，内容处理模型可以是神经网络模型，是可以预先训练获得的。目标子表格为项目子排版中的多个项目对应的多个单元格，即对项目子排版使用表格解析模型推理得到表格的结构信息，表格的结构信息可以包括每个单元格的4点坐标和表格结构信息。子文本框为含有文字内容的整个文本框内容，可以为文本图像块信息以及文本框的坐标。子文本内容为子文本框中具体的文字内容。
48.具体的，将s101所得的待处理图像以及s102所获得的项目子排版所对应的坐标信息，作为内容处理模型的输入；内容处理模型的输出为：
49.目标子表格、子文本框以及位于相应子文本框中的子文本内容。
50.s104、基于目标子表格、子文本框以及子文本内容，确定项目子排版所对应的第一结构化识别结果。
51.其中，第一结构化识别结果为针对项目子排版确定的结构化内容信息。
52.具体的，根据s103获得的项目子排版所对应的目标子表格、子文本框以及子文本内容，将目标子表格与子文本框进行聚合处理。当获取到项目子排版，项目子排版存在多个目标子表格，通过内容处理模型可以获取每个目标子表格的4点坐标和表格结构信息、子文本框的4点坐标信息和子文本内容。由于已经获得目标子表格以及子文本框的4点坐标，可以将目标子表格与子文本框进行聚合处理，获取以目标子表格为单位的文本框，再将子文本内容填充到文本框中，实现表格结构和内容的融合，获取项目子排版所对应的第一结构化识别结果。
53.s105、提取基本信息子排版、异常信息子排版以及结论子排版中的文本内容提取处理，得到第二结构化识别结果。
54.其中，第二结构化识别结果是对基本信息子排版、异常信息子排版以及结论子排版中的文本内容进行提取，获得的文本结果。
55.具体的，基于各待处理图像，可以根据人工设定的一些规则将基本信息子排版、异常信息子排版以及结论子排版中的文本进行提取。信息子排版在体检报告中体现为字点样式，如姓名：
…
、年龄：
…
、性别：
…
，对于这一类文本信息可以直接进行关键字匹配，进而提取出体检报告中的个人信息。而对于异常信息子排版在体检报告中体现为星号、箭头、加粗或者其他的特殊符号，在异常信息子排版中可能存在多个异常情况的标识，可以通过人为操作将这些特殊符号作为标记，这些标识对应的异常信息在特别标识的附近区域，可以预先设定当检测到特殊符号，特殊符号下移或者右移多少坐标可以识别到异常的条目。结论子排版中可以直接根据“报告结论”关键字进行文字识别，进而提取出报告结论中的文字内容。通过上述方式可以将基本信息子排版、异常信息子排版以及结论子排版中的文本内容进行提取，获得各文本结果作为第二结构化识别结果。
56.s106、基于第一结构化识别结果和第二结构化识别结果，生成目标分析报告。
57.其中，目标分析报告为包含用户体检报告中的个人信息、体检项目表信息、异常情况信息和报告结论信息的报，目标分析报告具有统一的格式及标准，即无论用户上传的是哪所医疗结构出具的体检报告，均按照目标分析报告中的格式显示各项体检信息。
58.具体的，第一结构化识别结果对应体检报告的体检项目信息，体检项目信息可以包括心电图、腹部b超、胸片、血常规、尿便常规、生化检查、免疫学检查以及相关免疫学指标的肿瘤标记物检查等。此外，女性可在此基础上加上妇科常规检查和宫颈刮片检查，男性可以增加前列腺的检查。根据用户体检用途的差异，以及体检时所选择医疗机构的差异，不同用户上传的体检报告中所包含的体检项目信息差异较大，且体检项目信息对应多张待处理图像。所以对于某一份体检报告，第一结构化识别结果中包含多个项目子排版的信息，需要将多个项目子排版的信息进行合并，去除重复条目。最后将第二结构化识别结果中个人信息、异常情况信息和报告结论信息，与第一结构化结果整合为一份结构化的报告文件作为目标分析报告。
59.上述技术方案，通过对接收到的目标文档或目标长图分页处理，得到至少一个待处理图像，随后针对各待处理图像，将当前待处理图像输入至预先训练得到的版面分析模型中，得到至少一个子排版所对应坐标信息；将待处理图像和项目子排版所对应的坐标信息输入至预先训练得到的内容处理模型中，得到目标子表格、子文本框以及位于相应子文
本框中的子文本内容。基于目标子表格、子文本框以及子文本内容，确定项目子排版所对应的第一结构化识别结果，并提取基本信息子排版、异常信息子排版以及结论子排版中的文本内容提取处理，得到第二结构化识别结果，最后基于第一结构化识别结果和第二结构化识别结果，生成目标分析报告。本发明解决了文档报告结构化解析通用性差的问题，本方案通过结合报告文档版面内容确定各个板块的数据，从而提取各个板块的数据，以得到更加标准化的数据，以使用户的健康数据流转到不同的应用系统、不同的智能模块，为下游任务提供数据支撑。该方法提高了报告文档结构化解析的通用性，进一步扩大报告文档的应用范围。
60.实施例二
61.图2为本发明实施例二提供的一种数据处理方法的流程图，本发明实施例在上述实施例的基础上对前述实施例s101-s106对应的内容进行进一步细化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，该方法包括：
62.s201、将目标文档或目标长图分页处理后，得到至少一个待使用图像。
63.其中，待使用图像是将目标文档或者目标长图拆分为多个单张的图片，每一单张图片作为一个待使用图像。
64.s202、通过对各待使用图像矫正处理，得到至少一个待处理图像。
65.其中，矫正处理是指对失真图像进行的复原性处理。图像矫正是建立相应的数学模型，将待使用图像中倾斜的信息内容，进行矫正处理，获得横平竖直的单元格以及文本内容。矫正的过程可以是设计一个滤波器，使其能从切斜的图像中计算得到方正图像的估值，使其根据预先规定的误差准则，最大程度地将图像进行去倾斜处理。
66.在本实施例中，用户上传到系统上的目标文档或者目标长图，由于用户使用拍摄软件存在手抖的现象，以及在文档打印的过程中存在文本内容倾斜的情况，所以分页处理后得到的待使用图像可能出现文本内容倾斜的情形，此时需要使用图像矫正算法对待使用进行倾斜矫正，从而得到待处理图像。
67.s203、将当前待处理图像输入至版面分析模型中，得到至少一个目标分类标识以及各目标分类标识所对应的坐标信息。
68.其中，版面分析模型可以是神经网路模型，该模型的输入可以是图像，输出内容为标识信息以及标识信息对应的坐标信息。目标分类标识可以分为四类，四类分类标识只要是四个互不相同的标识即可。
69.具体的，对于版面分析模型，输入为当前待处理图像，输出为目标分类标识以及各目标分类标识所对应的坐标信息，其中目标分类标识可以相互区别开。
70.s204、基于预先建立的分类标识与子排版名称之间的映射关系，确定相应目标分类标识所对应的子排版名称。
71.在本实施例中，分类标识可以预先设定，例如设置标签类别为4类，分别表示“个人信息”、“异常情况”、“体检项目表”与“报告结论”。上述4类数据涵盖截止到目前为止市面上所有体检版面大类，后续有新增项，可对该模型进行新增类别并训练。子排版名称也可以预先设定，所有的子排版包括信息子排版、异常信息子排版、项目子排版和/或结论子排版，为每一个字排版设置一个具有标识性的名称，对应四个子排版的名称是互不相同的。由于分类标识是四个互不相同的信息内容，子排版名称也是四个互不相同的名称，因此为四个分
类标识与四个子排版名称设置一一对应的映射关系，当确定了当前目标分类标识便可以确定其对应的子排版名称。
72.s205、基于内容处理模型中的文字检测识别子模型，识别待处理图像中的各子文本框以及位于子文本框中的子文本内容。
73.s206、基于内容处理模型中的表格识别子模型对待处理图像所对应的坐标信息进行处理，得到各目标子表格所对应的表格坐标信息。
74.在本实施例中，内容处理模型可以包括文字检测识别子模型和表格识别子模型。将待处理图像输入到文字检测识别子模型，输出为待处理图像中的各子文本框以及位于子文本框中的子文本内容；将待处理图像输入到表格识别子模型，输出为各目标子表格所对应的表格坐标信息。其中，坐标信息可以是一个矩形框的左上和右下坐标，也可以是矩形框的四个点的坐标值。
75.s207、通过对各表格坐标信息所对应的目标子表格和子文本框聚合处理，得到承载相应子文本内容的目标子文本框。
76.在本实施例中，聚合处理可以采用iou的方式实现，具体实现方式为：
77.在上述实施例的基础上可知，目标子表格以及子文本框的坐标信息为已知量，根据二者的坐标信息可以分别确定目标子表格和子文本框的面积，进而计算目标子表格面积与子文本框面积的交集面积、目标子表格面积与子文本框面积的并集面积。iou值为目标子表格面积与子文本框面积的交集面积与目标子表格面积与子文本框面积的并集面积的比值。根据预先设定的目标阈值，例如可以是0.5，如果计算所得iou值大于0.5，则表明可以将目标子表格与子文本框进行聚合处理，进而获得目标子文本框，目标子文本框可以用于承载子文本内容。
78.s208、将各子文本内容填充至相应的目标子文本框中，得到与项目子排版所对应的第一结构化识别结果。
79.在本实施例中，将各子文本内容填充至相应的目标子文本框中，此时目标文本框中都填充的相应的内容，可以获取结构完整的结构化表格，该结构化表格即为与项目子排版所对应的第一结构化识别结果。
80.s209、采用关键字识别算法提取基本信息子排版、异常信息子排版以及结论子排版中的至少一个关键字；
81.在本实施例中，基本信息子排版、异常信息子排版以及子排版中都会有对应的关键字，例如信息子排版的关键字可以是“姓名：”、“年龄：”或者“性别：”等；异常信息子排版的关键字可以是“***”、
“★”
或者
“↑”
等；结论子排版的关键字可以是“体检结论”、“汇总分析”或者“体检结果”等。可以通过关键字识别算法提取基本信息子排版、异常信息子排版以及子排版中的关键字。
82.s210、调取至少一个关键字所对应的文本内容，得到第二结构化识别结果。
83.在本实施例中，当确定了关键字内容，可以预先设置根据提取到的关键字内容下移或者右移多少坐标可以调取到关键字对应的文本内容，将关键字对应的文本内容提取出来，作为第二结构化识别结果。
84.s211、基于第一结构化识别结果和第二结构化识别结果，生成目标分析报告。
85.可选的，按照预设设置的结构化模板，将第一结构化识别结果和第二结构化识别
结果填充至结构化模板中，得到目标分析报告。
86.在本实施例中，可以预先设置结构化模板，预先设置的结构化模可以以承载第一结构化识别结果以及第二结构化识别结果。将第一结构化识别结果和第二结构化识别结果填充到结构化模板中的对应位置，即可获得目标分析报告。
87.上述技术方案，通过将目标文档或目标长图分页处理后，得到至少一个待使用图像；通过对各待使用图像矫正处理，得到至少一个待处理图像；将当前待处理图像输入至版面分析模型中，得到至少一个目标分类标识以及各目标分类标识所对应的坐标信息；基于预先建立的分类标识与子排版名称之间的映射关系，确定相应目标分类标识所对应的子排版名称；基于内容处理模型中的文字检测识别子模型，识别待处理图像中的各子文本框以及位于子文本框中的子文本内容；基于内容处理模型中的表格识别子模型对待处理图像所对应的坐标信息进行处理，得到各目标子表格所对应的表格坐标信息；通过对各表格坐标信息所对应的目标子表格和子文本框聚合处理，得到承载相应子文本内容的目标子文本框；将各子文本内容填充至相应的目标子文本框中，得到与项目子排版所对应的第一结构化识别结果；采用关键字识别算法提取基本信息子排版、异常信息子排版以及结论子排版中的至少一个关键字；调取至少一个关键字所对应的文本内容，得到第二结构化识别结果；基于第一结构化识别结果和第二结构化识别结果，生成目标分析报告。本发明解决了文档报告结构化解析通用性差的问题，本方案通过结合报告文档版面内容确定各个板块的数据，从而提取各个板块的数据，以得到更加标准化的数据，以使用户的健康数据流转到不同的应用系统、不同的智能模块，为下游任务提供数据支撑。该方法提高了报告文档结构化解析的通用性，进一步扩大报告文档的应用范围。
88.实施例三
89.在本发明实施例中，以一个具体的实施方式介绍报告文档处理的过程，图3为本发明实施例三提供的一种报告文档处理方法的结构示意图，本发明的目的是提供了一种报告文档处理方法，该方法可以由一下流程模块实现，包括：
90.1、预处理模块：将用户上传的pdf体检报告或者长图格式的体检报告按页拆分为单张图像格式，然后矫正上述拆分后的图像。
91.上述模块1将用户上传的pdf或者图片格式的体检报告按页拆分为图像格式，然后矫正上述图像。由于用户的体检报告格式一般为pdf、长图且多页，因此首先需要将不同的格式进行统一处理为单页图片格式；另外图像有可能存在倾斜情况，此时需要使用图像矫正算法进行倾斜矫正。
92.2、版面分析模块：对模块1矫正后的图像进行版面分析，得到图像版面信息对应的坐标即版面坐标框，版面信息有：个人信息、异常情况、体检项目表、报告结论。
93.上述模块2对模块1矫正后的图像进行版面分析，得到体检报告的版面信息如下：个人信息、异常情况、体检项目表、报告结论。上述版面分析采用模型自动推理的方式获得，版面分析模型基于神经网络模型训练的方式获得，标签类别设定4类，分别表示“个人信息”、“异常情况”、“体检项目表”与“报告结论”。上述4类数据涵盖截止到目前为止市面上所有体检版面大类，后续有新增项，可对该模型进行新增类别并训练。
94.3、模型推理模块：对模块1矫正后的图像进行文本检测、文本识别；对模块2中的体检项目表进行表格解析。
95.上述模块3对模块1矫正后的图像进行文本检测、文本识别；对模块2中解析得到的体检项目表进行表格解析。对矫正后的图像使用文本检测模型推理得到所有的文本图像块信息，然后将上述文本图像块输入到文本识别模型中，推理到的文本图像块的文本内容信息；对体检项目表使用表格解析模型推理得到表格的结构信息即每个单元格的4点坐标和表格结构信息。
96.4、后处理模块：将模块3的表格解析结果与上述文本检测、文本识别结果进行融合得到表格的结构化识别结果；将模块2版面分析得到的个人信息、异常情况和报告结论经过后处理得到对应结构化字段数据；
97.上述模块4将模块3的表格解析结果与上述文本检测、文本识别结果进行融合得到表格的结构化识别结果。表格解析的整体流程，参见图4。如图4所示，表格结构解析模型获得的每个单元格的4点坐标和表格结构信息、文本框坐标，文本框的文本。将单元格与文本框进行聚合，获取以单元格为单位的文本框，再将文本填充到文本框中，实现表格结构和内容的融合，完成表格解析的目标，上述模块4将个人信息、异常情况和报告结论经过后处理得到对应结构化字段数据。将模块2版面分析得到的个人信息、异常情况和报告结论对应的版面框与上述模块3的文本检测位置框进行iou计算，得到个人信息、异常情况和报告结论框内的文本框坐标，然后结合文本识别模型得到对应文本框的识别信息，最后通过个人信息关键字匹配得到个人信息字段的结构化结果。异常情况与报告结论可直接输出该字段框的内容。
98.5、融合模块：将每份体检报告所有的图像解析后的体检项目表合并，去除重复条目，并最后储存提取到的个人信息、体检项目表信息、异常情况信息和报告结论信息。
99.上述技术方案，报告文档处理方法处理流程模块包括5部分：体检报告预处理模块、版面分析模块、模型推理模块、后处理模块和融合模块，上述五个模块按顺序依次连接。其中模型推理模块涉及到文本检测、文本识别、表格解析模型的推理。本发明提出的技术方案能解决市面上主流的医院、医疗机构的体检报告的结构化解析问题，通过该技术可以做到将用户的健康数据流转到不同的应用系统、不同的智能模块，为下游任务提供数据支撑。
100.实施例四
101.图5为本发明实施例四提供的一种报告文档处理装置的结构示意图，该装置可以执行本发明实施例所提供的报告文档处理的方法。该装置包括：分页处理模块401、坐标信息获取模块402、文本内容获取模块403、第一结果确定模块404、第二结果确定模块405和分析报告生成模块406。
102.分页处理模块401，用于通过对接收到的目标文档或目标长图分页处理，得到至少一个待处理图像；
103.坐标信息获取模块402，用于针对各待处理图像，将当前待处理图像输入至预先训练得到的版面分析模型中，得到至少一个子排版所对应坐标信息；其中，至少一个子排版包括基本信息子排版、异常信息子排版、项目子排版和/或结论子排版；
104.文本内容获取模块403，用于将待处理图像和项目子排版所对应的坐标信息输入至预先训练得到的内容处理模型中，得到目标子表格、子文本框以及位于相应子文本框中的子文本内容；
105.第一结果确定模块404，用于基于目标子表格、子文本框以及子文本内容，确定项
目子排版所对应的第一结构化识别结果；
106.第二结果确定模块405，用于提取基本信息子排版、异常信息子排版以及结论子排版中的文本内容提取处理，得到第二结构化识别结果；
107.分析报告生成模块406，用于基于第一结构化识别结果和第二结构化识别结果，生成目标分析报告。
108.在上述各技术方案的基础上，分页处理模块401包括：待使用图像确定单元和待处理图像确定单元。
109.待使用图像确定单元，用于将目标文档或目标长图分页处理后，得到至少一个待使用图像；
110.待处理图像确定单元，用于通过对各待使用图像矫正处理，得到至少一个待处理图像。
111.在上述各技术方案的基础上，坐标信息获取模块402包括：坐标信息确定单元和子排版名称确定单元。
112.坐标信息确定单元，用于将当前待处理图像输入至版面分析模型中，得到至少一个目标分类标识以及各目标分类标识所对应的坐标信息；
113.子排版名称确定单元，用于基于预先建立的分类标识与子排版名称之间的映射关系，确定相应目标分类子标识所对应的子排版名称。
114.在上述各技术方案的基础上，文本内容获取模块403包括：文字检测单元和表格识别单元。
115.文字检测单元，用于基于内容处理模型中的文字检测识别子模型，识别待处理图像中的各子文本框以及位于子文本框中的子文本内容；
116.表格识别单元，用于基于内容处理模型中的表格识别子模型对待处理图像所对应的坐标信息进行处理，得到各目标子表格所对应的表格坐标信息。
117.在上述各技术方案的基础上，第一结果确定模块404包括：坐标信息确定单元和第一结果确定单元。
118.坐标信息确定单元，用于通过对各表格坐标信息所对应的目标子表格和子文本框聚合处理，得到承载相应子文本内容的目标子文本框；
119.第一结果确定单元，用于将各子文本内容填充至相应的目标子文本框中，得到与项目子排版所对应的第一结构化识别结果。
120.在上述各技术方案的基础上，第二结果确定模块405包括：关键字识别单元和第二结果确定单元。
121.关键字识别单元，用于采用关键字识别算法提取基本信息子排版、异常信息子排版以及结论子排版中的至少一个关键字；
122.第二结果确定单元，用于调取至少一个关键字所对应的文本内容，得到第二结构化识别结果。
123.在上述各技术方案的基础上，分析报告生成模块406，还用于按照预设设置的结构化模板，将第一结构化识别结果和第二结构化识别结果填充至结构化模板中，得到目标分析报告。
124.通过对接收到的目标文档或目标长图分页处理，得到至少一个待处理图像，随后
针对各待处理图像，将当前待处理图像输入至预先训练得到的版面分析模型中，得到至少一个子排版所对应坐标信息；将待处理图像和项目子排版所对应的坐标信息输入至预先训练得到的内容处理模型中，得到目标子表格、子文本框以及位于相应子文本框中的子文本内容。基于目标子表格、子文本框以及子文本内容，确定项目子排版所对应的第一结构化识别结果，并提取基本信息子排版、异常信息子排版以及结论子排版中的文本内容提取处理，得到第二结构化识别结果，最后基于第一结构化识别结果和第二结构化识别结果，生成目标分析报告。本发明解决了文档报告结构化解析通用性差的问题，本方案通过结合报告文档版面内容确定各个板块的数据，从而提取各个板块的数据，以得到更加标准化的数据，以使用户的健康数据流转到不同的应用系统、不同的智能模块，为下游任务提供数据支撑。该方法提高了报告文档结构化解析的通用性，进一步扩大报告文档的应用范围。
125.本公开实施例所提供的数据处理装置可执行本公开任意实施例所提供的视频确定方法，具备执行方法相应的功能模块和有益效果。
126.值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
127.实施例五
128.图6为本发明实施例五提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
129.如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
130.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
131.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如路面识别方法。
132.在一些实施例中，路面识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由
rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的路面识别方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行路面识别方法。
133.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
134.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
135.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
136.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
137.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
138.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过
通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。