体检报告表格识别方法、装置、设备及介质与流程

本发明涉及人工智能技术、图像识别、文字识别、表格识别及智慧医疗，尤其涉及一种体检报告表格识别方法、装置、设备及介质。

背景技术：

1、图像表格还原是当前市场上对光学字符识别(ocr，optical characterrecognition)进行图像识别的衍生应用，对历史的影像资料进行结构化还原是数字化服务的基础。例如在医疗场景中，患者体检报告往往提供的是拍照或截图形式的电子化图片、或者纸质体检报告，自动化表格还原可以快速的帮助业务人员录入图片或者纸质报告中的数据。

2、目前业内有很多表格还原的技术，主要技术方案是基于规则的方法与基于统计的方法。但是针对体检报告数据这一单一场景下，更多的是基于统计的方法，例如基于标注数据进行深度学习，来进行表格还原。但是这种方案在纸质报告出现褶皱、倾斜和弯曲等等场景下，通常会出现识别项丢失、识别内容错误以及错行错列等情况，总体识别的准确性不能达到业务需求。

技术实现思路

1、本发明提供一种体检报告表格识别方法、装置、设备及介质，以解决体检报告表格识别准确性低的技术问题。

2、第一方面，本发明提供了一种体检报告表格识别方法，包括：

3、获取待识别体检报告表格图片；

4、对所述待识别体检报告表格图片进行图片文本比对，确定大角度倾斜判断结果；

5、根据所述大角度倾斜判断结果对所述待识别体检报告表格图片旋转特定角度，使所述待识别体检报告表格图片倾斜角度小于90度，得到第一矫正图片，其中，所述特定角度为0度、90度、180度和270度中的任一个；

6、对所述第一矫正图片进行倾斜角度判断，确定倾斜角度判断结果；

7、若所述倾斜角度判断结果大于预设角度，则对所述第一矫正图片进行旋转调整，确定第二矫正图片；若所述倾斜角度判断结果小于或等于所述预设角度，则将所述第一矫正图片作为所述第二矫正图片；

8、若所述第二矫正图片为系统截屏类型的图片，通过深度学习模型对所述第二矫正图片进行表格识别，确定表格识别数据；

9、若所述第二矫正图片为相机拍摄类型的图片，通过文本块空间还原策略对所述第二矫正图片进行所述表格识别，确定所述表格识别数据。

10、第二方面，本发明提供了一种体检报告表格识别装置，包括：

11、获取模块，用于获取待识别体检报告表格图片；

12、矫正模块，用于对所述待识别体检报告表格图片进行图片文本比对，确定大角度倾斜判断结果；

13、还用于根据所述大角度倾斜判断结果对所述待识别体检报告表格图片旋转特定角度，使所述待识别体检报告表格图片倾斜角度小于90度，得到第一矫正图片，其中，所述特定角度为0度、90度、180度和270度中的任一个；

14、还用于对所述第一矫正图片进行倾斜角度判断，确定倾斜角度判断结果；

15、还用于若所述倾斜角度判断结果大于预设角度，则对所述第一矫正图片进行旋转调整，确定第二矫正图片；若所述倾斜角度判断结果小于或等于所述预设角度，则将所述第一矫正图片作为所述第二矫正图片；

16、处理模块，用于若所述第二矫正图片为系统截屏类型的图片，通过深度学习模型对所述第二矫正图片进行表格识别，确定表格识别数据；

17、还用于若所述第二矫正图片为相机拍摄类型的图片，通过文本块空间还原策略对所述第二矫正图片进行所述表格识别，确定所述表格识别数据。

18、第三方面，本发明提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述体检报告表格识别方法的步骤。

19、第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述体检报告表格识别方法的步骤。

20、上述体检报告表格识别方法、装置、设备及介质所实现的方案中，通过获取待识别体检报告表格图片；对所述待识别体检报告表格图片进行图片文本比对，确定大角度倾斜判断结果；根据所述大角度倾斜判断结果对所述待识别体检报告表格图片旋转特定角度，使所述待识别体检报告表格图片倾斜角度小于90度，得到第一矫正图片，其中，所述特定角度为0度、90度、180度和270度中的任一个。通过确定所述大角度倾斜判断结果，可以将所述体检报告表格图片进行一个初步的角度调整，防止出现体检报告图片文字完全颠倒或者其他角度偏移过大的情况，使所述体检报告表格图片的倾斜角度小于90度。对所述第一矫正图片进行倾斜角度判断，确定倾斜角度判断结果；若所述倾斜角度判断结果大于预设角度，则对所述第一矫正图片进行旋转调整，确定第二矫正图片；若所述倾斜角度判断结果小于或等于所述预设角度，则将所述第一矫正图片作为所述第二矫正图片。通过对所述第一矫正图片进行小角度调整，可以使得倾斜角度小于预设角度，保证后续表格图像识别的准确性。若所述第二矫正图片为系统截屏类型的图片，通过深度学习模型对所述第二矫正图片进行表格识别，确定表格识别数据；若所述第二矫正图片为相机拍摄类型的图片，通过文本块空间还原策略对所述第二矫正图片进行所述表格识别，确定所述表格识别数据。由于系统截屏类型的图片不会出现纸张褶皱、弯曲等情况，因此通过深度学习模型对所述第二矫正图片进行表格识别可以在保证识别效果的前提下提高识别效率。而拍摄的图片由于光线、角度、纸张褶皱等问题，容易出现识别错误，因此通过文本块空间还原策略，在可能存在纸张褶皱、角度扭曲或者光线阴影的情况下，提高所述体检报告表格识别的准确性。基于此，本发明提供的体检报告表格识别方法、装置、设备及介质所实现的方案，通过调整所述体检报告表格图片的倾斜角度，并根据系统截屏类图片和相机拍摄类型图片的不同，采用不同的识别策略，既保证了识别效率又提高了识别准确性。

技术特征：

1.一种体检报告表格识别方法，其特征在于，包括：

2.根据权利要求1所述的体检报告表格识别方法，其特征在于，所述对所述待识别体检报告表格图片进行图片文本比对，确定大角度倾斜判断结果，包括：

3.根据权利要求1所述的体检报告表格识别方法，其特征在于，所述对所述第一矫正图片进行倾斜角度判断，确定倾斜角度判断结果，包括：

4.根据权利要求3所述的体检报告表格识别方法，其特征在于，所述根据所述倾斜角度的分布，确定所述倾斜角度判断结果，包括：

5.根据权利要求1所述的体检报告表格识别方法，其特征在于，所述若所述第二矫正图片为系统截屏类型的图片，通过深度学习模型对所述第二矫正图片进行表格识别，确定表格识别数据，包括：

6.根据权利要求1所述的体检报告表格识别方法，其特征在于，所述通过文本块空间还原策略对所述第二矫正图片进行所述表格识别，确定所述表格识别数据，包括：

7.根据权利要求6所述的体检报告表格识别方法，其特征在于，所述根据所述表格内容信息文本块的所述文本块坐标，将所述文本内容填入表格中，得到所述表格识别数据，包括：

8.一种体检报告表格识别装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述体检报告表格识别方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述体检报告表格识别方法的步骤。

技术总结
本发明涉及人工智能技术、图像识别、文字识别、表格识别及智慧医疗技术领域，公开了一种体检报告表格识别方法、装置、设备及介质。本方法包括对待识别体检报告表格图片调整倾斜角度，得到第二矫正图片；若所述第二矫正图片为系统截屏类型的图片，通过深度学习模型对所述第二矫正图片进行表格识别，确定表格识别数据；若所述第二矫正图片为相机拍摄类型的图片，通过文本块空间还原策略对所述第二矫正图片进行所述表格识别，确定所述表格识别数据。本发明的技术方案提高了体检报告表格识别的准确性。

技术研发人员：李金泉
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15