基于图像识别的数据解读方法、装置、设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种基于图像识别的数据解读方法、装置、设备及存储介质。


背景技术：

2.随着社会经济的发展，人民生活水平提高以及城乡居民基本医疗保障体系的不断完善，人们对医疗服务的需求特别是对于体检等健康管理的需求日益增长。为了满足社会不同人群的体检需求，医院在改革发展中不断地改善医护人员的体检操作流程，提供人性化的体检管理方式，以及增加了支持疾病辅助诊断、健康管理、远程会诊等多种功能。
3.在现有的技术中，对体检报告进行自动解读的方法只能对同一种版式的体检报告中的内容进行识别，然而对于不同体检机构或不同的检验项目其体检报告的排版是不相同的，需要针对每种版面重新训练识别模型，导致对体检报告的解读方法难以通用，进一步导致解读的效率低下。


技术实现要素：

4.本发明的主要目的在于解决现有技术中对不同版式内容的体检报告进行解读时效率低下的问题。
5.本发明第一方面提供了一种基于图像识别的数据解读方法，包括：接收数据解读请求，并提取所述数据解读请求中包含的体检报告图片；调用预置的内容定位模型对所述体检报告图片中的体检结果的文本位置进行识别，并根据所述文本位置对所述体检报告图片进行裁剪，得到裁剪图像集，其中，所述裁剪图像集中包括至少一个裁剪图像块；调用预置的光学字符识别模型对所述裁剪图像块进行文本识别，得到所述裁剪图像块中的文本内容；根据所述文本内容确定所述裁剪图像块中包含的检查类别以及所述检查类别中包含的检查结果，并根据所述检查类别获取对应的标准指标范围，其中，所述检查结果为至少一个；判断所述检查结果是否在所述标准指标范围内；若否，则将所述检查结果标注为异常检查结果，将所述检查类别标注为异常检查类别；根据所述异常检查结果在预置的医学知识图谱中进行检索，得到所述异常检查类别对应的医疗信息，并根据所述医疗信息输出数据解读结果。
6.可选的，在本发明第一方面的第一种实现方式中，所述根据所述文本内容确定所述裁剪图像块中包含的检查类别以及所述检查类别中包含的检查结果，并根据所述检查类别获取对应的标准指标范围包括：调用预置的命名实体模型对所述文本内容中包含的命名实体进行识别，得到检测项目，并在所述文本内容中提取所述检测项目对应的检查结果；根据所述检测项目，在预置的医学知识图谱中查找出所述检测项目对应的检查类别；根据所述检查类别在所述医学知识图谱中提取出所述检查类别中包含的各检测项目对应的标准指标范围。
7.可选的，在本发明第一方面的第二种实现方式中，所述根据所述检测项目，在预置
的医学知识图谱中查找出所述检测项目对应的检查类别包括：调用预置的分类判断模型根据所述检测项目判断出所述检测项目所属的备选检查类别；在预置的医学知识图谱中查找出所述备选检查类别包含的标准检查项目；判断所述检测项目是否与所述标准检查项目相同；若是，则将所述备选检查类别作为所述检测项目对应的检查类别。
8.可选的，在本发明第一方面的第三种实现方式中，所述接收数据解读请求，并提取所述数据解读请求中包含的体检报告图片包括：接收数据解读请求，提取所述数据解读请求中包含的体检报告的pdf格式文件；解析所述pdf格式文件得到所述体检报告的二进制文件；将所述二进制文件通过预置的转换工具转换为图片格式文件，得到体检报告图片，其中，所述预置的转换工具是根据pdf2image工具构建的。
9.可选的，在本发明第一方面的第四种实现方式中，在所述将所述二进制文件通过预置的转换工具转换为图片格式文件之后，还包括：调用预置的方向调整工具对所述图片格式文件进行方向识别，得到图片的实际方向角度，根据所述实际方向角度对所述图片格式文件进行旋转，得到统一方向角度的第一调整图片文件；检测所述第一图片文件是否有拉伸变形，若有，则调用预置的透视调整工具对所述旋转图片文件进行透视变换，得到第二调整图片文件，并对所述第二调整图片文件进行去噪处理。
10.可选的，在本发明第一方面的第五种实现方式中，所述调用预置的内容定位模型对所述体检报告图片中的体检结果的文本位置进行识别，并根据所述文本位置对所述体检报告图片进行裁剪，得到裁剪图像集包括：将所述体检报告图片输入预置的内容定位模型中对所述体检报告图片中的内容进行文本内容范围的识别，得到体检结果的文本位置的边界点坐标；根据所述边界点坐标对所述体检报告图片进行裁剪，得到至少一个文本图像块；将至少一个所述文本图像块进行等比缩放，得到至少一个裁剪图像块，基于至少一个所述裁剪图像块组成裁剪图像集，其中，所述裁剪图像块的短边长度为预设长度。
11.可选的，在本发明第一方面的第六种实现方式中，在所述根据所述医疗信息输出数据解读结果之后，还包括：计算所述异常检查类别中的异常检查结果与所述标准指标范围的相差指数；根据所述相差指数在所述医学知识图谱中查询出所述相差指数对应的风险疾病以及风险概率；根据所述风险疾病以及风险概率，查询对应的医疗建议，并输出所述医疗建议。
12.本发明第二方面提供了一种基于图像识别的数据解读装置，包括：提取模块，用于接收数据解读请求，并提取所述数据解读请求中包含的体检报告图片；图像裁剪模块，用于调用预置的内容定位模型对所述体检报告图片中的体检结果的文本位置进行识别，并根据所述文本位置对所述体检报告图片进行裁剪，得到裁剪图像集，其中，所述裁剪图像集中包括至少一个裁剪图像块文本识别模块，用于调用预置的光学字符识别模型对所述裁剪图像块进行文本识别，得到所述裁剪图像块中的文本内容；内容确定模块，用于根据所述文本内容确定所述裁剪图像块中包含的检查类别以及所述检查类别中包含的检查结果，并根据所述检查类别获取对应的标准指标范围；判断模块，用于判断所述检查结果是否在所述标准指标范围内；标注模块，用于若否，则将所述检查结果标注为异常检查结果，将所述检查类别标注为异常检查类别；输出模块，用于根据所述异常检查结果在预置的医学知识图谱中进行检索，得到所述异常检查类别对应的医疗信息，并根据所述医疗信息输出数据解读结果。
13.可选的，在本发明第二方面的第一种实现方式中，所述内容确定模块包括：内容识别单元，用于调用预置的命名实体模型对所述文本内容中包含的命名实体进行识别，得到检测项目，并在所述文本内容中提取所述检测项目对应的检查结果；类别查找单元，用于根据所述检测项目，在预置的医学知识图谱中查找出所述检测项目对应的检查类别；范围提取单元，用于根据所述检查类别在所述医学知识图谱中提取出所述检查类别中包含的各检测项目对应的标准指标范围。
14.可选的，在本发明第二方面的第二种实现方式中，所述类别查找单元包括：类别判断子单元，用于调用预置的分类判断模型根据所述检测项目判断出所述检测项目所属的备选检查类别；标准项目查找子单元，用于在预置的医学知识图谱中查找出所述备选检查类别包含的标准检查项目；项目判断子单元，用于判断所述检测项目是否与所述标准检查项目相同；检查类别确定子单元，用于若是，则将所述备选检查类别作为所述检测项目对应的检查类别。
15.可选的，在本发明第二方面的第三种实现方式中，所述提取模块包括：文件提取单元，用于接收数据解读请求，提取所述数据解读请求中包含的体检报告的pdf格式文件；文件解析单元，用于解析所述pdf格式文件得到所述体检报告的二进制文件；图片转换单元，用于将所述二进制文件通过预置的转换工具转换为图片格式文件，得到体检报告图片，其中，所述预置的转换工具是根据pdf2image工具构建的。
16.可选的，在本发明第二方面的第四种实现方式中，所述提取模块还包括：方向转换单元，用于调用预置的方向调整工具对所述图片格式文件进行方向识别，得到图片的实际方向角度，根据所述实际方向角度对所述图片格式文件进行旋转，得到统一方向角度的第一调整图片文件；变形调整单元，用于检测所述第一图片文件是否有拉伸变形，若有，则调用预置的透视调整工具对所述旋转图片文件进行透视变换，得到第二调整图片文件，并对所述第二调整图片文件进行去噪处理。
17.可选的，在本发明第二方面的第五种实现方式中，所述图像裁剪模块包括：内容位置确定单元，用于将所述体检报告图片输入预置的内容定位模型中对所述体检报告图片中的内容进行文本内容范围的识别，得到体检结果的文本位置的边界点坐标；裁剪单元，用于根据所述边界点坐标对所述体检报告图片进行裁剪，得到至少一个文本图像块；缩放单元，用于将至少一个所述文本图像块进行等比缩放，得到至少一个裁剪图像块，基于至少一个所述裁剪图像块组成裁剪图像集，其中，所述裁剪图像块的短边长度为预设长度。
18.可选的，在本发明第二方面的第六种实现方式中，所述基于图像识别的数据解读装置还包括医疗建议生成模块，所述医疗建议生成模块包括：相差指数计算单元，用于计算所述异常检查类别中的异常检查结果与所述标准指标范围的相差指数；查询单元，用于根据所述相差指数在所述医学知识图谱中查询出所述相差指数对应的风险疾病以及风险概率；建议输出单元，用于根据所述风险疾病以及风险概率，查询对应的医疗建议，并输出所述医疗建议。
19.本发明第三方面提供了一种基于图像识别的数据解读设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于图像识别的数据解读设备执行上述的基于图像识别的数据解读方法的步骤。
20.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于图像识别的数据解读方法的步骤。
21.本发明提供的技术方案可应用于疾病辅助诊疗与远程会诊，该方法通过接收数据解读请求，并提取其中包含的体检报告图片；调用预置的内容定位模型对体检报告图片中的体检结果的文本位置进行识别，并根据文本位置对体检报告图片进行裁剪，得到裁剪图像集，其中，裁剪图像集中包括至少一个裁剪图像块；调用预置的光学字符识别模型对裁剪图像块进行文本识别，得到文本内容；根据文本内容确定裁剪图像块中包含的检查类别以及检查类别中包含的检查结果，并根据检查类别获取对应的标准指标范围，其中，检查结果为至少一个；判断检查结果是否在标准指标范围内；若否，则将检查结果和检查类别标注为异常检查结果和异常检查类别；根据异常检查结果在预置的医学知识图谱中进行检索，得到对应的医疗信息，并根据医疗信息输出数据解读结果。本发明实施例中的方案能够对多种不同版式的体检报告中的内容进行自动解读得到体检报告中的医疗信息，提高了对体检报告的解读效率。
附图说明
22.图1为本发明实施例中基于图像识别的数据解读方法的第一实施例的示意图；
23.图2为本发明实施例中基于图像识别的数据解读方法的第二实施例的示意图；
24.图3为本发明实施例中基于图像识别的数据解读方法的第三实施例的示意图；
25.图4为本发明实施例中基于图像识别的数据解读方法的第四实施例的示意图；
26.图5为本发明实施例中基于图像识别的数据解读装置的一个实施例示意图；
27.图6为本发明实施例中基于图像识别的数据解读装置的另一个实施例示意图；
28.图7为本发明实施例中基于图像识别的数据解读设备的一个实施例示意图。
具体实施方式
29.本发明实施例提供了一种基于图像识别的数据解读方法、装置、设备及存储介质，接收并提取数据解读请求中包含的体检报告图片；识别图片中的体检结果的文本位置，并进行裁剪得到裁剪图像集；对裁剪图像集中的裁剪图像块进行文本识别，得到文本内容；并确定裁剪图像块中包含的检查类别以及检查结果，并获取对应的标准指标范围；判断检查结果是否在标准指标范围内；若否，则将检查结果和检查类别标注为异常检查结果和异常检查类别；在医学知识图谱中检索出医疗信息，并输出数据解读结果。本发明实施例中的方案能够对多种不同版式的体检报告中的内容进行自动解读得到体检报告中的医疗信息，提高了对体检报告的解读效率；该方法可应用于疾病辅助诊疗与远程会诊中。
30.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设
备固有的其它步骤或单元。
31.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例的基于图像识别的数据解读方法的一个实施例包括：
32.101、接收数据解读请求，并提取数据解读请求中包含的体检报告图片；
33.可以理解的是，本发明的执行主体可以为体检报告解读装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
34.本实施例中的体检报告解读方法能够对用户欲进行解读的体检报告进行识别并输出解读得到的信息，以便用户能够快速了解到体检报告中的体检结论以及体检信息。
35.本实施例中的服务器首先接收来自于用户的数据解读请求，其中，该数据解读请求可以是体检报告解读请求，该报告解读请求中包含有待进行解读的体检报告文件，接收到该报告解读请求后，提取该报告解读请求中包含的体检报告文件，并将得到的体检报告文件转化为体检报告图片；具体地，本实施例中的体检报告图片可以为扫描体检报告文件得到的报告图片或者拍摄得到的体检报告照片；也可以为pdf格式文件，可以通过预置的格式转换工具将pdf格式的体检报告文件转换为图片格式得到体检报告图片并进行后续的识别。此外，该体检报告文件可以为多页，在体检报告文件为多页的情况下进行格式转换时转换得到的图片按原页码顺序进行排列。
36.102、调用预置的内容定位模型对体检报告图片中的体检结果的文本位置进行识别；
37.103、根据文本位置对体检报告图片进行裁剪，得到裁剪图像集；
38.将得到的体检报告图片输入预置的内容定位模型中对体检报告图片中包含的文本位置进行识别，其中，该内容定位模型是通过dbnet(differentiable binarization net，可微二值化网络)工具进行建立的。
39.在本实施例中，对于不同的体检项目和体检单位的体检报告图片，其版式可能会有很大的不同，例如，有些图片中可能包含化验单以及化验结果的表格，有些包含有影像报告，且不同的报告中文字位置不同；在体检机构不同时，还有可能会有体检报告图片背景的不同，这些不同都会使得文本识别时的准确率降低，针对每种不同版式建立不同的识别模型又会增加识别模型的训练时间，故本步骤中采用内容定位模型对体检报告图片中包含的体检结果的文本位置进行识别。
40.识别到每张体检报告图片中的文本内容所在的位置后，将根据文本内容所在文本位置对文本内容进行裁剪，去除不包含文本内容如影像、模板图案等与体检结果不相关的内容，得到裁剪图像块，将得到的全部裁剪图像块组成裁剪图像集，其中，裁剪图像集中包含有至少一个裁剪图像块。
41.104、调用预置的光学字符识别模型对裁剪图像块进行文本识别，得到裁剪图像块中的文本内容；
42.随后，将前述得到的裁剪图像集中的裁剪图像块传入预置的光学字符识别(ocr，optical character recognition)模型中进行体检报告中的文本内容进行识别。
43.具体地，本步骤的光学字符识别模型在接收到裁剪图像块后，首先对体检报告图片进行倾斜矫正，若检测到该体检报告图片有倾斜，则检测倾斜角度，并根据该倾斜角度对图片进行透视变换矫正倾斜情况。
44.待上述处理完毕后，对裁剪图像块中的文字进行识别，识别出文字部分中每一个字符的边缘，根据字符边缘对裁剪图像块进行切割，得到字符图像。随后对每个字符图像进行识别得到每个字符的识别结果，将每个字符转换为计算机可以识别的语言；并对转换的结果进行正则化修正，最终得到文本内容。
45.105、根据文本内容确定裁剪图像块中包含的检查类别以及检查类别中包含的检查结果；
46.106、根据检查类别获取对应的标准指标范围；
47.本实施例中，预先获取未进行调整的命名实体识别(ner，named entity recognition)工具；同时获取医学字典，根据医学字典中的内容对未进行调整的命名实体识别工具进行参数调整得到命名实体识别模型，调用该命名实体识别模型对得到的文本内容进行命名实体的识别，并结合医学字典中的内容，获取识别出的命名实体的具体意义，从而识别出所述文本内容中包含的各检测项目对应的检查类别；并根据前述的体检报告图片中的字符分布位置，确定检查类别对应的检查结果；得到检查类别后，在预置的医学知识库中查询该检查类别对应的标准指标范围。
48.107、判断检查结果是否在标准指标范围内；
49.108、若否，则将检查结果标注为异常检查结果，将检查类别标注为异常检查类别；
50.109、根据异常检查结果在预置的医学知识图谱中进行检索，得到异常检查类别对应的医疗信息，并根据医疗信息输出数据解读结果。
51.得到检查类别对应的标准指标范围后，对该检查类别中的全部检查结果进行是否异常的判断。
52.具体地，判断每个检查结果是否超过其对应的标准指标范围。若所有的检查结果都没有超过该检查项目对应的标准指标范围，则认为该检查类别为正常状态，则输出预置的检查类别正常的通知文本，其中，该预置的检查类别正常的通知文本还可以包含有预先输入的健康生活指南，例如：“均衡膳食”、“适度运动”等内容。
53.若检查结果中出现有至少一项超过所述标准指标范围的检测项目，则将该检查结果标注为异常检查结果，将所述检查类别标注为异常检查类别。
54.根据该异常检查类别，在预置的医学知识图谱中基于每个异常检查结果检索该异常检查结果对应的医疗信息，其中，医疗信息可以为可能引起该异常的原因。
55.本发明实施例中的方案能够对多种不同版式的体检报告中的内容进行自动解读得到体检报告中的医疗信息，提高了对体检报告的解读效率。
56.请参阅图2，本发明实施例的基于图像识别的数据解读方法的第二实施例包括：
57.201、接收数据解读请求，并提取数据解读请求中包含的体检报告图片；
58.202、调用预置的内容定位模型对体检报告图片中的体检结果的文本位置进行识别；
59.203、根据文本位置对体检报告图片进行裁剪，得到裁剪图像集；
60.204、调用预置的光学字符识别模型对裁剪图像块进行文本识别，得到裁剪图像块中的文本内容；
61.本实施例中步骤201
‑
步骤204中内容与前述实施例中步骤101
‑
步骤104中内容基本相同，故在此不再赘述。
62.205、调用预置的命名实体模型对文本内容中包含的命名实体进行识别，得到检测项目，并在文本内容中提取检测项目对应的检查结果；
63.206、调用预置的分类判断模型根据检测项目判断出检测项目所属的备选检查类别；
64.本实施例中，预先根据医学字典中的内容对未进行调整的ner工具进行参数调整得到命名实体识别模型，调用该命名实体识别模型对得到的文本内容进行文本中命名实体的识别与标注，得到文本内容中的检测项目。
65.得到文本内容中的检测项目后，并根据前述的体检报告图片中的字符分布位置，确定检查类别对应的实际检查结果。
66.调用预先根据crf(conditional random fields，条件随机场)工具建立的分类判断模型，将识别到的各检测项目输入的分类判断模型中，得到检测项目可能属于的检查类别判断结果以及各检查类别判断结果对应的置信概率，其中，在本步骤中得到的检查类别判断结果为至少一个，根据得到的置信概率对各检查类别判断结果进行排序，得到判断结果序列，在所述提取判断结果序列中提取出至少一个检查类别判断结果；具体地，可以通过在判断结果序列中筛选出类别概率最高的前若干排名或前若干百分比的检查类别判断结果作为检测项目所属的备选检查类别。
67.207、在预置的医学知识图谱中查找出备选检查类别包含的标准检查项目；
68.208、判断检测项目是否与标准检查项目相同；
69.209、若是，则将备选检查类别作为检测项目对应的检查类别；
70.210、根据检查类别在医学知识图谱中提取出检查类别中包含的各检测项目对应的标准指标范围；
71.获取预置的医学知识图谱，其中，该预置的知识图谱是预先根据医学字典以及医学知识库中的数据进行整理得到的；根据该医学知识图谱查询出每个备选检查类别对应的标准检测项目，判断前述得到的检测项目是否属于对应的标准检测项目，若是，则将检测项目和标准检测项目重合度最高的备选检查类别作为所述检测项目对应的检查类别。
72.211、判断检查结果是否在标准指标范围内；
73.212、若否，则将检查结果标注为异常检查结果，将检查类别标注为异常检查类别；
74.213、根据异常检查结果在预置的医学知识图谱中进行检索，得到异常检查类别对应的医疗信息，并根据医疗信息输出数据解读结果。
75.本实施例中步骤211
‑
步骤213中内容与前述实施例中步骤107
‑
步骤109中内容基本相同故在此不再赘述。
76.本发明实施例中的方案能够对多种不同版式的体检报告中的内容确定检查项目所属于的类别，并根据检查类别确定标准指标范围，根据实际的检查结果和标注指标范围对体检报告的内容进行自动解读得到体检报告中的医疗信息，提高了对体检报告解读的准确率和解读效率。
77.请参阅图3，本发明实施例的基于图像识别的数据解读方法的第三实施例包括：
78.301、接收数据解读请求，提取数据解读请求中包含的体检报告的pdf格式文件；
79.302、解析pdf格式文件得到体检报告的二进制文件；
80.303、将二进制文件通过预置的转换工具转换为图片格式文件；
81.本实施例中的服务器首先接收来自于用户的报告解读请求，其中，该报告解读请求中包含有待进行解读的体检报告文件，接收到该报告解读请求后，提取该报告解读请求中包含的体检报告文件，并将得到的体检报告文件转化为图片格式文件，本实施例中，提取到的待进行解读的体检报告文件可以为pdf格式，当提取出的体检报告文件为pdf格式时，调用本实施例中先根据基于python语言和pdf2image工具包建立的图片转换工具对该体检报告进行格式的转换，得到图片格式文件，其中，该得到的图片格式文件可以为多页。
82.当得到的图片格式文件为多页时，根据页码顺序将所述pdf格式文件转化为二进制文件，将得到的二进制文件输入预置的图片转换工具中，得到图片格式文件。
83.304、调用预置的方向调整工具对图片格式文件进行方向识别，得到图片的实际方向角度；
84.305、根据实际方向角度对图片格式文件进行旋转，得到统一方向角度的第一调整图片文件；
85.得到转换完毕的图片格式文件后，调用预置的方向调整工具首先对图片格式文件进行方向识别，其中，本步骤中的方向调整工具具有方向角度检测功能和旋转功能，其中，该方向角度检测功能是可以根据用于特征提取的深度神经网络和对特征进行分类的dfl分类网络(dfl
‑
cnn，learning a discriminative filter bank within a cnn)构建的，其中，该用于特征提取的深度神经网络可以为例如vgg网络(由visual geometry group提出的深度神经网络)或者densenet(densely connected convolutional networks，密集连接卷积网络)等。
86.本步骤中，首先对图片格式文件的特征进行提取，针对提取到的特征对文件的方向进行分类，得到实际方向角度，随后根据该实际方向角度对图格式文件进行旋转，得到统一方向角度的第一调整图片文件。
87.306、检测第一图片文件是否有拉伸变形；
88.307、若有，则调用预置的透视调整工具对旋转图片文件进行透视变换，得到第二调整图片文件，并对第二调整图片文件进行去噪处理，得到体检报告图片；
89.随后，检测第一图片文件是否有拉伸变形，若有，则对体检报告图片进行倾斜矫正以及透视变换操作，矫正其倾斜、拉伸变形情况，得到第二调整图片文件。随后对第二调整图片文件进行去噪处理，提高图片的清晰度，以便提高后续文本识别的准确度，得到体检报告图片。
90.308、调用预置的内容定位模型对体检报告图片中的体检结果的文本位置进行识别；
91.309、根据文本位置对体检报告图片进行裁剪，得到裁剪图像集；
92.将得到的体检报告图片输入预置的内容定位模型中对体检报告图片中包含的文本位置进行识别，其中，该内容定位模型是通过dbnet(differentiable binarization net，可微二值化网络)工具进行建立的。
93.在本实施例中，对于不同的体检项目和体检单位的体检报告图片，其版式可能会有很大的不同，这些不同都会使得文本识别时的准确率降低，针对每种不同版式建立不同的识别模型又会增加识别模型的训练时间，故本步骤中采用内容定位模型对体检报告图片中包含的体检结果的文本位置进行识别。
94.识别到每张体检报告图片中的文本内容所在的位置后，将根据文本内容所在文本位置对文本内容进行裁剪，去除不包含文本内容如影像、模板图案等与体检结果不相关的内容，得到裁剪图像块，将得到的全部裁剪图像块组成裁剪图像集，其中，裁剪图像集中包含有至少一个裁剪图像块。
95.310、调用预置的光学字符识别模型对裁剪图像块进行文本识别，得到裁剪图像块中的文本内容；
96.随后，将前述得到的裁剪图像集中的裁剪图像块传入预置的光学字符识别(ocr，optical character recognition)模型中进行体检报告中的文本内容进行识别。
97.具体地，本步骤的光学字符识别模型在接收到裁剪图像块后，首先对体检报告图片进行倾斜矫正，若检测到该体检报告图片有倾斜，则检测倾斜角度，并根据该倾斜角度对图片进行透视变换矫正倾斜情况。
98.待上述处理完毕后，对裁剪图像块中的文字进行识别，识别出文字部分中每一个字符的边缘，根据字符边缘对裁剪图像块进行切割，得到字符图像。随后对每个字符图像进行识别得到每个字符的识别结果，将每个字符转换为计算机可以识别的语言；并对转换的结果进行正则化修正，最终得到文本内容。
99.其中，该光学字符识别识别模型可以通过crnn
‑
ctc(convolutional recurrent neural network
‑
connectionist temporal classification，时间分类卷积循环神经网络)进行构建，该识别模型将待识别图像集中的待识别图像进行字符切割，识别出体检报告图片中的每个字符，将每个字符转换为计算机可以识别的语言，得到文本内容。
100.本实施例中进行文本内容的识别时使用dbnet与crnn
‑
ctc结合进行文本内容的识别，能够识别不同排版位置的文本段落，可以提高本实施例中体检报告解读方法的通用性，例如，其可准确识别表格类化验单数据，也可准确识别影像报告类中文本段落。
101.311、根据文本内容确定裁剪图像块中包含的检查类别以及检查类别中包含的检查结果，并根据检查类别获取对应的标准指标范围；
102.预先基于bert(bidirectional encoder representations from transformers)和crf(conditional random fields，条件随机场)工具构建ner模型，其中，该ner模型是基于医学字典和医学知识库中的信息训练得到的，该ner模型可以基于检测项目对当前的检测项目进行分类和判断，计算出所述检测项目可能属于的检查类别的概率。根据得到的检查类别的概率和预置的医学图谱中的信息，查找出所述检测项目对应的检查类别和所述检查类别对应的标准指标范围。
103.312、判断检查结果是否在标准指标范围内；
104.313、若否，则将检查结果标注为异常检查结果，将检查类别标注为异常检查类别；
105.314、根据异常检查结果在预置的医学知识图谱中进行检索，得到异常检查类别对应的医疗信息，并根据医疗信息输出数据解读结果。
106.本实施例中步骤312
‑
步骤314中内容与前述实施例中步骤107
‑
步骤109中内容基本相同。故在此不再赘述。
107.本发明实施例中的方案能够对多种不同版式的体检报告中的内容进行自动解读得到体检报告中的医疗信息，提高了对体检报告的解读效率，此外，本实施例中的方案还提高了解读得到的信息的准确度。
108.请参阅图4，本发明实施例中基于图像识别的数据解读方法的第四实施例包括：
109.401、接收数据解读请求，提取数据解读请求中包含的体检报告的pdf格式文件；
110.402、解析pdf格式文件得到体检报告的二进制文件；
111.403、将二进制文件通过预置的转换工具转换为图片格式文件；
112.404、调用预置的方向调整工具对图片格式文件进行方向识别，得到图片的实际方向角度，根据实际方向角度对图片格式文件进行旋转，得到统一方向角度的第一调整图片文件；
113.405、检测第一图片文件是否有拉伸变形；
114.406、若有，则调用预置的透视调整工具对旋转图片文件进行透视变换，得到第二调整图片文件，并对第二调整图片文件进行去噪处理，得到体检报告图片；
115.本实施例中步骤401
‑
步骤406中具体内容与前述实施例中步骤301
‑
步骤308中具体内容基本相同，故在此不再赘述。
116.407、调用预置的内容定位模型对体检报告图片中的体检结果的文本位置进行识别，并根据文本位置对体检报告图片进行裁剪，得到裁剪图像集；
117.将得到的体检报告图片输入预置的内容定位模型中对体检报告图片中包含的文本位置进行识别。
118.在本实施例中，对于不同的体检项目和体检单位的体检报告图片，其版式可能会有很大的不同，例如，有些图片中可能包含化验单以及化验结果的表格，有些包含有影像报告，且不同的报告中文字位置不同；在体检机构不同时，还有可能会有体检报告图片背景的不同，这些不同都会使得文本识别时的准确率降低，针对每种不同版式建立不同的识别模型又会增加识别模型的训练时间，故本步骤中采用内容定位模型对体检报告图片中包含的体检结果的文本位置进行识别。
119.识别到每张体检报告图片中的文本内容所在的位置后，将根据文本内容所在文本位置对文本内容进行裁剪，去除不包含文本内容如影像、模板图案等与体检结果不相关的内容，得到裁剪图像块，将得到的全部裁剪图像块组成裁剪图像集，其中，裁剪图像集中包含有至少一个裁剪图像块。
120.具体地，调用通过dbnet工具生成内容定位模型对体检报告图片上的字段位置进行检测，检测后得到字段的左上、左下、右上、右下四个点的边界点坐标。基于以上坐标裁剪得到至少一个文本图像块，随后对至少一个文本图像块进行等比缩放，将裁剪图像块的短边长度为预设长度，在一个具体的例子中，将图像块的短边缩放至720像素，长边依据原始图像大小进行等比例缩放，基于缩放得到的图像组成待识别图像集。
121.408、调用预置的光学字符识别模型对裁剪图像块进行文本识别，得到裁剪图像块中的文本内容；
122.409、调用预置的命名实体模型对文本内容中包含的命名实体进行识别，得到检测项目，并在文本内容中提取检测项目对应的检查结果；
123.410、调用预置的分类判断模型根据检测项目判断出检测项目所属的备选检查类别；
124.411、在预置的医学知识图谱中查找出备选检查类别包含的标准检查项目；
125.412、判断检测项目是否与标准检查项目相同；
126.413、若是，则将备选检查类别作为检测项目对应的检查类别；
127.414、根据检查类别在医学知识图谱中提取出检查类别中包含的各检测项目对应的标准指标范围；
128.本实施例中步骤408
‑
步骤414中内容与前述实施例中步骤206
‑
步骤210中内容基本相同，故在此不再赘述。
129.415、判断检查结果是否在标准指标范围内；
130.416、若否，则将检查结果标注为异常检查结果，将检查类别标注为异常检查类别；
131.本实施例中步骤415
‑
步骤416中内容与前述实施例中步骤107
‑
步骤108中内容基本相同，故在此不再赘述。
132.417、根据异常检查结果在预置的医学知识图谱中进行检索，得到异常检查类别对应的医疗信息，并根据医疗信息输出数据解读结果。
133.得到检查类别对应的标准指标范围后，对该检查类别中的全部检查结果进行是否异常的判断。
134.具体地，判断每个检查结果是否超过其对应的标准指标范围。若所有的检查结果都没有超过该检查项目对应的标准指标范围，则认为该检查类别为正常状态，则输出预置的检查类别正常的通知文本，其中，该预置的检查类别正常的通知文本还可以包含有预先输入的健康生活指南，例如：“均衡膳食”、“适度运动”等内容。
135.若检查结果中出现有至少一项超过标准指标范围的检测项目，则将该检查结果标注为异常检查结果，将所述检查类别标注为异常检查类别。
136.根据该异常检查类别，在预置的医学知识图谱中基于每个异常检查结果检索该异常检查结果对应的医疗信息，其中，医疗信息可以为可能引起该异常的原因。
137.此外，计算所述异常项目的实际检测结果与所述标准指标的相差指数；根据所述相差指数在医学知识图谱中查询出所述相差指数对应的风险疾病以及风险概率；根据所述风险疾病查询对应的医疗建议通过聚类算法基于相差指数在医学知识图谱中查询出所述相差指数对应的风险疾病，其中，可以具体采用聚类算法中的dbscan算法检测出每类检查单中的异常指标(如血常规中的红细胞计数升高)或异常结论(乳腺彩超报告显示存在左侧乳腺结节)；根据医学知识图谱的具体内容计算出风险概率，并给出疾病风险预警和医学建议。此外，本技术中还能够统计前述生成的全部医疗建议，解析所述医疗建议的具体内容，对产生冲突的医疗建议进行修改，给出整体性的医疗建议。
138.本发明实施例中的方案能够对多种不同版式的体检报告中的内容进行自动解读得到体检报告中的医疗信息，提高了对体检报告的解读效率，此外，本实施例中的方案还提高了解读得到的信息的准确度。
139.上面对本发明实施例的基于图像识别的数据解读方法进行了描述，下面对本发明实施例中基于图像识别的数据解读装置进行描述，请参阅图5，本发明实施例的基于图像识别的数据解读装置一个实施例包括：
140.提取模块501，用于接收数据解读请求，并提取所述数据解读请求中包含的体检报告图片；
141.图像裁剪模块502，用于调用预置的内容定位模型对所述体检报告图片中的体检结果的文本位置进行识别，并根据所述文本位置对所述体检报告图片进行裁剪，得到裁剪
图像集，其中，所述裁剪图像集中包括至少一个裁剪图像块
142.文本识别模块503，用于调用预置的光学字符识别模型对所述裁剪图像块进行文本识别，得到所述裁剪图像块中的文本内容；
143.内容确定模块504，用于根据所述文本内容确定所述裁剪图像块中包含的检查类别以及所述检查类别中包含的检查结果，并根据所述检查类别获取对应的标准指标范围；
144.判断模块505，用于判断所述检查结果是否在所述标准指标范围内；
145.标注模块506，用于若否，则将所述检查结果标注为异常检查结果，将所述检查类别标注为异常检查类别；
146.输出模块507，用于根据所述异常检查结果在预置的医学知识图谱中进行检索，得到所述异常检查类别对应的医疗信息，并根据所述医疗信息输出数据解读结果。
147.本发明实施例中的方案能够对多种不同版式的体检报告中的内容进行自动解读得到体检报告中的医疗信息，提高了对体检报告的解读效率。
148.请参阅图6，本发明实施例中基于图像识别的数据解读装置的另一个实施例包括：
149.提取模块501，用于接收数据解读请求，并提取所述数据解读请求中包含的体检报告图片；图像裁剪模块502，用于调用预置的内容定位模型对所述体检报告图片中的体检结果的文本位置进行识别，并根据所述文本位置对所述体检报告图片进行裁剪，得到裁剪图像集，其中，所述裁剪图像集中包括至少一个裁剪图像块文本识别模块503，用于调用预置的光学字符识别模型对所述裁剪图像块进行文本识别，得到所述裁剪图像块中的文本内容；内容确定模块504，用于根据所述文本内容确定所述裁剪图像块中包含的检查类别以及所述检查类别中包含的检查结果，并根据所述检查类别获取对应的标准指标范围；判断模块505，用于判断所述检查结果是否在所述标准指标范围内；标注模块506，用于若否，则将所述检查结果标注为异常检查结果，将所述检查类别标注为异常检查类别；输出模块507，用于根据所述异常检查结果在预置的医学知识图谱中进行检索，得到所述异常检查类别对应的医疗信息，并根据所述医疗信息输出数据解读结果。
150.在本技术的另一实施例中，所述内容确定模块504包括：内容识别单元5041，用于调用预置的命名实体模型对所述文本内容中包含的命名实体进行识别，得到检测项目，并在所述文本内容中提取所述检测项目对应的检查结果；类别查找单元5042，用于根据所述检测项目，在预置的医学知识图谱中查找出所述检测项目对应的检查类别；范围提取单元5043，用于根据所述检查类别在所述医学知识图谱中提取出所述检查类别中包含的各检测项目对应的标准指标范围。
151.在本技术的另一实施例中，所述类别查找单元5042包括：类别判断子单元，用于调用预置的分类判断模型根据所述检测项目判断出所述检测项目所属的备选检查类别；标准项目查找子单元，用于在预置的医学知识图谱中查找出所述备选检查类别包含的标准检查项目；项目判断子单元，用于判断所述检测项目是否与所述标准检查项目相同；检查类别确定子单元，用于若是，则将所述备选检查类别作为所述检测项目对应的检查类别。
152.在本技术的另一实施例中，所述提取模块501包括：文件提取单元5011，用于接收数据解读请求，提取所述数据解读请求中包含的体检报告的pdf格式文件；文件解析单元5012，用于解析所述pdf格式文件得到所述体检报告的二进制文件；图片转换单元5013，用于将所述二进制文件通过预置的转换工具转换为图片格式文件，得到体检报告图片，其中，
所述预置的转换工具是根据pdf2image工具构建的。
153.在本技术的另一实施例中，所述提取模块501还包括：方向转换单元，用于调用预置的方向调整工具对所述图片格式文件进行方向识别，得到图片的实际方向角度，根据所述实际方向角度对所述图片格式文件进行旋转，得到统一方向角度的第一调整图片文件；变形调整单元，用于检测所述第一图片文件是否有拉伸变形，若有，则调用预置的透视调整工具对所述旋转图片文件进行透视变换，得到第二调整图片文件，并对所述第二调整图片文件进行去噪处理。
154.在本技术的另一实施例中，所述图像裁剪模块502包括：内容位置确定单元5021，用于将所述体检报告图片输入预置的内容定位模型中对所述体检报告图片中的内容进行文本内容范围的识别，得到体检结果的文本位置的边界点坐标；裁剪单元5022，用于根据所述边界点坐标对所述体检报告图片进行裁剪，得到至少一个文本图像块；缩放单元5023，用于将至少一个所述文本图像块进行等比缩放，得到至少一个裁剪图像块，基于至少一个所述裁剪图像块组成裁剪图像集，其中，所述裁剪图像块的短边长度为预设长度。
155.在本技术的另一实施例中，所述基于图像识别的数据解读装置还包括医疗建议生成模块，所述医疗建议生成模块包括：相差指数计算单元，用于计算所述异常检查类别中的异常检查结果与所述标准指标范围的相差指数；查询单元，用于根据所述相差指数在所述医学知识图谱中查询出所述相差指数对应的风险疾病以及风险概率；建议输出单元，用于根据所述风险疾病以及风险概率，查询对应的医疗建议，并输出所述医疗建议。
156.本发明实施例中的方案能够对多种不同版式的体检报告中的内容进行自动解读得到体检报告中的医疗信息，提高了对体检报告的解读效率，此外，本实施例的方案还提高了解读得到的信息的准确度。
157.上面图5和图6从模块化功能实体的角度对本发明实施例中的基于图像识别的数据解读装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于图像识别的数据解读设备进行详细描述。
158.图7是本发明实施例提供的一种基于图像识别的数据解读设备的结构示意图，该基于图像识别的数据解读设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于图像识别的数据解读设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在基于图像识别的数据解读设备700上执行存储介质730中的一系列指令操作。
159.基于图像识别的数据解读设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图7示出的基于图像识别的数据解读设备结构并不构成对基于图像识别的数据解读设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
160.本发明还提供一种计算机设备，该计算机设备可以是能够执行上述实施例中所述的基于图像识别的数据解读方法的任何一种设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于图像识别的数据解读方法的步骤。
161.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
162.在一种可能的实现方式中，本发明中所述数据是医疗数据，如个人健康档案、处方、检查报告等数据。
163.在一种可能的实现方式中，所述文本内容为医疗文本，所述医疗文本可以是医疗电子记录(electronic healthcare record)，电子化的个人健康记录，包括病历、心电图、医学影像等一系列具备保存备查价值的电子化记录。
164.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于图像识别的数据解读方法的步骤。
165.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
166.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
167.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。