用药复核方法、装置、设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种用药复核方法、装置、设备及存储介质。


背景技术：

2.随着国内城市化进程的发展，城市人口也大幅增长，人们日益增长的医疗健康服务需求，仍然给各类医院的运营造成了一定的压力。特别是药房、护士站等药品发放频繁的工作岗位，高压力之下，严格执行药品发放规范、严防药品发放错误，对药师及护士们提出了更高的要求。目前患者就医用药的流程和场景一般情况下是这样的：用户就医，医生进行诊断，然后开具处方单，用户根据处方单去医院药房或者第三方药房进行配药，取药，然后用药。在患者从取药到用药的过程中，缺失对药品的检查和复核阶段。现实生活场景中，由于人工的失误，出现过很多次药房配错药，患者在不知情的情况下使用了错误的药品，导致严重的医疗事故的发生。为解决用药的安全，避免人工失误，采用技术复核的手段来增强用药前的药品检查，同时对用药进行注意事项，用药流程等进行指导。保障患者用药的安全。
3.现有的对药物进行复核的方式主要有两种，一种方案则是通过增加人手，降低药师护士等医护人员的工作强度，这种方案主观因素强，容易出错，降低药品发放效率，另一种是通过ocr技术等是识别技术进行复核，但ocr技术进行识别可能存在缺字，漏字或者错别字，会影响到药品通用名的识别准确性，导致识别错误。


技术实现要素：

4.本发明的主要目的在于解决现有的药物复核由于识别过程中缺字、漏字或错别字导致复核准确度低的技术问题。
5.本发明第一方面提供了一种用药复核方法，包括：
6.获取用户终端上传的待检测药物的药品包装图像和处方单图像；通过预设的图像检测算法对所述药品包装图像和所述处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，所述待检测药品信息中包括第一药品名称信息，所述处方单药品信息包括第二药品名称信息；将所述第一药品名称信息和至少一个所述第二药品名称信息进行匹配；若匹配失败，则将所述第一药品名称信息和所述第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；计算所述第一音形码和每个所述第二音形码之间的编辑距离，并根据所述编辑距离计算所述第一音形码和每个第二音形码之间的相似度；判断是否存在大于预设的相似度阈值的相似度；若不存在大于预设的相似度阈值的相似度，则生成第一预警信号，并将所述第一预警信号发送至所述用户终端；若匹配成功或存在大于预设的相似度阈值的相似度，则根据待检测药品信息，生成用药报告，并将所述用药报告发送至所述用户终端。
7.可选的，在本发明第一方面的第一种实现方式中，所述通过预设的图像检测算法对所述药品包装图像和所述处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息包括：采用canny边缘检测算子对所述药品包装图像进行边缘检测，得到所述
药品包装图像的边缘图像；通过hough直线检测算法对所述边缘图像进行直线检测，得到所述药品包装图像的药盒矩形边框；对所述药盒矩形边框进行腐蚀膨胀处理，得到文字区域；通过光学字符识别ocr技术对所述文字区域和所述处方单图像进行文字识别，得到待检测药品信息和至少一个处方单药品信息。
8.可选的，在本发明第一方面的第二种实现方式中，所述将所述第一药品名称信息和所述第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码包括：分别对所述第一药品名称信息和所述第二药品名称信息进行分词处理，得到对应的第一药品字符和第二药品字符；获取音码映射规则和形码映射规则；通过所述音码映射规则将所述第一药品字符和所述第二药品字符进行转换，分别得到对应的第一音码和第二音码，并通过所述形码映射规则将所述第一药品字符和所述第二药品字符进行转换，分别得到对应的第一形码和第二形码；将所述第一音子码和所述第一形码进行拼接，以及将所述第二药品字符对应的第二音码和对应的第二形码对应拼接，得到对应的第一音形码和至少一个第二音形码。
9.可选的，在本发明第一方面的第三种实现方式中，所述计算所述第一音形码和每个所述第二音形码之间的编辑距离，并根据所述编辑距离计算所述第一音形码和每个第二音形码之间的相似度包括：计算所述第一音形码和每个所述第二音形码之间的编辑距离；根据所述编辑距离构造对应的编辑距离矩阵；将所述编辑距离矩阵中最右下角的值作为对应的最短编辑距离；根据预设的相似度公式和所述最短编辑距离计算所述第一音形码和对应的第二音形码之间的相似度。
10.可选的，在本发明第一方面的第四种实现方式中，所述若不存在大于预设的相似度阈值的相似度之后，还包括：获取本地平台药品库的药品名，并对获取到的所述药品名进行去重处理和索引重建处理，得到药品名集合；将所述药品名集合中的药品名转换成音形码的形式，得到第三音形码集合；将所述第一音形码和所述第二音形码分别与第三音形码集合中的每个第三音形码进行匹配，并判断分别与所述第一音形码和所述第二音形码匹配的第三音形码是否为同种药物；若是，则根据待检测药品信息，生成用药报告，并将所述用药报告发送至所述用户终端；若否，则生成第一预警信号，并将所述第一预警信号发送至所述用户终端。
11.可选的，在本发明第一方面的第五种实现方式中，所述处方单药品信息还包括理论使用量；在所述匹配成功或存在大于预设的相似度阈值的相似度之后，还包括：对所述待检测药品进行重量检测，得到所述待检测药品的重量信息，并根据所述重量信息计算所述待检测药品的实际购买量；根据所述理论使用量判断所述实际购买量是否异常；若是，则生成第二预警信号，并将所述第二预警信号发送至所述用户终端。
12.可选的，在本发明第一方面的第六种实现方式中，其特征在于，所述根据待检测药品信息，生成用药报告，并将所述用药报告发送至所述用户终端包括：获取用药报告模板，其中所述用药报告模板包括用药报告主体和设置在用药报告主体中预设位置的占位符；确定所述待检查药品信息的信息类型，并根据预设的信息类型与所述占位符的对应关系，将所述待检查药品信息与所述占位符对应；将所述用药报告模板中的占位符替换为对应的待检测药品信息，生成用药报告；将所述用药报告发送至所述用户终端。
13.本发明第二方面提供了一种用药复核装置，包括：
14.获取模块，用于获取用户终端上传的待检测药物的药品包装图像和处方单图像；识别模块，用于通过预设的图像检测算法对所述药品包装图像和所述处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，所述待检测药品信息中包括第一药品名称信息，所述处方单药品信息包括第二药品名称信息；匹配模块，用于将所述第一药品名称信息和至少一个所述第二药品名称信息进行匹配；转换模块，用于当匹配失败时，将所述第一药品名称信息和所述第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；计算模块，用于计算所述第一音形码和每个所述第二音形码之间的编辑距离，并根据所述编辑距离计算所述第一音形码和每个第二音形码之间的相似度；判断模块，用于判断是否存在大于预设的相似度阈值的相似度；预警模块，用于当不存在大于预设的相似度阈值的相似度时，生成第一预警信号，并将所述第一预警信号发送至所述用户终端；用药报告模块，用于当匹配成功或存在大于预设的相似度阈值的相似度时，则根据待检测药品信息，生成用药报告，并将所述用药报告发送至所述用户终端。
15.可选的，在本发明第二方面的第一种实现方式中，所述识别模块具体用于：采用canny边缘检测算子对所述药品包装图像进行边缘检测，得到所述药品包装图像的边缘图像；通过hough直线检测算法对所述边缘图像进行直线检测，得到所述药品包装图像的药盒矩形边框；对所述药盒矩形边框进行腐蚀膨胀处理，得到文字区域；通过光学字符识别ocr技术对所述文字区域和所述处方单图像进行文字识别，得到待检测药品信息和至少一个处方单药品信息。
16.可选的，在本发明第二方面的第二种实现方式中，所述转换模块具体用于：分别对所述第一药品名称信息和所述第二药品名称信息进行分词处理，得到对应的第一药品字符和第二药品字符；获取音码映射规则和形码映射规则；通过所述音码映射规则将所述第一药品字符和所述第二药品字符进行转换，分别得到对应的第一音码和第二音码，并通过所述形码映射规则将所述第一药品字符和所述第二药品字符进行转换，分别得到对应的第一形码和第二形码；将所述第一音子码和所述第一形码进行拼接，以及将所述第二药品字符对应的第二音码和对应的第二形码对应拼接，得到对应的第一音形码和至少一个第二音形码。
17.可选的，在本发明第二方面的第三种实现方式中，所述计算模块具体用于：计算所述第一音形码和每个所述第二音形码之间的编辑距离；根据所述编辑距离构造对应的编辑距离矩阵；将所述编辑距离矩阵中最右下角的值作为对应的最短编辑距离；根据预设的相似度公式和所述最短编辑距离计算所述第一音形码和对应的第二音形码之间的相似度。
18.可选的，在本发明第二方面的第四种实现方式中，所述用药复核装置还包括第二匹配模块，所述第二匹配模块具体包括：获取本地平台药品库的药品名，并对获取到的所述药品名进行去重处理和索引重建处理，得到药品名集合；将所述药品名集合中的药品名转换成音形码的形式，得到第三音形码集合；将所述第一音形码和所述第二音形码分别与第三音形码集合中的每个第三音形码进行匹配，并判断分别与所述第一音形码和所述第二音形码匹配的第三音形码是否为同种药物；若是，则根据待检测药品信息，生成用药报告，并将所述用药报告发送至所述用户终端；若否，则生成第一预警信号，并将所述第一预警信号发送至所述用户终端。
19.可选的，在本发明第二方面的第五种实现方式中，所述处方单药品信息还包括理
论使用量；所述用药复核装置还包括称重模块，所述称重模块具体用于：对所述待检测药品进行重量检测，得到所述待检测药品的重量信息，并根据所述重量信息计算所述待检测药品的实际购买量；根据所述理论使用量判断所述实际购买量是否异常；若是，则生成第二预警信号，并将所述第二预警信号发送至所述用户终端。
20.可选的，在本发明第二方面的第六种实现方式中，所述用药报告模块具体用于：获取用药报告模板，其中所述用药报告模板包括用药报告主体和设置在用药报告主体中预设位置的占位符；确定所述待检查药品信息的信息类型，并根据预设的信息类型与所述占位符的对应关系，将所述待检查药品信息与所述占位符对应；将所述用药报告模板中的占位符替换为对应的待检测药品信息，生成用药报告；将所述用药报告发送至所述用户终端。
21.本发明第三方面提供了一种用药复核设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述用药复核设备执行上述的用药复核方法的步骤。
22.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的用药复核方法的步骤。
23.本发明的技术方案中，通过获取用户终端上传的待检测药物的药品包装图像和处方单图像；通过预设的图像检测算法对药品包装图像和处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，待检测药品信息中包括第一药品名称信息，处方单药品信息包括第二药品名称信息；将第一药品名称信息和至少一个第二药品名称信息进行匹配；若匹配失败，则将第一药品名称信息和第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；计算第一音形码和至少一个第二音形码之间的编辑距离，并根据编辑距离计算第一音形码和至少一个第二音形码之间的相似度；判断是否存在大于预设的相似度阈值的相似度；若不存在，则生成预警信号，并将预警信号发送至用户终端；若匹配成功或存在大于预设的相似度阈值的相似度，则根据待检测药品信息，生成用药报告，并将用药报告发送至用户终端。本方法在光学字符识别ocr识别药品名称与处方单无法匹配时，通过将药品名称与处方单中的药品名称转换成音形码，进行模糊匹配，避免由于药品名称多样或者字符识别过程中缺字、漏字或错别字导致复核准确度低的问题。
附图说明
24.图1为本发明实施例中用药复核方法的第一个实施例示意图；
25.图2为本发明实施例中用药复核方法的第二个实施例示意图；
26.图3为本发明实施例中用药复核方法的第三个实施例示意图；
27.图4为本发明实施例中用药复核方法的第四个实施例示意图；
28.图5为本发明实施例中用药复核方法的第五个实施例示意图；
29.图6为本发明实施例中用药复核装置的一个实施例示意图；
30.图7为本发明实施例中用药复核装置的另一个实施例示意图；
31.图8为本发明实施例中用药复核设备的一个实施例示意图。
具体实施方式
32.本发明的技术方案中，通过获取用户终端上传的待检测药物的药品包装图像和处方单图像；通过预设的图像检测算法对药品包装图像和处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，待检测药品信息中包括第一药品名称信息，处方单药品信息包括第二药品名称信息；将第一药品名称信息和至少一个第二药品名称信息进行匹配；若匹配失败，则将第一药品名称信息和第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；计算第一音形码和至少一个第二音形码之间的编辑距离，并根据编辑距离计算第一音形码和至少一个第二音形码之间的相似度；判断是否存在大于预设的相似度阈值的相似度；若不存在，则生成预警信号，并将预警信号发送至用户终端；若匹配成功或存在大于预设的相似度阈值的相似度，则根据待检测药品信息，生成用药报告，并将用药报告发送至用户终端。本方法在光学字符识别ocr识别药品名称与处方单无法匹配时，通过将药品名称与处方单中的药品名称转换成音形码，进行模糊匹配，避免由于药品名称多样或者字符识别过程中缺字、漏字或错别字导致复核准确度低的问题。
33.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
34.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中用药复核方法的第一个实施例包括：
35.101、获取用户终端上传的待检测药物的药品包装图像和处方单图像；
36.可以理解的是，本发明的执行主体可以为用药复核装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
37.需要强调的是，为保证数据的私密和安全性，上述药物包装图像可以存储于一区块链的节点中。
38.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
39.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
40.在本实施例中，待检测药品对应的药品包装图像和处方单图像是指通过摄像装置拍摄待检测药品以及用户将医生发放的处方单采集到的图片，可以理解地，通过获取待复核药品对应的包装图像和处方单图像，以便后续基于该包装图片实现药品的自动化复核。
41.在本实施例中，为了提高图像检测算法对用户上传的图像材料识别的准确性，对图像材料的分辨率、图像尺寸、图像文件规格等可以进行对应的要求，可以预先设置对药品包装图像对应的图像规格标准，在用户上传待检测药物的药品包装图像和处方单图像后，判断上传的图像材料是否符合要求，若不符合，则返回二次上传提示，通知用户终端重新进行图像材料的拍摄上传。
42.102、通过预设的图像检测算法对药品包装图像和处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，待检测药品信息中包括第一药品名称信息，处方单药品信息包括第二药品名称信息；
43.在本实施例中，主要通过图像检测算法中的光学字符识别ocr技术对药品包装图像和处方单图像进行字符识别，得到待检测药品信息和处方单药品信息，其中待检测药品信息主要包括药品名称信息、批次编号、有效期、使用说明等，处方单药品信息主要包括药品名称信息、规格、剂量、用药途径、频次、总量等。
44.在本实施例中，对应药品包装图像，由于不同药物的包装不同，待检测药物的药品信息所在的区域也各不相同，需要通过图像检测算法确定药品包装中的文字区域，再通过光学字符识别ocr技术识别文字区域中的字符。对于处方单图像，由于文字区域均在预设的文字区域内，光学字符识别ocr技术直接识别对于区域即可。
45.103、将第一药品名称信息和至少一个第二药品名称信息进行匹配；
46.在实际应用中，疾病一般需要多种药物同时进行使用，医生在对病人诊断后发放的处方单中一般包含多种药品，故处方单图像中至少存在一种处方单信息，也可能存在多种，也就存在至少一个第二药品名称信息。
47.在本实施例中，直接将第一药品名称信息和第二药品名称信息进行匹配，判断字符是否相同，若相同，则说明用户拿取的药物和处方单上的相同，复核通过，根据其他的待检测药物信息以及患者的个人信息，比如年龄，性别，综合药品的药性，药理等后端大数据，给出更准确的用药提示报告。
48.104、若匹配失败，则将第一药品名称信息和第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；
49.在本实施例中，音形码是一种汉字的编码方式，该编码将一个汉字转化成一个11位字母数字序列，在一定程度上保留了该汉字的发音及字形的特征。它可以很好的解决使用ocr识别的药品名可能存在错别字，缺字或者多字的问题。
50.在实际应用中，整个音形码共分两部分，第一部分是音码部分，主要覆盖了韵母、声母、补码以及声调的内容；第二部分是字形码，包含了结构位、四角编码、四角编码的附码和汉字的笔画数位。
51.在本实施例中，通过映射表的方式，将汉字转换成了一系列的字符序列，对于一个词语，就是对词语的每个字符都转换成音型码，然后组成一个音型码列表。例如，药品这个词转换成音型码就是[’9i442441279’,’h2032606609’]。计算两个字符串的相似度就变成了计算两个字符串的音型码的相似度了。例如，abc药品s6这一分词对应的字符串为abc9i442441279h20326066096，其包括的子字符串为“a”、“b”、“c”、“9i442441279”、“h2032606609”、“s”、“6”。
[0052]
105、计算第一音形码和每个第二音形码之间的编辑距离，并根据编辑距离计算第
一音形码和每个第二音形码之间的相似度；
[0053]
在实际应用中，编辑距离算法，又称为levenshtein距离，表示从一个字符串转化为另一个字符串所需要的最少编辑次数，即将字符串中的一个字符替换成另一个字符，或者插入删除字符，计算出一对字符串间的最小编辑次数是编辑距离的核心，通过编辑距离算法计算两音形码的编辑距离，进而确定两音形码的相似度，编辑距离越近，两音形码的相似度越高。
[0054]
106、判断是否存在大于预设的相似度阈值的相似度；
[0055]
107、若不存在大于预设的相似度阈值的相似度，则生成第一预警信号，并将第一预警信号发送至用户终端；
[0056]
108、若匹配成功或存在大于预设的相似度阈值的相似度，则根据待检测药品信息，生成用药报告，并将用药报告发送至用户终端。
[0057]
在本实施例中，包括了通过直接进行药品名称进行匹配的精准匹配和通过将药品名称转化成音形码再匹配的模糊匹配的两次匹配，进行两次匹配而不是直接通过模糊匹配的原因在于节省计算资源，其中，两次匹配中若有一次匹配成功，则直接据其他的待检测药物信息以及患者的个人信息，比如年龄，性别，综合药品的药性，药理等后端大数据，给出更准确的用药提示报告。两次匹配若均不成功，则可以间接说明待检测药物不是处方单内的药物，则生成预警信号，发送至用户终端，提醒用户拿取的药物是错误的，避免患者在不知情的情况下使用了错误的药品，导致严重的医疗事故的发生。
[0058]
在本实施例中，通过获取用户终端上传的待检测药物的药品包装图像和处方单图像；通过预设的图像检测算法对药品包装图像和处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，待检测药品信息中包括第一药品名称信息，处方单药品信息包括第二药品名称信息；将第一药品名称信息和至少一个第二药品名称信息进行匹配；若匹配失败，则将第一药品名称信息和第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；计算第一音形码和至少一个第二音形码之间的编辑距离，并根据编辑距离计算第一音形码和至少一个第二音形码之间的相似度；判断是否存在大于预设的相似度阈值的相似度；若不存在，则生成预警信号，并将预警信号发送至用户终端；若匹配成功或存在大于预设的相似度阈值的相似度，则根据待检测药品信息，生成用药报告，并将用药报告发送至用户终端。本方法在光学字符识别ocr识别药品名称与处方单无法匹配时，通过将药品名称与处方单中的药品名称转换成音形码，进行模糊匹配，避免由于药品名称多样或者字符识别过程中缺字、漏字或错别字导致复核准确度低的问题。
[0059]
请参阅图2，本发明实施例中用药复核方法的第二个实施例包括：
[0060]
201、获取用户终端上传的待检测药物的药品包装图像和处方单图像；
[0061]
202、采用canny边缘检测算子检测对药品包装图像进行边缘检测，得到药品包装图像的边缘图像；
[0062]
在实际应用中，一般的，药品包装为药盒，在本实施例中，首先需要对药品包装图像进行检测和分割，主要包括边缘检测、边缘检测、轮廓提取、计算药盒中心点及药盒旋转角度；边缘检测采用canny算子经过高斯滤波、梯度计算、边缘非极大值抑制、双阈值确定边缘点、连接边缘点生成边缘图像对药盒进行初步边缘检测。
[0063]
203、通过hough直线检测算法对边缘图像进行直线检测，得到药品包装图像的药盒矩形边框；
[0064]
在本实施例中，轮廓提取采用hough直线检测得到药盒矩形轮廓，最后根据所得矩形计算药盒中心点及药盒旋转角度得到规整的药盒图案。
[0065]
204、对药盒矩形边框进行腐蚀膨胀处理，得到文字区域；
[0066]
在本实施例中，通过药盒图片的旋转确保能得到角度正确的药名图片，对图像的腐蚀膨胀处理初步提取出药盒上的文字位置，使用mser算法对提取出的文字区域进行检验将文字部分具体划分，利用药品名称的特点确定药品名称位置。
[0067]
205、通过光学字符识别ocr技术对文字区域和处方单图像进行文字识别，得到待检测药品信息和至少一个处方单药品信息，其中，待检测药品信息中包括第一药品名称信息，处方单药品信息包括第二药品名称信息；
[0068]
在本实施例中，文字颜色识别为二值化提供预处理，若文字颜色为黑色，则直接进行二值化操作，若文字颜色为白色，则反转图片再进行二值化操作，二值化算法选用大津法，区分文字和文字背景；采用投影法进行文本切分得到单个文字，再通过光学字符识别ocr技术识别字符图片，获取待检测药品信息，对于处方单图像，由于文字区域均在预设的文字区域内，光学字符识别ocr技术直接识别对于区域即可。
[0069]
206、将第一药品名称信息和至少一个第二药品名称信息进行匹配；
[0070]
207、若匹配失败，则将第一药品名称信息和第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；
[0071]
208、计算第一音形码和每个第二音形码之间的编辑距离，并根据编辑距离计算第一音形码和每个第二音形码之间的相似度；
[0072]
209、判断是否存在大于预设的相似度阈值的相似度；
[0073]
210、若不存在大于预设的相似度阈值的相似度，则生成第一预警信号，并将第一预警信号发送至用户终端；
[0074]
211、若匹配成功或存在大于预设的相似度阈值的相似度，则根据待检测药品信息，生成用药报告，并将用药报告发送至用户终端。
[0075]
本实施例在上一实施例的基础上，详细描述了通过预设的图像检测算法对药品包装图像和处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息的过程，通过采用canny边缘检测算子检测对药品包装图像进行边缘检测，得到药品包装图像的边缘图像；通过hough直线检测算法对边缘图像进行直线检测，得到药品包装图像的药盒矩形边框；对药盒矩形边框进行腐蚀膨胀处理，得到文字区域；通过光学字符识别ocr技术对文字区域和处方单图像进行文字识别，得到待检测药品信息和至少一个处方单药品信息。本实施例能够很好地识别药品包装上的药品名称，通过运用腐蚀膨胀运算和mser算法确定药品名称位置，来确定药品名称位置，并通过ocr识别确定药品名称，识别结果更加准确。
[0076]
请参阅图3，本发明实施例中用药复核方法的第三个实施例包括：
[0077]
301、获取用户终端上传的待检测药物的药品包装图像和处方单图像；
[0078]
302、通过预设的图像检测算法对药品包装图像和处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，待检测药品信息中包括第一药品名称信息，处方单药品信息包括第二药品名称信息；
[0079]
303、将第一药品名称信息和至少一个第二药品名称信息进行匹配；
[0080]
304、若匹配失败，则分别对第一药品名称信息和第二药品名称信息进行分词处理，得到对应的第一药品字符和第二药品字符；
[0081]
305、获取音码映射规则和形码映射规则；
[0082]
306、通过音码映射规则将第一药品字符和第二药品字符进行转换，分别得到对应的第一音码和第二音码，并通过形码映射规则将第一药品字符和第二药品字符进行转换，分别得到对应的第一形码和第二形码；
[0083]
307、将第一音子码和第一形码进行拼接，以及将第二药品字符对应的第二音码和对应的第二形码对应拼接，得到对应的第一音形码和至少一个第二音形码；
[0084]
在本实施例中，当完成了对第一药品名称信息和所述第二药品名称信息的分词后，将每一分词中的汉字字符转化为音形码，每一分词中的非汉字字符则不作音形码转化而是保留原字符。通过这一转化过程，将每一分词均转化成了不包含汉字字符的字符串。
[0085]
在本实施例中，音形码包括12位：2位声母、2位韵母、5位四角编码、1位结构码、2位笔画数。所述形码的映射规则包括：汉字到拼音、笔画、结构和四角编码的映射规则，所述音码的映射规则包括声母、韵母、结构到数值码的映射规则。，如下表1所示，下表1为声母、韵母到数值码的映射规则：
[0086]
表1
[0087]
a01ai07ie13un19o02ei08ve14vn20e03ui09er15ang21i04ao10an16eng22u05ou11en17ing23v06iu12in18ong24
[0088]
在本实施例中，通过映射表的方式，将汉字转换成了一系列的字符序列，对于一个词语，就是对词语的每个字符都转换成音型码，然后组成一个音型码列表。例如，药品这个词转换成音型码就是[’9i442441279’,’h2032606609’]。计算两个字符串的相似度就变成了计算两个字符串的音型码的相似度了。例如，abc药品s6这一分词对应的字符串为abc9i442441279h20326066096，其包括的子字符串为“a”、“b”、“c”、“9i442441279”、“h2032606609”、“s”、“6”。
[0089]
308、计算第一音形码和每个第二音形码之间的编辑距离；
[0090]
309、根据编辑距离构造对应的编辑距离矩阵；
[0091]
310、将编辑距离矩阵中最右下角的值作为对应的最短编辑距离；
[0092]
311、根据预设的相似度公式和最短编辑距离计算第一音形码和对应的第二音形码之间的相似度；
[0093]
在本实施例中，基于单个汉字的音形码映射规则，将第一药品名称信息a和第二药品名称信息b分别进行映射，得到第一音形码ssca:{ssc1,ssc2,...sscp}和第二音形码sscb:{ssc1,ssc2,...sscq}，其中，p、q分别表示a和b的汉字个数；将a、b、ssca、sscb以及n作为编辑距离算法的输入，并构建编辑距离矩阵，得到a与b之间的编辑距离d，并通过相似度公式计算两音形码相似度。
[0094]
312、判断是否存在大于预设的相似度阈值的相似度；
[0095]
313、若不存在大于预设的相似度阈值的相似度，则生成第一预警信号，并将第一预警信号发送至用户终端；
[0096]
314、若匹配成功或存在大于预设的相似度阈值的相似度，则根据待检测药品信息，生成用药报告，并将用药报告发送至用户终端。
[0097]
本实施例在前实施例的基础上，详细描述了通过音形码形式进行模糊匹配的过程，通过将第一图像帧中的人脸图像输入人脸图像质量评估模型中，通过对第一药品名称信息和第二药品名称信息分别进行分词处理，分别得到对应的药品字符；获取音码映射规则和形码映射规则，并通过音码映射规则和形码映射规则将药品字符转换成对应的音码和形码；将音码和形码进行拼接，得到对应的第一音形码和至少一个第二音形码，并通过计算音形码之间的编辑距离，进而计算量药品名称的相似度。本实施例中，通过图像质量评估模型进行多分支任务评估，得到多种评分值后进行综合评分，能够提高评估精度。本实施例中，通过将药品名称与处方单中的药品名称转换成音形码，进行模糊匹配，避免由于药品名称多样或者字符识别过程中缺字、漏字或错别字导致复核准确度低的问题。
[0098]
请参阅图4，本发明实施例中用药复核方法的第四个实施例包括：
[0099]
401、获取用户终端上传的待检测药物的药品包装图像和处方单图像；
[0100]
402、通过预设的图像检测算法对药品包装图像和处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，待检测药品信息中包括第一药品名称信息，处方单药品信息包括第二药品名称信息；
[0101]
403、将第一药品名称信息和至少一个第二药品名称信息进行匹配；
[0102]
404、若匹配失败，则将第一药品名称信息和第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；
[0103]
405、计算第一音形码和每个第二音形码之间的编辑距离，并根据编辑距离计算第一音形码和每个第二音形码之间的相似度；
[0104]
406、判断是否存在大于预设的相似度阈值的相似度；
[0105]
407、若不存在大于预设的相似度阈值的相似度，则获取本地平台药品库的药品名，并对获取到的药品名进行去重处理和索引重建处理，得到药品名集合；
[0106]
408、将药品名集合中的药品名转换成音形码的形式，得到第三音形码集合；
[0107]
409、将第一音形码和第二音形码分别与第三音形码集合中的每个第三音形码进行匹配，并判断分别与第一音形码和第二音形码匹配的第三音形码是否为同种药物；
[0108]
410、若不是同种药物，则生成第一预警信号，并将第一预警信号发送至用户终端；
[0109]
在本实施例中，由于药物名称可能存在多种，而第一音形码和第二音形码对应的药品名称均不是药品的通用名称，但是却可能是相同药物，所以可以在进行两次符合校验之后，通过本地平台药品库中的药品名称，再次进行复核校验，同样基于音形码以及编辑距离的原理将将所述第一音形码和所述第二音形码分别与第三音形码集合中的第三音形码进行匹配，本地平台药品库中存储有各药品的不同名称，并将相同药品的不同名称归属为一类，通过判断第一音形码和第二音形码匹配的第三音形码是否为同一类别，进而确定待检测药品与处方单药品是否相同，通过精准匹配和两次模糊匹配，提高复核检测的准确率。
[0110]
411、若是同种药物若匹配成功或存在大于预设的相似度阈值的相似度，则对待检
测药品进行重量检测，得到待检测药品的重量信息，并根据重量信息计算待检测药品的实际购买量；
[0111]
412、根据理论使用量判断实际购买量是否异常；
[0112]
在本实施例中，在对待检测药物进行精准匹配和模糊匹配成功后，可以对待检测药物进行重量检测，并根据匹配结果获取药物信息，包括药物的单位重量，进而推测出待检测药物的实际购买量；同时，可以获取待检测药物的说明书信息，并根据该说明书信息计算得到保险特药的理论使用量,例如，说明书信息中包括疗程用量(盒/支)、疗程时长(月)，根据该疗程用量和疗程时长可计算出预设周期(如1年)的理论使用量，如注射用曲妥珠单抗(赫赛汀，一种用于治疗her2过度表达的转移性乳腺癌的注射剂)的说明书信息中，每个疗程用量1支、每个疗程1个月，1年按12个月算，则注射用曲妥珠单抗1年的理论使用量为理论使用量＝疗程用量*12/疗程时长＝12(支)。然后，将理论使用量与实际购买量进行对比，根据理论使用量判断实际购买量是否异常，若实际购买量不大于理论使用量(或实际购买量不大于理论使用量的预设倍数)，则可认为该实际购买量正常；而若实际购买量大于理论使用量(或实际购买量大于理论使用量的预设倍数)，则可认为该实际购买量异常。
[0113]
413、若是，则生成第二预警信号，并将第二预警信号发送至用户终端；
[0114]
在本实施例中，在判断实际购买量异常时，可以生成第二预警信号，以便和第一预警信号进行区别，当用户终端接收到第一预警信号时，表明药品类型异常，当用户接收到第二预警信号时，表明药物购买量异常。
[0115]
414、若否，则根据待检测药品信息，生成用药报告，并将用药报告发送至用户终端。
[0116]
本实施例在前实施例的基础上，增加了本地平台药品库作为中间的匹配路径进行进一步模糊匹配的过程，通过获取本地平台药品库的药品名，并进行去重处理和索引重建处理，得到药品名集合；将所述药品名集合中的药品名转换成音形码的形式，得到第三音形码集合；将所述第一音形码和所述第二音形码分别与第三音形码集合中的第三音形码进行匹配，并判断所述第一音形码和所述第二音形码匹配的第三音形码是否为同种药物。基于本地平台药品库进行进一步地模糊匹配，能够避免由于药品名称多样或者字符识别过程中缺字、漏字或错别字导致复核准确度低的问题。
[0117]
请参阅图5，本发明实施例中用药复核方法的第五个实施例包括：
[0118]
501、获取用户终端上传的待检测药物的药品包装图像和处方单图像；
[0119]
502、通过预设的图像检测算法对药品包装图像和处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，待检测药品信息中包括第一药品名称信息，处方单药品信息包括第二药品名称信息；
[0120]
503、将第一药品名称信息和至少一个第二药品名称信息进行匹配；
[0121]
504、若匹配失败，则将第一药品名称信息和第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；
[0122]
505、计算第一音形码和每个第二音形码之间的编辑距离，并根据编辑距离计算第一音形码和每个第二音形码之间的相似度；
[0123]
506、判断是否存在大于预设的相似度阈值的相似度；
[0124]
507、若不存在大于预设的相似度阈值的相似度，则生成第一预警信号，并将第一
预警信号发送至用户终端；
[0125]
508、若匹配成功或存在大于预设的相似度阈值的相似度，则获取用药报告模板，其中用药报告模板包括用药报告主体和设置在用药报告主体中预设位置的占位符；
[0126]
509、确定待检查药品信息的信息类型，并根据预设的信息类型与占位符的对应关系，将待检查药品信息与占位符对应；
[0127]
在本实施例中，药品信息的信息类型包括比如年龄，性别，综合药品的药性，药理等后端大数据，药品信息通过标签表征信息类型，通过将标签与对应的占位符种类进行对应并替换，即可将药品信息填写入用药模板中生成用药报告。
[0128]
510、将用药报告模板中的占位符替换为对应的待检测药品信息，生成用药报告；
[0129]
511、将用药报告发送至用户终端。
[0130]
本实施例在前实施例的基础上，详细描述了根据待检测药品信息，生成用药报告，并将所述用药报告发送至所述用户终端的过程，通过获取用药报告模板，其中所述用药报告模板包括用药报告主体和设置在用药报告主体中预设位置的占位符；确定所述待检查药品信息的信息类型，并根据预设的信息类型与所述占位符的对应关系，将所述待检查药品信息与所述占位符对应；将所述用药报告模板中的占位符替换为对应的待检测药品信息，生成用药报告；将所述用药报告发送至所述用户终端。本方法占位符的方式生成用药报告，能够提升用药报告的生成效率，提高用户体验。
[0131]
上面对本发明实施例中用药复核方法进行了描述，下面对本发明实施例中用药复核装置进行描述，请参阅图6，本发明实施例中用药复核装置一个实施例包括：
[0132]
获取模块601，用于获取用户终端上传的待检测药物的药品包装图像和处方单图像；
[0133]
识别模块602，用于通过预设的图像检测算法对所述药品包装图像和所述处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，所述待检测药品信息中包括第一药品名称信息，所述处方单药品信息包括第二药品名称信息；
[0134]
匹配模块603，用于将所述第一药品名称信息和至少一个所述第二药品名称信息进行匹配；
[0135]
转换模块604，用于当匹配失败时，将所述第一药品名称信息和所述第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；
[0136]
计算模块605，用于计算所述第一音形码和每个所述第二音形码之间的编辑距离，并根据所述编辑距离计算所述第一音形码和每个第二音形码之间的相似度；
[0137]
判断模块606，用于判断是否存在大于预设的相似度阈值的相似度；
[0138]
预警模块607，用于当不存在大于预设的相似度阈值的相似度时，生成第一预警信号，并将所述第一预警信号发送至所述用户终端；
[0139]
用药报告模块608，用于当匹配成功或存在大于预设的相似度阈值的相似度时，则根据待检测药品信息，生成用药报告，并将所述用药报告发送至所述用户终端。
[0140]
需要强调的是，为保证数据的私密和安全性，上述监控视频可以存储于一区块链的节点中。
[0141]
本发明实施例中，所述用药复核装置运行上述用药复核方法，所述用药复核装置通过获取用户终端上传的待检测药物的药品包装图像和处方单图像；通过预设的图像检测
算法对药品包装图像和处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，待检测药品信息中包括第一药品名称信息，处方单药品信息包括第二药品名称信息；将第一药品名称信息和至少一个第二药品名称信息进行匹配；若匹配失败，则将第一药品名称信息和第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；计算第一音形码和至少一个第二音形码之间的编辑距离，并根据编辑距离计算第一音形码和至少一个第二音形码之间的相似度；判断是否存在大于预设的相似度阈值的相似度；若不存在，则生成第一预警信号，并将第一预警信号发送至用户终端；若匹配成功或存在大于预设的相似度阈值的相似度，则根据待检测药品信息，生成用药报告，并将用药报告发送至用户终端。本方法在光学字符识别ocr识别药品名称与处方单无法匹配时，通过将药品名称与处方单中的药品名称转换成音形码，进行模糊匹配，避免由于药品名称多样或者字符识别过程中缺字、漏字或错别字导致复核准确度低的问题。
[0142]
请参阅图7，本发明实施例中用药复核装置的第二个实施例包括：
[0143]
获取模块601，用于获取用户终端上传的待检测药物的药品包装图像和处方单图像；
[0144]
识别模块602，用于通过预设的图像检测算法对所述药品包装图像和所述处方单图像进行识别，分别得到待检测药品信息和至少一个处方单药品信息，其中，所述待检测药品信息中包括第一药品名称信息，所述处方单药品信息包括第二药品名称信息；
[0145]
匹配模块603，用于将所述第一药品名称信息和至少一个所述第二药品名称信息进行匹配；
[0146]
转换模块604，用于当匹配失败时，将所述第一药品名称信息和所述第二药品名称信息分别转换成音形码的形式，得到第一音形码和至少一个第二音形码；
[0147]
计算模块605，用于计算所述第一音形码和每个所述第二音形码之间的编辑距离，并根据所述编辑距离计算所述第一音形码和每个第二音形码之间的相似度；
[0148]
判断模块606，用于判断是否存在大于预设的相似度阈值的相似度；
[0149]
预警模块607，用于当不存在大于预设的相似度阈值的相似度时，生成第一预警信号，并将所述第一预警信号发送至所述用户终端；
[0150]
用药报告模块608，用于当匹配成功或存在大于预设的相似度阈值的相似度时，则根据待检测药品信息，生成用药报告，并将所述用药报告发送至所述用户终端。
[0151]
可选的，所述识别模块602具体用于：采用canny边缘检测算子检测对药品包装图像进行边缘检测，得到所述药品包装图像的边缘图像；通过hough直线检测算法对所述边缘图像进行直线检测，得到所述药品包装图像的药盒矩形边框；对所述药盒矩形边框进行腐蚀膨胀处理，得到文字区域；通过光学字符识别ocr技术对所述文字区域和所述处方单图像进行文字识别，得到待检测药品信息和至少一个处方单药品信息。
[0152]
可选的，所述转换模块604具体用于：分别对所述第一药品名称信息和所述第二药品名称信息进行分词处理，得到对应的第一药品字符和第二药品字符；获取音码映射规则和形码映射规则；通过所述音码映射规则将所述第一药品字符和所述第二药品字符进行转换，分别得到对应的第一音码和第二音码，并通过所述形码映射规则将所述第一药品字符和所述第二药品字符进行转换，分别得到对应的第一形码和第二形码；将所述第一音子码和所述第一形码进行拼接，以及将所述第二药品字符对应的第二音码和对应的第二形码对
应拼接，得到对应的第一音形码和至少一个第二音形码。
[0153]
可选的，所述计算模块605具体用于：计算所述第一音形码和每个所述第二音形码之间的编辑距离；根据所述编辑距离构造对应的编辑距离矩阵；将所述编辑距离矩阵中最右下角的值作为对应的最短编辑距离；根据预设的相似度公式和所述最短编辑距离计算所述第一音形码和对应的第二音形码之间的相似度。
[0154]
其中，所述用药复核装置还包括第二匹配模块609，所述第二匹配模块609具体包括：获取本地平台药品库的药品名，并对获取到的所述药品名进行去重处理和索引重建处理，得到药品名集合；将所述药品名集合中的药品名转换成音形码的形式，得到第三音形码集合；将所述第一音形码和所述第二音形码分别与第三音形码集合中的每个第三音形码进行匹配，并判断分别与所述第一音形码和所述第二音形码匹配的第三音形码是否为同种药物；若是，则根据待检测药品信息，生成用药报告，并将所述用药报告发送至所述用户终端；若否，则生成第一预警信号，并将所述第一预警信号发送至所述用户终端。
[0155]
其中，所述处方单药品信息包括理论使用量；所述用药复核装置还包括称重模块610，所述称重模块610具体用于：对所述待检测药品进行重量检测，得到所述待检测药品的重量信息，并根据所述重量信息计算所述待检测药品的实际购买量；根据所述理论使用量判断所述实际购买量是否异常；若是，则生成第二预警信号，并将所述第二预警信号发送至所述用户终端。
[0156]
可选的，所述用药报告模块608具体用于：获取用药报告模板，其中所述用药报告模板包括用药报告主体和设置在用药报告主体中预设位置的占位符；确定所述待检查药品信息的信息类型，并根据预设的信息类型与所述占位符的对应关系，将所述待检查药品信息与所述占位符对应；将所述用药报告模板中的占位符替换为对应的待检测药品信息，生成用药报告；将所述用药报告发送至所述用户终端。
[0157]
本实施例在上一实施例的基础上，详细描述了各个模块的具体功能以及部分模块的单元构成，通过新增的模块生成的模型和特征提取网络，在光学字符识别ocr识别药品名称与处方单无法匹配时，通过将药品名称与处方单中的药品名称转换成音形码，进行模糊匹配，避免由于药品名称多样或者字符识别过程中缺字、漏字或错别字导致复核准确度低的问题，同时实现对药品进行称重，判断用户拿取的药品数量是否异常，进一步对用户拿取的药品进行复核。
[0158]
上面图6和图7从模块化功能实体的角度对本发明实施例中的中用药复核装置进行详细描述，下面从硬件处理的角度对本发明实施例中用药复核设备进行详细描述。
[0159]
图8是本发明实施例提供的一种用药复核设备的结构示意图，该用药复核设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对用药复核设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在用药复核设备800上执行存储介质830中的一系列指令操作，以实现上述用药复核方法的步骤。
[0160]
用药复核设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无
线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图8示出的用药复核设备结构并不构成对本技术提供的用药复核设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0161]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0162]
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述用药复核方法的步骤。
[0163]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0164]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0165]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。