一种产品信息多模态融合再现装置及方法与流程

1.本发明涉及智能识别技术领域，特别涉及一种产品信息多模态融合再现装置及方法。


背景技术：

2.生活中视障人士经常需要知晓一个物品的详细信息。一个典型的应用就是视障人士独立用药问题：如何知道药品名称、用量、用法、适用症等信息。 发达国家和某些国际组织已经注意到此问题的重要性，并制定相应的法规标准。2004年欧洲委员会出台了强制指令directive 2004/27/ec，要求欧盟境内生产流通的医药产品的外包装上，必须包含盲文标签。国际标准化组织iso tc122也出台了国际标准iso 17351 packaging — braille on packaging for medicinal products，规定了盲文在医药产品包装的先是办法。国内方面，出台了国家推荐标准gb/t 37105-2018《包装——药品包装上的盲文》规范了药品包装上盲文信息的标注方式。但是调查实际状况显示，在药品说明书或药品包装盒上加印盲文的医药产品非常少。分析其主要原因有：1经济成本的增加，盲文的特殊性，其印刷成本会比普通文字的成本更高，材料的成本也会增加。2. 时间成本的增加。现行gmp要求，药品说明书及标签上添加内容需要按要求向药品监管部门提出申请，经审批后方可实施。这无疑增加了企业的时间成本3. 风险成本的增加。目前盲文印刷公司少、翻译人员缺乏，企业在印刷盲文时容易出错，且不易质检发现。为了规避错误风险，很多药品选择不印刷盲文。
3.运用新一代信息技术，开发智能识别的产品信息再现系统，可以帮助企业规避相关风险，帮助视障人士快速准确地获取产品信息，辅助其能够独立用药，有助于提高视障人士生活质量，帮助视障人士建立独立生活的能力。


技术实现要素：

4.本发明的目的在于提供一种产品信息多模态融合再现装置及方法，以克服现有技术中的不足。
5.为实现上述目的，本发明提供如下技术方案：本发明公开了一种产品信息多模态融合再现装置，包括产品信息扫码装置和多模态融合再现装置，所述产品信息扫码装置用于完成盒装产品任意面的条形码的扫描以及称重计量，并将扫描所得信息和计量信息传输给所述多模态融合再现装置，所述多模态融合再现装置包括信息识别模块、检索模块、网上检索模块、信息云平台、用药监控模块、信息转化模块，实现对产品信息的听觉和触觉的多融合再现，以及对药品的用量监控；信息云平台：用于储存产品基础信息和详细信息；信息识别模块：连接产品信息扫码装置与检索模块、用药监控模块，用于对扫描信息进行甄别、判断和基础信息的提取；检索模块：连接信息识别模块和信息云平台，用于检索信息云平台中是否存储有相同的基础信息；
网上检索模块：连接信息云平台，用于对基础信息进行检索，得到产品的详细信息；用药监控模块：连接信息识别模块与信息云平台，用于存储产品的质量与时间标记信息组，并计算判定有效服药时间；信息转化模块：用于将详细信息及服药时间信息转化为语音、盲文、图文并进行播报和显示；作为优选的，所述产品信息扫码装置包括外壳、支撑板、旋转平台组件和扫描组件，所述支撑板上转动设有旋转平台组件、所述旋转平台组件包括全透明的盛放框，所述盛放框内设有称重计量模块，所述外壳内设有绕所述旋转平台组件转动的扫描组件，所述扫描组件包括扫描支撑架，所述扫描支撑架上安装有扫描模块。
6.作为优选的，所述支撑板上安装有旋转驱动电机和滚珠轴承，所述滚珠轴承上安装有环状齿轮，所述旋转驱动电机输出轴固定设有驱动齿轮，所述驱动齿轮与所述环状齿轮啮合连接，所述环状齿轮上固定安装所述盛放框。
7.作为优选的，所述盛放框内壁固定安装所述称重计量模块，所述盛放框底部设有透明盛放板，所述透明盛放板与固定连接在称重计量模块测量端。
8.作为优选的，所述扫描支撑架转动设在所述外壳内，所述扫描支撑架的转动轴上固定设有扫描配合齿轮，所述外壳上固定安装有扫描驱动电机，所述扫描驱动电机输出轴固定设有与扫描配合齿轮啮合连接的扫描驱动齿轮。
9.作为优选的，所述支撑板靠近所述扫描组件一侧设置有中空部分，所述支撑板上旋转平台组件底部设有扫描窗口。
10.本发明公共了一种产品信息多模态融合再现方法，包括如下步骤：步骤1、将盒装药品放入盒装产品信息扫码装置，对药品进行信息扫描以及称重计量，将条形码信息和质量信息输入多模态融合再现装置；步骤2、对药品信息进行信息识别并提取基础信息，判断信息云平台中是否存在相同基础信息，若不存在，执行步骤3；若存在，执行步骤5；步骤3、对基础信息进行检索，得到产品的详细信息；步骤4、将产品详细信息与基础信息进行匹配，并存储在信息云平台中；步骤5、将步骤1中得到的质量信息储存在用药监控模块中，并对所述质量信息进行时间标记；步骤6、对比用药监控模块中之前储存的质量信息和对应的时间信息，计算得到目前时间与上次服药时间的时间差，并将时间差信息送入信息云平台中存储；步骤7、将时间差信息和产品的详细信息输入语音转化模块、盲文转化模块进行转化；步骤8、播报以及盲文显示产品的详细信息和距离上次服药的时间差。
11.作为优选的，所述条形码信息包括gs-1编码、国家药品电子监管码、厂家公众号信息；所述基础信息包括产品名称、产品型号、厂家；所述产品详细信息包括产品名称、产品用量说明、特别注意事项。
12.作为优选的，所述步骤3具体为：通过网上检索模块依次检索中国医药信息查询平台、国家药监局、厂商官网、搜索引擎等方式。
13.作为优选的，所述步骤6的具体子步骤如下：步骤6.1：根据详细信息中药品用量设置质量区间值；步骤6.2：提取储存在用药监控模块中前一时间的质量信息，并与当前时间标记对应的质量信息作差；步骤6.3：判断差值是否在设置的质量区间内，若差值在质量区间值内，表示前一时间已正常服用药品，标记此时时间为上一次服药时间，执行步骤6.5；若差值不在质量区间内，表示前一时间并未服用药品，执行步骤6.4；步骤6.4：将用药监控模块中前一时间的质量信息删除，并提取用药监控模块中更早一次时间的质量信息与前时间标记对应的质量信息作差，直至选取的时间标记对应的质量时间与当前时间标记对应的质量信息差值在质量区间值内，标记选取的时间为上一次服药时间；步骤6.5：计算上一次服药时间与当前时间的时间差。
14.本发明的有益效果：本发明一种产品信息多模态融合再现装置及方法，通过所述装置可对产品多面进行扫描和信息采集，并对对应产品的质量信息和时间标记进行处理，另外设置了产品信息云平台及网上检索模块，能快速地匹配最新的产品信息，并将准确的产品信息储存在信息云平台中，通过根据产品的用量信息和采集的质量信息对用户的服药时间差进行计算，将服药时间差以及产品详细信息通过盲文、语音、图文转化模块进行转化并播报和显示，实现了产品触觉、音频和图文信息综合展示，便于视弱人士、全盲人士、聋盲症人士等各种视障人士使用。
附图说明
15.图1是本发明实施例的整体示意图；图2是本发明实施例的具体结构示意图；图3是本发明实施例的内部结构示意图；图4是本发明实施例的旋转平台组件结构示意图；图5是本发明实施例的扫描组件结构示意图；图6是本发明实施例的多模态融合再现装置的示意图；图7是本发明实施例的方法整体流程图；图8是本发明实施例的时间差计算流程图。
具体实施方式
16.为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
17.如图1所示，本发明实施例提供一种产品信息多模态融合再现装置，包括产品信息扫码装置和多模态融合再现装置，所述产品信息扫码装置用于完成盒装产品任意面的条形码的扫描以及称重计量，并将扫描所得信息和计量信息传输给所述多模态融合再现装置，所述多模态融合再现装置包括信息识别模块、检索模块、网上检索模块、信息云平台、用药
监控模块、信息转化模块，实现对产品信息的听觉和触觉的多融合再现，以及对药品的用量监控；信息云平台：用于储存产品基础信息和详细信息；信息识别模块：连接产品信息扫码装置与检索模块、用药监控模块，用于对扫描信息进行甄别、判断和基础信息的提取；检索模块：连接信息识别模块和信息云平台，用于检索信息云平台中是否存储有相同的基础信息；网上检索模块：连接信息云平台，用于对基础信息进行检索，得到产品的详细信息；用药监控模块：连接信息识别模块与信息云平台，用于存储产品的质量与时间标记信息组，并计算判定有效服药时间；信息转化模块：用于将详细信息及服药时间信息转化为语音、盲文、图文并进行播报和显示；信息转化模块包括：盲文转化模块、语音转化模块、图文转化模块，分别用于将详细信息及服药时间信息转化为盲文并显示、转化为语音并播报、转化为图文并播放。
18.如图2-图5所示，所述产品信息扫码装置包括外壳1、支撑板2、旋转平台组件3和扫描组件4，所述支撑板上转动设有旋转平台组件3、所述旋转平台组件3包括全透明的盛放框31，所述盛放框31内设有称重计量模块37，所述外壳1内设有绕所述旋转平台组件3转动的扫描组件4，所述扫描组件4包括扫描支撑架44，所述扫描支撑架44上安装有扫描模块45。
19.具体地，如图4所示，所述支撑板上安装有旋转驱动电机35和滚珠轴承33，所述滚珠轴承33上安装有环状齿轮32，所述旋转驱动电机35输出轴固定设有驱动齿轮34，所述驱动齿轮34与所述环状齿轮32啮合连接，所述环状齿轮32上固定安装所述盛放框31。所述盛放框内壁固定安装所述称重计量模块37，所述盛放框31底部设有透明盛放板36，所述透明盛放板36与固定连接在称重计量模块37测量端。所述支撑板2靠近所述扫描组件一侧设置有中空部分21，所述支撑板2上旋转平台组件3底部设有扫描窗口22。
20.具体地，如图5所示，所述扫描支撑架44转动设在所述外壳1内，所述扫描支撑架44的转动轴上固定设有扫描配合齿轮43，所述外壳1上固定安装有扫描驱动电机41，所述扫描驱动电机41输出轴固定设有与扫描配合齿轮43啮合连接的扫描驱动齿轮42。
21.如图6所示，多模态融合再现装置6外形包括电源开关键61，音频播放终端62，图文播放终端63，盲文显示终端64，上下翻页键65，音量控制键66，播放键67。多模态融合再现装置通过连接线5在接收到扫描模组4所得到的扫描信息。多模态融合再现装置通过内部信息整合、检索、转化等，最终在音频播放终端62、图文播放终端63、盲文显示终端64融合显示；电源开关键61、上下翻页键65、音量控制键66、播放键67可以控制本装置的开关、信息上下翻页、音量、和播放设置。
22.如图7所示，本发明实施例还提供了一种产品信息多模态融合再现方法，包括如下步骤：步骤1、将盒装药品放入盒装产品信息扫码装置，对药品进行信息扫描以及称重计量，将条形码信息和质量信息输入多模态融合再现装置；步骤2、对药品信息进行信息识别并提取基础信息，判断信息云平台中是否存在相同基础信息，若不存在，执行步骤3；若存在，执行步骤5；
步骤3、对基础信息进行检索，得到产品的详细信息，通过网上检索模块依次检索中国医药信息查询平台、国家药监局、厂商官网、搜索引擎等方式，获取产品的详细信息；步骤4、将产品详细信息与基础信息进行匹配，并存储在信息云平台中；步骤5、将步骤1中得到的质量信息储存在用药监控模块中，并对所述质量信息进行时间标记；步骤6、对比用药监控模块中之前储存的质量信息和对应的时间信息，计算得到目前时间与上次服药时间的时间差，并将时间差信息送入信息云平台中存储；步骤7、将时间差信息和产品的详细信息输入语音转化模块、盲文转化模块进行转化；所述条形码信息包括gs-1编码、国家药品电子监管码、厂家公众号信息；所述基础信息包括产品名称、产品型号、厂家；所述产品详细信息包括产品名称、产品用量说明、特别注意事项。
23.如图8所示，所述步骤6的具体步骤如下：步骤6.1、根据详细信息中药品用量设置质量区间值,并初始化m=1；步骤6.2、记当前的质量信息为mn，时间标记为tn，提取第n-m次存储的质量信息m
n-m
和对应的时间标记t
n-m
，即储存在用药监控模块中前一时间的质量信息和对应的时间标记，计算m
n-m
与mn的差值；步骤6.3、判断m
n-m
与mn的差值是否在设定质量区间内，若差值在质量区间内，执行步骤6.5，若差值不在质量区间内，执行步骤6.4；步骤6.4、令m=m+1，即提取用药监控模块中更早一次时间所存储的质量信息，并重复执行步骤6.2和步骤6.3，直至m
n-m
与mn的差值在质量区间内，删除参与中间计算的不符合差值要求的质量信息和对应时间标记；步骤6.5、计算tn与t
n-m
的差值，记为服药时间差，将时间差信息送入信息云平台中存储。
24.本发明实施例的具体实施过程如下：将一个需要识别的盒装产品信息投入到盛放框31内，扫描模组4处在中间的位置，检测到有产品装入，开始执行扫描。旋转平台组件2的旋转驱动电机35驱动下，由环状齿轮32带动盛放框31旋转90
°
，扫描下一个竖直面的条形码；扫描完成后，再次旋转90
°
，直至4个面均完成扫描。扫描驱动电机41带动扫描配合齿轮43、扫描支撑架44转动至顶部，扫描模块45执行对产品顶面的条形码扫描；而后扫描驱动电机41回转180
°
至底部，对产品底面的条形码进行扫描。另外，称重计量模块37对产品质量进行测量，并将记录当时测量的时间。当扫描模块45完成对产品六个扫描后，可得到条形码可能是很多样的包括“gs-1编码”、“中国药品电子监管码”、“厂家公众号信息”、“产品说明书”等。将信息传递给多模态融合再现装置6的产品识别模块，产品识别模块对扫描信息进行甄别、判断，截取其中的产品基础信息（产品、型号、厂家）。产品基础信息传递给产品信息检索模块，通过检索产品说明信息云平台获得，详细的产品说明细，（产品说明书、特别注意事项等）。产品说明信息云平台：用于储存产品的详细说明信息。如在云平台尚未检索到相关信息，则通过网上检索模块，依次检索中国医药信息查询平台、国家药监局等权威网站、厂商官网、搜索引擎等方式，获取产品的信息说明信息，并粗存在产品说明信息云平台上。另外，用药监控模块对产品的质量信息和
对应的时间标记进行处理，得到服药时间差信息。将产品说明信息和时间差信息传递给主控单元模块，主控单元模块为系统的运算控制单元，实现读取指令、逻辑运算、信息交换的等功能。最终将需要呈现的信息分别传递给盲文转换模块、音频转换模块、图文转换模块。其中盲文转换模块将盲文信息转换成盲文电信号，并将盲文电型号传递给盲文显示终端64，实现对信息的盲文显示；音频转换模块：将语音信息进行信息转化成数字信息发送至音频播放终端62，实现语音播放；图文转换模块：将文字图文信息转换成数字信息发送至图文播放终端63。按键控制模块为输入单元，与主控单元模块相连，包含电源开关键61、播放键67、上下翻页键65、音量控制键66。
25.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。