一种电子元器件智慧管理方法及其系统与流程

本发明涉及高校电子元器件智慧管理技术领域，具体地涉及一种电子元器件智慧管理方法及其系统。

背景技术：

高校实验室是提高教育质量、培养创新人才的重要基地,是开展教学、科研、生产实践的重要场所。开放实验室实现了实验仪器的共享，培养了学生的实验动手能力和创新意识,为开展实践教学提供了有效的保障。各高校顺应教学改革，积极推进面向全校师生开放物理实验室政策。但物理实验室开放以来，出现了许多管理难的问题，如电子元器件存放散乱、分类不合理、不便查找等导致的实验元器件损耗、丢失等问题。管理的缺失不仅降低了师生做实验的效率，而且也不利于构建资源节约型的开放实验室。

开放实验室使用效益、经济效益和管理机制问题，究其根源是高校物理实验室电子元器件分类不合理、寻找电子元器件消耗时间过长和缺乏信息化途径获取元器件参数的问题。因此，电子元器件管理急需一种高效便捷的智慧管理系统为其提供保障。随着人工智能的发展、lightapp的广泛应用，本公开在对物理实验室电子元器件合理分类的基础上，设计和实现了以微信小程序为展示平台，集成基于神经网络ssd(singleshotmultiboxdetector)框架的元器件识别查询功能和基于小程序的元器件名称模糊查找功能的解决方案。

移动终端app经历了nativeapp、webapp、lightapp几个阶段。lightapp提高了移动服务性价比，优化了移动用户体验，采用微信小程序可以更好的为师生提供实验室元器件管理服务。微信小程序提供链接外部域名服务器接口，为本公开以小程序为集成平台创造了条件。

目前，神经网络在实验室管理上的应用案例已经存在。朱秀娟等(朱秀娟,卢琳,钟洪发.人脸识别技术在考试身份验证中的应用[j].激光杂志,2016,37(06):90-93)利用contourlet变换和二维主成分分析提取人脸特征,以支持向量机为分类器实现人脸识别，完成实验室上机考试身份验证；吴伊萍等(陆琳睿,吴伊萍,陈祺.基于bp神经网络的高校实验室安全评价模型及应用[j].实验室研究与探索,2013,32(02):214-218)提出了基于bp神经网络的高校实验室安全评价模型；盛恒等(盛恒,黄铭,杨晶晶.基于fasterr-cnn和iou优化的实验室人数统计与管理系统[j].计算机应用,2019,29(01):1-7)设计并实现了一套基于fasterr-cnn和iou(intersectionoverunion)优化的实验室人数统计与管理系统；罗云芳(罗云芳.一种bp网络校正算法的实验室智能温控系统研究[j].现代电子技术,2015,38(20):84-87)提出一种基于变结构bp神经网络自适应校正的算法控制实验室智能温度。借鉴学者先前研究，针对高校物理实验室电子元器件智能查询需求，提出基于ssd深度学习网络框架进行元器件识别查询，实现智能化管理。

微信小程序为开放实验室管理提供了统一入口，增强了实验室使用群体的粘着性，同时提升了管理效能。李旭等(李旭,王岩松,孙莉焰,刘景祥.基于微信小程序的开放实验室管理模式探索[j].实验技术与管理,2018,35(03):248-251)基于微信小程序实现了实验室的新闻、通知公告、实验开发信息查询、设备故障报修、意见反馈等模块；陈如男等(陈如男,师文文,吴佳玲,李红.基于微信小程序构建开放护理实验室预约平台的需求分析[j].实用临床护理学电子杂志,2018,3(47):170-171)针对微信小程序构建开放护理实验室预约平台进行了需求分析；赵文杰(赵文杰.基于微信小程序的实验室管理平台的设计[j].计算机产品与流通,2018(12):85)基于微信小程序满足了师生日常教学和设备报修维护等，方便了管理，提高了工作效率。本公开利用微信小程序开放的接口技术，设计了基于小程序的电子元器件名称模糊查询模块，为在校师生提供便捷的使用服务。

技术实现要素：

针对现有技术中的部分问题或者全部问题，本公开提供一种电子元器件智慧管理方法及电子元器件智慧管理系统。

根据本公开实施例的一方面，提供一种电子元器件智慧管理方法，该方法包括：微信小程序利用自身开放的接口与远程web应用服务器、数据库服务器对接；web应用服务器提供元器件目标识别接口、查询远程数据库中元器件信息服务接口；

所述管理方法包括：基于微信小程序元器件目标识别查询方式和基于微信小程序元器件名称模糊查询方式；

其中，基于微信小程序元器件目标识别查询包括：在元器件识别查询界面中，用户可以调用小程序提供的api打开已有图片或打开照相机进行拍照操作以获得图片，并把图片上传到远程web应用服务器；web应用服务器对上传图片进行元器件识别，获取名称并提交名称到远程数据库服务器进行信息精确查询，最后返回识别图像及相关信息。

基于微信小程序元器件名称模糊查询包括：利用微信小程序提供的开放接口，实现元器件名称模糊查询界面和远程web应用服务器、数据库服务器之间信息互通；在web应用服务器中，为了整合元器件目标识别api，按名称模糊查询接口的实现同样采用django框架；django响应用户查询请求对数据库服务器中数据进行模糊查询，并返回查询信息。

该方法还包括对当前实验室中的元器件按照元器件种类和参数的不同进行分类。

web应用服务器采用django框架整合ssd_300_vgg网络，加载model.ckpt-50000，对上传图片进行元器件识别。

每个类别包括n个物体候选框，最后通过非极大值抑制(non-maximumsuppression)对候选框进行筛选，通过iou计算丢弃置信度低的候选框，最终输出包含物品位置和类别信息的候选框，其中n为正整数。

ssd_300_vgg网络损失函数由定位准度函数与分类精度函数组成。

把电子元器件图片转化为voc的数据格式，再转化为tf-records文件；采用labelimg工具对图片进行标注，生成对应的xml标签文件和分别包含训练、测试、验证信息的txt文件。标签文件内容主要包含图片名称、图片的属性、目标box边框坐标。利用ssd_300_vgg模型对已标注元器件数据集tf-records进行训练，通过目标检测结果对模型进行评估，当平均精度达到预定精度时，将训练生成的模型model.ckpt-50000作为识别图片的最终网络模型。

根据本公开实施例的另一方面，提供一种电子元器件智慧管理系统，该系统包括微信小程序自身开放的接口、远程web应用服务器与数据库服务器，该系统用于执行上述电子元器件智慧管理方法。

本发明依托微信小程序集成了基于ssd框架的元器件识别查询和元器件名称模糊查询功能模块，为高校师生提供了方便快捷的元器件查询服务，同时也提高了实验室管理者的工作效率。

附图说明

本发明的电子元器件智慧管理方法及其系统由以下的实施例及附图给出。

图1是本发明的电子元器件智慧管理时序图。

图2是ssd原理图。

图3是电子元器件数据集制作状态图。

图4是global_step/sec图。

图5是total_loss图。

图6是微信小程序元器件目标识别查询界面。

图7是微信小程序元器件名称模糊查询界面。

具体实施方式

以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。

以下将结合图1-图7对本发明的电子元器件智慧管理方法及系统作进一步的详细描述。

图1所示为本示例中的电子元器件智慧管理方法的时序图，从图1中可以看到本方案提供了两种查询方式：基于微信小程序元器件目标识别查询和基于微信小程序元器件名称模糊查询。微信小程序利用自身开放接口实现与远程web应用服务器、数据库服务器对接。web应用服务器提供了元器件目标识别接口、查询远程数据库中元器件信息服务接口。

下面将从ssd网络框架ssd_300_vgg神经网络模型和基于微信小程序元器件名称模糊查询两个方面进行详细阐述。

基于ssd_300_vgg网络的元器件目标识别：深度学习的目标识别是基于提取regionproposal和对roi(regionofinterest)分类两个步骤实现的。根据实现方法的不同，基于深度学习的目标检测方法可分为：两阶段检测器，如r-cnn系列、fpn、maskr-cnn等；单阶段端到端检测器，如yolo(youonlylookonce)(redmonj,divvalas,girshickr,etal.youonlylookonce:unified,real-timeobjectdetection[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition,2016)、ssd、retinanet(linty,goyalp,girshickr,etal.focallossfordenseobjectdetection[c]∥ieeeinternationalconferenceoncomputervision(iccv),2017:2999-3007)等。ssd融合了rpn(regionproposalnetwork)的思想，在不同卷积层所输出的不同尺度的卷积结果上进行区域划分，在多种尺度的区域中提取目标中心点。

本公开基于ssd目标识别框架构建ssd_300_vgg新的网络模型，ssd_300_vgg网络原理见图2所示。该模型是对vgg-16体系结构进行的迁移学习，其中vgg-16经过了imagenet数据集训练。基于vgg-16基础模型在300*300输入分辨率下，得到38*38响应图conv5，其上每个像素点取4个物体框，进一步卷积操作得到19*19、10*10和5*5响应图，对这三个响应图上每个像素取6个物体框，继续卷积操作得到3*3和1*1的响应图，最后在对这两个响应图上每个像素取4个物体框操作。因此，每个类别共计有38*38*4+(19*19+10*10+5*5)*6+(3*3+1*1)*4＝8732个物体候选框，最后通过非极大值抑制(non-maximumsuppression)对候选框进行筛选，通过iou(intersectionoverunion，重叠度)计算丢弃置信度低的候选框，最终输出包含物品位置和类别信息的候选框。

在迁移学习中，网络模型参数trainable_scopes指定的网络层(包括ssd_300_vgg/conv6、ssd_300_vgg/conv7、ssd_300_vgg/block8、ssd_300_vgg/block9、ssd_300_vgg/block10、ssd_300_vgg/block11、ssd_300_vgg/block4_box、ssd_300_vgg/block7_box、ssd_300_vgg/block8_box、ssd_300_vgg/block9_box、ssd_300_vgg/block10_box、ssd_300_vgg/block11_box)需要训练，且这些层参数不需要从vgg-16模型里面加载。

ssd_300_vgg网络损失函数由定位准度函数与分类精度函数组成。公式(1)表示总的目标损失函数，其中n表示与真实物体框相匹配的默认框数量；α是一个权重参数，初始值为1；lconf(x，c)表示分类置信度损失；lloc(x，l，g)表示位置回归损失。公式(2)中表示当第i个默认框标记为属于类别p的第j个物体时，其取值1，否则为0；c是预测框的置信度；i∈pos表示默认框中包含目标，i∈neg表示默认框为背景。公式(3)表示ssd输出的第i个默认框属于类别p置信度。公式(4)中x,y,w,h分别表示调整后默认框的中心位置和宽、高。smoothl1表示l1下的smooth函数。

基于微信小程序的元器件名称模糊查询功能：lightapp因其不用占用移动终端空间、超好用户体验、可被检索与智能分发等特性有效的解决了优质应用和服务与移动用户需求对接的问题。微信小程序作为一种lightapp，通过api中wx.request函数调用远程web应用服务器提供的查询服务接口实现电子元器件名称模糊查询。

元器件智慧管理的实现首先要对当前实验室中23种元器件进行分类。按照元器件种类和参数的不同进行分类，整理得到表1。其中，坐标(x，y，z)分别表示：第x个柜子、第y个抽屉、第z个格子。利用表1设计出数据库字段(id，coordinates,types,parameters)。

表1元器件分类表

ssd框架默认支持pascalvoc的数据格式，因此需要把电子元器件图片转化为voc的数据格式，再转化为tf-records文件。首先对23种电子元器件进行拍照，每种类型元器件获取100张图片。采用labelimg工具对图片进行标注，生成对应的xml标签文件和分别包含训练、测试、验证信息的txt文件。标签文件内容主要包含图片名称、图片的属性(高、宽、通道)、目标box边框坐标等。如下图3所示，电子元器件数据集制作状态图。

本方法采用工作站硬件平台，操作系统为ubuntu19.04，gpu为geforcertx2080ti，内存为64g，采用基于tensorflow的深度学习框架ssd_300_vgg。

利用ssd_300_vgg模型对已标注元器件数据集tf-records进行5万次训练，通过目标检测结果对模型进行评估，平均精度值为0.806。图4显示占用内存消耗较少,图5显示总损失度逐渐下降，最终并趋于相对稳定，体现了设计模型的良好性能。最后将训练生成的模型model.ckpt-50000作为识别图片的最终网络模型。

在元器件识别查询界面中，用户可以调用小程序提供的api打开已有图片或打开照相机进行拍照操作以获得图片，并把图片上传到远程web应用服务器。web应用服务器采用django框架整合ssd_300_vgg网络，加载model.ckpt-50000，对上传图片进行元器件识别，获取名称并提交名称到远程数据库服务器进行信息精确查询，最后返回识别图像及相关信息。其操作流程见时序图1中基于元器件目标识别查询表示，其界面见图6。

利用微信小程序提供的开放接口，实现元器件名称模糊查询界面和远程web应用服务器、数据库服务器之间信息互通。在web应用服务器中，为了整合元器件目标识别api，按名称模糊查询接口的实现同样采用django框架。django响应用户查询请求对数据库服务器中数据进行模糊查询，并返回查询信息。其操作流程见时序图中基于元器件名称模糊查询表示，其界面见图7。

根据本公开实施例的另一方面，提供一种电子元器件智慧管理系统，该系统包括微信小程序自身开放接口、远程web应用服务器与数据库服务器，该系统用于执行上述电子元器件智慧管理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。