基于视频流的人工智能自动控制的港口木材计数理货系统的制作方法

：
1.本发明涉及基于视频流的人工智能自动控制的港口木材计数理货系统。


背景技术：

2.港口是位于海、江、河、湖、水库沿岸，具有水陆联运设备以及条件以供船舶安全进出和停泊的运输枢纽，是水陆交通的集结点和枢纽处，是工农业产品和外贸进出口物资的集散地，也是船舶停泊、装卸货物、上下旅客、补充给养的场所。
3.木材的存储计数理货是港口日常工作中较为常见的环节，目前，主要是采用人工记录的方式，与港口业务生产进行同步，24小时作业，根据现场作业情况制定人员投入计划；理货员在卡扣岗亭处观察木材数量，进行统计，统计完毕后，填写理货计数单，内容包括车号、每车前后排装载的木材数量及木材分票信息、残损数量及残损类型，交给车辆司机进行转运。
4.现有的以人工记录为主的港口木材计数理货方式木材理货质量和作业效率较低，理货员日常的工作量会变的很大，由于木材的质量和体积较大，实际理货操作也存在较多的安全风险，人工成本高；同时，历史数据的查询和追溯难度较大，当木材出现异常状况需要查询时，理货员不能一一对应向用户准确反馈出所需要的历史木材数据，不能适应港口的实际应用，理货质量和科技含量低下。


技术实现要素：

5.本发明实施例提供了基于视频流的人工智能自动控制的港口木材计数理货系统，基于视频或图像拍摄和电气集成控制作用，配合多类型的电气结构和电气组件，实现港口木材的全自动智能统计理货，理货员不再需要现场值守理货，转为在理货室进行远程控制，通过视频监控系统、木材识别系统及智能理货平台进行远程操作，实现一人多车的自动化作业，极大减少了人员投入，理货业务质量也得以提升，同时，还方便进行历史数据的查询和追溯，实现木材数量识别作业，与港口业务系统、海关检验系统及理货业务的实时数据交互，解决了现有技术中存在的问题。
6.本发明为解决上述技术问题所采用的技术方案是：
7.基于视频流的人工智能自动控制的港口木材计数理货系统，包括相配合设置的前端图像采集单元、操作终端、客户端和智能分析服务器，所述前端图像采集单元用于拍摄捕获木材横截面图像或视频，并识别统计出有效木材；所述操作终端用于控制驱动前端图像采集单元的动作以拍摄捕获木材横截面图像或视频；所述智能分析服务器用于根据拍摄捕获的木材横截面图像或视频进行分析，对木材数据进行计数；所述客户端用于供理货员在后台使用，设有图形化的操作界面，以接收智能分析服务器传输的分析结果数据；在前端图像采集单元、操作终端、客户端和智能分析服务器之间设有网络设备和交换机，以进行数据交互；所述前端图像采集单元包括相配合设置的高清摄像机、超广角鱼眼摄像机、电动推杆、补光灯、语音播报器和信号指示器，所述操作终端包括控制器。
8.所述控制器通过通讯控制线与语音播报器和信号指示器相连，所述控制器通过触发器与高清摄像机和超广角鱼眼摄像机分别对应相连，所述控制器通过驱动器与电动推杆和补光灯分别对应相连。
9.所述控制器的型号为stm32f103c8t6，在控制器上设有64个引脚，所述控制器通过十五号引脚和十六号引脚与驱动器相连，所述控制器通过三十三号引脚和三十四号引脚与信号指示器相连，所述控制器通过三十七号引脚与语音播报器相连，所述控制器通过四十四号引脚和四十五号引脚与触发器相连。
10.所述语音播报器包括语音芯片，所述语音芯片的型号为wt588d，在语音芯片上设有20个引脚，所述语音芯片通过七号引脚与控制器的三十七号引脚相连；所述语音芯片的十号引脚连接3.3v电源并通过第四电容接地设置；所述语音芯片的十八号引脚和十五号引脚相连并接地设置；所述语音芯片的十七号引脚连接3.3v电源，在语音芯片的十七号引脚和十四号引脚之间设有第四电阻，在语音芯片的十四号引脚和十三号引脚之间设有相串联的第七电容和第三电阻，在语音芯片的十三号引脚和十二号引脚之间设有相串联的第六电容和第三电阻；所述语音芯片通过指示灯和第一电阻连接3.3v电源；所述语音芯片通过十六号引脚与扬声器相连，在语音芯片的十六号引脚上设有相并联的第二电阻和第五电容。
11.所述信号指示器包括相并联设置的第一电磁继电器和第二电磁继电器，在第一电磁继电器上连接有红色指示灯，在第二电磁继电器上连接有绿色指示灯。
12.所述驱动器的型号为uln2003，在驱动器上设有16个引脚，所述驱动器的一号引脚与控制器的十五号引脚相连，所述驱动器的七号引脚与控制器的十六号引脚相连；在驱动器的十六号引脚上设有第三电磁继电器，在第三电磁继电器上设有相并联的第一二极管和第五电阻，在第三电磁继电器上设有电动推杆接口；在驱动器的十号引脚上设有第四电磁继电器，在第四电磁继电器上设有相并联的第二二极管和第六电阻，在第四电磁继电器上设有补光灯接口。
13.所述触发器的型号为fds9945，所述触发器的二号引脚与控制器的四十五号引脚相连，所述触发器的三号引脚与控制器的四十四号引脚相连，在触发器的八号引脚上连接有高清摄像机，在触发器的五号引脚上连接有超广角鱼眼摄像机。
14.所述网络设备包括无线通讯器和gprs通讯器。
15.所述gprs通讯器的型号为sim800c，在gprs通讯器上设有42个引脚，所述gprs通讯器的一号引脚、二号引脚和六号引脚为数据传输传输引脚，在gprs通讯器的二号引脚和六号引脚之间设有相并连的第六电阻和第七电阻；所述gprs通讯器通过十五号引脚、十六号引脚、十七号引脚和十八号引脚连接有sim卡，在gprs通讯器的十五号引脚、十六号引脚和十七号引脚上分别设有第四电容、第五电容和第六电容，在gprs通讯器的十八号引脚上连接有第七电容；所述无线通讯器的型号为esp8266，在无线通讯器上设有8个引脚，所述无线通讯器的四号引脚和八号引脚为数据传输引脚。
16.所述智能分析服务器包括系统逻辑运行服务器和视频图像智能分析服务器。
17.本发明采用上述结构，通过前端图像采集单元来拍摄获取木材横截面图像或视频，为木材的自动化计数理货提供相应的数据基础和依据；通过智能分析服务器根据拍摄捕获的木材横截面图像或视频进行分析，对木材数据进行计数；通过客户端供理货员在后台使用，设有图形化的操作界面，以接收智能分析服务器传输的分析结果数据；通过操作终
端控制驱动前端图像采集单元的动作以拍摄捕获木材横截面图像或视频；通过交换机和网络设备在系统中建立数据和信号传输的通道，将所有的部件进行连通，具有自动高效、成本低廉、安全可靠的优点。
附图说明：
18.图1为本发明的结构示意图。
19.图2为本发明的前端图像采集单元的结构示意图。
20.图3为本发明的智能分析服务器的结构示意图。
21.图4为本发明的网络设备的结构示意图。
22.图5为本发明的无线通讯器的电气原理图。
23.图6为本发明的gprs通讯器的电气原理图。
24.图7为本发明的操作终端和前端图像采集单元的控制原理图。
25.图8为本发明的控制器的电气原理图。
26.图9为本发明的驱动器的电气原理图。
27.图10为本发明的触发器的电气原理图。
28.图11为本发明的语音播报器的电气原理图。
29.图12为本发明的信号指示器的电气原理图。
具体实施方式：
30.为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。
31.如图1
‑
12中所示，基于视频流的人工智能自动控制的港口木材计数理货系统，包括相配合设置的前端图像采集单元、操作终端、客户端和智能分析服务器，所述前端图像采集单元用于拍摄捕获木材横截面图像或视频，并识别统计出有效木材；所述操作终端用于控制驱动前端图像采集单元的动作以拍摄捕获木材横截面图像或视频；所述智能分析服务器用于根据拍摄捕获的木材横截面图像或视频进行分析，对木材数据进行计数；所述客户端用于供理货员在后台使用，设有图形化的操作界面，以接收智能分析服务器传输的分析结果数据；在前端图像采集单元、操作终端、客户端和智能分析服务器之间设有网络设备和交换机，以进行数据交互；所述前端图像采集单元包括相配合设置的高清摄像机、超广角鱼眼摄像机、电动推杆、补光灯、语音播报器和信号指示器，所述操作终端包括控制器。
32.所述控制器通过通讯控制线与语音播报器和信号指示器相连，所述控制器通过触发器与高清摄像机和超广角鱼眼摄像机分别对应相连，所述控制器通过驱动器与电动推杆和补光灯分别对应相连。
33.所述控制器的型号为stm32f103c8t6，在控制器上设有64个引脚，所述控制器通过十五号引脚和十六号引脚与驱动器相连，所述控制器通过三十三号引脚和三十四号引脚与信号指示器相连，所述控制器通过三十七号引脚与语音播报器相连，所述控制器通过四十四号引脚和四十五号引脚与触发器相连。
34.所述语音播报器包括语音芯片，所述语音芯片的型号为wt588d，在语音芯片上设有20个引脚，所述语音芯片通过七号引脚与控制器的三十七号引脚相连；所述语音芯片的
十号引脚连接3.3v电源并通过第四电容接地设置；所述语音芯片的十八号引脚和十五号引脚相连并接地设置；所述语音芯片的十七号引脚连接3.3v电源，在语音芯片的十七号引脚和十四号引脚之间设有第四电阻，在语音芯片的十四号引脚和十三号引脚之间设有相串联的第七电容和第三电阻，在语音芯片的十三号引脚和十二号引脚之间设有相串联的第六电容和第三电阻；所述语音芯片通过指示灯和第一电阻连接3.3v电源；所述语音芯片通过十六号引脚与扬声器相连，在语音芯片的十六号引脚上设有相并联的第二电阻和第五电容。
35.所述信号指示器包括相并联设置的第一电磁继电器和第二电磁继电器，在第一电磁继电器上连接有红色指示灯，在第二电磁继电器上连接有绿色指示灯。
36.所述驱动器的型号为uln2003，在驱动器上设有16个引脚，所述驱动器的一号引脚与控制器的十五号引脚相连，所述驱动器的七号引脚与控制器的十六号引脚相连；在驱动器的十六号引脚上设有第三电磁继电器，在第三电磁继电器上设有相并联的第一二极管和第五电阻，在第三电磁继电器上设有电动推杆接口；在驱动器的十号引脚上设有第四电磁继电器，在第四电磁继电器上设有相并联的第二二极管和第六电阻，在第四电磁继电器上设有补光灯接口。
37.所述触发器的型号为fds9945，所述触发器的二号引脚与控制器的四十五号引脚相连，所述触发器的三号引脚与控制器的四十四号引脚相连，在触发器的八号引脚上连接有高清摄像机，在触发器的五号引脚上连接有超广角鱼眼摄像机。
38.所述网络设备包括无线通讯器和gprs通讯器。
39.所述gprs通讯器的型号为sim800c，在gprs通讯器上设有42个引脚，所述gprs通讯器的一号引脚、二号引脚和六号引脚为数据传输传输引脚，在gprs通讯器的二号引脚和六号引脚之间设有相并连的第六电阻和第七电阻；所述gprs通讯器通过十五号引脚、十六号引脚、十七号引脚和十八号引脚连接有sim卡，在gprs通讯器的十五号引脚、十六号引脚和十七号引脚上分别设有第四电容、第五电容和第六电容，在gprs通讯器的十八号引脚上连接有第七电容；所述无线通讯器的型号为esp8266，在无线通讯器上设有8个引脚，所述无线通讯器的四号引脚和八号引脚为数据传输引脚。
40.所述智能分析服务器包括系统逻辑运行服务器和视频图像智能分析服务器。
41.本发明实施例中的基于视频流的人工智能自动控制的港口木材计数理货系统的工作原理为：基于视频或图像拍摄和电气集成控制作用，配合多类型的电气结构和电气组件，实现港口木材的全自动智能统计理货，理货员不再需要现场值守理货，转为在理货室进行远程控制，通过视频监控系统、木材识别系统及智能理货平台进行远程操作，实现一人多车的自动化作业，极大减少了人员投入，理货业务质量也得以提升，同时，还方便进行历史数据的查询和追溯，实现木材数量识别作业，与港口业务系统、海关检验系统及理货业务的实时数据交互，能够适用于各个区域内不同规格大小的港口。
42.整个方案的设计目标为：在稳定的作业场景视频采集基础上，通过人工智能技术达到木材理货的高度自动化，实现车辆编号自动识别录入，木材二维码信息自动扫描运用，智能识别车辆装载木材数量等功能，有效地降低人工成本，提高理货质量及科技含量，整体提升作业效率，提升公司服务形象；同时，按照外理公司的木材智能理货需求，彻底改变现有的人工作业模式，达到前端无人化、后台集中理货，最大限度发挥理货系统及人工智能的优势，实现自动化、智能化、信息化的木材理货需求。
43.具体的，基于视频流的人工智能自动控制的港口木材计数理货系统主要包括相配合设置的前端图像采集单元、操作终端、客户端和智能分析服务器，前端图像采集单元用于拍摄捕获木材横截面图像或视频，并识别统计出有效木材；操作终端用于控制驱动前端图像采集单元的动作以拍摄捕获木材横截面图像或视频；智能分析服务器用于根据拍摄捕获的木材横截面图像或视频进行分析，对木材数据进行计数；客户端用于供理货员在后台使用，设有图形化的操作界面，以接收智能分析服务器传输的分析结果数据；再配合网络设备和交换机，形成数据交互的传输通道，从而执行整个工艺过程。
44.前端图像采集单元是整个方案中最为重要的构成组件，包括相配合设置的高清摄像机、超广角鱼眼摄像机、电动推杆、补光灯、语音播报器和信号指示器；具体工作过程为：车辆前段木材横截面视频采集，需要安装在电动推杆顶端的超广角鱼眼摄像机在系统点击“开始理货”后延伸到货车木材中部，到达指定位置停留5秒进行图像采集，采集完成后恢复原状；车辆后段木材横截面视频采集，通过安装固定在道路右侧的高清摄像机完成，车辆后段采集视频与车辆前段同步进行，从而获取全部的采集视频和图像。
45.将数据传输至智能分析服务器，能够有效地处理各种光照、角度的情况，并能对不同尺寸、形状、遮挡的木材横截面进行准确识别，支持市面上主流的木材类型；通过对超过200万张测试样本图像的测试统计，准确率为99.3％。算法对单帧图像的处理时间为30毫秒。
46.进一步的，由于单帧图像的木材识别算法无法保证100％的准确率，为了进一步提高识别精度，对单帧的识别结果进行了合并处理，主要是消除漏识别和误识别；合并处理算法以每帧的识别结果作为输入，包括每一帧中木材的位置，大小，以矩形框表示，然后用图匹配算法得到每一帧之间同一个木材之间的对应关系；合并处理算法将这两帧图像的识别结果进行再次对比，同一根木材在这两张图像中出现的横截面以曲线连接起来；可以看到，这种算法可以有效地排除掉误识别的木材。同时也可以处理漏识别的情况。
47.特别说明的是，根据实际应用场景的需要，还可以增加车辆编号自动识别功能和二维码自动识别功能，可以供用户自行进行选取。
48.在二维码自动识别功能中，由于二维码标签贴在木材表面，画面中可能存在大量二维码及非二维码区域，通过自动变焦等方式自动寻找探测二维码图形，对二维码所在的位置进行定位捕获；由于摄像机角度、木材角度等问题，二维码所在区域图像可能存在角度上的差异，需要通过定位矫正图形进行透视变换，得到标准的正方形二维码图像；通过对二维码版本信息、格式信息、数据和纠错码进行解码和对比，将数据区图像转换为0、1的比特流，并用reed
‑
solomon纠错算法对比特流校验和纠错，判断二维码编码格式后译码，得到二维码图像中包含的唯一标识号后，系统自动与提前导入的分票信息进行比对，自动填充木材分票信息，减少人工作业难度。
49.在车辆编号自动识别功能中，基于深度学习的目标检测算法，定制化为手动喷涂的车辆编号信息进行识别，能够有效地处理各种光照、角度造成的编号不清晰问题，对识别结果进行校验和纠错，得到图像中正确的车辆编号信息；通过智能编号识别得到车辆信息，自动填充至理货系统后，形成理货小票，小票内容包含车辆编号、木材分票信息、木材数量等数据。
50.实际使用过程中，为了提高本系统的识别精度、及时输出信息数据，需要保持车辆
装载木材的整洁程度、车辆停车到位和成像清晰。
51.在操作终端中，包括控制器，控制器通过通讯控制线与语音播报器和信号指示器相连，控制器通过触发器与高清摄像机和超广角鱼眼摄像机分别对应相连，控制器通过驱动器与电动推杆和补光灯分别对应相连；控制器的型号为stm32f103c8t6，在控制器上设有64个引脚，控制器通过十五号引脚和十六号引脚与驱动器相连，控制器通过三十三号引脚和三十四号引脚与信号指示器相连，控制器通过三十七号引脚与语音播报器相连，控制器通过四十四号引脚和四十五号引脚与触发器相连，从而使操作终端和前端图像采集单元建立连接进行操作控制和数据交互。
52.优选的，语音播报器包括语音芯片，语音芯片的型号为wt588d，在语音芯片上设有20个引脚，所述语音芯片通过七号引脚与控制器的三十七号引脚相连；所述语音芯片的十号引脚连接3.3v电源并通过第四电容接地设置；语音芯片的十八号引脚和十五号引脚相连并接地设置；语音芯片的十七号引脚连接3.3v电源，在语音芯片的十七号引脚和十四号引脚之间设有第四电阻，在语音芯片的十四号引脚和十三号引脚之间设有相串联的第七电容和第三电阻，在语音芯片的十三号引脚和十二号引脚之间设有相串联的第六电容和第三电阻；语音芯片通过指示灯和第一电阻连接3.3v电源；语音芯片通过十六号引脚与扬声器相连，在语音芯片的十六号引脚上设有相并联的第二电阻和第五电容，可以向理货员实时播报，以及时掌握理货信息。
53.优选的，信号指示器包括相并联设置的第一电磁继电器和第二电磁继电器，在第一电磁继电器上连接有红色指示灯，在第二电磁继电器上连接有绿色指示灯，根据工作状态来显示出不同的灯光提示效果，可自行进行设置。
54.优选的，网络设备包括无线通讯器和gprs通讯器，gprs通讯器的型号为sim800c，在gprs通讯器上设有42个引脚，gprs通讯器的一号引脚、二号引脚和六号引脚为数据传输传输引脚，在gprs通讯器的二号引脚和六号引脚之间设有相并连的第六电阻和第七电阻；gprs通讯器通过十五号引脚、十六号引脚、十七号引脚和十八号引脚连接有sim卡，在gprs通讯器的十五号引脚、十六号引脚和十七号引脚上分别设有第四电容、第五电容和第六电容，在gprs通讯器的十八号引脚上连接有第七电容；无线通讯器的型号为esp8266，在无线通讯器上设有8个引脚，无线通讯器的四号引脚和八号引脚为数据传输引脚，在保证数据传输速度的前提下，港口根据实际情况来选取其中一种通讯器即可。
55.一般情况下，在整体系统内还会设置存储设备，支持32路视频并发写入；提供1个标准rs
‑
232串行接口，2个usb2.0前置接口,1个usb3.0接口，可提供大量存储空间，2个千兆网口，负责所有的计算与存储功能。
56.对于理货数据采集的流程，主要包括以下步骤：1、通过在地面画“引流线”及“停止线”，引导车辆按照划线区域缓慢行驶，驾驶室右侧车门标注车辆编号，当车辆缓慢行驶到摄像机照射范围时，车号智能识别算法自动识别车门上的车辆编号并在系统内配置车辆信息，车辆行驶到停止线时，车辆静止停放；2、后台理货人员点击系统“开始理货”按钮，现场语音播报器发出“开始理货”提示音，此时道路右侧信号灯处于红色状态，高清摄像机开始捕获木材的二维码信息，安装在电动推杆前端的超广角鱼眼摄像机由人为遥控触发，摄像机延伸到木材中部位置，开始拍摄木材尾端画面，进行木材装载数量识别统计；木材装载数量识别统计由安装在道路右侧的摄像机完成；3、待理货完成后，电动推杆回缩到待伸缩状
态，信号提示器或语音播报器提示司机驶离理货区域，车辆缓慢驶离，完成理货工作。
57.综上所述，本发明实施例中的基于视频流的人工智能自动控制的港口木材计数理货系统基于视频或图像拍摄和电气集成控制作用，配合多类型的电气结构和电气组件，实现港口木材的全自动智能统计理货，理货员不再需要现场值守理货，转为在理货室进行远程控制，通过视频监控系统、木材识别系统及智能理货平台进行远程操作，实现一人多车的自动化作业，极大减少了人员投入，理货业务质量也得以提升，同时，还方便进行历史数据的查询和追溯，实现木材数量识别作业，与港口业务系统、海关检验系统及理货业务的实时数据交互，能够适用于各个区域内不同规格大小的港口。
58.上述具体实施方式不能作为对本发明保护范围的限制，对于本技术领域的技术人员来说，对本发明实施方式所做出的任何替代改进或变换均落在本发明的保护范围内。
59.本发明未详述之处，均为本技术领域技术人员的公知技术。