基于改进双孪生网络算法的物体追踪装置及方法

本发明涉及改进双孪生网络，具体为基于改进双孪生网络算法的物体追踪装置及方法。

背景技术：

1、图像处理的发展，在一定的程度上标志着一个国家的科技水平。随着图像处理在民用和商用领域的广泛应用，目标跟踪在智能视频监控、自动驾驶和无人超市等领域起到日益重要的作用，目前，国内多数生产厂家只能使用监控摄像头、猫眼等设备进行监控，当被测工件具有无人工监视、夜晚时，监控手段就非常匮乏。

2、传统监控方法是安装摄像头直接进行人工监视，但这种方法耗费人力资源、细节容易被忽视。随着图像处理技术和计算机技术的发展，各种监视方法不断涌现，主要可分为直视录像和自动控制式。直视录像方法是直接安装摄像头监视，可直接在显示器示观看监控录像，这种方法操作简单，但是非常浪费人力资源、而且人工不可能时时刻刻注意力集中，容易漏掉大量的细节。自动控制方法主要通过android(安卓)设计技术、图像处理技术、微控制器技术等来实现物体锁定追踪的监视，具有监控范围广等优点

3、本发明基于形态学图像处理，提出了基于改进双孪生网络的机器视觉处理技术训练并识别出目标物体的目标模型，结合像素分析算法计算出被测目标和中心坐标的距离差，因此本发明提供了基于改进双孪生网络算法的物体追踪装置及方法。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了基于改进双孪生网络算法的物体追踪装置及方法，解决了上述背景技术中提出的问题。

3、(二)技术方案

4、为实现以上目的，本发明提供如下技术方案：基于改进双孪生网络算法的物体追踪装置及方法，所述该装置以stm32(stm32f407zet6)单片机为核心，设计并制作一个可锁定和追踪物体的监控装置，装置的布置图如图1所示，物体追踪装置放置在图中所示的房间中心内，被测目标放置在图中被测目标放置区内。在屏幕上框选后，装置能自动训练出目标追踪模型并进行锁定，并用驱动二维舵机云台时时刻刻跟踪物体。

5、优选的，所述改进双孪生网络，输入图像：经过backbone网络得到的特征图；对于特征图上的每一个点(称之为锚点anchor point),生成具有不同尺度和宽高比的锚点框，这个锚点框的坐标(x,y,w,h)是在原图上的坐标，然后将这些锚点框输入到两个网络层中去，一个(rpn_cls_score)用来分类，即这个锚点框里面的特征图是否属于前景；另外一个(rpn_bbox_pred)输出四个位置坐标(相对于真实物体框的偏移)；这时候就需要gt来进行loss学习。学习到如何提取前景框后，就根据rpn_cls_score层的输出概率值确定前景框；位置偏移值则被整合到锚点框的坐标中以得到实际的框的坐标；这样子就得到了前景框，起到了selective search的作用。从而完成对目标的跟踪，识别定位出目标中心点。改进双孪生网络特点是，网络层的深度和宽度比原始算法大和深，并且测试第一帧图像进行图像增强后训练。

6、优选的，所述图3为系统整体架构图，系统以stm32单片机为主控平台，连接wi-fi模块、电源、二维舵机云台、2.6寸lcd、路由器、华为平板等外设模块。平板和stm32通过局域网建立连接。

7、优选的，所述自动寻找目标并定位中心位置实现原理：

8、详细的实现流程如图2所示。假设当前用户在屏幕上框选出被测物体，启动自动训练目标模型和锁定追踪流程。

9、系统上电后完成i/o口和串口的初始化，平板进入app界面等待框选出被测物体。当屏幕选择好物体后，平板扫描图像获取框选内的物体信息，再将信息放入改进双孪生网络算法中训练出目标跟踪模型。通过图像处理判断摄像头视野范围内是否有目标物体，当视野内没有目标物体，平板将会通过wi-fi发送数据给stm32单片机，单片机控制二维云台移动直到找到物体。云台移动策略是从左向右和从上到下扫描，水平方向扫描角度为360°，垂直方向扫描角度为180°。当视野内有被测目标，装置将会计算出物体中心在图像中的坐标与中心坐标的差；计算出距离差后将数据通过wi-fi实时传输给stm32单片机；stm32单片机在通电初始化后就进入等待接收wi-fi数据，接收到坐标差数据时驱动云台转动保持目标物体在视野中心。

10、优选的，所述stm32单片机和平板需要实现双向通信，采用wi-fi实现数据传输。当平板进行图像识别时，将识别到的结果通过局域网发送数据给stm32，通信协议由八个字节组成：第一位字节为数据包头，该数据固定不变；第二位字节～第三位字节为像素数据，表示被测目标与图像的位置关系；第四位字节为备用，为后期维护升级做准备；第五位字节～第六位为二维舵机云台控制指令，控制二维舵机云台转动的方向和角度信息；第七位为校验值，对第二位～第六位进行crc16位冗余加密得到校验值，确保数据的准确性；第八位为数据包尾，该数据固定不变。

11、优选的，所述舵机运动定位中心的实现原理：

12、通过平板进行图像处理，训练出目标跟踪模型，锁定目标在摄像头视野区域的位置，然后发送二维舵机控制命令到stm32微控制器来控制舵机转动实现将运动目标置于监控区域中间位置。

13、优选的，所述二维舵机转动方向和转动角度计算方法如下：

14、首先根据目标的中心点和整幅图像的中心位置计算出距离差。然后根据距离差来计算二维舵机向指定方向转动的角度，转动角度越长，二维舵机转动的角度越大。图2为二维舵机转动角度计算原理图，图中白色区域为提取到的目标的示意图。假设该图为摄像头捕获到的一幅图像，图像的分辨率为width*height，运动目标中心点坐标为点a(x1，y1)，图像中点坐标为点o(x，y)。二维舵机转动的目的是：转动后a点位于中心o点位置，即控制舵机转动，以达到将运动物体置于监控区域的中心位置的目的。

15、(1)首先计算出a点和o点的距离差dx，dy；

16、(2)统计舵机水平扫过一幅图像(width)的时间t-width，垂直扫过一幅图像(height)的时间为t-height；

17、(3)计算舵机水平和垂直转动时间，使a点位于中心点o：

18、舵机水平转动角度

19、舵机垂直转动角度

20、(4)最后根据dx和dy的正负来控制舵机转动方向；

21、(5)由步骤(3)步骤(4)可知舵机水平和垂直转动的方向和角度。openmv发送对应的水平和垂直转动方向的控制命令到舵机，以此来控制舵机转动的角度，使运动目标置于监控区域中心位置的目的。

22、(三)有益效果

23、与现有技术相比，本发明提供了基于改进双孪生网络算法的物体追踪装置及方法，具备以下有益效果：

24、该基于改进双孪生网络算法的物体追踪装置及方法，通过本发明追踪式监控是以神经网络、微控制器等技术为基础，在无需人工干预的情况下，训练出物体目标跟踪模型的追踪方法。它具有以下特点：一、无需耗费人力资源，二、视角自动跟踪物体移动，三、因为是数字图像处理，计算机识别，因而识别速度较快。与传统监控相比，它具有更多的优点，因此追踪式监控将在未来成为工业生产领域的主要监控方法。