基于轻量化胶囊网络的动态演化推理的目标检测方法

本发明属目标检测，具体涉及一种基于轻量化胶囊网络的动态演化推理的目标检测方法。

背景技术：

1、目标检测是一种找出图像中所有感兴趣目标，确定它们的类别和位置的计算机视觉技术，其广泛应用于人脸支付、自动驾驶、智能监控、遥感检测等。随着深度学习的发展，基于神经网络的目标检测取得了显著成果。

2、现有的目标检测模型通常被分为两类，一类是one-stage模型，具有较高的推理速度，多用于移动端场景，代表算法有yolo系列、ssd等；另外一类是two-stage模型，具有较高的定位和目标识别精度，多用于精装设备场景。实际应用中，一般根据应用场景是更加看重检测准确度、识别精度还是响应、推理速度，来选择较为合适的模型。

3、以上模型的实现大都基于卷积神经网络cnn，而cnn网络的一个固有弊端是具有视角不变性，即同一个目标和场景，进行翻转、旋转和大小调整后生成对抗样本，会被cnn网络识别成不同的目标和场景。因此，为了训练好cnn网络，一般会将各个角度的图像全都囊括进去，但这并不能从根本上解决问题，同时还会加大训练量、延长训练时间。此外，cnn网络在人类视觉系统上的表现很差，低层特征通过加权组合成高层特征，在这个过程中，组成高层特征的低层特征之间并不存在位姿(平移和旋转)关系。而人类在某一视角下识别到一个目标后，即使更改视角，也会对目标产生作用，因此，保留对象部件间的分层位姿关系很重要。而cnn的工作原理显然并不符合人类神经元的原理。并且目前众多的目标检测模型均为传统(静态)神经网络，其流程为：1)固定网络架构，初始化网络参数；2)训练阶段：在训练集上优化网络参数；3)推理阶段：固定网络架构与参数，输入测试样本进行前向传播，得到预测结果。可以看出，静态网络在测试阶段，对所有的输入样本，均采用相同的网络架构与参数进行推理。

4、综上所述，现有的目标检测算法主要存在三个问题：1)无法较好地取得准确度和推理速度的平衡；2)依赖于更多图像样本数据，对数据集本身具有较高要求；3)不符合人类神经元原理，网络提取的特征之间的相对位置和姿态信息模糊，可解释性差，效果不理想。4)静态网络无法在处理不同测试样本时，动态的调节自身的结构/参数。

技术实现思路

1、为了克服现有目标检测算法难以同时获得较好的准确度和推理速度，cnn网络对空间相对位置和姿态等信息敏感性差，以及面对不同测试样本时静态网络固有弊端的不足，本发明提供一种基于轻量化胶囊网络的动态演化推理的目标检测方法。首先，选取现有的大型目标检测数据集coco数据集作为训练和测试用数据集，并对经典的yolov5目标检测网络进行训练，得到初步的网络参数；接着，修改yolov5目标检测网络，在其检测模块前添加轻量化胶囊网络，并利用训练数据集和网络初步参数进行迁移训练；最后，利用最终训练好的目标检测网络完成目标检测。由于添加了轻量化胶囊网络，本发明通过浅层特征提取、胶囊解缠、深层特征挖掘、胶囊纠缠、检测，能够实现图像特征的动态演化提取和精确定位信息的获得，在保持推理速度的同时提高目标检测精度。

2、一种基于轻量化胶囊网络的动态演化推理的目标检测方法，其特征在于步骤如下：

3、步骤1，准备训练数据集：以coco数据集中训练集图像作为训练数据集，以其测试集图像作为测试数据集；

4、步骤2，训练目标检测基准模型：对训练数据集中的图像进行mosaic数据增强处理，然后对其中每4张图像按照随机缩放、随机裁剪和随机排布的方式进行拼接，拼接后的图像再缩放成640*640的大小，得到一幅输入图像x，利用得到的所有输入图像对yolov5目标检测网络进行训练，得到训练好的网络，保存网络参数；所述的yolov5目标检测网络为alexey bochkovskiy等发布在github社区https://github.com/ultralytics/yolov5上的yolov5模型；

5、步骤3，训练修改后的目标检测模型：连续添加两组轻量化胶囊网络到yolov5目标检测网络的detect模块前，得到修改后的目标检测网络，然后，利用步骤1的训练数据集图像和步骤2训练好的网络参数对修改后的目标检测网络进行迁移训练，得到最终训练好的目标检测网络；

6、所述的一组轻量化胶囊网络的处理过程为：对于待输入yolov5目标检测网络detect模块的特征图，使其经过relu层进行特征提取，然后经过primarycaps层，利用卷积操作对特征图进行低层胶囊建模初始化，得到8组4*4维通道数的姿态矩阵和8组1维通道数的激活值，分别对姿态矩阵和激活值进行水平解缠和垂直解缠，将得到的两个正交方向的姿态矩阵和激活值输入到convcaps层；将两个方向解缠后的姿态矩阵分别与其通过反向传播算法学习到的姿态变换矩阵相乘，得到两个方向的投票矩阵，激活值保持不变，将投票矩阵和激活值输入到convcaps层中的em动态路由，利用期望最大化算法迭代计算得到高层胶囊水平方向的一维姿态矩阵phor和激活值ahor、垂直方向的一维姿态矩阵pver和激活值aver，接下来进行胶囊纠缠，将矩阵pver和phor相乘，得到高层胶囊的姿态矩阵，将激活值aver和ahor相乘，得到高层胶囊的激活值，利用跳连接将relu层的输出特征与高层胶囊的姿态矩阵相整合，再经过两个conv层，输出最终的特征图；

7、步骤4，目标检测：将测试数据集图像输入到步骤3训练好的目标检测网络，输出目标预测框，完成目标检测。

8、本发明的有益效果是：由于胶囊网络是一种动态路由算法，可以在处理不同测试样本时，动态地调节自身的结构/参数，从而能对输入图像实现动态演化提取特征，将胶囊网络添加到yolov5目标检测网络的检测模块前，能够更好得挖掘图像的深层特征，从而有利于提供最终目标检测的准确性；由于采用胶囊解缠-胶囊纠缠操作，能够降低胶囊路由的参数和计算复杂度，提高胶囊的运算速率，从而提高网络的推理速度；由于采用轻量化的胶囊网络，可以方便地将部分对象路由过程集成到cnn网络的不同特征层，实现网络结构上的更好衔接，同时也有助于提高目标检测的准确性；本发明通过提取浅层特征—胶囊解缠—挖掘深层特征—胶囊纠缠—检测的过程，能够在保持推理速度的同时提高检测精度，并更好的利用部件—整体关系，对空间的相对位置和姿态等信息进行建模，提高模型的可解释性，获得更接近于人类神经元工作原理的目标检测结果。

技术特征：

1.一种基于轻量化胶囊网络的动态演化推理的目标检测方法，其特征在于步骤如下：

技术总结
基于轻量化胶囊网络的动态演化推理的目标检测方法。首先，选取现有的大型目标检测数据集COCO数据集作为训练和测试用数据集，并对经典的YOLOv5目标检测网络进行训练，得到初步的网络参数；接着，修改YOLOv5目标检测网络，在其检测模块前添加轻量化胶囊网络，利用其动态路由算法对不同输入图像动态地解析其物体姿态关系，实现测试阶段的动态推理，并对网络进行迁移训练；最后，利用最终训练好的目标检测网络完成目标检测。由于添加了轻量化胶囊网络，本发明通过浅层特征提取、胶囊解缠、深层特征挖掘、胶囊纠缠、检测，能够实现图像特征的动态演化提取和精确定位信息的获得，在保持推理速度的同时提高目标检测精度。

技术研发人员：程亮泊,张鼎文,刘毅,韩军伟,程德,谢晓燕
受保护的技术使用者：西北工业大学
技术研发日：
技术公布日：2024/3/11