面向车载智能系统的轻量化微小交通标志识别方法

本发明属于智能交通领域，涉及面向车载智能系统的轻量化微小交通标志识别方法。

背景技术：

1、车载智能系统目标检测旨在通过检测算法找出车辆行驶过程中所有感兴趣的目标，并确定它们的位置和类别。在检测任务中，物体特征作为检测结果的重要依据。然而，现实环境下微小交通标志可用特征少，定位要求高，同时由于车载环境的硬件限制，车载智能芯片算力较弱，传统的目标检测方法难以满足该情景下的实际需求。为了解决微小交通标志难以检测的问题，有效的策略是使用特征增强，空间信息关联等方法，获得可靠的小目标特征和空间位置关系来预测微小交通标志的种类和位置。并采用轻量化网络减轻车载智能芯片的负担，满足检测的实时性需求。

2、为了提高微小交通标志检测的准确性并适配车载智能芯片的薄弱算力，在本文中，我们提出了一种信息流逻辑传播的微小交通标志检测网络来提取微小交通标志的局部显著特征和全局表达信息来精确检测微小标志的种类和位置。我们的方法将获取的环境图像通过压缩处理成规定尺寸的图像文件。将该图像输入信息流逻辑传播网络，信息流逻辑传播网络先简单提取图像的多层低级语义信息。通过erm(edgerefinementmodule,边缘优化模块)模块获取低级语义信息的边界信息，以边界信息监督图卷积流提取多特征层层内和层间的高级图语义信息。先以获得的高级特征层进行分类预测，稀疏表达出目标区域。然后将图卷积流提取的多层高级信息逐元素拆分为大小相同的特征层，用卷积流网络在稀疏区域内逐渐从左至右，从上到下融合扩展特征层。最有以融合特征层进行目标检测。

技术实现思路

1、有鉴于此，本发明的目的在于提供面向车载智能系统的轻量化微小交通标志识别方法。

2、为达到上述目的，本发明提供如下技术方案：

3、面向车载智能系统的轻量化微小交通标志识别方法，该方法包括以下步骤：

4、s1：获取待检测图像；

5、s2：网络特征提取；

6、s3：边缘信息提取优化；

7、s4：以图卷积流交互f1，f2，f3，f4特征信息，加强特征提取；

8、s5：以卷积流至上而下，从左往右提取fz1，fz2，fz3特征信息，加强特征提取。

9、可选的，所述s1具体包括以下步骤：

10、s11：采用专业相机拍摄场景的实际图像，由此获得需要的原始图像；

11、s12：进行压缩处理，将图像处理为规定尺寸大小，作为网络输入图像。

12、可选的，所述s2具体包括以下步骤：

13、s21：通过可变形卷积网络提取完整的不规则特征，同时降低后续处理的数据量；提升网络运行速度和检测准确性；

14、s22：重复特征提取操作，获取初步特征层f1，f2，f3，f4。

15、可选的，所述s3具体包括以下步骤：

16、s31：以浅层特征f1为基础，后续特征层f2，f3，f4为细节补充；通过erm图像边缘信息提取模块逐步优化图像边缘信息；

17、s32：在erm模块中，将特征层f2上采样至特征层f1相同大小后提取特征层f1的边缘信息，获取图像大致边缘信息；将该边缘信息与特征层f2进行信息融合后通过全局平均池化聚合卷积特征；然后，通过1d卷积和sigmoid函数获得相应通道注意力权重优化当前的边缘信息；

18、s33：重复erm操作，以深层语义信息去除边缘信息中的无关，保留感兴趣目标的边缘特征；获取具体边缘信息e1。

19、可选的，所述s4具体包括以下步骤：

20、s41：切分特征层f1，对特征层内相邻特征通过领域图流agf模块聚合图像内部特征，并以边缘信息e1监督特征聚合；其中agf模块以特征层f1的相邻区域f11和f12为输入，通过两个1×1卷积映射特征信息f1a,f1b,f2a,f2b；聚合f1b,f2b特征信息，进过softmax函数归一化聚合信息后得到邻接关系特征fb；将fb分别与f1a,f2a进行图卷积操作，其操作过程为然后获取新的邻接特征层f11和f12；对特征层f1的其他邻接区域进行相同操作，聚合内部特征；

21、

22、其中w是可训练权重；

23、s42：对特征层f2，f3，f4重复f1的邻接区域图卷积操作获取节点聚合特征fx1，fx2，fx3，fx4；

24、s43：对于fx1，对特征层间的同位置特征通过空间图流sgf卷积模块聚合图像层间特征，并以边缘信息e1监督特征聚合；其中agf模块以特征层f1和f2的同位置区域f11和f21为输入，通过两个1×1卷积映射特征信息f1a,f1b,f2a,f2b；聚合f1b,f2b特征信息，进过softmax函数归一化聚合信息后得到邻接关系特征fb；将fb分别与f1a,f2a进行图卷积操作，其操作过程为然后获取新的邻接特征层f11和f12，最后通过卷积操作聚合f11和f12特征获取新特征层f11；对特征层f1的其他邻接区域进行相同操作，聚合内部特征；

25、s44：对特征层f2，f3，f4重复f1的同位置区域的区域图卷积操作获取节点聚合特征fy1，fy2，fy3；

26、s45：对特征层fy1，fy2，fy3内相邻区域特征通过agf图流卷积链接再聚合特征层获取新的特征层fz1，fz2，fz3。

27、可选的，所述s5具体包括以下步骤：

28、s51：通过fz1进行简单的分类处理，提取出大致的感兴趣目标区域来指导后续的特征融合；

29、s52：图像划分，当前特征层fz1，fz2，fz3的图像大小比例为4：2：1，故通过逐像素提取法将fz1转化为四层特征fk1，fk2，fk3，fk4,fz2转化为二层特征fq1，fq2；此时fk1，fk2，fk3，fk4，fq1，fq2，fz3大小相同，记为

30、s53：图流卷积1ifc1信息流融合，当前特征层在ifc1模块中两两进1行特征交互；特殊的，对于最后一层特征层fz3，其与特征层fq2进行交互；其中，对于fk1，fk2，先对fk1，fk2在通道方向上进行信息堆叠，进过卷积激活后调整通道数，然后进行上采样处理，记此时特征图大小为特征层为fv1，fv2，fv3，fv4；

31、s54：图流卷积ifc信息流融合，当前特征层在ifc模块中两两进行特征交互；其中，对于fv1，fv2，先对fv1，fv2在通道方向上进行信息堆叠，进过卷积激活后调整通道数；然后上采样特征层fk1后在通道方向上进行信息堆叠，最后进行上采样处理，记此时特征图大小为

32、s55：继续进行特征融合，此时特征图大小为(h，w)，将该特征图送入检测头中进行特征检测。

33、可选的，所述s5还包括s6网络训练；

34、以检测结果对网络进行整体训练；网络整体训练以最终为基础，进行回归预测，获取预测框损失，置信度损失，分类损失和边缘损失：

35、lc1＝μ1lbox1(bg，b)+μ2lobj1(og)+μ3lcls1(cg，c)+μ4ledg1(eg，e)

36、其中lc1为总的损失函数；u1，u2，u3，u4为人为设置的权重超参数，lbox1，lobj1，lcls1，ledg1分别为交并比损失，预测框回归损失，置信度损失，类别损失和边缘损失。

37、本发明的有益效果在于：传统目标检测方法一般以获取图像块的深层特征图进行检测，并通过后续筛选获取正确的分类和位置信息。但对于微小交通标志的检测需求，传统方法因忽略了空间信息和无法获得有效的小目标特征而无法满足，同时由于车载智能芯片的算力薄弱，一些常用小目标检测方法难以实现。为了提高微小目标检测的准确度并满足车载智能芯片的算力限制，我们提出了一种信息流逻辑传播的微小交通标志检测方法网络来提取微小交通标志的局部显著特征和全局表达信息来精确检测微小交通标志的种类和位置。我们的方法将获取的环境图像通过压缩处理成规定尺寸的图像文件。将该图像输入信息流逻辑传播网络，信息流逻辑传播网络先简单提取图像的多层低级语义信息。通过erm模块获取低级语义信息的边界信息，以边界信息监督图卷积流提取多特征层层内和层间的高级图语义信息。先以获得的高级特征层进行分类预测，稀疏表达出目标区域。然后将图卷积流提取的多层高级信息逐元素拆分为大小相同的特征层，用卷积流网络在稀疏区域内逐渐从左至右，从上到下融合扩展特征层。最有以融合特征层进行目标检测。

38、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。