基于测试时间持续域自适应双流网络的图像识别方法及装置

本发明属于图像识别，具体涉及一种基于测试时间持续域自适应双流网络的图像识别方法及装置。

背景技术：

1、在自动驾驶过程中，人工智能图像识别分类是最重要的辅助手段，例如自动泊车、自动避障等等辅助功能，然而由于自动驾驶环境多变，采集的图像数据的分布往往具有随机性，为此，无监督域适应(uda)技术应运而生，它的目的是提高模型在目标域上的表现，通过利用源域已有标签的数据和目标域还没有被标记的数据来作用。然而，当目标域的数据分布不仅与源域不同，而且随着时间的推移而持续变化时，现有的uda方法可能会遇到更大的挑战。这种持续变化的环境要求模型能够实时地适应新的数据分布，同时避免遗忘之前学到的知识，即灾难性遗忘问题。

2、现有技术提出了测试时间持续域自适应(continual test-time domainadaptation，cotta)方法，技术是一种针对持续变化的目标域进行测试时域适应的方法。它旨在解决在测试阶段，当源域数据不可用时，如何使预训练的模型适应不断变化的目标域数据的问题。cotta的核心思想是利用源模型的预测来生成伪标签，并结合这些伪标签来更新模型参数，以适应新的数据分布。参参考图1，cotta对于自动驾驶图像的分类原理如下：

3、首先，预训练模型在源域数据上进行训练，以获得对特定任务的初步理解。然后，在测试阶段，模型接收连续到来的目标域数据流，这些数据可能与源域有显著差异。为了适应这些新数据，cotta利用模型对目标域数据的预测生成伪标签。

4、接下来，cotta采用权重平均教师网络来提高伪标签的质量。这个教师网络的权重是源模型权重的加权平均，有助于稳定模型更新过程并减少错误累积。在每次接收到新的目标域数据时，模型都会基于这些伪标签进行参数更新，以逐步适应新的数据分布。

5、为了缓解错误累积，cotta还采用了一种策略，即随机恢复源模型的一部分权重。这有助于模型在适应新分布的同时，保留对旧分布的知识。整个过程是在线进行的，模型在每个时间点都可能根据新数据进行调整，以保持其在不断变化的目标域中的性能。通过这种方式，cotta能够在没有源域数据的情况下，实现对模型的持续适应和优化，最终利用优化后的模型对自动驾驶的图像作分类，以达到较好的分类效果。

6、然而，利用cotta对自动驾驶图像分类存在以下缺陷：

7、首先，cotta依赖于生成的伪标签来更新模型，这些伪标签可能因为目标域分布的持续变化而变得不准确，导致模型性能下降。其次，cotta在适应新分布的过程中可能会累积错误，尤其是在目标域数据分布快速变化时，这种错误累积可能会迅速降低模型的泛化能力。此外，cotta在适应新任务时可能会遗忘之前学到的知识，即灾难性遗忘问题，这会限制模型在长期适应过程中的表现。最后，cotta可能没有充分利用源模型的知识，导致在新分布上的适应性提升有限。因此对于环境变化快，数据处理速度要求高的自动驾驶领域，显然并不能满足图像识别任务的在线需求。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于测试时间持续域自适应双流网络的图像识别方法及装置。本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明提供了一种基于测试时间持续域自适应双流网络的图像识别方法包括：

3、s100，从车载电子摄像设备获取实时图像；

4、s200，将所述实时图像输入至训练好的双流网络中，以使所述双流网络中的两个子网络均提取所述实时图像的视觉特征以生成特征图，并对所述特征图作批量归一化处理得到归一化处理的特征图，优化所述归一化处理的特征图并计算优化后的特征图的概率分布，得到所述实时图像的预测类别；其中，所述训练好的双流网络在训练过程中通过权重软参数对齐策略以保留源域数据和目标域数据的知识；两个子网络权重参数共享，训练过程相互独立，各自输出对应的预测类别；

5、s300，利用决策方案对两个子网络输出的预测类别作决策，得到所述实时图像的最终所属类别。

6、第二方面，本发明提供了一种基于测试时间持续域自适应双流网络的图像识别装置包括：

7、获取模块，被配置为从车载电子摄像设备获取实时图像；

8、预测模块，被配置为将所述实时图像输入至训练好的双流网络中，以使所述双流网络中的两个子网络均提取所述实时图像的视觉特征以生成特征图，并对所述特征图作批量归一化处理得到归一化处理的特征图，优化所述归一化处理的特征图并计算优化后的特征图的概率分布，得到所述实时图像的预测类别；其中，所述训练好的双流网络在训练过程中通过权重软参数对齐策略以保留源域数据和目标域数据的知识；两个子网络权重参数共享，训练过程相互独立，各自输出对应的预测类别；

9、决策模块，被配置为利用决策方案对两个子网络输出的预测类别作决策，得到所述实时图像的最终所属类别。

10、本发明至少具备以下有益效果：

11、1、减少错误积累：

12、现有技术的cotta在适应新的目标域时，可能会累积错误，因为每次更新都基于可能含有噪声的伪标签。随着时间的推移，这种累积的错误可能会显著降低模型的性能。本发明通过独立优化不同参数来减少错误累积。一个子网络专注于保持模型的泛化能力，而另一个子网络则专注于提高即时判别能力，在适应新分布的时候，模型不会过分依赖伪标签从而减少伪标签带来的错误积累。

13、2、防止灾难性遗忘：

14、现有技术在持续适应过程中，模型可能会遗忘之前学到的知识，尤其是在目标域分布发生显著变化时，导致模型在新分布上的适应性提升有限。本发明在持续适应过程中，双流网络引入权重软参数对齐策略，该策略通过在双流网络中引入源域模型的参数，以及设计特定的权重策略来引导参数更新，从而更好地利用源模型的知识，有助于缓解灾难性遗忘问题，使模型能够保留对旧分布的知识。

15、3、识别能力的即时提升：

16、现有技术的cotta可能在提升模型对当前目标域的判别能力方面存在不足，尤其是在目标域分布快速变化时。本发明的双流网络中的一个子网络专门用于捕捉判别能力，通过调整所有可学习参数来提高模型对当前目标域的适应性，引入软加权对比学习提高模型的判别能力。

17、4、降低伪标签的不可靠性：

18、现有技术的cotta依赖于伪标签来更新模型，但这些标签可能因为目标域分布的变化而变得不准确。本发明引入了一种基于源模型预测的伪标签校准策略，以及自适应置信度阈值来选择更可靠的伪标签，从而提高了伪标签的质量。

19、以下将结合附图及实施例对本发明做进一步详细说明。

技术特征：

1.一种基于测试时间持续域自适应双流网络的图像识别方法，其特征在于，包括：

2.根据权利要求1所述的基于测试时间持续域自适应双流网络的图像识别方法，其特征在于，所述双流网络包括两个子网络，两个子网络均包括依次连接的输入层、卷积层、批量归一化层、对比学习模块和全连接层；

3.根据权利要求1所述的基于测试时间持续域自适应双流网络的图像识别方法，其特征在于，所述双流网络的训练过程包括：

4.根据权利要求3所述的基于测试时间持续域自适应双流网络的图像识别方法，其特征在于，e包括：

5.根据权利要求4所述的基于测试时间持续域自适应双流网络的图像识别方法，其特征在于，e2包括：

6.根据权利要求4所述的基于测试时间持续域自适应双流网络的图像识别方法，其特征在于，所述第一子网络与所述第二子网络的损失函数不同，两者的损失函数构成所述整体网络的损失函数，所述第一子网络的损失函数为交叉熵损失函数，所述第二子网络的损失函数为软加权对比损失函数。

7.根据权利要求6所述的基于测试时间持续域自适应双流网络的图像识别方法，其特征在于，所述交叉熵损失函数表示为：

8.根据权利要求4所述的基于测试时间持续域自适应双流网络的图像识别方法，其特征在于，所述在学习中引入权重软参数对齐策略对齐所述适应模型与所述源域模型中的参数包括：

9.根据权利要求2所述的基于测试时间持续域自适应双流网络的图像识别方法，其特征在于，s300包括：

10.一种基于测试时间持续域自适应双流网络的图像识别装置，其特征在于，包括：

技术总结
本发明提供了一种基于测试时间持续域自适应双流网络的图像识别方法及装置，通过从车载电子摄像设备获取实时图像；将所述实时图像输入至训练好的双流网络中得到两个子网络输出的所述实时图像的预测类别；其中，所述训练好的双流网络在训练过程中通过权重软参数对齐策略以保留源域数据和目标域数据的知识；两个子网络权重参数共享，训练过程相互独立，各自输出对应的预测类别；利用决策方案对两个子网络输出的预测类别作决策，得到实时图像的最终所属类别。本发明充分利用源域和目标域模型的新旧知识可以防止灾难性遗忘，通过独立优化不同子网络的参数来减少错误累积，因此提高识别自动驾驶图像的准确性和效率。

技术研发人员：杨旭,刘小宇,魏坤,邓成
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/8/15