一种动态语义分割模型的训练方法、语义分割方法及装置与流程

本发明涉及大数据，具体涉及一种动态语义分割模型的训练方法、煤矿综采工作面的语义分割方法及装置。

背景技术：

1、在煤矿综采工作面作业中，准确识别场景中的语义信息对于实现智能化煤矿具有重要意义，并且对保障安全生产至关重要。

2、传统的语义分割方法大多基于单帧图像进行处理，语义分割的准确性较低。现有技术中利用deeplabv3算法的编码器-解码器(encoder-decoder)的架构，通过多尺度和多层次的特征融合来捕获图像的上下文信息。编码器部分通常使用预训练的深度卷积神经网络用于提取输入图像的特征。解码器部分则负责将这些特征映射回原始图像的分辨率，以实现像素级别的分割。由于将视频流分割成了独立的图像帧，相当于处理静止的图片，语义分割的准确性不高。因此，如何训练得到一种语义分割模型能够应用到综采工作面进行动态语义分割，成为本领域亟待解决的重要课题。

技术实现思路

1、针对现有技术中的问题，本发明实施例提供一种动态语义分割模型的训练方法、煤矿综采工作面的语义分割方法及装置，能够至少部分地解决现有技术中存在的问题。

2、第一方面，本发明提出一种动态语义分割模型的训练方法，应用于煤矿综采工作面，包括：

3、对煤矿综采工作面的历史视频数据进行预处理，获得所述煤矿综采工作面的视频序列；

4、对所述煤矿综采工作面的视频序列进行光流计算处理，获得所述煤矿综采工作面的训练特征数据；所述训练特征数据包括第一类训练数据和第二类训练数据，所述第一类训练数据具有对应的语义分割标签，所述第二类训练数据缺少对应的语义分割标签；其中，所述语义分割标签是基于煤矿综采工作面设置的；

5、根据所述第一类训练数据、第二类训练数据以及原始模型，获得动态语义分割模型；其中，所述根据所述第一类训练数据、第二类训练数据以及原始模型，获得动态语义分割模型包括多次训练，每次训练包括预训练阶段和标注标签阶段；所述预训练阶段基于第一类训练数据进行模型训练，获得中间动态语义分割模型；所述标注标签阶段基于所述中间动态语义分割模型对所述第二类训练数据进行语义分割标签标注，并筛选出语义分割标签有效的第二类训练数据更新第一类训练数据。

6、第二方面，本发明提出一种煤矿综采工作面的语义分割方法，采用上述任一实施例所述的动态语义分割模型，包括：

7、基于煤矿综采工作面的视频数据，获得当前帧视频数据；

8、对所述当前帧视频数据进行预处理，获得所述当前帧视频数据对应的当前帧图像；

9、对所述当前帧视频数据对应的当前帧图像以及所述当前帧视频数据对应的当前帧图像的上一帧图像进行光流计算处理，获得所述当前帧视频数据对应的预测特征数据；

10、根据所述当前帧视频数据对应的预测特征数据以及动态语义分割模型，获得所述当前帧视频数据对应的语义分割结果。

11、第三方面，本发明提供一种动态语义分割模型的训练装置，应用于煤矿综采工作面，包括：

12、预处理单元，用于对煤矿综采工作面的历史视频数据进行预处理，获得所述煤矿综采工作面的视频序列；

13、光流计算处理单元，用于对所述煤矿综采工作面的视频序列进行光流计算处理，获得所述煤矿综采工作面的训练特征数据；所述训练特征数据包括第一类训练数据和第二类训练数据，所述第一类训练数据具有对应的语义分割标签，所述第二类训练数据缺少对应的语义分割标签；其中，所述语义分割标签是基于煤矿综采工作面设置的；

14、训练单元，用于根据所述第一类训练数据、第二类训练数据以及原始模型，获得动态语义分割模型；其中，所述根据所述第一类训练数据、第二类训练数据以及原始模型，获得动态语义分割模型包括多次训练，每次训练包括预训练阶段和标注标签阶段；所述预训练阶段基于第一类训练数据进行模型训练，获得中间动态语义分割模型；所述标注标签阶段基于所述中间动态语义分割模型对所述第二类训练数据进行语义分割标签标注，并筛选出语义分割标签有效的第二类训练数据更新第一类训练数据。

15、第四方面，本发明提供一种煤矿综采工作面的语义分割装置，包括：

16、第一获得单元，用于获得基于煤矿综采工作面的视频数据，获得当前帧视频数据；

17、第二获得单元，用于对所述当前帧视频数据进行预处理，获得所述当前帧视频数据对应的当前帧图像；

18、第三获得单元，用于对所述当前帧视频数据对应的当前帧图像以及所述当前帧视频数据对应的当前帧图像的上一帧图像进行光流计算处理，获得所述当前帧视频数据对应的预测特征数据；

19、语义分割单元，用于根据所述当前帧视频数据对应的预测特征数据以及动态语义分割模型，获得所述当前帧视频数据对应的语义分割结果。

20、第五方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序以实现上述任一实施例所述的动态语义分割模型的训练方法，或煤矿综采工作面的语义分割方法。

21、第六方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一实施例所述的动态语义分割模型的训练方法，或煤矿综采工作面的语义分割方法。

22、第七方面，本发明提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一实施例所述的动态语义分割模型的训练方法，或煤矿综采工作面的语义分割方法。

23、本发明实施例提供的动态语义分割模型的训练方法煤矿综采工作面的语义分割方法及装置，对煤矿综采工作面的历史视频数据进行预处理，获得所述煤矿综采工作面的视频序列；对所述煤矿综采工作面的视频序列进行光流计算处理，获得所述煤矿综采工作面的训练特征数据；所述训练特征数据包括第一类训练数据和第二类训练数据，所述第一类训练数据具有对应的语义分割标签，所述第二类训练数据缺少对应的语义分割标签；其中，所述语义分割标签是基于煤矿综采工作面设置的；根据所述第一类训练数据、第二类训练数据以及原始模型，获得动态语义分割模型；其中，所述根据所述第一类训练数据、第二类训练数据以及原始模型，获得动态语义分割模型包括多次训练，每次训练包括预训练阶段和标注标签阶段；所述预训练阶段是基于第一类训练数据进行模型训练，获得中间动态语义分割模型；所述标注标签阶段是基于所述中间动态语义分割模型对所述第二类训练数据进行语义分割标签标注，并筛选出语义分割标签有效的第二类训练数据更新第一类训练数据，能够充分利用视频序列和光流信息，提高了综采工作面的动态语义分割的准确性和泛化能力。

技术特征：

1.一种动态语义分割模型的训练方法，应用于煤矿综采工作面，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述煤矿综采工作面的视频序列进行光流计算处理，获得所述煤矿综采工作面的训练特征数据包括：

3.根据权利要求1所述的方法，其特征在于，所述基于第一类训练数据进行模型训练，获得中间动态语义分割模型包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述中间动态语义分割模型对所述第二类训练数据进行语义分割标签标注，并筛选出语义分割标签有效的第二类训练数据更新第一类训练数据包括：

5.根据权利要求3所述的方法，其特征在于，所述标签评估规则包括：

6.根据权利要求5所述的方法，其特征在于，所述基于第二训练特征数据对应的语义分割预测结果在第二训练特征数据包括的图像中对应的区域，获得第二训练特征数据对应的区域顺序得分包括：

7.根据权利要求6所述的方法，其特征在于，所述基于各个保留语义分割标签对应的投影点坐标、综合权重以及区域权重，获得第二训练特征数据对应的扣减分包括：

8.根据权利要求4所述的方法，其特征在于，所述基于第二训练特征数据对应的语义分割预测结果在第二训练特征数据包括的图像中对应的区域，获得第二训练特征数据对应的平均区域面积以及合适区域占比包括：

9.根据权利要求1至8任一项所述的方法，其特征在于，所述基于第一类训练数据进行模型训练，获得中间动态语义分割模型包括：

10.根据权利要求9所述的方法，其特征在于，所述第二损失函数为：

11.根据权利要求9所述的方法，其特征在于，所述第三损失函数为：

12.一种煤矿综采工作面的语义分割方法，其特征在于，采用权利要求1至11任一项所述的动态语义分割模型，包括：

13.一种动态语义分割模型的训练装置，应用于煤矿综采工作面，其特征在于，包括：

14.根据权利要求13所述的装置，其特征在于，所述训练单元包括：

15.根据权利要求13所述的装置，其特征在于，所述训练单元包括：

16.根据权利要求13所述的装置，其特征在于，所述训练单元包括：

17.根据权利要求16所述的装置，其特征在于，所述标签评估规则包括：

18.根据权利要求17所述的装置，其特征在于，所述基于第二训练特征数据对应的语义分割预测结果在第二训练特征数据包括的图像中对应的区域，获得第二训练特征数据对应的区域顺序得分包括：

19.根据权利要求18所述的装置，其特征在于，所述基于各个保留语义分割标签对应的投影点坐标、综合权重以及区域权重，获得第二训练特征数据对应的扣减分包括：

20.根据权利要求17所述的装置，其特征在于，所述基于第二训练特征数据对应的语义分割预测结果在第二训练特征数据包括的图像中对应的区域，获得第二训练特征数据对应的平均区域面积以及合适区域占比包括：

21.根据权利要求13至20任一项所述的装置，其特征在于，所述训练单元包括：

22.根据权利要求21所述的装置，其特征在于，所述第二损失函数为：

23.根据权利要求21所述的装置，其特征在于，所述第二损失函数为：

24.一种煤矿综采工作面的语义分割装置，其特征在于，包括：

25.一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至12任一项所述方法的步骤。

26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至12任一项所述方法的步骤。

27.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至12任一项所述方法的步骤。

技术总结
本发明提供一种动态语义分割模型的训练方法、煤矿综采工作面的语义分割方法及装置，所述方法包括：对煤矿综采工作面的历史视频数据进行预处理，获得视频序列；对视频序列进行光流计算处理，获得训练特征数据；根据训练特征数据的第一类训练数据、第二类训练数据以及原始模型，获得动态语义分割模型；预训练阶段基于第一类训练数据进行模型训练，获得中间动态语义分割模型；标注标签阶段基于中间动态语义分割模型对第二类训练数据进行语义分割标签标注，并更新第一类训练数据。所述装置用于执行上述方法。本发明实施例提供的动态语义分割模型的训练方法煤矿综采工作面的语义分割方法及装置，提高了综采工作面的动态语义分割的准确性和泛化能力。

技术研发人员：刘永伟,周景润,贺哲,暴海英,石超,高锦磊,贺加飞
受保护的技术使用者：西安华创马科智能控制系统有限公司
技术研发日：
技术公布日：2025/2/20