反应器内溶液分层识别方法、系统、介质、电子设备与流程

本发明涉及图像处理的，特别是涉及一种反应器内溶液分层识别方法、系统、介质、电子设备。

背景技术：

1、现有技术中，反应器内溶液分层状态的识别通常采用以下两种方式：

2、(1)人工观察方式

3、人工观察方式需要人员全程注视，需要投入大量人员且对人员注意力要求极高，识别结果受人员主观判断影响。

4、(2)图像分类方式

5、图像分类方式是对反应器内溶液状态图像进行分类。现有的图像分类模型都是基于主干网络进行分类。其中，主干网络包括构建分类模型过程中各种卷积层和池化层的搭配方式，包括vgg系列、resnet系列以及inceptionnet系列等。然而，现有的图像分类模型精确度不高，在实际预测过程中会产生较多的误判。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明的目的在于提供一种反应器内溶液分层识别方法、系统、介质、电子设备，通过图像分类和目标检测的级联模型，有效提升了反应器内溶液分层识别的准确率。

2、第一方面，本发明提供一种反应器内溶液分层识别方法，所述方法包括以下步骤：获取反应器图像集，所述反应器图像集包含有内置有溶液的反应器图像；基于所述反应器图像训练图像分类模型和目标检测模型，并获取图像分类损失和目标检测损失；基于所述反应器图像的标签信息、所述图像分类损失和所述目标检测损失计算联合损失；基于所述联合损失进行梯度更新；基于更新后的梯度再次训练所述图像分类模型和所述目标检测模型，直至得到的联合损失满足预设要求，以获取训练好的图像分类模型和目标检测模型；基于所述训练好的图像分类模型和目标检测模型对反应器内溶液分层进行识别。

3、在第一方面的一种实现方式中，还包括对所述反应器图像进行数据增强，以基于数据增强后的反应器图像训练图像分类模型和目标检测模型。

4、在第一方面的一种实现方式中，对所述反应器图像进行数据增强包括以下步骤：

5、选取第一反应器图像和第二反应器图像；

6、基于retinex算法提取所述第一反应器图像的入射光照矩阵p1和反射光照矩阵l1，提取所述第二反应器图像的入射光照矩阵p2和反射光照矩阵l2；

7、基于所述反射光照矩阵l1和所述反射光照矩阵l2生成反射光照矩阵l3和反射光照矩阵l4，其中i表示反射光照矩阵的行，j表示反射光照矩阵的列，表示反射光照矩阵l1的第i行，第j列的值；表示反射光照矩阵l2的第i行，第j列的值；表示反射光照矩阵l3的第i行，第j列的值；表示反射光照矩阵l4的第i行，第j列的值；

8、基于所述入射光照矩阵p1和所述反射光照矩阵l3生成第三反应器图像，基于所述入射光照矩阵p2和所述反射光照矩阵l4生成第四反应器图像。

9、在第一方面的一种实现方式中，基于所述反应器图像训练所述图像分类模型包括以下步骤：

10、构建上下采样通道分割模块，所述上下采样通道分割模块用于获取反应器图像的目标特征图；

11、将所述反应器图像依次输入5个所述上下采样通道分割模块，得到特征图f6；

12、将所述特征图f6按照通道数进行分割后得到特征图f61和特征图f71，对所述特征图f61和f71进行卷积和全局最大池化处理得到特征图f63和特征图f73，对所述特征图f63和特征图f73进行通道拼接得到特征图f111；

13、对所述特征图f6进行全局最大池化操作得到特征图f81，对所述特征图f81进行通道分割得到特征图f91和特征图f101，分别计算所述特征图f91和特征图f101的通道最大值得到特征图f92和特征图f102，对所述特征图f92和特征图f102进行通道拼接得到特征图f112；

14、将所述特征图f111和所述特征图f112逐元素相加并逐元素进行sigmoid操作，获取所述反应器图像的类别。

15、在第一方面的一种实现方式中，构建上下采样通道分割模块包括以下步骤：

16、将尺寸为h*w*c的原始特征图分割为尺寸均为的特征图f11和特征图f12；

17、对所述特征图f11进行下采样，得到尺寸为的特征图f14；对所述特征图f14进行连续两次转置卷积，分别得到尺寸为和的特征图f15和特征图f16；

18、对所述特征图f12进行下采样，得到尺寸为的特征图f22；

19、将所述特征图f16和所述特征图f22进行通道拼接，再经过卷积得到尺寸为的特征图f32，所述特征图f32即为所述目标特征图。

20、在第一方面的一种实现方式中，训练目标检测模型包括以下步骤：

21、构建split分支，将尺寸为h*w*c的原始特征图进行通道分割，获取两个尺寸为的特征图s1和s2；

22、对所述特征图f6进行1*1卷积，获得尺寸为的特征图s3，并获取与所述特征图3相同的特征图s4；

23、将所述特征图s3和所述特征图s1相加，得到第一通道信息；

24、将所述特征图s2的第1、3和5个特征块分别与所述特征图s4的第1、3和5个特征块相加，得到第二通道信息、第三通道信息和第四通道信息；

25、对所述第一通道信息、所述第二通道信息、所述第三通道信息和所述第四通道信息进行通道拼接，得到尺寸为h*w*2c的特征图；

26、基于所述尺寸为h*w*2c的特征图获取分层检测结果。

27、在第一方面的一种实现方式中，基于所述反应器图像的标签信息、所述图像分类损失和所述目标检测损失计算联合损失包括以下步骤：

28、当所述反应器图像的标签信息为正样本时，根据计算所述联合损失，其中loss1表示所述图像分类损失，loss2表示所述目标检测损失；

29、当所述反应器图像的标签信息为负样本时，根据losssum＝loss1-loss2计算所述联合损失。

30、在第一方面的一种实现方式中，基于所述训练好的图像分类模型和目标检测模型对反应器内溶液分层进行识别包括以下步骤：

31、将待识别的反应器图像输入所述图像分类模型，获取分类结果；

32、当所述分类结果时正样本时，将所述待识别的反应器图像输入所述目标检测模型，获取分层检测结果。

33、第二方面，本发明提供一种反应器内溶液分层识别系统，所述系统包括获取模块、训练模块、损失计算模块、梯度更新模块、迭代模块和识别模块；

34、所述获取模块用于获取反应器图像集，所述反应器图像集包含有内置有溶液的反应器图像；

35、所述训练模块用于基于所述反应器图像训练图像分类模型和目标检测模型，并获取图像分类损失和目标检测损失；

36、所述损失计算模块用于基于所述反应器图像的标签信息、所述图像分类损失和所述目标检测损失计算联合损失；

37、所述梯度更新模块用于基于所述联合损失进行梯度更新；

38、所述迭代模块用于基于更新后的梯度再次训练所述图像分类模型和所述目标检测模型，直至得到的联合损失满足预设要求，以获取训练好的图像分类模型和目标检测模型；

39、所述识别模块用于基于所述训练好的图像分类模型和目标检测模型对反应器内溶液分层进行识别。

40、第三方面，本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的反应器内溶液分层识别方法。

41、第三方面，本发明提供一种电子设备，包括：处理器及存储器；

42、所述存储器用于存储计算机程序；

43、所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的反应器内溶液分层识别方法。

44、如上所述，本发明的反应器内溶液分层识别方法、系统、介质、电子设备，具有以下有益效果：

45、(1)通过图像分类和目标检测的级联模型，有效提升了反应器内溶液分层识别的准确率；

46、(2)基于机器视觉识别方式实现反应器内溶液分层的自动化识别，降低了人工成本；

47、(3)通过光照重组策略实现图像的数据增强，一方面减少光照对图像的影响，另一方面增加了图像数据变异性，提高了图像分类模型的泛化性能。