基于视觉计算的海面关键区域提取方法、装置及产品

本发明实施例涉及图像处理，尤其涉及一种基于视觉计算的海面关键区域提取方法、装置及产品。

背景技术：

1、相关技术中，针对海面关键区域的提取主要是利用显著性检测方法，然而显著性检测方法针对海面态势特征的考虑并不全面，这就导致使用该方法进行海面关键区域提取的准确率不高。

技术实现思路

1、基于上述技术问题，本发明实施例提供一种基于视觉计算的海面关键区域提取方法、装置及产品，旨在基于海面显著性目标与运动目标两个方面进行海面关键区域的提取，以提升海面关键区域提取的准确率。

2、本发明实施例第一方面提供了一种基于视觉计算的海面关键区域提取方法，所述方法包括：

3、将多帧海面态势图像输入至编码器，通过所述编码器中深度卷积网络和与所述深度卷积网络串联的交叉关联注意力模块的处理，得到聚合海面态势图像全局上下文信息的多帧特征图；

4、将所述多帧特征图输入到解码器进行解码，得到所述解码器输出的多帧光流图；

5、根据所述多帧光流图与对所述多帧海面态势图像进行显著性检测而得到的检测结果，确定所述多帧海面态势图像中的海面关键区域。

6、可选地，所述通过所述编码器中深度卷积网络和与所述深度卷积网络串联的交叉关联注意力模块的处理，得到聚合海面态势图像全局上下文信息的多帧特征图，包括：

7、通过所述深度卷积网络中两层卷积核为3×3的卷积层，依次提取得到所述海面态势图像在1/2分辨率和1/4分辨率下的图像特征；

8、将所述1/4分辨率下的图像特征输入至所述交叉关联注意力模块，得到所述交叉关联注意力模块输出的所述多帧特征图，所述特征图至少包括：大位移运动目标的局部特征与小位移运动目标的全局特征，所述大位移运动目标为运动位移大于第一阈值的目标，所述小位移运动目标为运动位移小于第二阈值的目标。

9、可选地，所述交叉关联注意力模块包括串联的多个注意力机制模块，每个注意力机制模块之间有卷积核为3×3的卷积层；

10、所述将所述1/4分辨率下的图像特征输入至所述交叉关联注意力模块，得到所述交叉关联注意力模块输出的所述多帧特征图，包括：

11、将所述1/4分辨率下的图像特征输入至首个注意力机制模块，直至得到最后一个注意力机制模块输出的1/64分辨率的多帧特征图；

12、除所述首个注意力机制模块外，每个注意力机制模块的输入是上一个注意力机制模块的输出；所述每个注意力机制模块的处理通过如下公式表示：

13、；

14、其中，代表上一个注意力机制模块的输出，代表层归一化，代表使用多层感知机进行处理，cswin_attention代表所述解码器所执行的解码操作的逆操作，是第个注意力机制模块的中间输出，第是第个注意力机制模块的输出。

15、可选地，所述多帧海面态势图像至少包括：连续三帧海面态势图像，所述多帧特征图至少包括：所述连续三帧海面态势图像分别对应的第一帧特征图、第二帧特征图和第三帧特征图；

16、所述将所述多帧特征图输入到解码器进行解码，得到所述解码器输出的多帧光流图，包括：

17、通过所述解码器执行以下解码操作：

18、将所述第一帧特征图与所述第二帧特征图、所述第二帧特征图与所述第三帧特征图分别进行相关性计算，得到相关性结果；

19、将所述相关性结果分别进行遮挡解码和光流解码，得到遮挡解码结果和光流解码结果；

20、基于所述遮挡解码结果和所述光流解码结果，得到所述多帧光流图，所述多帧光流图至少包括：所述第一帧特征图与所述第二帧特征图之间对应的第一光流图，和，所述第二帧特征图与所述第三帧特征图之间对应的第二光流图。

21、可选地，所述方法还包括：

22、将上一轮次的解码操作得到的第二光流图进行上采样，得到第二采样光流图；

23、将所述第二采样光流图与所述第二帧特征图相加融合，得到第二帧采样特征图；

24、将所述第二采样光流图与所述第三帧特征图相加融合，得到第三帧采样特征图；

25、分别对所述第二帧采样特征图和所述第三帧采样特征图进行变形处理，得到第二帧变形特征图和第三帧变形特征图；

26、所述将所述第一帧特征图与所述第二帧特征图、所述第二帧特征图与所述第三帧特征图分别进行相关性计算，得到相关性结果，包括：

27、将所述第一帧特征图与所述第二帧变形特征图进行相关性计算，将所述第二帧特征图与所述第三帧变形特征图进行相关性计算，得到所述相关性结果。

28、可选地，所述基于所述遮挡解码结果和所述光流解码结果，得到所述多帧光流图，包括：

29、通过遮挡上下文网络对所述遮挡解码结果进行处理，得到优化后的遮挡解码图；

30、通过光流上下文网络对所述光流解码结果进行处理，得到优化后的光流解码图；

31、将所述优化后的遮挡解码图和所述优化后的光流解码图输入双边细化网络，得到所述双边细化网络输出的所述多帧光流图。

32、可选地，所述方法还包括：

33、分别将上一轮次的解码操作得到的第一光流图与第二光流图进行上采样，得到第一采样光流图和第二采样光流图；

34、将所述第一采样光流图与所述相关性结果相加融合，得到第一采样相关性结果，将所述第二采样光流图与所述相关性结果相加融合，得到第二采样相关性结果；

35、所述将所述相关性结果分别进行遮挡解码和光流解码，得到遮挡解码结果和光流解码结果，包括：

36、将所述第一采样相关性结果进行遮挡解码，得到第一采样遮挡解码结果，将所述第二采样相关性结果进行光流解码，得到第二采样光流解码结果；

37、所述通过遮挡上下文网络对所述遮挡解码结果进行处理，得到优化后的遮挡解码图，包括：

38、将所述第一采样光流图与所述第一采样遮挡解码结果相加融合，得到融合采样遮挡解码结果；

39、通过所述遮挡上下文网络对所述融合采样遮挡解码结果进行处理，得到优化后的融合采样遮挡解码图；

40、所述通过光流上下文网络对所述光流解码结果进行处理，得到优化后的光流解码图，包括：

41、将所述第二采样光流图与所述第二采样光流解码结果相加融合，得到融合采样光流解码结果；

42、通过所述光流上下文网络对所述融合采样光流解码结果进行处理，得到优化后的融合采样光流解码图；

43、所述将所述优化后的遮挡解码图和所述优化后的光流解码图输入双边细化网络，得到所述双边细化网络输出的所述多帧光流图，包括：

44、将所述优化后的融合采样遮挡解码图和所述优化后的融合采样光流解码图输入所述双边细化网络，得到多帧优化光流图。

45、本发明实施例第二方面提供了一种基于视觉计算的海面关键区域提取装置，所述装置包括：

46、编码模块，用于将多帧海面态势图像输入至编码器，通过所述编码器中深度卷积网络和与所述深度卷积网络串联的交叉关联注意力模块的处理，得到聚合海面态势图像全局上下文信息的多帧特征图；

47、解码模块，用于将所述多帧特征图输入到解码器进行解码，得到所述解码器输出的多帧光流图；

48、关键区域生成模块，用于根据所述多帧光流图与对所述多帧海面态势图像进行显著性检测而得到的检测结果，确定所述多帧海面态势图像中的海面关键区域。

49、可选地，所述编码模块，包括：

50、深度卷积模块，用于通过所述深度卷积网络中两层卷积核为3×3的卷积层，依次提取得到所述海面态势图像在1/2分辨率和1/4分辨率下的图像特征；

51、交叉关联模块，用于将所述1/4分辨率下的图像特征输入至所述交叉关联注意力模块，得到所述交叉关联注意力模块输出的所述多帧特征图，所述特征图至少包括：大位移运动目标的局部特征与小位移运动目标的全局特征，所述大位移运动目标为运动位移大于第一阈值的目标，所述小位移运动目标为运动位移小于第二阈值的目标。

52、可选地，所述交叉关联注意力模块包括串联的多个注意力机制模块，每个注意力机制模块之间有卷积核为3×3的卷积层；

53、所述交叉关联模块，包括：

54、注意力模块，用于将所述1/4分辨率下的图像特征输入至首个注意力机制模块，直至得到最后一个注意力机制模块输出的1/64分辨率的多帧特征图；

55、除所述首个注意力机制模块外，每个注意力机制模块的输入是上一个注意力机制模块的输出；所述每个注意力机制模块的处理通过如下公式表示：

56、；

57、其中，代表上一个注意力机制模块的输出，代表层归一化，代表使用多层感知机进行处理，cswin_attention代表所述解码器所执行的解码操作的逆操作，是第个注意力机制模块的中间输出，第是第个注意力机制模块的输出。

58、可选地，所述多帧海面态势图像至少包括：连续三帧海面态势图像，所述多帧特征图至少包括：所述连续三帧海面态势图像分别对应的第一帧特征图、第二帧特征图和第三帧特征图；

59、所述解码模块，用于通过所述解码器执行以下解码操作，所述解码模块，包括：

60、相关性模块，用于将所述第一帧特征图与所述第二帧特征图、所述第二帧特征图与所述第三帧特征图分别进行相关性计算，得到相关性结果；

61、第一处理模块，用于将所述相关性结果分别进行遮挡解码和光流解码，得到遮挡解码结果和光流解码结果；

62、第二处理模块，用于基于所述遮挡解码结果和所述光流解码结果，得到所述多帧光流图，所述多帧光流图至少包括：所述第一帧特征图与所述第二帧特征图之间对应的第一光流图，和，所述第二帧特征图与所述第三帧特征图之间对应的第二光流图。

63、可选地，所述装置还包括：

64、第一采样模块，用于将上一轮次的解码操作得到的第二光流图进行上采样，得到第二采样光流图；

65、第一融合模块，用于将所述第二采样光流图与所述第二帧特征图相加融合，得到第二帧采样特征图；

66、第二融合模块，用于将所述第二采样光流图与所述第三帧特征图相加融合，得到第三帧采样特征图；

67、变形模块，用于分别对所述第二帧采样特征图和所述第三帧采样特征图进行变形处理，得到第二帧变形特征图和第三帧变形特征图；

68、所述相关性模块，包括：

69、第三处理模块，用于将所述第一帧特征图与所述第二帧变形特征图进行相关性计算，将所述第二帧特征图与所述第三帧变形特征图进行相关性计算，得到所述相关性结果。

70、可选地，所述第二处理模块，包括：

71、遮挡处理模块，用于通过遮挡上下文网络对所述遮挡解码结果进行处理，得到优化后的遮挡解码图；

72、光流处理模块，用于通过光流上下文网络对所述光流解码结果进行处理，得到优化后的光流解码图；

73、优化处理模块，用于将所述优化后的遮挡解码图和所述优化后的光流解码图输入双边细化网络，得到所述双边细化网络输出的所述多帧光流图。

74、可选地，所述装置还包括：

75、第二采样模块，用于分别将上一轮次的解码操作得到的第一光流图与第二光流图进行上采样，得到第一采样光流图和第二采样光流图；

76、第三融合模块，用于将所述第一采样光流图与所述相关性结果相加融合，得到第一采样相关性结果，将所述第二采样光流图与所述相关性结果相加融合，得到第二采样相关性结果；

77、所述第一处理模块，包括：

78、第一处理子模块，用于将所述第一采样相关性结果进行遮挡解码，得到第一采样遮挡解码结果，将所述第二采样相关性结果进行光流解码，得到第二采样光流解码结果；

79、所述遮挡处理模块，包括：

80、第四融合模块，用于将所述第一采样光流图与所述第一采样遮挡解码结果相加融合，得到融合采样遮挡解码结果；

81、遮挡处理子模块，用于通过所述遮挡上下文网络对所述融合采样遮挡解码结果进行处理，得到优化后的融合采样遮挡解码图；

82、所述光流处理模块，包括：

83、第五融合模块，用于将所述第二采样光流图与所述第二采样光流解码结果相加融合，得到融合采样光流解码结果；

84、光流处理子模块，用于通过所述光流上下文网络对所述融合采样光流解码结果进行处理，得到优化后的融合采样光流解码图；

85、所述优化处理模块，包括：

86、优化处理子模块，用于将所述优化后的融合采样遮挡解码图和所述优化后的融合采样光流解码图输入所述双边细化网络，得到多帧优化光流图。

87、本发明实施例第三方面提供了一种电子设备，所述电子设备包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被该处理器执行时实现如本发明实施例第一方面的基于视觉计算的海面关键区域提取方法。

88、本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面的基于视觉计算的海面关键区域提取方法。

89、通过本发明实施例的基于视觉计算的海面关键区域提取方法，首先，将多帧海面态势图像输入至编码器，通过编码器中深度卷积网络和交叉关联注意力模块的处理，得到聚合海面态势图像全局上下文信息的多帧特征图；然后，将多帧特征图输入到解码器进行解码，得到多帧光流图；最后，基于多帧光流图，与，对该多帧海面态势图像进行显著性检测而得到的检测结果，提取得到多帧海面态势图像中的海面关键区域。

90、在本实施中，不再仅考虑海面显著性这一看上去显著的特征，同时还会考虑海面中运动的目标，将海面关键区域提取分为：海面显著性目标提取与运动目标提取两部分；针对运动目标提取，本实施例通过交叉关联注意力模块与深度卷积网络设计编码器，以编码出聚合海面态势图像全局上下文信息的多帧特征图，从而解码得到多帧光流图实现动态目标的有效定位。如此，本实施例基于表征运动目标的多帧光流图和表征显著性目标的检测结果，确定海面关键区域，能够有效提升海面关键区域提取的准确率。