全景图像显著性对象的检测方法、装置、设备及存储介质

本发明属于图像处理，尤其涉及一种全景图像显著性对象的检测方法、装置、设备及存储介质。

背景技术：

1、随着科技的快速发展、全景相机的普及以及ar/vr的发展，360°全景图像已经在很多领域广泛应用，比如房地产、旅游景点、展览展会、自动驾驶等，全景图像作为生活中最常见的虚拟现实资源，它包含了丰富的周围场景信息，能够为观看者提供更广阔的视野和更真实的场景，使观看者获得沉浸式的体验。与传统的2d图像相比，全景图像通常具有较大的分辨率，这些海量的全景图像数据如何高效地传输、存储成为了全景图像发展的一大挑战。显著性对象检测通过模拟人类视觉，捕获人类视觉注意，从而识别出图像中最引人注目的目标，其是一些计算机视觉任务的重要初始步骤，如图像分割、图像压缩、视觉追踪等，因此全景图像上的显著性对象检测算法有着重要的研究意义，研究者对全景图像上的显著性对象检测越来越感兴趣。

2、全景图像通常以等距柱状投影(erp)和立方体投影(cmp)两种格式的图像展示，erp将纬度和经度统一采样到矩形平面上，然而，从球体到二维平面的投影将导致图像内容失真，cmp将具有完整场景的全景图像分为6个面，但这种投影方式不可避免地会破坏图像的完整性。最近，基于不同投影格式的全景图像出现了几种显著性对象检测方法，例如，li等人提出了一种失真自适应显著性对象检测方法，以处理球面投影到平面引起的失真，并自适应地校正erp图像；huang等人通过利用erp和cmp图像的优势设计了一个特征自适应显著性对象检测网络。虽然现有的全景图像显著性对象检测模型会考虑全景图像erp格式的失真问题，通常利用cmp图像缓解全景图像的失真，但没有充分利用erp图像的完整的全局性特点和cmp图像的具体的局部性特点。对于特征提取网络提出的多层特征图，现有的全景图像显著性对象检测方法未能充分利用低级特征丰富的空间信息和高级特征丰富的语义信息，并且，对于全景图像的大视场，现有的方法并没有考虑图像内容中的多尺度显著对象，因此现有的全景图像显著性对象检测方法没有充分利用高级特征丰富的语义信息以及未能考虑全景图像中显著对象大小不一的特点，容易导致显著对象检测不准确。

技术实现思路

1、本发明的目的在于提供一种全景图像显著性对象的检测方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的全景图像显著性对象的检测方法，导致全景图像显著性对象的检测性能不佳、检测得到的显著对象不够显著的问题。

2、一方面，本发明提供了一种全景图像显著性对象的检测方法，所述方法包括下述步骤：

3、当接收到显著性对象检测请求时，获取待检测的全景图像；

4、通过预先建立的显著性检测模型对所述全景图像进行处理，得到所述全景图像的显著图，其中，所述显著性检测模型包括双分支结构网络、混合投影特征融合模块以及渐进式预测模块。

5、优选地，所述通过预先建立的显著性检测模型对所述全景图像进行处理的步骤，包括：

6、通过所述双分支结构网络对所述全景图像进行特征提取，得到第一特征和第二特征；

7、通过所述混合投影特征融合模块对所述第一特征和所述第二特征进行特征融合，得到第三特征；

8、通过所述渐进式预测模块对所述第一特征、所述第二特征以及所述第三特征进行处理，得到所述显著图。

9、优选地，所述渐进式预测模块包括顶层引导卷积模块和渐进式细化模块。

10、优选地，所述通过所述渐进式预测模块对所述第一特征、所述第二特征以及所述第三特征进行处理的步骤，包括：

11、根据所述第一特征和所述第二特征，通过所述顶层引导卷积模块获得第四特征；

12、根据所述第一特征、所述第三特征以及所述第四特征，通过所述渐进式细化模块获得所述显著图。

13、另一方面，本发明提供了一种全景图像显著性对象的检测装置，所述装置包括：

14、图像获取单元，用于当接收到显著性对象检测请求时，获取待检测的全景图像；以及

15、显著图获得单元，用于通过预先建立的显著性检测模型对所述全景图像进行处理，得到所述全景图像的显著图，其中，所述显著性检测模型包括双分支结构网络、混合投影特征融合模块以及渐进式预测模块。

16、优选地，所述显著图获得单元包括：

17、特征提取单元，用于通过所述双分支结构网络对所述全景图像进行特征提取，得到第一特征和第二特征；

18、特征融合单元，用于通过所述混合投影特征融合模块对所述第一特征和所述第二特征进行特征融合，得到第三特征；以及

19、特征处理单元，用于通过所述渐进式预测模块对所述第一特征、所述第二特征以及所述第三特征进行处理，得到所述显著图。

20、优选地，所述渐进式预测模块包括顶层引导卷积模块和渐进式细化模块。

21、优选地，所述特征处理单元包括：

22、特征获得单元，用于根据所述第一特征和所述第二特征，通过所述顶层引导卷积模块获得第四特征；以及

23、显著图获得子单元，用于根据所述第一特征、所述第三特征以及所述第四特征，通过所述渐进式细化模块获得所述显著图。

24、另一方面，本发明还提供了一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述全景图像显著性对象的检测方法所述的步骤。

25、另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述全景图像显著性对象的检测方法所述的步骤。

26、本发明当接收到显著性对象检测请求时，获取待检测的全景图像，通过预先建立的显著性检测模型对该全景图像进行处理，得到全景图像的显著图，其中，显著性检测模型包括双分支结构网络、混合投影特征融合模块以及渐进式预测模块，从而提高了全景图像显著性对象的检测性能，并有效地过滤全景图像中的冗余信息，提高了全景图像显著图的显著性。

技术特征：

1.一种全景图像显著性对象的检测方法，其特征在于，所述方法包括下述步骤：

2.如权利要求1所述的方法，其特征在于，所述通过预先建立的显著性检测模型对所述全景图像进行处理的步骤，包括：

3.如权利要求2所述的方法，其特征在于，所述渐进式预测模块包括顶层引导卷积模块和渐进式细化模块。

4.如权利要求3所述的方法，其特征在于，所述通过所述渐进式预测模块对所述第一特征、所述第二特征以及所述第三特征进行处理的步骤，包括：

5.一种全景图像显著性对象的检测装置，其特征在于，所述装置包括：

6.如权利要求5所述的装置，其特征在于，所述显著图获得单元包括：

7.如权利要求6所述的装置，其特征在于，所述渐进式预测模块包括顶层引导卷积模块和渐进式细化模块。

8.如权利要求7所述的装置，其特征在于，所述特征处理单元包括：

9.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。

技术总结
本发明适用图像处理技术领域，提供了一种全景图像显著性对象的检测方法、装置、设备及存储介质，该方法包括：当接收到显著性对象检测请求时，获取待检测的全景图像，通过预先建立的显著性检测模型对该全景图像进行处理，得到全景图像的显著图，其中，显著性检测模型包括双分支结构网络、混合投影特征融合模块以及渐进式预测模块，从而提高了全景图像显著性对象的检测性能，并有效地过滤全景图像中的冗余信息，提高了全景图像显著图的显著性。

技术研发人员：张秋丹,张洁,王旭,江健民
受保护的技术使用者：深圳大学
技术研发日：
技术公布日：2024/1/15