全景分割和深度确定的处理方法、装置、设备和介质与流程

1.本公开涉及计算机视觉技术，尤其是一种全景分割和深度确定的处理方法、装置、设备和介质。


背景技术：

2.在计算机视觉领域，单目深度估计一直是长期存在并且讨论议论较多的主题，深度信息在三维重建、虚拟现实、导航等应用上都有很大帮助。随着计算机视觉技术的不断发展，实现了单目深度估计与全景分割的同时预测，全景分割是一种图像分割技术，用于对图像中不同实例所对应的像素进行分割。实例可以包括前景对象实例和背景区域实例。但是现有技术中，通常采用全景分割分支和深度估计分支分别获取全景分割结果和深度估计结果，容易导致不同预测之间存在冲突，从而使得整体性能较差。


技术实现要素：

3.为了解决上述整体性能较差等技术问题，提出了本公开。本公开的实施例提供了一种全景分割和深度确定的处理方法、装置、设备和介质。
4.根据本公开实施例的一个方面，提供了一种全景分割和深度确定的处理方法，包括：确定待处理图像对应的多尺度特征图和目标尺度特征图；基于所述多尺度特征图，确定所述待处理图像中包括的各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征；基于所述目标尺度特征图，确定第一掩码特征图和第一深度特征图；基于各所述实例分别对应的所述目标掩码嵌入特征和所述第一掩码特征图，确定各所述实例分别对应的第一实例掩码结果；基于各所述实例分别对应的所述第一实例掩码结果，确定所述待处理图像对应的全景分割结果；基于所述第一深度特征图、所述全景分割结果和各所述实例分别对应的所述目标深度嵌入特征，获得所述待处理图像对应的全图深度结果。
5.根据本公开实施例的另一个方面，提供了一种全景分割和深度确定的处理装置，包括：第一处理模块，用于确定待处理图像对应的多尺度特征图和目标尺度特征图；第二处理模块，用于基于所述多尺度特征图，确定所述待处理图像中包括的各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征；第三处理模块，用于基于所述目标尺度特征图，确定第一掩码特征图和第一深度特征图；第四处理模块，用于基于各所述实例分别对应的所述目标掩码嵌入特征和所述第一掩码特征图，确定各所述实例分别对应的第一实例掩码结果；第五处理模块，用于基于各所述实例分别对应的所述第一实例掩码结果，确定所述待处理图像对应的全景分割结果；第六处理模块，用于基于所述第一深度特征图、所述全景分割结果和各所述实例分别对应的所述目标深度嵌入特征，获得所述待处理图像对应的全图深度结果。
6.根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的全景分割和深度确定的处理方法。
7.根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的全景分割和深度确定的处理方法。
8.基于本公开上述实施例提供的全景分割和深度确定的处理方法、装置、设备和介质，基于各实例的无重叠的实例掩码融合得到无重叠的全景分割结果，进而基于无重叠的全景分割结果、高分辨率的深度特征图、及各实例的目标深度嵌入特征，获得全图深度结果，实现了全景分割与深度估计的联合预测，基于无重叠的全景分割结果可以实现在实例边界处更加准确的深度预测，有效提高整体性能，解决现有技术全景分割和深度估计分别预测容易导致冲突使得整体性能较差等问题。
9.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
10.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
11.图1是本公开提供的全景分割和深度确定的处理方法的一个示例性的应用场景；
12.图2是本公开一示例性实施例提供的全景分割和深度确定的处理方法的流程示意图；
13.图3是本公开另一个示例性实施例提供的全景分割和深度确定的处理方法的流程示意图；
14.图4是本公开再一示例性实施例提供的步骤206的流程示意图；
15.图5是本公开一示例性实施例提供的两个第一实例掩码结果去重的示意图；
16.图6是本公开一示例性实施例提供的步骤202的流程示意图；
17.图7是本公开又一示例性实施例提供的全景分割和深度确定的处理方法的流程示意图；
18.图8是本公开又一示例性实施例提供的步骤2012的流程示意图；
19.图9是本公开一示例性实施例提供的全景分割与深度确定的处理模型的整体网络结构示意图；
20.图10是本公开一示例性实施例提供的全景分割和深度确定的处理装置的结构示意图；
21.图11是本公开一示例性实施例提供的第六处理模块506的结构示意图；
22.图12是本公开另一示例性实施例提供的第六处理模块506的结构示意图；
23.图13是本公开一示例性实施例提供的第五处理模块505的结构示意图；
24.图14是本公开一示例性实施例提供的第四处理模块504的结构示意图；
25.图15是本公开一示例性实施例提供的第三处理模块503的结构示意图；
26.图16是本公开一示例性实施例提供的第二处理模块502的结构示意图；
27.图17是本公开一示例性实施例提供的第一处理模块501的结构示意图；
28.图18是本公开一示例性实施例提供的第九处理单元5012的结构示意图；
29.图19是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
30.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
31.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
32.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
33.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
34.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
35.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
36.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
37.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
38.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
39.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
40.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
41.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
42.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通
信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
43.本公开概述
44.在实现本公开的过程中，发明人发现，在计算机视觉领域，单目深度估计一直是长期存在并且讨论议论较多的主题，深度信息在三维重建、虚拟现实、导航等应用上都有很大帮助。随着计算机视觉技术的不断发展，实现了单目深度估计与全景分割的同时预测，全景分割是一种图像分割技术，用于对图像中不同实例所对应的像素进行分割。实例可以包括前景对象实例和背景区域实例。但是现有技术中，通常采用全景分割分支和深度估计分支分别获取全景分割结果和深度估计结果，容易导致不同预测之间存在冲突，从而使得整体性能较差。
45.示例性概述
46.图1是本公开提供的全景分割和深度确定的处理方法的一个示例性的应用场景。
47.在导航场景，利用本公开的全景分割和深度确定的处理方法，可以对待处理图像进行特征提取，确定待处理图像对应的多尺度特征图和目标尺度特征图，基于多尺度特征图确定待处理图像中包括的各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征，并基于目标尺度特征图，确定各尺度共享的第一掩码特征图和第一深度特征图，基于各实例分别对应的目标掩码嵌入特征和第一掩码特征图确定各实例分别对应的第一实例掩码结果，基于各实例分别对应的第一实例掩码结果确定待处理图像对应的无重叠的全景分割结果，进而基于无重叠的全景分割结果、高分辨率的第一深度特征图、及各实例的目标深度嵌入特征，获得全图深度结果，实现了全景分割与深度估计的联合预测，用于导航场景，将无重叠的全景分割结果用于全景深度估计，可以实现在实例边界处更加准确的深度预测，有效提高整体性能，解决现有技术全景分割和深度估计分别预测容易导致冲突使得整体性能较差等问题。
48.本公开的全景分割和深度确定的处理方法可以应用于任意需要全景分割和深度估计的应用场景，比如三维重建、虚拟现实，等等，不限于上述的导航场景，具体可以根据实际需求设置。
49.示例性方法
50.图2是本公开一示例性实施例提供的全景分割和深度确定的处理方法的流程示意图。本实施例可应用在电子设备上，具体比如服务器和终端设备，终端设备比如可以为车载计算平台，如图2所示，包括如下步骤：
51.步骤201，确定待处理图像对应的多尺度特征图和目标尺度特征图。
52.其中，待处理图像可以是任意方式获得的图像，待处理图像可以包括一张或多张图像，对于多张图像，可以针对每张图像确定其对应的多尺度特征图和目标尺度特征图。待处理图像数量不做限定。多尺度特征图包括待处理图像对应的至少两个尺度的特征图，比如待处理图像为h
×
w尺度的图像，多尺度特征图可以包括待处理图像对应的h/4
×
w/4尺度、h/8
×
w/8尺度、h/16
×
w/16尺度三个尺度的特征图。多尺度特征图包括的尺度数量可以根据实际需求设置，本公开不做限定。目标尺度特征图可以是多尺度特征图中的至少一种尺度的特征图经上采样并融合获得的高分辨率的特征图，目标尺度特征图的尺度大于或等于多尺度特征图中的最大尺度。多尺度特征图可以基于预先训练获得的特征提取网络提取
获得，特征提取网络的网络结构可以根据实际需求设置，只要能够得到多尺度特征图即可，具体不做限定，比如特征提取网络可以采用特征金字塔网络(feature pyramid network，简称：fpn)等网络结构。
53.步骤202，基于多尺度特征图，确定待处理图像中包括的各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征。
54.其中，实例可以包括前景实例和背景实例，前景实例可以包括人、车辆、动物等对象实例，背景实例可以包括背景区域实例，比如地面、天空，等等，具体前景和背景可以根据实际需求设置，在此不再赘述。一个实例对应的目标掩码嵌入特征和目标深度嵌入特征，分别用于从各实例共享的掩码特征图(下面的第一掩码特征图)和深度特征图(下面的第一深度特征图)中提取出该实例的掩码结果和深度结果，通过目标掩码嵌入特征和目标深度嵌入特征可以使得在同一预测任务(包括全景分割预测和深度预测)下同时处理前景实例和背景实例，有助于提高预测结果的准确性。
55.步骤203，基于目标尺度特征图，确定第一掩码特征图和第一深度特征图。
56.其中，目标尺度特征图是多尺度特征图融合获得的高分辨率的特征图，第一掩码特征图和第一深度特征图是基于目标尺度特征图预测的各实例共享的掩码嵌入特征图和深度嵌入特征图。第一掩码特征图用于后续的全景分割预测，第一深度特征图与全景分割结果一起用于全图深度预测。
57.可选地，第一掩码特征图和第一深度特征图可以通过预先训练获得的不同的特征编码网络分别对目标尺度特征图进行特征编码获得。具体网络结构可以根据实际需求设置，比如特征编码网络可以包括一层或多层卷积层，具体不做限定。
58.步骤202和步骤203不分先后顺序。
59.步骤204，基于各实例分别对应的目标掩码嵌入特征和第一掩码特征图，确定各实例分别对应的第一实例掩码结果。
60.其中，一个实例对应的第一实例掩码结果包括待处理图像中各像素是否属于该实例的标签特征值，比如1表示属于该实例，0表示不属于该实例。
61.步骤205，基于各实例分别对应的第一实例掩码结果，确定待处理图像对应的全景分割结果。
62.其中，全景分割结果包括各实例分别对应的像素区域。各实例分别对应的第一实例掩码结果表征了待处理图像中各像素是否属于各实例，因此，基于各实例分别对应的第一实例掩码结果可以确定待处理图像中属于各实例的像素区域，从而获得全景分割结果。
63.在一个可选示例中，当相邻实例对应的第一实例掩码结果之间存在重叠区域时，可以先对第一实例掩码结果进行去重，获得无重叠区域的各实例的第二实例掩码结果，再基于各第二实例掩码结果确定全景分割结果，可以获得无重叠区域的全景分割结果，具体去重方式可以根据实际需求设置，比如可以基于实例置信度，确定该像素所属的实例。通过掩码去重实现无重叠的全景分割，进而可以基于无重叠的全景分割获得无重叠的深度结果，进一步提高预测结果的准确性。
64.步骤206，基于第一深度特征图、全景分割结果和各实例分别对应的目标深度嵌入特征，获得待处理图像对应的全图深度结果。
65.其中，实例的目标深度嵌入特征用于从第一深度特征图中提取出该实例对应的深
度结果，进而结合全景分割结果，确定与全景分割边界一致的全图深度结果。通过全景分割与深度估计联合，解决现有技术容易导致不同预测之间存在冲突等问题。比如在现有技术采用不同分支分别预测全景分割结果和深度结果时，可能存在全景分割结果中某一个或多个像素属于实例1，而在深度估计结果中该一个或多个像素属于实例2，从而在该一个或多个像素位置的预测存在冲突，导致整体性能较差。
66.本实施例提供的全景分割和深度确定的处理方法，基于各实例分别对应的第一实例掩码结果确定待处理图像对应的全景分割结果，进而基于无重叠的全景分割结果、高分辨率的第一深度特征图、及各实例的目标深度卷积核，获得全图深度结果，实现了全景分割与深度估计的联合预测，将全景分割结果用于全景深度估计，可以实现在实例边界处更加准确的深度预测，有效提高整体性能，解决现有技术全景分割和深度估计分别预测容易导致冲突使得整体性能较差等问题。
67.图3是本公开另一示例性实施例提供的全景分割和深度确定的处理方法的流程示意图。
68.在一个可选示例中，步骤206的基于第一深度特征图、全景分割结果和各实例分别对应的目标深度嵌入特征，获得待处理图像对应的全图深度结果，具体可以包括以下步骤：
69.步骤2061，基于第一深度特征图及各实例分别对应的目标深度嵌入特征，确定各实例分别对应的第一深度结果。
70.具体的，可以基于各实例分别对应的目标深度嵌入特征确定各实例分别对应的深度系数，一个实例对应的该深度系数可以包括该实例对应的目标深度卷积核、目标深度缩放系数和目标深度偏移系数，进而基于各实例分别对应的深度系数和第一深度特征图，确定各实例分别对应的第一深度结果。各实例分别对应的深度系数可以基于预先训练获得的深度系数生成网络生成，具体网络结构可以根据实际需求设置，本公开不做限定。
71.步骤2062，基于各实例分别对应的第一深度结果及全景分割结果，确定全图深度结果。
72.其中，各实例分别对应的第一深度结果表征了各实例的深度信息，将各实例的第一深度结果按照全景分割结果聚合即可得到待处理图像对应的全图深度结果。
73.图4是本公开一示例性实施例提供的步骤206的流程示意图。
74.在一个可选示例中，步骤2061的基于第一深度特征图及各实例分别对应的目标深度嵌入特征，确定各实例分别对应的第一深度结果，包括：
75.步骤20611，基于各实例分别对应的目标深度嵌入特征，确定各实例分别对应的目标深度卷积核、目标深度偏移系数和目标深度缩放系数，其中，目标深度偏移系数在模型训练阶段采用实例级信息监督。
76.其中，实例对应的目标深度卷积核用于从各实例共享的第一深度特征图中提取出该实例的归一化深度结果，实例对应的目标深度偏移系数和目标深度缩放系数分别预测了该实例深度的偏差和方差，用于将归一化深度结果恢复成实例的第一深度结果。各实例分别对应的目标深度偏移系数和目标深度缩放系数可以与对应实例的目标深度卷积核并行地从目标深度嵌入特征预测得到，具体可以采用预先训练获得的深度系数生成网络预测获得，深度系数生成网络的网络结构可以根据实际需求设置，比如在深度系数生成网络中分别经过三个全连接层获得实例对应的目标深度卷积核、目标深度偏移系数和目标深度缩放
系数，具体可以根据实际需求设置，在此不再赘述。
77.在模型训练阶段，对目标深度偏移系数进行实例级信息监督，将对应的损失作为模型总损失的一部分，用于网络参数的调整，一方面能够在训练过程中更快地收敛，另一方面能够提高模型性能，保证训练获得的模型在预测过程中预测的目标深度偏移系数能够更加准确性，进而提高深度估计的准确性。
78.步骤20612，基于各实例分别对应的目标深度卷积核和第一深度特征图，确定各实例分别对应的归一化实例深度结果。
79.其中，以一个实例为例，该实例对应的归一化实例深度结果可以通过该实例对应的目标深度卷积核对第一深度特征图进行卷积运算，并将卷积结果通过预设激活函数激活获得，预设激活函数比如可以为sigmoid激活函数，具体可以根据实际需求设置。
80.步骤20613，基于各实例分别对应的归一化实例深度结果、目标深度偏移系数和目标深度缩放系数，确定各实例分别对应的第一深度结果。
81.具体的，可以根据预设恢复规则将各实例分别对应的归一化实例深度结果恢复成各实例分别对应的第一深度结果，进而基于各实例分别对应的第一深度结果确定全图深度结果。预设恢复规则可以根据实际需求设置，本示例不做限定。
82.示例性的，各实例分别对应的归一化实例深度结果表示为d
′
，表示如下：
[0083][0084]
其中，d
′
包括n个实例分别对应的归一化实例深度结果，归一化实例深度结果可以采用特征图的形式表示；sigmoid为激活函数；表示卷积运算；kd包括n个实例分别对应的目标深度卷积核，表示目标深度卷积核的维度(通道数量)；ed表示第一深度特征图，表示第一深度特征图的维度(通道数量)，可以根据实际需求设置；h1×
w1表示第一深度特征图的尺度，h1表示第一深度特征图的高度，w1表示第一深度特征图的宽度，第一深度特征图的维度可以根据实际需求设置，本公开不做限定，第一深度特征图的尺度可以与前述的目标尺度特征图相同。
[0085]
通过如下公式一或公式二将归一化实例深度结果恢复至实例对应的第一深度结果：
[0086]
t1(d|d
′
,dr,ds)＝d
max
(dr×d′
+ds)
ꢀꢀ
公式一
[0087]
t2(d|d
′
,dr,ds)＝d
max
[dr×
(d
′‑
0.5)+ds]
ꢀꢀ
公式二
[0088]
其中，t1(d|d
′
,dr,ds)和t2(d|d
′
,dr,ds)分别为采用两种不同的恢复规则获得的第一深度结果，(d|d
′
,dr,ds)表示在输入为d
′
,dr,ds的情况下输出为d，dr∈rn×1表示n个实例分别对应的目标深度缩放系数，ds∈rn×1表示n个实例分别对应的目标深度偏移系数。经过sigmoid激活，0≤ds≤1，0≤dr≤1，d
max
为预设阈值，用于控制深度估计范围。
[0089]
这样，归一化实例深度结果d
′
只对每个实例内的相对深度值进行编码，因此更容易在实例共享的第一深度特征图中学习到。
[0090]
本公开通过预测各实例分别对应的归一化实例深度结果，可以简化共享深度嵌入特征的学习，解决因不同实例具有差异巨大的深度分布范围导致共享的深度嵌入特征难以优化等问题。
[0091]
在模型训练阶段，对于t1和t2，分别使用实例掩码标注内的深度最小值和深度均值
作为ds的监督信息，实现实例级的监督学习，进一步提高模型性能。
[0092]
相应的，步骤2062的基于各实例分别对应的第一深度结果及全景分割结果，确定全图深度结果，包括：
[0093]
步骤20621，根据全景分割结果，将各实例分别对应的第一深度结果进行融合，获得全图深度结果。
[0094]
其中，由于各实例分别对应的第一深度结果表征了实例的深度值预测结果，根据全景分割结果，将各实例的第一深度结果融合，在实例边界处估计的深度值更加准确。
[0095]
本公开通过预测实例的目标深度缩放系数和目标深度偏移系数，用于描述每个实例深度的偏差和方差，使得实例的归一化实例深度结果只对实例内的相对深度值进行编码，因此更容易在各实例共享的第一深度特征图中学习到，在保证深度估计结果准确性的条件下，有效简化第一深度特征图的学习优化。
[0096]
在一个可选示例中，步骤205的基于各实例分别对应的第一实例掩码结果，确定待处理图像对应的全景分割结果，包括：
[0097]
步骤2051，对各实例分别对应的第一实例掩码结果进行去重，确定无重叠的各实例分别对应的第二实例掩码结果。
[0098]
其中，由于相邻实例的第一实例掩码结果之间可能存在重叠的像素区域，以两个第一实例掩码结果为例，即在该重叠的像素区域，各像素在两个第一实例掩码结果中的掩码值均为1，表示该像素属于两个实例，为了保证全景分割结果的准确性，需要对该两个第一实例掩码结果进行去重，具体去重规则可以根据实际需求设置，只要保证获得的第二实例掩码结果之间不存在同一像素属于多个实例的情况即可。
[0099]
在一个可选示例中，对于重叠区域的像素可以基于各实例的置信度确定该像素所属的实例。实例置信度可以通过对多尺度特征图进行分类预测得到的位置分数图确定。位置分数图包括了在各像素存在各预设类型的实例或实例中心的概率，比如位置分数图表示为c表示预设类型的数量，hi×
wi表示多尺度特征图中的第i个特征图的尺度，比如hi×
wi＝h/4
×
w/4，h
×
w表示待处理图像的尺度，基于位置分数图，可以定位该尺度特征图中的实例位置，将各实例中心点位置的概率值作为各实例属于各预设类型的概率值，表示为实例分类结果c∈rn×c，基于实例分类结果确定各实例的实例置信度，比如，对于每个实例，将该实例属于各预设类型的概率值中最大的概率值作为该实例的实例置信度，从而可以获得n个实例的实例置信度。基于此将具有重叠像素的各第一实例掩码结果中实例置信度最高的实例的第一实例掩码结果中掩码值保留为1，其他的第一实例掩码结果中该像素的掩码值置为0，从而将各像素无重叠地划分到各实例中，获得无重叠的第二实例掩码结果。
[0100]
示例性的，图5是本公开一示例性实施例提供的两个第一实例掩码结果去重的示意图。其中深灰色像素位置的掩码重叠，实例1的实例置信度为0.99，大于实例2的实例置信度0.9，因此将实例1的该像素位置的掩码保留为1，实例2的该像素位置的掩码置为0，获得无重叠的第二实例掩码结果。
[0101]
在一个可选示例中，第一实例掩码结果的去重还可以采用其他任意可实施的方式实现，本公开不做限定。
[0102]
步骤2052，基于各实例分别对应的第二实例掩码结果，获得无重叠的全景分割结
果。
[0103]
其中，由于第二实例掩码结果为无重叠的实例掩码结果，因此获得的全景分割结果包括各实例分别对应的无重叠的像素区域。通过掩码去重实现无重叠的全景分割，进而可以基于无重叠的全景分割获得无重叠的深度结果，进一步提高预测结果的准确性。
[0104]
在一个可选示例中，步骤204的基于各实例分别对应的目标掩码嵌入特征和第一掩码特征图，确定各实例分别对应的第一实例掩码结果，包括：
[0105]
步骤2041，基于各实例分别对应的目标掩码嵌入特征，确定各实例分别对应的目标掩码卷积核。
[0106]
其中，目标掩码卷积核可以基于预先训练获得网络(比如一个或多个全连接层)确定，具体网络的结构可以根据实际需求设置，本公开不做限定。
[0107]
步骤2042，分别采用各实例分别对应的目标掩码卷积核对第一掩码特征图进行卷积运算，获得各实例分别对应的卷积运算结果。
[0108]
其中，卷积运算可以通过卷积层实现，具体原理不再赘述。
[0109]
步骤2043，采用预设激活函数对各卷积运算结果进行处理，获得各实例分别对应的第一实例掩码结果。
[0110]
其中，预设激活函数可以为sigmoid激活函数。
[0111]
在一个可选示例中，步骤203的基于目标尺度特征图，确定第一掩码特征图和第一深度特征图，包括：
[0112]
步骤2031，基于目标尺度特征图及预先训练获得的第一特征编码网络，确定第一掩码特征图。
[0113]
其中，第一特征编码网络的网络结构可以根据实际需求设置，比如第一特征编码网络可以包括多个卷积层，具体不做限定。
[0114]
步骤2032，基于目标尺度特征图及预先训练获得的第二特征编码网络，确定第一深度特征图。
[0115]
其中，第二特征编码网络的网络结构可以根据实际需求设置，比如第二特征编码网络可以包括多个卷积层，具体不做限定。
[0116]
步骤2031和步骤2032不分先后顺序。
[0117]
图6是本公开一示例性实施例提供的步骤202的流程示意图。
[0118]
在一个可选示例中，步骤202的基于多尺度特征图，确定待处理图像中包括的各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征，包括：
[0119]
步骤2021，针对多尺度特征图中的每一尺度的特征图，确定该尺度的特征图对应的位置分数图、掩码嵌入特征图和深度嵌入特征图，位置分数图包括该尺度的特征图中的各像素属于各预设类型的实例的概率。
[0120]
其中，对于每一尺度，位置分数图包括在该尺度的特征图中的各像素存在各预设类型的实例或实例中心的概率，对于前景实例具体可以是预测的该像素属于前景实例中心的概率，对于背景实例具体可以是预测的该像素属于背景实例对应区域的概率，具体的位置分数图可以根据实际需求设置。掩码嵌入特征图和深度嵌入特征图是提取的该尺度的包括各实例的掩码嵌入特征和深度嵌入特征。每个尺度对应的位置分数图、掩码嵌入特征图和深度嵌入特征图可以是分别通过训练获得的三个卷积网络对该尺度的特征图进行预测
获得，每个卷积网络可以包括多个卷积层，具体可以根据实际需求设置，比如包括至少三层卷积层。在该步骤，每一尺度获得一个对应的位置分数图。
[0121]
可选地，不同尺度的位置分数图、掩码嵌入特征图和深度嵌入特征图可以包括相同或不同的预设类型的实例，具体可以根据实际需求设置。比如对于尺度较小的特征图，可以用于预测较大实例，对于尺度较大的特征图，可以用于预测较小实例，对于中间尺度的特征图，既可以预测较大实例也可以预测较小实例。本公开不做限定。
[0122]
示例性的，待处理图像中包括3个预设类型的5个实例，比如预设类型为人的前景实例1和前景实例2，预设类型为车辆的前景实例3和前景实例4，预设类型为地面的背景实例5。多尺度特征图包括待处理图像对应的h/4
×
w/4尺度、h/8
×
w/8尺度、h/16
×
w/16尺度3个尺度的特征图，在每个尺度中可以预测各像素属于所有预设类型的实例中心的位置分数图、对应掩码嵌入特征图和对应深度嵌入特征图，也可以各尺度分别预测所有预设类型中较大实例，比如h/4
×
w/4尺度较大，预测各预设类型中较小实例的位置分数图、对应掩码嵌入特征图和对应深度嵌入特征图，h/8
×
w/8尺度预测各预设类型中所有实例的位置分数图、对应掩码嵌入特征图和对应深度嵌入特征图，h/16
×
w/16尺度预测各预设类型的较大实例的相关数据。当实例较多时，各尺度的特征图预测的实例还可以有重叠部分，具体不做限定。
[0123]
步骤2022，基于位置分数图，确定各实例的位置。
[0124]
其中，对于每一尺度，各实例的位置可以包括各前景实例的中心点位置和各背景实例对应的区域，具体可以根据实际需求设置。由于位置分数图预测的是在各像素存在各预设类型的实例或实例中心的概率，因此，基于概率值的大小分布即可确定各实例的位置。比如对于前景实例，某一个或相邻的多个像素的概率大于预设概率阈值，则表示该一个或多个像素位于该前景实例的中心位置，对于背景实例，在该背景实例区域内像素的概率值均较大，据此，可以确定出各前景实例的中心位置及各背景实例对应的区域。在该步骤，获得各尺度下的各实例的位置。
[0125]
可选地，不同尺度特征图获得的位置分数图可以确定相同或不同实例的位置。比如较大尺度特征图预测的是较小实例的位置分数图，因此可以确定相应的较小实例的位置。
[0126]
步骤2023，基于各实例的位置，从掩码嵌入特征图中提取各实例分别对应的第一掩码嵌入特征。
[0127]
其中，在确定了各实例的位置，则可以基于各实例的位置从掩码嵌入特征图中提取各实例分别对应的第一掩码嵌入特征。第一掩码嵌入特征的提取可以采用卷积层实现，具体可以根据实际需求设置。在该步骤，获得各尺度下各实例分别对应的第一掩码嵌入特征。
[0128]
步骤2024，基于各实例的位置，从深度嵌入特征图中提取各实例分别对应的第一深度嵌入特征。
[0129]
其中，第一深度嵌入特征与第一掩码嵌入特征类似，可以是基于各实例的位置，通过卷积层实现从深度嵌入特征图中提取各实例分别对应的第一深度嵌入特征，具体不再赘述。在该步骤，获得各尺度下各实例分别对应的第一深度嵌入特征。
[0130]
步骤2025，基于各尺度的特征图中各实例分别对应的第一掩码嵌入特征，确定各
实例分别对应的目标掩码嵌入特征。
[0131]
其中，在获得了各尺度下的各实例分别对应的第一掩码嵌入特征后，可以综合各尺度的第一掩码嵌入特征，确定各实例分别对应的目标掩码嵌入特征。具体来说，对于在不同尺度中重叠的实例，需要将该实例在不同尺度下的第一掩码嵌入特征进行融合，获得该实例对应的一个目标掩码嵌入特征。对于在不同尺度中未重叠的实例，将该实例的第一掩码嵌入特征作为该实例的目标掩码嵌入特征。
[0132]
示例性的，多尺度特征图包括待处理图像对应的h/4
×
w/4尺度、h/8
×
w/8尺度、h/16
×
w/16尺度3个尺度的特征图，则可以获得3个尺度下的各实例的第一掩码嵌入特征，以上述的5个实例为例，比如在h/4
×
w/4尺度获得了前景实例1和前景实例3分别对应的第一掩码嵌入特征，在h/8
×
w/8尺度获得了前景实例1、前景实例2、前景实例3、前景实例4和背景实例5分别对应的第一掩码嵌入特征，在h/16
×
w/16尺度获得了前景实例2、前景实例4和背景实例5分别对应的第一掩码嵌入特征，则综合各尺度的情况，以前景实例1为例，在h/4
×
w/4尺度和h/8
×
w/8尺度均获得了对应的第一掩码嵌入特征，因此需要将该两个第一掩码嵌入特征进行融合，获得前景实例1的目标掩码嵌入特征，具体融合方式可以采用任意可实施的方式，对于各第一掩码嵌入特征是否属于同一实例，可以基于相似度及相似度阈值来确定，相似度可以采用任意可实施的方式，比如余弦相似度，具体不做限定。将各第一掩码嵌入特征中相似度高于相似度阈值的第一掩码嵌入特征进行融合，从而实现实例的多个第一掩码嵌入特征的去除，减少冗余特征，提高计算效率。对于需要融合的第一掩码嵌入特征可以通过择一或求均值等方式确定一个目标值，依此进行融合，获得该实例的目标掩码嵌入特征。据此原理可以获得待处理图像中包括的各实例分别对应的目标掩码嵌入特征。
[0133]
步骤2026，基于各尺度的特征图中各实例分别对应的第一深度嵌入特征，确定各实例分别对应的目标深度嵌入特征。
[0134]
其中，目标深度嵌入特征的确定原理与目标掩码嵌入特征类似，在此不再一一赘述。
[0135]
在一个可选示例中，步骤202的各步骤整体可以通过预先训练获得的嵌入特征生成网络实现，该嵌入特征生成网络的输入为多尺度特征图，输出为实例分类结果、各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征。其中，多尺度特征图x包括s个尺度的特征图n表示xi的特征维度(也称通道数量)，实例分类结果c∈rn×c，n表示实例数量，c表示预设类型的数量；目标掩码嵌入特征可以得到目标掩码卷积核，目标掩码卷积核可以表示为em表示目标掩码卷积核的维度(通道数量)，其中，第j个实例对应的目标掩码卷积核可以表示为目标深度嵌入特征可以得到目标深度卷积核，目标深度卷积核可以表示为表示目标深度卷积核的维度(通道数量)，第j个实例对应的目标深度卷积核可以表示为卷积核生成网络的具体网络结构可以基于卷积层实现，具体可以根据实际需求设置，本公开不做限定。
[0136]
在一个可选示例中，还可以基于各尺度下的位置分数图及各实例的位置，确定各实例分别对应的实例置信度。用于后续全景分割结果的确定过程中的第一实例掩码结果的
去重。比如位置分数图表示为c表示预设类型的数量，hi×
wi表示多尺度特征图中的第i个特征图的尺度，比如hi×
wi＝h/4
×
w/4，h
×
w表示待处理图像的尺度，基于位置分数图，可以定位该尺度特征图中的实例位置，将各实例中心点位置的概率值作为各实例属于各预设类型的概率值，表示为实例分类结果c∈rn×c，基于实例分类结果确定各实例的实例置信度，比如，对于每个实例，将该实例属于各预设类型的概率值中最大的概率值作为该实例的实例置信度，从而可以获得n个实例的实例置信度。
[0137]
在一个可选示例中，步骤2025的基于各尺度的特征图中各实例分别对应的第一掩码嵌入特征，确定各实例分别对应的目标掩码嵌入特征，包括：对于同一实例，将该实例在各尺度的第一掩码嵌入特征进行融合，获得该实例对应的目标掩码嵌入特征。
[0138]
其中，各第一掩码嵌入特征是否属于同一实例可以基于各第一掩码嵌入特征之间的相似度来确定，相似度可以采用如余弦相似度等任意可实施的方式确定。对于一个实例在不同尺度的第一掩码嵌入特征，通过计算各第一掩码嵌入特征之间的相似度来确定各第一掩码嵌入特征是否属于同一实例，当两个第一掩码嵌入特征的相似度高于相似度阈值，可以认为两特征重复，属于同一实例，需要进行去重，否则不需要去重。去重的融合方式可以是求均值或其他可实施的方式，比如两个第一掩码嵌入特征相似度高于相似度阈值，将该两个第一掩码嵌入特征的均值作为目标掩码嵌入特征。对于在不同尺度中未重叠的实例，将该实例的第一掩码嵌入特征作为该实例的目标掩码嵌入特征。具体融合方式可以根据实际需求设置。
[0139]
在一个可选示例中，步骤2026的基于各尺度的特征图中各实例分别对应的第一深度嵌入特征，确定各实例分别对应的目标深度嵌入特征，包括：对于同一实例，将该实例在各尺度的第一深度嵌入特征进行融合，获得该实例对应的目标深度嵌入特征。
[0140]
其中，由于每个尺度中每个实例都会预测对应的第一掩码嵌入特征和第一深度嵌入特征，因此，第一掩码嵌入特征与第一深度嵌入特征是一一对应的，且相对应第一掩码嵌入特征和第一深度嵌入特征对应同一实例，为了保证第一深度嵌入特征和第一掩码嵌入特征融合的一致性，该步骤中第一深度嵌入特征是否属于同一实例同样采用上述的基于第一掩码嵌入特征的相似度的确定结果，从而保证获得的目标深度嵌入特征对应的实例与目标掩码嵌入特征对应的实例是一致的。目标深度嵌入特征的具体确定原理与目标掩码嵌入特征类似，在此不再赘述。
[0141]
本公开通过对实例的第一掩码嵌入特征和第一深度嵌入特征进行融合，实现对重复特征的去重，降低特征冗余度，提高计算效率及准确性。
[0142]
图7是本公开又一示例性实施例提供的全景分割和深度确定的处理方法的流程示意图。
[0143]
在一个可选示例中，步骤201的确定待处理图像对应的多尺度特征图和目标尺度特征图，包括：
[0144]
步骤2011，基于预先训练获得的特征提取网络，对待处理图像进行特征提取，获得多尺度特征图。
[0145]
其中，特征提取网络可以根据实际需求设置，比如特征提取网络可以采用特征金字塔网络(feature pyramid network，简称：fpn)等网络结构，具体不再赘述。
[0146]
步骤2012，基于多尺度特征图，确定目标尺度特征图。
[0147]
其中，目标尺度特征图可以是多尺度特征图中的至少一种尺度的特征图经上采样并融合获得的高分辨率的特征图，目标尺度特征图的尺度大于或等于多尺度特征图中的最大尺度。比如将多尺度特征图中各尺度的特征图经上采样转换到目标尺度，获得各尺度分别对应的目标尺度的特征图，再将各尺度分别对应的目标尺度的特征图进行融合，获得该目标尺度特征图。其中，融合方式可以根据实际需求设置。
[0148]
在一个可选示例中，图8是本公开又一示例性实施例提供的步骤2012的流程示意图。在本示例中，步骤2012的基于多尺度特征图，确定目标尺度特征图，包括：
[0149]
步骤20121，对多尺度特征图中的各尺度的特征图分别进行上采样，获得各尺度的特征图分别对应的目标尺度的第一特征图。
[0150]
其中，目标尺度可以根据实际需求设置，由于大尺度(即高分辨率)的特征图保留有更多的细节特征，因此可以设置目标尺度为大于或等于多尺度特征图中的最大尺度，将各尺度特征图上采样至目标尺度，有助于提高后续编码结果的准确性。
[0151]
步骤20122，将各尺度的特征图分别对应的第一特征图进行融合，获得目标尺度特征图。
[0152]
其中，融合方式可以根据实际需求设置，比如相加(add)、特征拼接(concat)，等等，具体不做限定。
[0153]
在一个可选示例中，图9是本公开一示例性实施例提供的全景分割与深度确定的处理模型的整体网络结构示意图。该全景分割与深度确定的处理模型(以下简称模型)的网络结构可以包括特征提取网络、嵌入特征生成网络、特征编码网络、全景分割网络和深度估计网络。其中，特征提取网络用于对待处理图像进行特征提取获得多尺度特征图，以及基于多尺度特征图获得目标尺度特征图；嵌入特征生成网络用于基于多尺度特征图生成各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征；特征编码网络用于基于目标尺度特征图，确定各实例共享的第一掩码特征图和第一深度特征图；全景分割网络用于基于各实例分别对应的目标掩码嵌入特征及各实例共享的第一掩码特征图，获得全景分割结果；深度估计网络用于基于各实例分别对应的目标深度嵌入特征、第一深度特征图及全景分割结果，获得全图深度结果。本示例中各部分网络的具体结构可以根据实际需求设置，比如特征提取网络可以采用fpn网络结构，嵌入特征生成网络可以采用卷积网络结构，特征编码网络可以采用卷积网络结构，全景分割网络可以采用卷积网络结构，深度估计结果可以采用卷积网络结构。其中卷积网络结构可以包括一层或多层卷积层，还可以包括激活函数，具体可以根据实际需求设置，本公开不做限定。具体网络结构不再一一赘述。
[0154]
需要说明的是，用于本公开的全景分割和深度确定的处理方法的全景分割和深度确定的处理模型需要预先训练获得，各部分网络可以分别进行训练再进行综合优化，也可以是一起进行训练，比如用于全景分割的整个流程的各部分网络作为全景分割网络进行训练获得全景分割模型，用于全景深度估计的整个流程的各部分网络作为全景深度确定网络进行训练获得全景深度确定模型。具体可以根据实际需求设置。
[0155]
在一个可选示例中，本公开的模型采用带有特征金字塔网络的resnet-50作为主干网络，各实例共享的第一掩码特征图的维度em设置为256，第一深度特征图的维度设置为16。
[0156]
在模型训练过程中，损失函数可以根据实际需求设置。
[0157]
示例性的，总训练损失为：
[0158]
l＝λ
pos
l
pos
+λ
seg
l
seg
+λ
dep
l
dep
[0159]
其中，l
pos
表示实例分类的损失函数，l
seg
表示掩码分割的损失函数，l
dep
表示深度损失函数，λ
pos
、λ
seg
和λ
dep
为预设权重，用于平衡不同损失，具体可以根据实际需求设置，比如设置λ
pos
＝1、λ
seg
＝4、λ
dep
＝5。
[0160]
本公开中，可以采用尺度不变的对数误差和相对平方误差的组合作为训练损失函数。
[0161]
示例性的，以深度损失函数为例，d和分别表示预测深度值和真实深度值，该损失函数的计算方式为：
[0162][0163]
其中，n表示真实深度值的数量，dj表示第j个预测深度值，表示第j个真实深度值。
[0164]
在一个可选示例中，由于本公开的深度估计是基于逐实例式的深度估计策略，本公开模型的训练，可以同时使用传统的像素级监督和额外的实例级监督学习深度预测，由于结合了实例级的大小、形状、位置等特征，辅助深度估计，一方面可以降低深度特征表达的学习难度，另一方面可以有效提高模型深度估计的性能。为了使用双监督，本公开的深度损失函数可以表示为l
dep
，l
dep
包括两个损失项，一个是像素级深度损失另一个是实例级深度损失表示如下：
[0165][0166]
其中，为预设权重，用于平衡两个深度损失，具体可以根据实际需求设置，比如可以设置为了减少无关监督信息的干扰，像素级深度损失可以仅监督各实例分别对应的实例掩码内的深度预测值，也即计算整图深度真值与根据掩码预测值聚合得到的整图深度预测d
all
间的误差：
[0167][0168]
实例级深度损失计算实例深度偏移系数(上述的目标深度偏移系数ds)和相应真值间的误差：
[0169][0170]
其中，对应上述公式一和公式二的深度偏移真值分别为各实例掩码内深度真值的最小值和平均值。
[0171]
本公开通过结合无重叠的实例掩码结果聚合得到的全景分割结果进行深度估计，可以实现在实例边界处更加准确的深度预测，且将实例深度分解为归一化实例深度、实例深度缩放系数和实例深度偏移系数，可以简化共享的深度嵌入特征的学习，提升整体性能。利用实例级监督信息结合像素级监督信息指导深度估计预测，可以提升实例掩码和深度估计性能。
[0172]
本公开实施例提供的任一种全景分割和深度确定的处理方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种全景分割和深度确定的处理方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种全景分割和深度确定的处理方法。下文不再赘述。
[0173]
示例性装置
[0174]
图10是本公开一示例性实施例提供的全景分割和深度确定的处理装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图10所示的装置包括：第一处理模块501、第二处理模块502、第三处理模块503、第四处理模块504、第五处理模块505和第六处理模块506。
[0175]
第一处理模块501，用于确定待处理图像对应的多尺度特征图和目标尺度特征图；第二处理模块502，用于基于第一处理模块501确定的多尺度特征图，确定待处理图像中包括的各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征；第三处理模块503，用于基于第一处理模块501确定的目标尺度特征图，确定第一掩码特征图和第一深度特征图；第四处理模块504，用于基于第二处理模块502获得的各实例分别对应的目标掩码嵌入特征和第三处理模块503获得的第一掩码特征图，确定各实例分别对应的第一实例掩码结果；第五处理模块505，用于基于第四处理模块504获得的各实例分别对应的第一实例掩码结果，确定待处理图像对应的全景分割结果；第六处理模块506，用于基于第三处理模块503获得的第一深度特征图、第五处理模块505获得的全景分割结果和第二处理模块502获得的各实例分别对应的目标深度嵌入特征，获得待处理图像对应的全图深度结果。
[0176]
在一个可选示例中，图11是本公开一示例性实施例提供的第六处理模块506的结构示意图。本示例中，第六处理模块506包括：第一确定单元5061和第二确定单元5062。
[0177]
第一确定单元5061，用于基于第一深度特征图及各实例分别对应的目标深度嵌入特征，确定各实例分别对应的第一深度结果；第二确定单元5062，用于基于第一确定单元5061确定的各实例分别对应的第一深度结果及全景分割结果，确定全图深度结果。
[0178]
在一个可选示例中，图12是本公开另一示例性实施例提供的第六处理模块506的结构示意图。本示例中，第一确定单元5061，包括：第一确定子单元50611、第二确定子单元50612和第一处理子单元50613。
[0179]
第一确定子单元50611，用于基于各实例分别对应的目标深度嵌入特征，确定各实例分别对应的目标深度卷积核、目标深度偏移系数和目标深度缩放系数，其中，目标深度偏移系数在模型训练阶段采用实例级信息监督；第二确定子单元50612，用于基于各所述实例分别对应的所述目标深度卷积核和所述第一深度特征图，确定各所述实例分别对应的归一化实例深度结果；第一处理子单元50613，用于基于各所述实例分别对应的所述归一化实例深度结果、所述目标深度偏移系数和所述目标深度缩放系数，确定各所述实例分别对应的
第一深度结果。
[0180]
相应的，第二确定单元5062包括：第三确定子单元50621，用于根据全景分割结果，将各实例分别对应的第一深度结果进行融合，获得全图深度结果。
[0181]
在一个可选示例中，图13是本公开一示例性实施例提供的第五处理模块505的结构示意图。本示例中，第五处理模块505，包括：第三确定单元5051和第一处理单元5052。
[0182]
第三确定单元5051，用于对各实例分别对应的第一实例掩码结果进行去重，确定无重叠的各实例分别对应的第二实例掩码结果；第一处理单元5052，用于基于各实例分别对应的第二实例掩码结果，获得无重叠的全景分割结果。
[0183]
在一个可选示例中，图14是本公开一示例性实施例提供的第四处理模块504的结构示意图。本示例中，第四处理模块504，包括：第二处理单元5041、卷积运算单元5042和第三处理单元5043。
[0184]
第二处理单元5041，用于基于各实例分别对应的目标掩码嵌入特征，确定各实例分别对应的目标掩码卷积核；卷积运算单元5042，用于分别采用各实例分别对应的目标掩码卷积核对第一掩码特征图进行卷积运算，获得各实例分别对应的卷积运算结果；第三处理单元5043，用于采用预设激活函数对各卷积运算结果进行处理，获得各实例分别对应的第一实例掩码结果。
[0185]
在一个可选示例中，图15是本公开一示例性实施例提供的第三处理模块503的结构示意图。本示例中，第三处理模块503，包括：第四处理单元5031和第五处理单元5032。
[0186]
第四处理单元5031，用于基于目标尺度特征图及预先训练获得的第一特征编码网络，确定第一掩码特征图；第五处理单元5032，用于基于目标尺度特征图及预先训练获得的第二特征编码网络，确定第一深度特征图。
[0187]
在一个可选示例中，图16是本公开一示例性实施例提供的第二处理模块502的结构示意图。本示例中，第二处理模块502，包括：第四确定单元5021、第五确定单元5022、第六处理单元5023、第七处理单元5024、第六确定单元5025和第七确定单元5026。
[0188]
第四确定单元5021，用于针对多尺度特征图中的每一尺度的特征图，确定该尺度的特征图对应的位置分数图、掩码嵌入特征图和深度嵌入特征图，位置分数图包括该尺度的特征图中的各像素属于各预设类型的实例的概率；第五确定单元5022，用于基于位置分数图，确定各实例的位置；第六处理单元5023，用于基于各实例的位置，从掩码嵌入特征图中提取各实例分别对应的第一掩码嵌入特征；第七处理单元5024，用于基于各实例的位置，从深度嵌入特征图中提取各实例分别对应的第一深度嵌入特征；第六确定单元5025，用于基于各尺度的特征图中各实例分别对应的第一掩码嵌入特征，确定各实例分别对应的目标掩码嵌入特征；第七确定单元5026，用于基于各尺度的特征图中各实例分别对应的第一深度嵌入特征，确定各实例分别对应的目标深度嵌入特征。
[0189]
在一个可选示例中，第六确定单元5025具体用于：对于同一实例，将该实例在各尺度的第一掩码嵌入特征进行融合，获得该实例对应的目标掩码嵌入特征。
[0190]
在一个可选示例中，第七确定单元5026具体用于：对于同一实例，将该实例在各尺度的第一深度嵌入特征进行融合，获得该实例对应的目标深度嵌入特征。
[0191]
在一个可选示例中，图17是本公开一示例性实施例提供的第一处理模块501的结构示意图。本示例中，第一处理模块501，包括：第八处理单元5011和第九处理单元5012。
[0192]
第八处理单元5011，用于基于预先训练获得的特征提取网络，对待处理图像进行特征提取，获得多尺度特征图；第九处理单元5012，用于基于多尺度特征图，确定目标尺度特征图。
[0193]
在一个可选示例中，在一个可选示例中，图18是本公开一示例性实施例提供的第九处理单元5012的结构示意图。本示例中，第九处理单元5012，包括：第二处理子单元50121和第三处理子单元50122。
[0194]
第二处理子单元50121，用于对多尺度特征图中的各尺度的特征图分别进行上采样，获得各尺度的特征图分别对应的目标尺度的第一特征图；第三处理子单元50122，用于将各尺度的特征图分别对应的第一特征图进行融合，获得目标尺度特征图。
[0195]
本公开各模块或各单元、各子单元的具体操作参见前述方法实施例，在此不再赘述。
[0196]
示例性电子设备
[0197]
本公开实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序；
[0198]
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的全景分割和深度确定的处理方法。
[0199]
图19是本公开电子设备一个应用实施例的结构示意图。本实施例中，该电子设备10包括一个或多个处理器11和存储器12。
[0200]
处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
[0201]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
[0202]
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0203]
例如，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。
[0204]
此外，该输入装置13还可以包括例如键盘、鼠标等等。
[0205]
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0206]
当然，为了简化，图19中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0207]
示例性计算机程序产品和计算机可读存储介质
[0208]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计
算机程序指令，该计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
[0209]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0210]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
[0211]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0212]
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0213]
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0214]
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0215]
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
[0216]
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0217]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0218]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。