深度信息处理方法、装置、设备、存储介质和程序产品与流程

本公开涉及计算机技术领域，尤其涉及深度学习和计算机视觉技术，具体涉及一种深度信息处理方法、装置、设备、存储介质和程序产品。

背景技术：

深度感知是指对同一场景中不同物体的远近的知觉，深度感知是许多计算机视觉(computervision，cv)任务(例如自动导航任务)中的重要组成部分。

雷达设备通常只能生成稀疏深度图，该稀疏深度图缺失较多的深度数据。深度补充技术是指将稀疏深度图补充到稠密深度图的技术，以补充该稀疏深度图中缺失的部分深度数据。

技术实现要素：

本公开提供了一种深度信息处理方法方法、装置、设备、存储介质和程序产品。

根据本公开的一方面，提供了一种深度信息处理方法，所述方法包括：

获取目标场景的输入深度信息和像素信息；

分别对所述目标场景的输入深度信息和像素信息进行编码，得到深度编码特征和像素编码特征；

对所述深度编码特征和所述像素编码特征进行解码，得到目标场景的补充深度信息。

根据本公开的另一方面，提供了一种深度信息处理装置，所述装置包括：

输入信息获取模块，用于获取目标场景的输入深度信息和像素信息；

编码特征获取模块，用于分别对所述目标场景的输入深度信息和像素信息进行编码，得到深度编码特征和像素编码特征；

补充深度信息获取模块，用于对所述深度编码特征和所述像素编码特征进行解码，得到目标场景的补充深度信息。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例中任一项所述的深度信息处理方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例中任一项所述的深度信息处理方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开实施例中任一项所述的深度信息处理方法。

根据本公开的技术提高了深度信息的补充效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的一种深度信息处理方法的示意图；

图2a是根据本公开实施例的另一种深度信息处理方法的示意图；

图2b是根据本公开实施例的特征融合的示意图；

图2c是根据本公开实施例的通道级特征强化的示意图；

图2d是根据本公开实施例的像素级特征强化的示意图；

图3a是根据本公开实施例的又一种深度信息处理方法的示意图；

图3b是实现本公开实施例的深度信息补充模型的示意图；

图3c是本公开实施例的深度信息补充模型中子模型单元的示意图；

图4根据本公开实施例的一种深度信息处理装置的结构示意图；

图5是用来实现本公开实施例的深度信息处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是本公开实施例中的一种深度信息处理方法的示意图，本公开实施例的技术方案适用于对目标场景的输入深度信息进行补充的情况，该方法可以由深度信息处理装置执行，该装置可以通过软件，和/或硬件的方式实现，并一般可以集成在电子设备中，例如终端设备中，本公开实施例的方法具体包括以下：

s110、获取目标场景的输入深度信息和像素信息。

目标场景的深度信息可以采用深度图进行描述，深度图中的像素点具有深度特征信息。目标场景可以是包括任意应用场景，示例性的，目标场景可以是道路实景的场景，又如，目标场景可以是立体物体所在的场景。目标场景的输入深度信息可以是指采用雷达或者深度传感器对目标场景进行采集得到的深度图像，其中，深度图像中像素点具有深度信息。输入深度信息的采集设备可以配置于机器人、无人车和终端设备上，可以采用该机器人、无人车或终端设备在移动或静止过程中实时采集目标场景的输入深度信息。

像素信息可以是指彩色图像中各像素点的像素值，像素信息用于描述目标场景的颜色特征，可以采用彩色摄像头对目标场景进行采集，得到像素信息。通常，像素值可以采用红绿蓝(redgreenblue，rgb)表示。像素信息的信息丰富且稠密，能够对场景的识别起到指导作用，例如对场景中各物体的轮廓具有指导作用，而通常属于同一个物体的深度信息相同的概率较高，可以据此预测属于同一个物体的像素点的深度信息，进而更好的预测深度信息，提高深度信息的预测准确率。

本公开实施例中，首先获取目标场景的输入深度信息和像素信息，具体的，可以通过彩色摄像头对目标场景进行采集，得到像素信息；通过雷达对目标场景进行扫描，获取输入深度信息，目前常用雷达设备的型号有16线、32线以及64线等，这类设备采集的深度信息非常稀疏，但在自动导航、机器人避障等深度感知的应用场景中，只获取稀疏深度信息是远远不够的，为了满足多种应用场景下对稠密深度信息的需求，需要对采集的稀疏深度信息进行补充，得到稠密深度信息。其中，稀疏深度信息对应的深度图中有效像素点在该图像包含的全部像素点中的占比较小，稠密深度信息对应的深度图中有效像素点在该图像包含的全部像素点中的占比较大。

s120、分别对目标场景的输入深度信息和像素信息进行编码，得到深度编码特征和像素编码特征。

其中，深度编码特征和像素编码特征可以是采用编码器对目标场景的输入深度信息和像素信息进行编码得到的，示例性的，编码器可以采用深度卷积神经网络vgg(visualgeometrygroup)或残差网络(resnet)等，在一个更为具体的示例中，编码器共包含m层卷积操作，每个卷积操作包括k*k的卷积核及c层通道(channel)。

本公开实施例中，为了对输入深度信息进行补充，分别对目标场景的输入深度信息和像素信息进行编码，具体的，可以通过编码器分别对输入深度信息和像素深度信息进行m层卷积操作，每个卷积层均包含c个通道。

s130、对深度编码特征和像素编码特征进行解码，得到目标场景的补充深度信息。

其中，解码操作可以看作与编码操作对应的反向操作，示例性的，解码操作包括m层反卷积操作，每个反卷积操作包括k*k的卷积核及c个通道。

本公开实施例中，对深度编码特征和像素编码特征进行解码，得到目标场景的补充深度信息，示例性的，分别对深度编码特征和像素编码特征进行m层反卷积操作，得到目标场景的补充深度信息。

本公开实施例的技术方案，通过对输入深度信息和像素信息进行处理，得到目标场景的补充深度信息，其中，像素信息中包含的信息丰富且稠密，能够对场景识别起到指导作用，提高深度信息补充的准确率，并且，分别对输入深度信息和像素信息进行编码，得到深度编码特征和像素编码特征后，对这两种特征进行处理，得到的融合了两种编码特征的深度补充信息，进一步提高了深度信息补充效果。

图2a是本公开实施例中的一种深度信息处理方法的示意图，在上述实施例的基础上进一步细化，提供了分别对目标场景的输入深度信息和像素信息进行编码，得到深度编码特征和像素编码特征的具体步骤，以及对深度编码特征和像素编码特征进行解码的具体步骤。下面结合图2a对本公开实施例提供的一种深度信息处理方法进行说明，包括以下：

s210、获取目标场景的输入深度信息和像素信息。

s220、针对编码器中每一卷积层，选择该卷积层所输出的一半通道的深度编码特征和一半通道的像素编码特征，作为该卷积层的深度融合特征；选择该卷积层所输出的另一半通道的深度编码特征和另一半通道的像素编码特征，作为该卷积层的像素融合特征。

本公开实施例中，针对编码器中每一卷积层，可以选择该卷积层所输出的一半通道的深度编码特征和一半通道的像素编码特征，作为该卷积层的深度融合特征，同理，选择该卷积层所输出的另一半通道的深度编码特征和另一半通道的像素编码特征，作为该卷积层的像素融合特征，实现将输入深度信息和像素信息进行有效融合，得到更优的深度信息和像素信息。

在一个具体的例子中，在第i层卷积中，得到的像素编码特征为fri，i∈(1，m)，由于每个卷积层包含c个通道，因此，每个卷积层得到的像素编码特征具体为fri＝{fri1，fri2，…，fric}，同理，在第i层卷积中，得到的深度编码特征为fdi＝{fdi1，fdi2，…，fdic}。

对各卷积层进行深度编码特征和像素编码特征融合的具体过程如图2b所示，仍以第i个卷积层为例，将第i个卷积层输出的像素编码特征fri＝{fri1，fri2，…，fric}和深度编码特征fdi＝{fdi1，fdi2，…，fdic}一起输入至特征融合模块，特征融合模块将该卷积层所输出的一半通道的深度编码特征和一半通道的像素编码特征，作为该卷积层的深度融合特征，即深度融合特征为同时将另一半通道的深度编码特征和另一半通道的像素编码特征，作为该卷积层的像素融合特征，即像素融合特征为

s230、将卷积层的深度融合特征和像素融合特征，分别确定为深度编码特征和像素编码特征。

本公开实施例中，在每个卷积层中，均对卷积得到的深度编码特征和像素编码特征进行融合，并将得到的深度融合特征和像素融合特征分别进行下一层卷积和特征融合处理，直到完成最后一层卷积和特征融合操作，并将卷积层最终输出的深度融合特征fd′m和像素融合特征fr′m，分别确定为最终的深度编码特征和像素编码特征。通过对深度编码特征和像素编码特征进行特征融合相较于简单的卷积操作，可以提高特征融合的效果。

s240、对深度编码特征和像素编码特征进行能量融合，得到能量融合结果。

本公开实施例中，对深度编码特征和像素编码特征进行能量融合，可以进一步融合深度编码特征和像素编码特征，得到表达性更强的能量融合结果。示例性的，可以在每一通道中每一像素点，获取深度编码特征中的像素值，和像素编码特征中的像素值，选择较大的像素值作为该像素点的能量像素值，并将各通道中的各像素点的能量像素值的集合作为能量融合结果。

可选的，对深度编码特征和像素编码特征进行能量融合，得到能量融合结果，包括：

针对每一通道中的每一像素点，确定深度编码特征中该像素点的深度能量窗口，以及深度能量窗口中各像素点的总像素值；

确定像素编码特征中该像素点的像素能量窗口，以及像素能量窗口中各像素点的总像素值；

比较深度能量窗口中各像素点的总像素值和像素能量窗口中各像素点的总像素值，并根据比较结果，将深度编码特征中的该像素点值或像素编码特征中的该像素点值作为该像素点的能量像素值，将各通道中的各像素点的能量像素值的集合作为能量融合结果。

本可选的实施例中，提供了一种对编码得到的深度编码特征fd′m和像素编码特征fr′m进行能量融合的方式，具体为，首先针对每一通道中的每一像素点，确定深度编码特征中该像素点的深度能量窗口，并计算深度能量窗口中各像素点的总像素值，然后确定像素编码特征中该像素点的像素能量窗口，并计算像素能量窗口中各像素点的总像素值，其中，深度能量窗口和像素能量窗口大小相同，例如，大小为3×3的窗口，最终比较深度能量窗口中各像素点的总像素值和像素能量窗口中各像素点的总像素值，并根据比较结果，将深度编码特征中的该像素点值或像素编码特征中的该像素点值作为该像素点的能量像素值，最终将各通道中各像素点的能量像素值的集合作为能量融合结果，示例性的，深度能量窗口中总像素值比像素能量窗口中的总像素值大，则将深度编码特征中的该像素点值作为能量像素值，能量融合可以进一步融合深度编码特征和像素编码特征，增强特征的表达性。

在一个具体示例中，将第一个通道中的像素编码特征fr′m1和深度编码特征fd′m1进行能量融合，计算能量融合结果fe，像素编码特征fr′m1和深度编码特征fd′m1均为尺寸为w×h的特征，w是特征宽度，h为特征高度，则在计算能量融合结果fe中，坐标为(x，y)的点的能量像素值时，需要在像素编码特征fr′m1中，以坐标(x，y)为中心，选择3×3的像素能量窗口，并计算像素能量窗口内各像素点的总像素值v_fr，同时，在深度编码特征fd′m1中，以坐标(x，y)为中心，选择3×3的深度能量窗口，并计算深度能量窗口内各像素点的总像素值v_fd，并对二者的在能量窗口内的总像素值进行比较，当v_fr＞v_fd时，选择像素编码特征中的坐标为(x，y)的点的像素值作为该像素点的能量像素值，反之，将选择深度编码特征中的坐标为(x，y)的点的像素值作为该像素点的能量像素值。

根据上述方法，依次得到各通道中每个坐标点的能量像素值，得到最终能量融合结果fe，且能量融合结果fe也是包含c个通道，尺寸为w×h的特征。

s250、对能量融合结果进行特征强化，得到特征强化结果，并对特征强化结果进行解码，得到目标场景的补充深度信息。

本公开实施例中，对能量融合结果进一步执行特征强化操作，以强化能量融合结果中的有效特征，并对得到的特征强化结果进行解码，得到目标场景的补充深度信息，解码过程具体可以为，对特征强化得到的结果进行m层反卷积操作，每个反卷积操作包括k*k的卷积核及c层通道。

可选的，对能量融合结果进行特征强化，得到特征强化结果，包括：

根据能量融合结果，确定通道级权重矩阵和/或像素级权重矩阵；

根据通道级权重矩阵，对能量融合结果进行通道特征强化；和/或，根据像素级权重矩阵，对能量融合结果进行像素特征强化；

根据通道特征强化的结果和/或像素特征强化的结果，确定特征强化结果。

本可选的实施例中，提供了一种对能量融合结果进行特征强化，得到特征强化结果的方式，具体为，根据深度编码特征和像素编码特征的能量融合结果，确定通道级权重矩阵和/或像素级权重矩阵，其中，通道级权重可以理解为每个通道的权重，像素级权重可以理解为在一个通道中每个像素点的权重。根据通道级权重矩阵，对能量融合结果进行通道特征强化；和/或，根据像素级权重矩阵，对能量融合结果进行像素特征强化。最终，可以根据通道特征强化的结果和/或像素特征强化的结果，确定特征强化结果。示例性的，可以将通道特征强化和像素特征强化后的结果进行加权求和，得到特征强化的最终结果，或者直接将通道特征强化的结果或者像素特征强化的结果作为特征强化结果，特征强化操作强化了融合后的特征的有效信息，进而提升深度信息补充的效果。

根据深度编码特征和像素编码特征的能量融合结果，确定通道级权重矩阵的具体方式如图2c，首先，对能量融合结果fe(c×w×h)进行卷积和矩阵维度变换操作，得到两种特征，分别为qc(c×(h*w))和hc((h*w)×c)，其中，c表示卷积的通道数，w表示特征宽度，h表示特征高度，h*w表示将一个通道的特征矩阵作为一行，例如，一个通道中特征为10×10的二维矩阵，则将这个二维矩阵变为一个包含100个特征元素的行向量，即qc(c×(h*w))可以看作由c个包含100个特征元素的行向量组成的c行100列的二维矩阵，同理，hc((h*w)×c)为100行c列的二维矩阵。进一步的，对qc(c×(h*w))和hc((h*w)×c)进行矩阵乘法操作，得到矩阵mc(c×c)，并对矩阵mc(c×c)进行归一化操作，得到通道级权重矩阵mc′(c×c)，通道级权重对应各通道的权重，可以实现通道级特征的强化。

根据深度编码特征和像素编码特征的能量融合结果，确定像素级权重矩阵的具体方式如图2d，与通道级权重矩阵的计算方式相似，首先，对能量融合结果fe(c×w×h)进行卷积和矩阵维度变换操作，得到两种特征，分别为qp((h*w)×c)和hp(c×(h*w))。进一步的，对qp((h*w)×c)和hp(c×(h*w))进行矩阵乘法操作，得到矩阵mp((h*w)×(h*w))，并对矩阵mp((h*w)×(h*w))进行归一化操作，得到像素级权重矩阵mp′((h*w)×(h*w))，像素级权重对应各像素点的权重，可以实现像素级特征的强化。

可选的，通道级权重矩阵的行数和列数均为卷积层的通道数量；像素级权重矩阵的行数和列数均为卷积层中单个通道的像素点数量。

本可选的实施例中，通道级权重矩阵的行数和列数均为卷积层的通道数量，例如，卷积层包含c个通道，则通道级权重矩阵mc′(c×c)；像素级权重矩阵的行数和列数均为卷积层中单个通道的像素点数量，例如，卷积层中单个通道像素点数为w×h，则像素级权重矩阵mp′((h*w)×(h*w))。

可选的，根据通道级权重矩阵，对能量融合结果进行通道特征强化，包括：

对能量融合结果进行卷积，得到中间能量特征；

根据中间能量特征和通道级权重矩阵，确定第一增量能量特征；

根据中间能量特征和第一增量能量特征进行叠加，得到通道特征强化的结果。

本可选的实施例中，提供了一种根据通道级权重矩阵和能量融合结果，对能量融合结果进行通道特征强化的具体方式，如图2c所示，对能量融合结果进行卷积操作，得到中间能量特征fe′(c×w×h)，然后将中间能量特征与通道级权重矩阵进行矩阵乘法操作，得到第一增强能量特征f1(c×w×h)，进一步的，将中间能量特征fe′(c×w×h)和第一增量能量特征f1(c×w×h)进行像素级叠加，得到通道特征强化的结果fc(c×w×h)，实现了通道级特征的强化。

可选的，根据像素级权重矩阵，对能量融合结果进行像素特征强化，包括：

对能量融合结果进行卷积，得到中间能量特征；

根据中间能量特征和像素级权重矩阵，确定第二增量能量特征；

根据中间能量特征和第二增量能量特征进行叠加，得到像素特征强化的结果。

本可选的实施例中，提供了一种根据像素级权重矩阵和能量融合结果，对深度编码特征和像素编码特征进行像素特征强化的具体方式，如图2d所示，对能量融合结果进行卷积操作，得到中间能量特征fe′(c×w×h)，然后将中间能量特征与像素级权重矩阵进行矩阵乘法操作，得到第二增强能量特征f2(c×w×h)，进一步的，将中间能量特征fe′(c×w×h)和第一增量能量特征f2(c×w×h)进行像素级叠加，得到像素特征强化的结果fp(c×w×h)，实现了像素级特征的强化。

最终，将通道特征强化的结果fc(c×w×h)和像素特征强化后的结果fp(c×w×h)进行加权求和，得到特征强化的最终结果，具体计算方式为f＝a*fc+b*fp。

本公开实施例的技术方案，通过对输入深度信息和像素信息进行编码和特征融合，得到深度编码特征和像素编码特征，然后对深度编码特征和像素编码特征进行能量融合，并对能量融合结果进行特征强化处理，最终对处理结果进行解码，得到目标场景的补充深度信息，通过对深度编码特征和像素编码特征进行能量融合，并对能量融合结果进行特征强化处理，有效融合了深度编码特征和像素编码特征，且强化了融合后的特征中的有效信息，提升了深度信息的补充效果。

图3a是本公开实施例中的一种深度信息处理方法的示意图，在上述实施例的基础上进一步细化，提供了获取目标场景的输入深度信息的具体步骤。下面结合图3a对本公开实施例提供的一种深度信息处理方法进行说明，包括以下：

s310、将目标场景的稀疏深度信息作为深度信息补充模型中首部子模型单元的输入深度信息。

其中，深度信息补充模型用于对稀疏深度信息进行补全，形成稠密深度信息，其中，深度信息补充还可以理解为深度信息预测。深度信息补充模型可以是指预先训练的深度学习模型。深度信息补充模型包括多个子模型单元，多个子模型单元之间的连接方式可以是串联。

本公开实施例中，在获取目标场景的输入深度信息时，可以将目标场景的稀疏深度信息作为深度信息补充模型中首部子模型单元的输入深度信息。如图3b所示，深度信息补充模型包括多个串接的子模型单元，其中，首部子模型单元301的输入信息为目标场景的稀疏深度信息。

s320、针对深度信息补充模型中除首部子模型单元外的每一其他子模型单元，将该其他子模型单元的上一子模型单元所确定的补充深度信息作为该其他子模型单元的输入深度信息。

本公开实施例中，除首部子模型单元301外的每一其他子模型单元，均是将其上一子模型单元确定的补充深度信息作为输入，如图3b所示，子模型单元302的输入为首部子模型单元301输出的补充深度信息，以此类推，将最后一个子模型单元303输出的补充深度信息作为深度信息补充模型最终输出的补充深度信息。其中，每一子模型单元均可以对输入的深度信息进行编码、特征融合、能量融合、特征强化以及解码操作。通过多个级联的子模型单，对目标场景的输入深度信息进行多阶段的深度信息补充，提升了深度信息补全的效果。更为具体的，深度信息补充模型中每一子模型单元的结构如图3c所示，包括编码器3011、特征融合模块(cs)3012、能量融合模块3013、特征强化模块3014以及解码器3015。

s330、获取目标场景的像素信息。

s340、分别对目标场景的输入深度信息和像素信息进行编码，得到深度编码特征和像素编码特征。

s350、对深度编码特征和像素编码特征进行解码，得到目标场景的补充深度信息。

本公开实施例的技术方案，首先将目标场景的稀疏深度信息作为深度信息补充模型中首部子模型单元的输入深度信息，针对深度信息补充模型中除首部子模型单元外的每一其他子模型单元，将该其他子模型单元的上一子模型单元所确定的补充深度信息作为该其他子模型单元的输入深度信息，然后获取目标场景的像素信息，并分别对目标场景的输入深度信息和像素信息进行编码，得到深度编码特征和像素编码特征，最终对深度编码特征和像素编码特征进行解码，得到目标场景的补充深度信息，通过包含多级子模型单元的深度信息补充模型，对目标场景的稀疏深度信息进行多阶段的补充，提升了深度信息的补充效果。

根据本公开的实施例，图4是本公开实施例中的深度信息处理装置的结构图，本公开实施例适用于对目标场景的输入深度信息进行补充的情况，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。

输入信息获取模块410，用于获取目标场景的输入深度信息和像素信息；

编码特征获取模块420，用于分别对所述目标场景的输入深度信息和像素信息进行编码，得到深度编码特征和像素编码特征；

补充深度信息获取模块430，用于对所述深度编码特征和所述像素编码特征进行解码，得到目标场景的补充深度信息。

本公开实施例的技术方案，通过对输入深度信息和像素信息进行编码，得到深度编码特征和像素编码特征，然后对深度编码特征和像素编码特征进行解码，得到目标场景的补充深度信息，提高了深度信息的补充效果。

可选的，所述输入信息获取模块410，包括：

第一输入信息获取单元，用于将所述目标场景的稀疏深度信息作为深度信息补充模型中首部子模型单元的输入深度信息；

第二输入信息获取单元，用于针对所述深度信息补充模型中除首部子模型单元外的每一其他子模型单元，将该其他子模型单元的上一子模型单元所确定的补充深度信息作为该其他子模型单元的输入深度信息。

可选的，所述编码特征获取模块420，包括：

深度融合特征获取单元，用于针对编码器中每一卷积层，选择该卷积层所输出的一半通道的深度编码特征和一半通道的像素编码特征，作为该卷积层的深度融合特征；

像素融合特征获取单元，用于选择该卷积层所输出的另一半通道的深度编码特征和另一半通道的像素编码特征，作为该卷积层的像素融合特征；

编码特征获取单元，用于将卷积层的深度融合特征和像素融合特征，分别确定为深度编码特征和像素编码特征。

可选的，所述补充深度信息获取模块430，包括：

能量融合单元，用于对所述深度编码特征和所述像素编码特征进行能量融合，得到能量融合结果；

补充深度信息获取单元，用于对所述能量融合结果进行特征强化，得到特征强化结果，并对所述特征强化结果进行解码，得到目标场景的补充深度信息。

可选的，所述能量融合单元，包括：

第一总像素值获取子单元，用于针对每一通道中的每一像素点，确定所述深度编码特征中该像素点的深度能量窗口，以及所述深度能量窗口中各像素点的总像素值；

第二总像素值获取子单元，用于确定所述像素编码特征中该像素点的像素能量窗口，以及所述像素能量窗口中各像素点的总像素值；

能量融合结果获取子单元，用于比较所述深度能量窗口中各像素点的总像素值和所述像素能量窗口中各像素点的总像素值，并根据比较结果，将深度编码特征中的该像素点值或像素编码特征中的该像素点值作为该像素点的能量像素值，将各通道中的各像素点的能量像素值的集合作为能量融合结果。

可选的，所述补充深度信息获取单元，包括：

权重矩阵确定子单元，用于根据所述能量融合结果，确定通道级权重矩阵和/或像素级权重矩阵；

特征强化子单元，用于根据所述通道级权重矩阵，对所述能量融合结果进行通道特征强化；和/或，根据所述像素级权重矩阵，对所述能量融合结果进行像素特征强化；

特征强化结果确定子单元，用于根据通道特征强化的结果和/或像素特征强化的结果，确定特征强化结果。

可选的，所述通道级权重矩阵的行数和列数均为卷积层的通道数量；所述像素级权重矩阵的行数和列数均为卷积层中单个通道的像素点数量。

可选的，所述特征强化子单元，具体用于：

对所述能量融合结果进行卷积，得到中间能量特征；

根据所述中间能量特征和所述通道级权重矩阵，确定第一增量能量特征；

根据所述中间能量特征和所述第一增量能量特征进行叠加，得到通道特征强化的结果。

可选的，所述特征强化子单元，还用于：

对所述能量融合结果进行卷积，得到中间能量特征；

根据所述中间能量特征和所述像素级权重矩阵，确定第二增量能量特征；

根据所述中间能量特征和所述第二增量能量特征进行叠加，得到像素特征强化的结果。

上述深度信息处理装置可执行本公开任意实施例所提供的深度信息处理方法，具备执行深度信息处理方法相应的功能模块和有益效果。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序，来执行各种适当的动作和处理。在ram503中，还可存储设备500操作所需的各种程序和数据。计算单元501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。

设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如深度信息处理方法。例如，在一些实施例中，深度信息处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到ram503并由计算单元501执行时，可以执行上文描述的深度信息处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度信息处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。