一种图像深度估计方法、装置、电子设备及存储介质与流程

本申请实施例涉及人工智能，尤其涉及一种图像深度估计方法、装置、电子设备及存储介质。

背景技术：

1、深度估计是自动驾驶的一个重要技术领域，当前绝大部分深度估计模型都是基于深度学习的原理设计的，具体来说就是不同类型的神经网络架构。神经网络是一种多层的节点互联的模型，每层的节点都对应参数，通过前向传播算法、基于节点参数逐层计算值并获取最终的损失函数值，通过反向传播算法的链式求导法则、基于损失函数值再反过来更新每层节点的参数。显然，模型所需要的内存负载与节点的参数数量成正比，要想让模型尽可能轻量化就需要压缩模型，减少参数数量，但是一味暴力地减少参数数量只会让模型的精度效果大打折扣。

2、图1为现有技术提供的rdrf-net网络架构的结构示意图。如图1所示，方块表示神经网络的单个网络层特征图，conv表示该网络层是降采样层并且显示其卷积核尺寸，deconv表示该网络层是升采样层并显示其卷积核尺寸，stride表示步长，即卷积核单次移动的距离，concat表示将两个网络层特征图在通道维度上进行拼接，sigmoid表示神经网络的激活函数。该网络共有6层，除了第一层之外，每一层的输入都是上一层特征图经过stride＝2的降采样卷积操作得到的，并且最终的输出要经过stride＝2的上采样卷积操作恢复原尺寸；除最后一层之外，每一层降采样后先经过一次动态感受野模块，得到的特征图与下一层升采样得到的特征图进行通道维度拼接操作，输出图像是输入图像对应的深度映射图。

3、现有技术采用了卷积网络原理对图像特征进行学习，从而自动生成其对应的深度映射图。在图像领域卷积网络中，对图像特征学习的一大关键技术是卷积核。卷积核可以理解为一个固定尺寸的滑动窗口，其在卷积网络的特征图上进行横向和纵向滑动，每次滑动都和窗口包含的特征图区域进行数学上的卷积计算，得到下一网络层的新特征图上的特征点值，这就是卷积网络中的特征学习和表达过程。同时，图像有一个非常核心的特征—尺度，不同的尺度表示不同的距离获得图像，尺度越大表示获得图像的距离越远；因此，不同图像的区域内的物体也具有相同的特征，即不同图像中的物体距离有远有近，这一存在于不同图像的物体间的尺度变化很多时候体现在物体的像素尺寸上。然而，现有技术在对不同图像局部特征的学习和处理上采取的卷积核策略对尺度的区分是有限的，这意味着当物体在不同图像中处于不同尺度时，现有技术对其特征的细节处理和表述的区分度很小，这不利于生成高精度的深度映射图。

技术实现思路

1、本申请提供一种图像深度估计方法、装置、电子设备及存储介质，可以解决图像中不同尺度物体区分度有限的问题，从而可以提高深度估计的精度。

2、第一方面，本申请实施例提供了一种图像深度估计方法，所述方法包括：

3、获取原始图像的输入特征图；

4、将所述输入特征图分别按照多个不同的卷积核尺寸进行卷积操作，得到各个卷积核尺寸对应的特征图；

5、基于各个卷积核尺寸对应的特征图和预先确定的各个卷积核尺寸对应的权重值，计算所述输入特征图对应的输出特征图。

6、第二方面，本申请实施例还提供了一种图像深度估计装置，所述装置包括：获取模块、卷积模块和计算模块；其中，

7、所述获取模块，用于获取原始图像的输入特征图；

8、所述卷积模块，用于将所述输入特征图分别按照多个不同的卷积核尺寸进行卷积操作，得到各个卷积核尺寸对应的特征图；

9、所述计算模块，用于基于各个卷积核尺寸对应的特征图和预先确定的各个卷积核尺寸对应的权重值，计算所述输入特征图对应的输出特征图。

10、第三方面，本申请实施例提供了一种电子设备，包括：

11、一个或多个处理器；

12、存储器，用于存储一个或多个程序，

13、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的图像深度估计方法。

14、第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的图像深度估计方法。

15、本申请实施例提出了一种图像深度估计方法、装置、电子设备及存储介质，先获取原始图像的输入特征图；然后将输入特征图分别按照多个不同的卷积核尺寸进行卷积操作，得到各个卷积核尺寸对应的特征图；再基于各个卷积核尺寸对应的特征图和预先确定的各个卷积核尺寸对应的权重值，计算输入特征图对应的输出特征图。也就是说，在本申请的技术方案中，可以将原始图像的输入特征图分别按照多个不同的卷积核尺寸进行卷积操作，即通过多路感受野学习原始图像的输入特征图，在不同比例的多分支的感受野综合作用下，任何尺度的图像都可以被更好地处理特征。而在现有技术中，在对不同图像局部特征的学习和处理上采取的卷积核策略对尺度的区分是有限的，当物体在不同图像中处于不同尺度时，现有技术对其特征的细节处理和表述的区分度很小，这不利于生成高精度的深度映射图。因此，和现有技术相比，本申请实施例提出的图像深度估计方法、装置、电子设备及存储介质，可以解决图像中不同尺度物体区分度有限的问题，从而可以提高深度估计的精度；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

技术特征：

1.一种图像深度估计方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，将所述输入特征图分别按照多个不同的卷积核尺寸进行卷积操作，得到各个卷积核尺寸对应的特征图，包括：

3.根据权利要求2所述的方法，其特征在于，基于各个卷积核尺寸对应的特征图和预先确定的各个卷积核尺寸对应的权重值，计算所述输入特征图对应的输出特征图，包括：

4.根据权利要求3所述的方法，其特征在于，将全部的卷积核尺寸对应的特征图进行逐点求和平均计算，得到逐点求和平均操作后的特征图，包括：

5.根据权利要求4所述的方法，其特征在于，将所述逐点求和平均操作后的特征图在各个平面维度上进行压缩，得到在各个平面维度上压缩后的特征图，包括：

6.根据权利要求5所述的方法，其特征在于，根据在各个平面维度上压缩后的特征图和预先确定的各个卷积核尺寸对应的权重值，计算所述输入特征图对应的输出特征图，包括：

7.根据权利要求6所述的方法，其特征在于，根据3乘以3卷积对应的输出特征图、5乘以5卷积对应的输出特征图和7乘以7卷积对应的输出特征图和预先确定的各个卷积核尺寸对应的权重值，得到所述输入特征图对应的输出特征图，包括：

8.一种图像深度估计装置，其特征在于，所述装置包括：获取模块、卷积模块和计算模块；其中，

9.一种电子设备，其特征在于，包括：

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的图像深度估计方法。

技术总结
本申请公开了一种图像深度估计方法、装置、电子设备及存储介质；该方法包括：获取原始图像的输入特征图；将输入特征图分别按照多个不同的卷积核尺寸进行卷积操作，得到各个卷积核尺寸对应的特征图；基于各个卷积核尺寸对应的特征图和预先确定的各个卷积核尺寸对应的权重值，计算输入特征图对应的输出特征图。本申请实施例可以解决图像中不同尺度物体区分度有限的问题，从而可以提高深度估计的精度。

技术研发人员：宋晓军,任晓谢,夏振全,刘景涛,张勇强,杨晶
受保护的技术使用者：中国农业银行股份有限公司
技术研发日：
技术公布日：2024/1/14