图像处理方法和装置、电子设备、计算机可读存储介质与流程

1.本公开涉及深度学习技术领域，尤其涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。


背景技术：

2.单目深度估计是指基于深度学习预测rgb(red green blue，红绿蓝颜色系统，通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色)图像上每个点距离相机平面的距离，即每个点的深度，从而得到rgb图像的深度图。但基于深度学习的深度估计方法得到的深度图，往往存在边界有过渡带、清晰度不足的问题。
3.相关技术为解决该问题，存在两类方案。一类是采用二维的导向滤波处理来提升深度细节，但深度图是一种三维信息，该方案会破坏三维几何结构，例如对于一个倾斜的墙面，深度是从近到远分布的，该方案会使得墙面的倾斜角度发生变化，并且会将二维的图像边界处理为深度图上的边界，带来虚假边沿的问题。另一类是加大深度估计模型的输入尺寸来提升深度细节，但无疑会大幅增加计算量，不便于在移动端应用。


技术实现要素：

4.本公开提供一种图像处理方法和装置、电子设备、计算机可读存储介质，以至少解决相关技术中的如何在不大幅增加计算量的情况下提升深度图的清晰度的问题，也可不解决任何上述问题。
5.根据本公开的第一方面，提供了一种图像处理方法，所述图像处理方法包括：对目标图像进行深度估计处理，得到所述目标图像的每个像素点的预估深度值和预估偏移量；根据所述目标图像的每个像素点的所述预估偏移量，确定相应像素点的偏移像素点；将所述目标图像中每个像素点的所述偏移像素点对应的所述预估深度值，作为相应像素点的修正深度值；基于所述目标图像的每个像素点的所述修正深度值，得到所述目标图像的深度图。
6.可选地，所述根据所述目标图像的每个像素点的所述预估偏移量，确定相应像素点的偏移像素点，包括：针对所述目标图像的每个像素点，通过将相应像素点的坐标值与相应像素点的预估偏移量相加，得到相应像素点的偏移像素点的坐标值。
7.可选地，每个像素点均具有第一方向坐标值和第二方向坐标值，每个像素点的预估偏移量包括第一方向预估偏移量和第二方向预估偏移量，其中，所述针对所述目标图像的每个像素点，通过将相应像素点的坐标值与相应像素点的预估偏移量相加，得到相应像素点的偏移像素点的坐标值，包括：针对所述目标图像的每个像素点，通过将相应像素点的第一方向坐标值和相应像素点的第一方向预估偏移量相加，得到相应像素点的偏移像素点的第一方向坐标值，通过将相应像素点的第二方向坐标值和相应像素点的第二方向预估偏移量相加，得到相应像素点的偏移像素点的第二方向坐标值。
8.可选地，在所述目标图像处于直角坐标系的情况下，所述第一方向为直角坐标系
的x方向，所述第二方向为直角坐标系的y方向；或在所述目标图像处于极坐标系的情况下，所述第一方向为极坐标系的极径方向，所述第二方向为极坐标系的极角方向。
9.可选地，所述对目标图像进行深度估计处理，得到所述目标图像的每个像素点的预估深度值和预估偏移量，包括：将所述目标图像输入深度估计模型，得到所述深度估计模型的输出结果；其中，所述输出结果包括所述目标图像的每个像素点的所述预估深度值和所述预估偏移量。
10.可选地，所述深度估计模型通过如下步骤训练得到：获取样本图像和所述样本图像的每个像素点的参考深度值；将所述样本图像输入所述深度估计模型，得到所述样本图像的每个像素点的样本预估深度值和样本预估偏移量；根据所述样本图像的每个像素点的所述参考深度值和所述样本预估深度值，确定所述样本图像的每个像素点的参考偏移量；基于所述样本图像的每个像素点的所述参考深度值、所述样本预估深度值、所述参考偏移量和所述样本预估偏移量，确定损失值；基于所述损失值调整所述深度估计模型的参数，以对所述深度估计模型进行训练。
11.可选地，所述根据所述样本图像的每个像素点的所述参考深度值和所述样本预估深度值，确定所述样本图像的每个像素点的参考偏移量，包括：遍历所述样本图像的所有像素点，确定当前像素点周围的若干个参考点；根据所述当前像素点的所述参考深度值和所述当前像素点的每个参考点的所述样本估计深度值，确定所述当前像素点的相应参考点的权重；确定所述当前像素点的每个参考点相对于所述当前像素点的偏移量；根据所述当前像素点的每个参考点的权重，对所述当前像素点的所有参考点的偏移量求取加权平均值，作为所述当前像素点的所述参考偏移量。
12.可选地，所述根据所述当前像素点的所述参考深度值和所述当前像素点的每个参考点的所述样本估计深度值，确定所述当前像素点的相应参考点的权重，包括：确定所述当前像素点的每个参考点的所述样本估计深度值与所述当前像素点的所述参考深度值之间的误差的绝对值，作为相应参考点的误差；根据所述当前像素点的每个参考点的误差，确定所述当前像素点的每个参考点的权重，每个参考点的权重与相应参考点的误差负相关。
13.可选地，所述根据所述当前像素点的每个参考点的误差，确定所述当前像素点的每个参考点的权重，包括：确定所述当前像素点的每个参考点的误差与设定值的和值，并确定所述设定值与所述和值的比值，作为相应参考点的权重；其中，所述设定值为正数。
14.可选地，所述确定当前像素点周围的若干个参考点，包括：在所述样本图像的所有像素点中，确定与所述当前像素点在第一方向和第二方向上的间距均小于相应参考值的像素点，作为所述当前像素点的参考点；或在所述样本图像的所有像素点中，确定与所述当前像素点的直线距离小于参考值的像素点。
15.可选地，所述基于所述样本图像的每个像素点的所述参考深度值、所述样本预估深度值、所述参考偏移量和所述样本预估偏移量，确定损失值，包括：基于所述样本图像的每个像素点的所述参考深度值和所述样本预估深度值，计算第一损失值；基于所述样本图像的每个像素点的所述参考偏移量和所述样本预估偏移量，计算第二损失值；基于所述第一损失值和所述第二损失值，确定所述损失值。
16.根据本公开的第二方面，提供了一种图像处理装置，所述图像处理装置包括：预估单元，被配置为：对目标图像进行深度估计处理，得到所述目标图像的每个像素点的预估深
度值和预估偏移量；偏移单元，被配置为：根据所述目标图像的每个像素点的所述预估偏移量，确定相应像素点的偏移像素点；修正单元，被配置为：将所述目标图像中每个像素点的所述偏移像素点对应的所述预估深度值，作为相应像素点的修正深度值；汇总单元，被配置为：基于所述目标图像的每个像素点的所述修正深度值，得到所述目标图像的深度图。
17.可选地，所述偏移单元还被配置为：针对所述目标图像的每个像素点，通过将相应像素点的坐标值与相应像素点的预估偏移量相加，得到相应像素点的偏移像素点的坐标值。
18.可选地，每个像素点均具有第一方向坐标值和第二方向坐标值，每个像素点的预估偏移量包括第一方向预估偏移量和第二方向预估偏移量，所述偏移单元还被配置为：针对所述目标图像的每个像素点，通过将相应像素点的第一方向坐标值和相应像素点的第一方向预估偏移量相加，得到相应像素点的偏移像素点的第一方向坐标值，通过将相应像素点的第二方向坐标值和相应像素点的第二方向预估偏移量相加，得到相应像素点的偏移像素点的第二方向坐标值。
19.可选地，在所述目标图像处于直角坐标系的情况下，所述第一方向为直角坐标系的x方向，所述第二方向为直角坐标系的y方向；或在所述目标图像处于极坐标系的情况下，所述第一方向为极坐标系的极径方向，所述第二方向为极坐标系的极角方向。
20.可选地，所述预估单元还被配置为：将所述目标图像输入深度估计模型，得到所述深度估计模型的输出结果；其中，所述输出结果包括所述目标图像的每个像素点的所述预估深度值和所述预估偏移量。
21.可选地，所述深度估计模型通过如下步骤训练得到：获取样本图像和所述样本图像的每个像素点的参考深度值；将所述样本图像输入所述深度估计模型，得到所述样本图像的每个像素点的样本预估深度值和样本预估偏移量；根据所述样本图像的每个像素点的所述参考深度值和所述样本预估深度值，确定所述样本图像的每个像素点的参考偏移量；基于所述样本图像的每个像素点的所述参考深度值、所述样本预估深度值、所述参考偏移量和所述样本预估偏移量，确定损失值；基于所述损失值调整所述深度估计模型的参数，以对所述深度估计模型进行训练。
22.可选地，所述根据所述样本图像的每个像素点的所述参考深度值和所述样本预估深度值，确定所述样本图像的每个像素点的参考偏移量，包括：遍历所述样本图像的所有像素点，确定当前像素点周围的若干个参考点；根据所述当前像素点的所述参考深度值和所述当前像素点的每个参考点的所述样本估计深度值，确定所述当前像素点的相应参考点的权重；确定所述当前像素点的每个参考点相对于所述当前像素点的偏移量；根据所述当前像素点的每个参考点的权重，对所述当前像素点的所有参考点的偏移量求取加权平均值，作为所述当前像素点的所述参考偏移量。
23.可选地，所述根据所述当前像素点的所述参考深度值和所述当前像素点的每个参考点的所述样本估计深度值，确定所述当前像素点的相应参考点的权重，包括：确定所述当前像素点的每个参考点的所述样本估计深度值与所述当前像素点的所述参考深度值之间的误差的绝对值，作为相应参考点的误差；根据所述当前像素点的每个参考点的误差，确定所述当前像素点的每个参考点的权重，每个参考点的权重与相应参考点的误差负相关。
24.可选地，所述根据所述当前像素点的每个参考点的误差，确定所述当前像素点的
每个参考点的权重，包括：确定所述当前像素点的每个参考点的误差与设定值的和值，并确定所述设定值与所述和值的比值，作为相应参考点的权重；其中，所述设定值为正数。
25.可选地，所述确定当前像素点周围的若干个参考点，包括：在所述样本图像的所有像素点中，确定与所述当前像素点在第一方向和第二方向上的间距均小于相应参考值的像素点，作为所述当前像素点的参考点；或在所述样本图像的所有像素点中，确定与所述当前像素点的直线距离小于参考值的像素点。
26.可选地，所述基于所述样本图像的每个像素点的所述参考深度值、所述样本预估深度值、所述参考偏移量和所述样本预估偏移量，确定损失值，包括：基于所述样本图像的每个像素点的所述参考深度值和所述样本预估深度值，计算第一损失值；基于所述样本图像的每个像素点的所述参考偏移量和所述样本预估偏移量，计算第二损失值；基于所述第一损失值和所述第二损失值，确定所述损失值。
27.根据本公开的第三方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像处理方法。
28.根据本公开的第四方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像处理方法。
29.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现根据本公开的图像处理方法。
30.本公开的实施例提供的技术方案至少带来以下有益效果：
31.根据本公开的实施例的图像处理方法和图像处理装置，可同时预估深度图和深度图的偏移量，并通过预估的偏移量来修正预估深度图上深度值的分布，从而在耗费很小计算量的情况下消除过渡带，提升深度图清晰度。
32.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
33.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
34.图1a是示出根据本公开的示例性实施例的目标图像的示意图。
35.图1b是应用相关技术的图像处理方法得到的目标图像的深度图的示意图。
36.图2是示出根据本公开的示例性实施例的图像处理方法的流程图。
37.图3是示出根据本公开的示例性实施例的图像处理方法的流程示意图。
38.图4a是示出根据本公开的示例性实施例的预估深度图的示意图。
39.图4b是示出根据本公开的示例性实施例的x方向预估偏移量的示意图。
40.图4c是示出根据本公开的示例性实施例的y方向预估偏移量的示意图。
41.图4d是示出根据本公开的示例性实施例的深度值替换操作的示意图。
42.图4e是示出根据本公开的示例性实施例的修正深度图的示意图。
43.图5是示出根据本公开的示例性实施例的深度估计模型的训练方法的流程图。
44.图6是示出根据本公开的示例性实施例的深度估计模型的训练方法的流程示意图。
45.图7是示出根据本公开的示例性实施例的图像处理装置的框图。
46.图8是示出根据本公开的示例性实施例的电子设备的框图。
具体实施方式
47.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
48.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
49.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1) 执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
50.单目深度估计是指基于深度学习预测rgb图像上每个点距离相机平面的距离，即每个点的深度，从而得到rgb图像的深度图。参照图1a和图1b 可见，基于深度学习的深度估计方法得到的深度图，往往存在边界有过渡带、清晰度不足的问题。
51.相关技术为解决该问题，存在两类方案。
52.一类是采用导向滤波后处理的方法来提升深度细节，导向滤波是以清晰的rgb图像为导向图，对深度图进行滤波，使得rgb图像上纹理比较一致的区域对应的深度图更加平滑，深度边界更加贴合rgb图像的边界。但导向滤波是一种二维操作，而深度图是一种三维信息，对于平面区域，导向滤波的平滑作用会破坏三维几何结构，例如对于一个倾斜的墙面，深度是从近到远分布的，平滑滤波会破坏几何关系，使得墙面的倾斜角度发生变化。此外，在深度边界，导向滤波能够提升深度细节，但也会带来虚假边沿问题，例如墙上的海报边界、马路上的斑马线，这些区域rgb上的边界会导致滤波后的深度图上出现虚假边界。
53.另一类是基于深度学习的方法，主要通过加大深度估计模型的输入尺寸来提升深度细节，大输入会保留更多图像中的细节信息，使得预测的深度图更加清晰，但无疑会导致计算量大幅增加，例如输入尺寸长宽各变为原来的 2倍，计算量将增加4倍。
54.下面，将参照图2至图8具体描述根据本公开的示例性实施例的图像处理方法和图像处理装置。
55.图2是示出根据本公开的示例性实施例的图像处理方法的流程图。图3 是示出根据本公开的示例性实施例的图像处理方法的流程示意图。图4a至图 4e是执行根据本公开的示例性实施例的图像处理方法的过程中产生的一系列图像。应理解，根据本公开的示例性实施例的图像处理方法可以在诸如智能手机、平板电脑、个人电脑(pc)的终端设备中实
现，也可以在诸如服务器的设备中实现。
56.参照图2和图3，在步骤201，对目标图像进行深度估计处理，得到目标图像的每个像素点的预估深度值和预估偏移量。
57.目标图像的每个像素点的预估深度值汇集在一起，就形成了预估深度图。根据本公开的示例性实施例的图像处理方法，与相关技术中的深度估计方法的一个显著区别在于，除预估深度值外，还得到一个预估偏移量，可供后续步骤修正预估深度图上深度值的分布。
58.作为示例，参照图1a所示的目标图像，图4a展示了步骤201得到的边界较模糊的预估深度图。
59.可选地，步骤201具体是将目标图像输入深度估计模型，得到深度估计模型的输出结果；其中，输出结果包括目标图像的每个像素点的预估深度值和预估偏移量。可利用一个深度估计模型同时输出预估深度值和预估偏移量，不必将二者分开计算，有助于简化计算流程。深度估计模型的训练流程将在后文中进行介绍。
60.返回参照图2，在步骤202，根据目标图像的每个像素点的预估偏移量，确定相应像素点的偏移像素点。结合每个像素点的预估偏移量，能够将相应像素点偏移至偏移像素点，供后续步骤基于偏移像素点修正相应像素点的深度值。
61.可选地，步骤202具体包括：针对目标图像的每个像素点，通过将相应像素点的坐标值与相应像素点的预估偏移量相加，得到相应像素点的偏移像素点的坐标值。通过执行坐标值计算，可以得到准确的偏移像素点，保障了计算过程的简洁可靠。
62.可选地，目标图像是二维平面图像，每个像素点均具有第一方向坐标值和第二方向坐标值，每个像素点的预估偏移量相应包括第一方向预估偏移量和第二方向预估偏移量，可实现两个方向的独立偏移。基于此，步骤202具体包括：针对目标图像的每个像素点，通过将相应像素点的第一方向坐标值和相应像素点的第一方向预估偏移量相加，得到相应像素点的偏移像素点的第一方向坐标值，通过将相应像素点的第二方向坐标值和相应像素点的第二方向预估偏移量相加，得到相应像素点的偏移像素点的第二方向坐标值。通过对两个坐标方向分别执行偏移计算，再将计算结果汇总，即可得到偏移像素点的坐标值，保障了偏移计算的准确性。
63.可选地，在目标图像处于直角坐标系的情况下，第一方向为直角坐标系的x方向，第二方向为直角坐标系的y方向，也就是采用直角坐标系来描述像素点的坐标值，可适应于常规矩形图像的计算。参照图3，此时x方向预估偏移量可表示为dx，y方向预估偏移量可表示为dy。作为示例，参照图1a 所示的目标图像，图4b展示了步骤202得到的x方向预估偏移量的示意图，图4c展示了步骤202得到的y方向预估偏移量的示意图。
64.可选地，在目标图像处于极坐标系的情况下，第一方向为极坐标系的极径方向，第二方向为极坐标系的极角方向，也就是采用极坐标系来描述像素点的坐标值，可适应于圆形图像的计算和描述。
65.应理解，实际计算中，可按需采用合适的坐标系，本公开对此不作限制。
66.返回参照图2和图3，在步骤203，将目标图像中每个像素点的偏移像素点对应的预估深度值，作为相应像素点的修正深度值。该步骤执行了一种深度值替换操作，通过将步骤201得到的预估深度图的每个像素点的预估深度值替换为该像素点的偏移像素点对应的预
估深度值，可调整预估深度图上深度值的分布，得到修正深度值，而无需重新计算每个深度值，也就无需加大深度估计模型的输入尺寸，计算量很小，可适用于移动端。同时，由于没有采用导向滤波方法，经过深度学习网络的特征提取会区分真实的深度边沿和虚假边沿，提高清晰度的同时不会带来虚假边沿。
67.参照图3，对于像素点p(i,j)，d1(i,j)表示其预估深度值，dx(i,j)表示其x 方向预估偏移量，dy(i,j)表示其y方向预估偏移量，则像素点p’(i+dx(i,j), j+dy(i,j))表示其偏移像素点，像素点p(i,j)的修正深度值d2(i,j)＝d1(i+dx(i,j), j+dy(i,j))。图4d展示了该深度值替换操作的示意图。结合图4b至图4d可以看出，在边界处的预估偏移量较明显，可理解为将边界过渡带中像素点的深度值替换为了周围非过渡带像素点的深度值，从而提高了边界处的清晰度，对于非过渡带像素点，其预估偏移量则基本为0，也就是不需要进行深度值替换，既有针对性地提升了边界清晰度，又减少了深度值替换操作的计算量。
68.基于此，可选地，可仅在步骤202得到的偏移像素点与相应的像素点不重合时，才对该像素点执行步骤203。更进一步地，可仅在步骤201得到的预估偏移量不为0时，才对该像素点执行步骤202和203。应理解，对于后者，由于预估偏移量往往包括第一方向预估偏移量和第二方向预估偏移量，所以具体是在第一方向预估偏移量和第二方向预估偏移量均不为0时，才对该像素点执行步骤202和203。
69.返回参照图2，在步骤204，基于目标图像的每个像素点的修正深度值，得到目标图像的深度图。目标图像的每个像素点的修正深度值汇集在一起，就得到了根据本公开的示例性实施例的图像处理方法所预估的深度图。作为示例，参照图1a所示的目标图像，图4e展示了步骤204得到的深度图，与图4a对比可以明显看出，过渡带被消除，边界清晰度有了显著提升。
70.接下来介绍深度估计模型的训练方法。
71.图5是示出根据本公开的示例性实施例的深度估计模型的训练方法的流程图。图6是示出根据本公开的示例性实施例的深度估计模型的训练方法的流程示意图。
72.参照图5，深度估计模型通过如下步骤训练得到：
73.在步骤501，获取样本图像和样本图像的每个像素点的参考深度值。该步骤为训练样本获取步骤，可实现深度估计模型的有监督训练。其中，参考深度值可通过深度传感器采集而来。
74.在步骤502，将样本图像输入深度估计模型，得到样本图像的每个像素点的样本预估深度值和样本预估偏移量。其中，样本预估偏移量用于确定相应像素点的偏移像素点，每个像素点的偏移像素点的样本预估深度值作为相应像素点的修正深度值。该步骤利用待训练的样本图像来运行深度估计模型，可得到相应预估值，以便与样本图像的参考值进行对比，实现有监督训练。
75.在步骤503，根据样本图像的每个像素点的参考深度值和样本预估深度值，确定样本图像的每个像素点的参考偏移量。由于训练样本中仅包括样本图像和参考深度值，深度估计模型的输出量则有样本预估深度值和样本预估偏移量两个，所以在该步骤对参考偏移量进行确认。通过结合每个像素点的参考深度值和样本预估深度值，可以确定出具体哪个像素点的样本预估深度值与当前像素点的参考深度值最为接近，从而将这个最接近的像素点作为当前像素点的偏移像素点，并将该像素点相对于当前像素点的偏移量作为参考偏移
量，可得到较为可靠的参考偏移量，以指导模型训练。
76.可选地，步骤503具体包括以下四步：
77.第一步，遍历样本图像的所有像素点，确定当前像素点周围的若干个参考点。由于偏移像素点必然是与当前像素点较为靠近的像素点，通过确定当前像素点周围的若干个参考点，能够从中确定出偏移像素点。应理解，选择的参考点越多，得到准确的偏移像素点的可能性就越大，但参考点的数量过多，也会造成较大的计算负担，所以可以通过合理控制参考点的数量，实现准确度和计算负担的平衡，提高计算效率。实践中，可根据样本图像本身的清晰程度来确定选择的参考点数量，来提高步骤503的计算效率，也可以选择一个普适性较高的参考点数量，或选择一个普适性较高的参考点确定标准，来降低前期准备工作(此处指确定参考点数量这一工作)的计算量，本公开对此不作限制。
78.可选地，确定当前像素点周围的若干个参考点的操作可具体包括：在样本图像的所有像素点中，确定与当前像素点在第一方向和第二方向上的间距均小于相应参考值的像素点，作为当前像素点的参考点；或在样本图像的所有像素点中，确定与当前像素点的直线距离小于参考值的像素点。通过分别配置第一方向和第二方向上的参考值，或配置直线距离上的参考值，既可以为参考点的确定提供标准，又能够将当前像素点周围各个方向的像素点均作为参考点，提高了得到准确的偏移像素点的可能性。应理解，在样本图像处于直角坐标系的情况下，第一方向为直角坐标系的x方向，第二方向为直角坐标系的y方向，x方向和y方向上的参考值可确定出当前像素点周围的矩形邻域，在样本图像处于极坐标系的情况下，第一方向为极坐标系的极径方向，第二方向为极坐标系的极角方向，极径方向和极角方向上的参考值可确定出当前像素点周围的扇形邻域或扇环形邻域；直线距离上的参照值可确定出当前像素点周围的圆形邻域，实践中按需选择即可。当然，样本图像边界附近的像素点的邻域受到边界切割，可能不是完整的规则图形。
79.第二步，根据当前像素点的参考深度值和当前像素点的每个参考点的样本估计深度值，确定当前像素点的相应参考点的权重。
80.第三步，确定当前像素点的每个参考点相对于当前像素点的偏移量。每个参考点相对于当前像素点的偏移量就是参考点的坐标值与当前像素点的坐标值的差值，可直接计算得到。
81.虽然理论上来说，也可以直接取所有参考点中样本预估深度值与当前像素点的参考深度值最接近的参考点，作为当前像素点的偏移像素点，但测试中发现，由此得到的参考偏移量受噪声影响很大。根据本公开的示例性实施例，通过确定每个参考点的权重，并在第四步中求取当前像素点的所有参考点的偏移量的加权平均值，作为参考偏移量，能够削弱噪声的影响，提升得到的参考偏移量的准确度。
82.可选地，确定当前像素点的每个参考点的权重的操作具体包括：确定当前像素点的每个参考点的样本估计深度值与当前像素点的参考深度值之间的误差的绝对值，作为相应参考点的误差；根据当前像素点的每个参考点的误差，确定当前像素点的每个参考点的权重，每个参考点的权重与相应参考点的误差负相关。通过计算参考点的误差，并确定出与误差负相关的权重，既能够利用权重直观反映每个参考点的样本估计深度值与当前像素点的参考深度值的相似程度，又能够通过加权来降低局部噪声的影响，可有效提高得到的参考偏移量的准确度。
83.具体来说，根据当前像素点的每个参考点的误差，确定当前像素点的每个参考点的权重的操作，具体可执行为：确定当前像素点的每个参考点的误差与设定值的和值，并确定设定值与和值的比值，作为相应参考点的权重；其中，设定值为正数。也就是说，对于每个参考点，权重w、误差diff、设定值a满足w＝a/(diff+a)，既可令权重与误差负相关，又可保证在误差diff 为0时，权重w不但有意义，又刚好等于1，便于通过权重直观反映误差大小。应理解，设定值还会影响误差不为0时的权重取值，设定值越大，同样的误差对应的权重就越大，可根据实际计算需求和计算效果进行合理选取。作为示例，设定值为1，即权重w＝1/(diff+1)。
84.第四步，根据当前像素点的每个参考点的权重，对当前像素点的所有参考点的偏移量求取加权平均值，作为当前像素点的参考偏移量。对于直角坐标系，参考偏移量可用公式表示为：
85.dx_gt(i,j)＝∑(m-i)*w(m,n)/∑w(m,n)
86.dy_gt(i,j)＝∑(n-j)*w(m,n)/∑w(m,n)
87.其中，与前文一致，公式针对当前像素点p(i,j)，dx_gt(i,j)表示当前像素点p(i,j)的x方向参考偏移量，dy_gt(x,y)表示当前像素点p(i,j)的y方向参考偏移量，当前像素点p(i,j)的任一参考点表示为p”(m,n)，(m-i)表示参考点p”(m,n) 相对于当前像素点p(i,j)的x方向偏移量，(n-j)表示参考点p”(m,n)相对于当前像素点p(i,j)的y方向偏移量，w(m,n)表示参考点p”(m,n)的权重。
88.在步骤504，基于样本图像的每个像素点的参考深度值、样本预估深度值、参考偏移量和样本预估偏移量，确定损失值。
89.可选地，鉴于深度估计模型有预估深度值和预估偏移量两个输出值，步骤504可具体包括：基于样本图像的每个像素点的参考深度值和样本预估深度值，计算第一损失值；基于样本图像的每个像素点的参考偏移量和样本预估偏移量，计算第二损失值；基于第一损失值和第二损失值，确定损失值。通过分别确定第一损失值和第二损失值，可明确针对深度值的损失值和针对偏移量的损失值，保障了模型训练的有序、可靠进行。
90.在步骤505，基于损失值调整深度估计模型的参数，以对深度估计模型进行训练。具体可利用反向传播算法调整深度估计模型的参数。
91.参照图6，为确定第二损失值，需要引入参考偏移量生成模块来执行步骤503，确定参考偏移量。为保证仅调整深度估计模型的参数，训练时可以对参考偏移量生成模块执行梯度截断，也就是不调整参考偏移量生成模块的参数。
92.图7是示出根据本公开的示例性实施例的图像处理装置的框图。应理解，根据本公开的示例性实施例的图像处理装置可以在诸如智能手机、平板电脑、个人电脑(pc)的终端设备中以软件、硬件或软件硬件结合的方式实现，也可以在诸如服务器的设备中实现。
93.参照图7，图像处理装置700包括预估单元701、偏移单元702、修正单元703、汇总单元704。
94.预估单元701可对目标图像进行深度估计处理，得到目标图像的每个像素点的预估深度值和预估偏移量。
95.目标图像的每个像素点的预估深度值汇集在一起，就形成了预估深度图。根据本公开的示例性实施例的图像处理方法，与相关技术中的深度估计方法的一个显著区别在
于，除预估深度值外，还得到一个预估偏移量，可供其他单元修正预估深度图上深度值的分布。
96.作为示例，参照图1a所示的目标图像，图4a展示了预估单元701得到的边界较模糊的预估深度图。
97.可选地，预估单元701对目标图像进行图像处理，具体是将目标图像输入深度估计模型，得到深度估计模型的输出结果；其中，输出结果包括目标图像的每个像素点的预估深度值和预估偏移量。可利用一个深度估计模型同时输出预估深度值和预估偏移量，不必将二者分开计算，有助于简化计算流程。深度估计模型的训练流程参加前文，在此不再赘述。
98.偏移单元702可根据目标图像的每个像素点的预估偏移量，确定相应像素点的偏移像素点。结合每个像素点的预估偏移量，能够将相应像素点偏移至偏移像素点，供其他单元基于偏移像素点修正相应像素点的深度值。
99.可选地，偏移单元702可针对目标图像的每个像素点，通过将相应像素点的坐标值与相应像素点的预估偏移量相加，得到相应像素点的偏移像素点的坐标值。通过执行坐标值计算，可以得到准确的偏移像素点，保障了计算过程的简洁可靠。
100.可选地，目标图像是二维平面图像，每个像素点均具有第一方向坐标值和第二方向坐标值，每个像素点的预估偏移量相应包括第一方向预估偏移量和第二方向预估偏移量，可实现两个方向的独立偏移。基于此，偏移单元702 可针对目标图像的每个像素点，通过将相应像素点的第一方向坐标值和相应像素点的第一方向预估偏移量相加，得到相应像素点的偏移像素点的第一方向坐标值，通过将相应像素点的第二方向坐标值和相应像素点的第二方向预估偏移量相加，得到相应像素点的偏移像素点的第二方向坐标值。通过对两个坐标方向分别执行偏移计算，再将计算结果汇总，即可得到偏移像素点的坐标值，保障了偏移计算的准确性。
101.可选地，在目标图像处于直角坐标系的情况下，第一方向为直角坐标系的x方向，第二方向为直角坐标系的y方向，也就是采用直角坐标系来描述像素点的坐标值，可适应于常规矩形图像的计算。参照图3，此时x方向预估偏移量可表示为dx，y方向预估偏移量可表示为dy。作为示例，参照图1a 所示的目标图像，图4b展示了偏移单元702得到的x方向预估偏移量的示意图，图4c展示了偏移单元702得到的y方向预估偏移量的示意图。
102.可选地，在目标图像处于极坐标系的情况下，第一方向为极坐标系的极径方向，第二方向为极坐标系的极角方向，也就是采用极坐标系来描述像素点的坐标值，可适应于圆形图像的计算和描述。
103.应理解，实际计算中，可按需采用合适的坐标系，本公开对此不作限制。
104.修正单元703可将目标图像中每个像素点的偏移像素点对应的预估深度值，作为相应像素点的修正深度值。修正单元703执行了一种深度值替换操作，通过将预估单元701得到的预估深度图的每个像素点的预估深度值替换为该像素点的偏移像素点对应的预估深度值，可调整预估深度图上深度值的分布，得到修正深度值，而无需重新计算每个深度值，也就无需加大深度估计模型的输入尺寸，计算量很小，可适用于移动端。同时，由于没有采用导向滤波方法，经过深度学习网络的特征提取会区分真实的深度边沿和虚假边沿，提高清晰度的同时不会带来虚假边沿。
105.参照图3，对于像素点p(i,j)，d1(i,j)表示其预估深度值，dx(i,j)表示其x 方向
预估偏移量，dy(i,j)表示其y方向预估偏移量，则像素点p’(i+dx(i,j), j+dy(i,j))表示其偏移像素点，像素点p(i,j)的修正深度值d2(i,j)＝d1(i+dx(i,j), j+dy(i,j))。图4d展示了该深度值替换操作的示意图。结合图4b至图4d可以看出，在边界处的预估偏移量较明显，可理解为将边界过渡带中像素点的深度值替换为了周围非过渡带像素点的深度值，从而提高了边界处的清晰度，对于非过渡带像素点，其预估偏移量则基本为0，也就是不需要进行深度值替换，既有针对性地提升了边界清晰度，又减少了深度值替换操作的计算量。
106.基于此，可选地，可仅在偏移单元702得到的偏移像素点与相应的像素点不重合时，才对该像素点运行修正单元703。更进一步地，可仅在预估单元701得到的预估偏移量不为0时，才对该像素点运行偏移单元702和修正单元703。应理解，对于后者，由于预估偏移量往往包括第一方向预估偏移量和第二方向预估偏移量，所以具体是在第一方向预估偏移量和第二方向预估偏移量均不为0时，才对该像素点运行偏移单元702和修正单元703。
107.汇总单元704可基于目标图像的每个像素点的修正深度值，得到目标图像的深度图。目标图像的每个像素点的修正深度值汇集在一起，就得到了根据本公开的示例性实施例的图像处理装置700所预估的深度图。作为示例，参照图1a所示的目标图像，图4e展示了汇总单元704得到的深度图，与图 4a对比可以明显看出，过渡带被消除，边界清晰度有了显著提升。
108.图8是根据本公开的示例性实施例的电子设备的框图。
109.参照图8，电子设备800包括至少一个存储器801和至少一个处理器802，所述至少一个存储器801中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器802执行时，执行根据本公开的示例性实施例的图像处理方法。
110.作为示例，电子设备800可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备800并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备800还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
111.在电子设备800中，处理器802可包括中央处理器(cpu)、图形处理器 (gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
112.处理器802可运行存储在存储器801中的指令或代码，其中，存储器801 还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
113.存储器801可与处理器802集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器801可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器801 和处理器802可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器802能够读取存储在存储器中的文件。
114.此外，电子设备800还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备800的所有组件可经由总线和/或网络而彼此连接。
115.根据本公开的示例性实施例，还可提供一种计算机可读存储介质，当计算机可读
存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的示例性实施例的图像处理方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、 dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-r lth、 bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
116.根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品包括计算机指令，计算机指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的示例性实施例的图像处理方法。
117.根据本公开的示例性实施例的图像处理方法和装置，可同时预估深度图和深度图的偏移量，并通过预估的偏移量来修正预估深度图上深度值的分布，从而消除过渡带，提升深度图清晰度。同时，本公开利用偏移量修正深度图的计算量很小，仅是一种深度值替换操作，所以可以应用在移动端。此外，相对于利用rgb图像导向滤波的方法，本公开中的偏移量通过深度学习训练得到，经过深度学习网络的特征提取会区分真实的深度边沿和虚假边沿，在清晰化深度的同时不会带来虚假边沿。
118.根据本公开的示例性实施例的深度估计模型的训练方法，除具备上述图像处理方法的有益技术效果外，还提出了一种确定参考偏移量的方法，综合考虑了局部区域内的深度分布趋势，能够有效降低噪声的影响，提升所确定的参考偏移量的准确度，保障训练得到的深度估计模型的估计准确度。
119.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
120.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。