一种深度图的归一化方法、装置、系统及电子设备与流程

1.本技术涉及图像处理技术领域，尤其涉及一种深度图的归一化方法、装置、系统及电子设备。


背景技术：

2.深度图，也称为深度图像，指的是将从图像采集器到物体中各点的距离作为像素值的图像，而真实深度图，指的是用于评价深度图的深度是否正确的标定参数或评价标准的深度图，真实深度图一般用于作为参考标准，验证深度图的误差。
3.目前，存在多种不同的算法用于生成深度图，而不同的算法之间的数据处理各不相同，导致无法直接与真实深度图进行对比，从而无法确定不同算法对原始图像的处理的优势与不足。
4.发明人在实现本技术的过程中，发现现有技术至少存在以下问题：目前不同算法对图像的处理方式不同导致无法直接与真实深度图进行对比。


技术实现要素：

5.本技术实施例的一个目的旨在提供一种深度图的归一化方法、装置、系统及电子设备，其能够解决目前不同算法对图像的处理方式不同导致无法直接与真实深度图进行对比的技术问题，有利于深度图与真实深度图的比对。
6.第一方面，本技术实施例提供一种深度图的归一化方法，应用于深度图生成系统，所述深度图生成系统包括：实验装置以及摄像装置，所述实验装置包括背景模组，所述背景模组包括多个深度不同的背景板，每一所述背景板上设置有多个特征点，所述方法包括：
7.获取摄像装置采集到的所述背景模组的多幅背景图像；
8.根据所述背景模组的多幅背景图像，确定多幅演算深度图；
9.获取每一背景板对应的真实深度，确定所述多幅演算深度图的灰度值与真实深度的稳定拟合曲线；
10.建立真实深度图，并确定所述真实深度图对应的真实拟合曲线；
11.确定所述稳定拟合曲线与所述真实拟合曲线的映射关系；
12.根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图。
13.在一些实施例中，所述根据所述多幅演算深度图，确定灰度值与真实深度的稳定拟合曲线，包括：
14.根据所述多幅演算深度图，确定每一演算深度图中每一背景板的取样区域对应的平均灰度值；
15.根据每一背景板对应的真实深度，确定每一幅演算深度图的平均灰度值与真实深度的拟合曲线，每一所述拟合曲线包括曲线参数；
16.根据每一所述拟合曲线对应的曲线参数，确定稳定拟合曲线。
17.在一些实施例中，所述根据每一所述拟合曲线对应的曲线参数，确定稳定拟合曲线，包括：
18.对多条拟合曲线对应的曲线参数求平均，确定平均曲线参数；
19.根据所述平均曲线参数，确定稳定拟合曲线。
20.在一些实施例中，所述确定所述真实深度图对应的真实拟合曲线，包括：
21.获取所述真实深度图的真实深度，确定所述真实深度图的灰度值与真实深度的对应关系，并拟合确定所述真实深度图对应的真实拟合曲线，以确定真实曲线参数。
22.在一些实施例中，所述根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图，包括：
23.根据所述映射关系，确定每一所述演算深度图的每一坐标点的灰度值对应的深度值；
24.根据每一所述演算深度图的每一坐标点的灰度值对应的深度值，确定每一所述演算深度图一一对应的归一化深度图。
25.在一些实施例中，所述根据所述映射关系，确定每一所述演算深度图的每一坐标点的灰度值对应的深度值，包括：
26.将每一所述演算深度图的每一坐标点的灰度值对应的深度值确定为所述真实深度图中的相同的灰度值对应的深度值。
27.第二方面，本技术实施例提供一种深度图的归一化装置，应用于深度图生成系统，所述深度图生成系统包括：实验装置以及摄像装置，所述实验装置包括背景模组，所述背景模组包括多个深度不同的背景板，每一所述背景板上设置有多个特征点，所述装置包括：
28.背景图像获取单元，用于获取摄像装置采集到的所述背景模组的多幅背景图像；
29.演算深度图单元，用于根据所述背景模组的多幅背景图像，确定多幅演算深度图；
30.稳定拟合曲线单元，用于根据所述多幅演算深度图，确定灰度值与真实深度的稳定拟合曲线；
31.真实拟合曲线，用于建立真实深度图，并确定所述真实深度图对应的真实拟合曲线；
32.映射关系单元，用于确定所述稳定拟合曲线与所述真实拟合曲线的映射关系；
33.归一化深度图单元，用于根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图。
34.在一些实施例中，所述稳定拟合曲线单元，具体用于：
35.根据所述多幅演算深度图，确定每一演算深度图中每一背景板的取样区域对应的平均灰度值；
36.获取每一背景板对应的真实深度，确定每一幅演算深度图的平均灰度值与真实深度的拟合曲线，每一所述拟合曲线包括曲线参数；
37.根据每一所述拟合曲线对应的曲线参数，确定稳定拟合曲线。
38.第三方面，本技术实施例提供一种电子设备，包括：
39.至少一个处理器；以及
40.与所述至少一个处理器通信连接的存储器；其中，
41.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一
个处理器执行，以使所述至少一个处理器能够执行如上所述的深度图的归一化方法。
42.第四方面，本技术实施例提供一种深度图生成系统，包括：
43.如上所述的电子设备；
44.实验装置以及摄像装置，所述实验装置包括背景模组，所述背景模组包括多个深度不同的背景板，每一所述背景板上设置有多个特征点。
45.第五方面，本技术实施例提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备执行上述的深度图的归一化方法。
46.第六方面，本技术实施例提供一种计算机程序，所述计算机程序包含程序指令，在所述程序指令由电子设备中的一个或多个处理器执行时，使所述电子设备执行上述的深度图的归一化方法。
47.本技术实施例的有益效果是：区别于现有技术的情况下，本技术实施例提供的一种深度图的归一化方法，应用于深度图生成系统，所述深度图生成系统包括：实验装置以及摄像装置，所述实验装置包括背景模组，所述背景模组包括多个深度不同的背景板，每一所述背景板上设置有多个特征点，所述方法包括：获取摄像装置采集到的所述背景模组的多幅背景图像；根据所述背景模组的多幅背景图像，确定多幅演算深度图；获取每一背景板对应的真实深度，确定所述多幅演算深度图的灰度值与真实深度的稳定拟合曲线；建立真实深度图，并确定所述真实深度图对应的真实拟合曲线；确定所述稳定拟合曲线与所述真实拟合曲线的映射关系；根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图。通过确定稳定拟合曲线与真实拟合曲线的映射关系，以确定每一演算深度图一一对应的归一化深度图，本技术能够解决不同算法对图像的处理方式不同导致无法直接与真实深度图进行对比的技术问题。
附图说明
48.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
49.图1a是现有技术的利用结构光来建立真实深度图的装置结构示意图；
50.图1b是现有技术的利用结构光建立的真实深度图的示意图；
51.图2是本技术实施例提供的一种深度图生成系统的示意图；
52.图3是本技术实施例提供的一种实验装置的结构示意图；
53.图4是本技术实施例提供的一种模拟装置的结构示意图；
54.图5是本技术实施例提供的一种深度图处理的整体流程示意图；
55.图6是本技术实施例提供的一种真实深度图的生成方法的流程示意图；
56.图7是图6中的步骤s601的细化流程图；
57.图8是图6中的步骤s602的细化流程图；
58.图9是本技术实施例提供的一种坐标系的示意图；
59.图10是图6中的步骤s603的细化流程图；
60.图11是本技术实施例提供的一种校正像素坐标信息的流程示意图；
61.图12是本技术实施例提供的一种背景板的示意图；
62.图13是图11中的步骤s1104的细化流程图；
63.图14是图6中的步骤s605的细化流程图；
64.图15是本技术实施例提供的一种生成真实深度图的整体流程图；
65.图16是本技术实施例提供的另一种实验装置的示意图；
66.图17是本技术实施例提供的一种深度图的归一化方法的流程示意图；
67.图18是图17中的步骤s1703的细化流程图；
68.图19是本技术实施例提供的深度图的归一化方法的示意图；
69.图20是图19中的步骤s1706的细化流程图；
70.图21是本技术实施例提供的一种深度图的归一化方法的整体流程示意图；
71.图22是本技术实施例提供的一种深度图的评分方法的流程示意图；
72.图23是本技术实施例提供的一种评估区域的示意图；
73.图24a是本技术实施例提供的一种前景溢出的示意图；
74.图24b是本技术实施例提供的另一种前景溢出的示意图；
75.图25是本技术实施例提供的一种重复纹理情境的示意图；
76.图26是本技术实施例提供的一种前后景色彩相似度情境的示意图；
77.图27是本技术实施例提供的一种细部结构情境的示意图；
78.图28是本技术实施例提供的一种洞情境的示意图；
79.图29是本技术实施例提供的一种深度解析度情境的示意图；
80.图30是本技术实施例提供的另一种深度解析度情境的示意图；
81.图31是本技术实施例提供的一种指标分数的示意图；
82.图32是本技术实施例提供的一种演算法的深度结果的示意图；
83.图33是本技术实施例提供的一种真实深度图的生成装置的结构示意图；
84.图34是本技术实施例提供的一种深度图的归一化装置的结构示意图；
85.图35是本技术实施例提供的一种深度图的评分装置的结构示意图；
86.图36是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
87.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
88.需要说明的是，如果不冲突，本技术实施例中的各个特征可以相互结合，均在本技术的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者，本技术所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
89.对本技术进行详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
90.(1)深度图：也称为深度图像，即depth map(缩写为dm)，又称为depth image或range image，指的是将从图像采集器到物体中各点的距离(深度)作为像素值的图像，深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近，它直接反映了景物可见表面的几何形状。深度图类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离，通常以灰度值表示，定义为二维影像在z轴方向的位置，用以描述物体的远近关系。通常rgb图像和depth图像是配准的，因而像素点之间具有一对一的对应关系。每一个像素点代表的是在深度感应器的视野中，该特定的(x,y)坐标处物体到离摄像头平面最近的物体到该平面的距离(以毫米为单位)。
91.(2)真实深度图：即ground truth(缩写为gt)，ground truth指的是用于评价深度图的深度是否正确的标定参数或评价标准的深度图，真实深度图一般用于作为参考标准，验证深度图的误差。
92.(3)归一化深度图：即normalized depth map(缩写为ndm)，指的是将深度图(depth map)映射到与真实深度图(ground truth)相同范围的图像，便于与真实深度图进行比较。
93.(4)灰度值，又称为灰阶值，指的是色彩的浓淡程度，灰度值表征黑白显示器中显示像素点的亮暗差别，将原来的三原色rgb(r,g,b)中的r,g,b统一用gray替换，形成新的颜色rgb(gray,gray,gray)，用它替换原来的rgb(r,g,b)就是灰度图。
94.(5)深度值，又称为图像深度，指的是每个像素点代表的物体距离摄像机的距离，通常用灰度值进行表示。
95.请参阅图1a，图1a是现有技术的利用结构光来建立真实深度图的装置结构示意图；
96.如图1a所示，结构光摄像机，例如：kinect红外发射器，kinect红外发射器(infrared projector)发射出镭射光，通过红外发射器镜头前的光栅(diffuser)生成结构光，将所述结构光均匀地投射到测量空间，测量空间的物体表面设置有编码图案，而测量空间的物体表面反射，形成随机的散斑，再通过红外摄像机(infrared camera)记录测量空间的每个散斑，以得到深度图像。
97.其中，结构光技术通过利用投射已知编码图案的方式，将经过设计的图案投射到待测物体上，由于光线在物体表面上造成几何扭曲的现象，透过摄像机采集该图案的图像并比对原始投射图案，从而计算深度图，但是，由于投射结构光的装置和接收的红外摄像机有视差，并且光对一些平滑表面会发生全发射的现象，导致部分区域无法获得真实深度，影响精度。
98.请再参阅图1b，图1b是现有技术的利用结构光建立的真实深度图的示意图；
99.如图1b所示，由于投射结构光的装置和接收的红外摄像机的位置不同，因此接收的红外摄像机上的深度信息需要经过坐标转换，造成部分深度信息的丢失，如图1b左下方的黑色区块，或者，由于主动打光的原因，在室外容易受到强自然光的干扰，导致投射的结构光被自然光吸收，并且，当物体距离摄像机较远时，物体上的编码图案越大，导致精度变差，导致部分深度信息的丢失，例如图1b右边的楼梯表面。
100.基于上述阐述，本技术提出一种真实深度图的生成方法，以提高真实深度图的精度。
101.其中，该真实深度图的生成方法，应用于深度图生成系统。
102.请参阅图2，图2是本技术实施例提供的一种深度图生成系统的示意图；
103.如图2所示，该深度图生成系统200，包括：实验装置210、模拟装置220、摄像装置230以及电子设备240，其中，所述摄像装置230通信连接所述电子设备240，用于向所述电子设备发送数据，例如：背景图像。
104.请再参阅图3，图3是本技术实施例提供的一种实验装置的结构示意图；
105.如图3所示，该实验装置包括三个背板，分别为背景板a、侧背板d以及桌面板c，其中，所述背景板a和桌面板c上设置有图案，所述图案上包括特征点，所述图案用于被摄像装置获取图像之后能够识别该图案上的特征点，所述图案可以为qr标记图案。
106.可以理解的是，所述实验装置还可以包括三个以上的背板，例如：四面背板或五面背板，所述实验装置内可以放置一些设计好的物体，例如：板子，所述板子上设置有图案或重复纹理。具体的，所述桌面板c上设置有纵向凹槽和横向凹槽，所述纵向凹槽和横向凹槽分别用于插入板子，并对插入的板子进行固定。
107.请再参阅图4，图4是本技术实施例提供的一种模拟装置的结构示意图；
108.如图4所示，该模拟装置，用于模拟真实场景，与上述的实验装置相同的部分在于，所述模拟装置也包括：三个背板，分别为背景板、侧背板以及桌面板，其中，所述背景板和桌面板上设置有图案，所述图案上包括特征点，所述图案用于被摄像装置获取图像之后能够识别该图案上的特征点，所述图案可以为qr标记图案。可以理解的是，所述模拟装置还可以包括三个以上的背板，例如：四面背板或五面背板。
109.所述模拟装置内放置一些设计好的物体，例如：一块正方形或长方形或者任意多边形的板子，所述板子上设置有图案或重复纹理；或者，任意厚度的物体，该物体上设置有图案或重复纹理。具体的，所述桌面板上设置有纵向凹槽和横向凹槽，所述纵向凹槽和横向凹槽分别用于插入板子或其他任意厚度的物体，并对插入的板子或其他任意厚度的物体进行固定。
110.其中，所述模拟装置内还设置有一块正方形或长方形或者任意多边形的板子或者物体，所述板子或者物体上任意位置上设置有预定大小的洞，例如：1cm*1cm大小的洞，所述洞周围用于贴上任意颜色的图案或重复纹理。
111.其中，所述模拟装置内还设置有一个圆柱体或圆球状的物体，该圆柱体或圆球状的物体上任意位置上设置有预定大小的洞，例如：1cm*1cm大小的洞，所述洞周围用于贴上任意颜色的图案或重复纹理。
112.请再参阅图5，图5是本技术实施例提供的一种深度图处理的整体流程示意图；
113.如图5所示，该深度图处理的整体流程，包括：
114.获取多幅背景图像；
115.根据所述多幅背景图像，确定真实深度图；
116.根据所述多幅背景图像，基于第一算法确定第一深度图，基于第二算法确定第二深度图，
……
，基于第n算法确定第n深度图；
117.根据所述第一深度图，确定第一归一化深度图；根据所述第二深度图，确定第二归一化深度图；根据所述第n深度图，确定第n归一化深度图；
118.将所述第一归一化深度图、第二归一化深度图，
……
，第n归一化深度图分别与所
述真实深度图进行比较，确定评分结果，并输出评分结果。
119.下面结合说明书附图，具体说明深度图处理的每一流程。
120.请再参阅图6，图6是本技术实施例提供的一种真实深度图的生成方法的流程示意图；
121.如图6所示，该真实深度图的生成方法，应用于深度图生成系统，所述系统包括：实验装置以及摄像装置，所述实验装置包括背景板，所述背景板上设置有多个特征点，所述真实深度图的生成方法，包括：
122.步骤s601：获取所述摄像装置采集到的所述背景板的背景图像；
123.具体的，所述摄像装置对所述实验装置的背景板进行拍摄，用于采集所述实验装置的背景板的背景图像，并将所述背景板的背景图像发送到与所述摄像装置通信连接的电子设备，以使所述电子设备获取所述摄像装置采集到的所述背景板的背景图像。
124.具体的，请再参阅图7，图7是图6中的步骤s601的细化流程图；
125.如图7所示，该步骤s601：获取所述摄像装置采集到的所述背景板的背景图像，包括：
126.步骤s6011：确定一背景模组；
127.具体的，所述背景模组为预先设置的装置，例如：所述背景模组包括所述实验装置或者所述模拟装置，所述实验装置或者所述模拟装置上设置有至少一个背景板，每一所述背景板上设置有至少一个图案，每一所述图案上设置有至少一个特征点。
128.步骤s6012：获取摄像装置采集到的所述背景模组的背景图像；
129.具体的，通过使用固定装置固定所述摄像装置于所述背景模组的正前方，使得所述摄像装置拍摄所述背景模组的背景图像，并将所述背景图像发送到电子设备，以使所述电子设备获取所述摄像装置采集到的所述背景模组的背景图像。在本技术实施例中，所述固定装置包括脚架、桌子等装置。
130.在本技术实施例中，所述摄像装置包括至少两个相机，用于更好地获取所述背景板的背景图像，所述摄像装置对所述背景板进行多次拍摄，以获取多幅背景图像，并将多幅所述背景图像发送到电子设备。
131.步骤s602：获取所述背景图像中的特征点的世界坐标信息；
132.具体的，所述实验装置被预先设置在固定位置，所述实验装置上的背景板设置在所述实验装置的固定位置，因此，所述背景板相对所述实验装置固定，可以通过预先测量所述背景板上的特征点的世界坐标，从而获取所述背景图像中的特征点的世界坐标信息。
133.具体的，请再参阅图8，图8是图6中的步骤s602的细化流程图；
134.如图8所示，该步骤s602：获取所述背景图像中的特征点的世界坐标信息，包括：
135.步骤s6021：检测第一背板的方格图上的特征点；
136.请再参阅图3，如图3所示，假设背景板a为第一背板，桌面板c为第二背板，且所述第一背板上设置有方格图，所述方格图上设置有多个特征点，例如：4*3个特征点，通过检测预设的多个特征点，相当于检测所述第一背板的方格图上的特征点。
137.步骤s6022：检测第一背板的预设的标记图案上的特征点；
138.具体的，所述第一背板预先设置有标记图案，每一标记图案上均设置有特征点，例如：所述标记图案为方形标记图案或qr标记图案,通过检测所述第一背板上的方形标记图
案或qr标记图案上的特征点，从而确定所述第一背板上的特征点。
139.步骤s6023：检测第二背板的预设的标记图案上的特征点；
140.具体的，所述第二背板预先设置有标记图案，每一标记图案上均设置有特征点，例如：所述标记图案为方形标记图案或qr标记图案,通过检测所述第二背板上的方形标记图案或qr标记图案上的特征点，从而确定所述第二背板上的特征点。
141.步骤s6024：确定全部的特征点；
142.具体的，通过确定所述第一背板和第二背板上的所有的特征点，从而确定所述背景图像中的所有的特征点。
143.具体的，请再参阅图9，图9是本技术实施例提供的一种坐标系的示意图；
144.如图9所示，以所述背景板a、侧背板d以及桌面板c所在平面的交点所在的位置为世界坐标系的世界坐标原点，背景板a和桌面板c所在平面的交线确定为x轴，以背景板a和侧背板d所在平面的交线确定为y轴，以桌面板c和侧背板d所在平面的交线确定为为z轴，从而确定世界坐标系，在确定世界坐标系之后，可以确定所述第一背板和第二背板上的全部特征点的世界坐标信息，所述世界坐标信息即世界坐标位置。
145.步骤s603：根据所述特征点的世界坐标信息，确定所述特征点的像素坐标信息；
146.其中，所述世界坐标信息为世界坐标系下的坐标位置，所述像素坐标信息为像素坐标系下的坐标位置，为了实现世界坐标系到像素坐标系的转换，本技术通过将世界坐标系映射到相机坐标系，再由相机坐标系映射到像素坐标系，从而得到世界坐标系与像素坐标系的映射关系。
147.具体的，请再参阅图10，图10是图6中的步骤s603的细化流程图；
148.如图10所示，该步骤s603：根据所述特征点的世界坐标信息，确定所述特征点的像素坐标信息，包括：
149.步骤s6031：根据所述背景图像中的特征点的世界坐标信息，确定所述背景图像中的特征点的相机坐标信息；
150.其中，所述相机坐标信息为相机坐标系下的位置信息，所述相机坐标系为所述摄像装置的相机坐标系。
151.具体的，所述根据所述背景图像中的特征点的世界坐标信息，确定所述背景图像中的特征点的相机坐标信息，包括：
152.获取摄像装置的姿态参数，所述姿态参数包括旋转矩阵和平移矩阵；
153.具体的，所述获取摄像装置的姿态参数，包括：
154.通过pnp相机位姿估计，确定所述姿态参数中的旋转矩阵和平移矩阵，例如：假设所述旋转矩阵为平移矩阵为根据所述旋转矩阵和平移矩阵，基于所述背景图像中的特征点的世界坐标信息，确定背景图像中的特征点的相机坐标信息，例如：其中，(xc,yc,zc)为相机坐标信息，
(xw,yw,zw)为世界坐标信息。
155.步骤s6032：根据所述背景图像中的特征点的相机坐标信息，确定背景图像中的特征点的像素坐标信息；
156.具体的，所述根据所述背景图像中的特征点的相机坐标信息，确定所述背景图像中的特征点的像素坐标信息，包括：
157.获取摄像装置的内部参数；
158.其中，所述内部参数为所述摄像装置的内部参数，包括相机焦距在成像平面x轴、y轴方向的距离、图像的正中心点坐标(主点坐标)，其中，所述相机焦距在成像平面x轴、y轴方向的距离以像素为单位。具体的，所述摄像装置的内部参数包括内参矩阵，所述内参矩阵包括所述相机焦距和主点坐标，例如：所述摄像装置的内参矩阵为其中，(f
x
,fy)为摄像装置的相机的焦距，(c
x
,cy)为主点坐标，f
x
为相机焦距在成像平面x轴方向的距离，fy为相机焦距在成像平面y轴方向的距离。
159.根据所述摄像装置的内部参数，基于所述背景图像中的特征点的相机坐标信息，确定所述背景图像中的特征点的像素坐标信息。
160.在本技术实施例中，由于摄像装置存在一定的误差，所述方法还包括：校正所述摄像装置的内部参数以及失真参数，例如：所述失真参数为
161.则所述像素坐标信息的计算方式为：
[0162][0163]
其中，(u,v)为像素坐标，(xw,yw,zw)为世界坐标信息，(f
x
,fy)为摄像装置的相机的焦距，(c
x
,cy)为主点坐标，f
x
为相机焦距在成像平面x轴方向的距离，fy为相机焦距在成像平面y轴方向的距离。
[0164]
在本技术实施例中，所述方法还包括：
[0165]
校正所述背景图像中的特征点的像素坐标信息。
[0166]
具体的，请再参阅图11，图11是本技术实施例提供的一种校正像素坐标信息的流程示意图；
[0167]
如图11所示，该校正所述背景图像中的特征点的像素坐标信息，包括：
[0168]
步骤s1101：确定一背景板，所述背景板的四个角落均包括一标记图案；
[0169]
在本技术实施例中，所述背景板可以为上述的实验装置中的背景板a或桌面板c，所述背景板为方形背板，所述背景板的四个角落均设置有一标记图案，所述标记图案上设置有若干个特征点。
[0170]
具体的，请再参阅图12，图12是本技术实施例提供的一种背景板的示意图；
[0171]
如图12所示，该背景板的每一角落处均设置有标记图案，每一所述标记图案均包
括第一特征点和第二特征点，其中，所述第一特征点为所述标记图案的白色边缘的点，所述第二特征点为所述标记图案的黑色边缘的点。
[0172]
步骤s1102：检测所述背景板的每一标记图案的特征点；
[0173]
具体的，所述检测所述背景板的每一标记图案的特征点，包括：检测所述背景板的每一标记图案的第一特征点和第二特征点。
[0174]
步骤s1103：选择若干个特征点；
[0175]
具体的，选择所述第一特征点中靠近所述背景板的边角的白色边缘的点，选择所述第二特征点中靠近所述背景板的边角的黑色边缘的点，即靠近所述第一特征点，如图12所示，该背景板中包括四个第一特征点和四个第二特征点。
[0176]
步骤s1104：确定校正后的特征点的像素坐标信息；
[0177]
具体的，请再参阅图13，图13是图11中的步骤s1104的细化流程图；
[0178]
如图13所示，所述步骤s1104：确定校正后的特征点的像素坐标信息，包括：
[0179]
步骤s11041：获取所述第二特征点的像素坐标信息；
[0180]
可以理解的是，由于第一特征点为白色的点，而第二特征点为黑色的点，在摄像装置获取背景图像时，所述第二特征点由于颜色较深，其特征点的位置识别更为精准，因此，可以通过获取第二特征点的像素坐标信息，来校准所述第一特征点的像素坐标信息，以获取更为精确的第一特征点的像素坐标信息。
[0181]
步骤s11042：根据所述第一特征点与第二特征点的相对位置关系，确定所述第一特征点的像素坐标信息，将所述第一特征点的像素坐标信息确定为所述背景图像中对应的特征点的校正后的像素坐标信息。
[0182]
具体的，由于所述第一特征点和第二特征点的相对位置固定，因此，可以根据所述第一特征点和第二特征点的相对位置关系，确定所述第一特征点的像素坐标信息，例如：以如图12所示的左上角的第一特征点和第二特征点为例，通过获取所述第一特征点所在的白色边框的实际宽度以及摄像装置的姿态参数，确定所述第二特征点到第一特征点之间的像素数量以及差异方向，从而确定所述第一特征点的像素坐标信息，并且，基于相同原理，确定所述背景板的四个角落的四个第一特征点的像素坐标信息。
[0183]
在本技术实施例中，通过利用标记图案的第一特征点和第二特征点之间的相对位置关系来校正第一特征点的像素位置信息，能够提高真实深度图的准确性。
[0184]
步骤s604：确定所述特征点对应的深度信息；
[0185]
具体的，所述深度信息定义为相机坐标系下的z轴方向的大小，在只考虑相机的姿态参数但不考虑相机的内部参数的前提下，所述特征点对应的深度信息为所述相机坐标信息的竖坐标的大小，即所述深度信息包括深度坐标，所述深度坐标为所述相机坐标信息的竖坐标的大小。
[0186]
步骤s605：根据所述特征点的像素坐标信息以及深度信息，生成所述背景图像对应的真实深度图。
[0187]
具体的，请再参阅图14，图14是图6中的步骤s605的细化流程图；
[0188]
如图14所示，该步骤s605：根据所述特征点的像素坐标信息以及深度信息，生成所述背景图像对应的真实深度图，包括：
[0189]
步骤s6051：根据所述背景板的多个特征点组成的特征点集，确定所述特征点集对
应的平面的平面方程式；
[0190]
具体的，将所述背景板的多个特征点的像素坐标及其深度坐标进行组合，生成特征点集，其中，每一所述特征点集对应一背景板，而每一背景板对应一平面，通过所述特征点集上的特征点，可以确定所述特征点集对应的平面的平面方程式。
[0191]
其中，根据所述背景板的至少三个特征点，可以确定一个平面，假设所述特征点集对应的平面的平面方程式为：ax+by+cz+d＝0，假设三个坐标点的坐标分别为(x1,y1,z1),(x2,y2,z2),(x3,y3,z3)，通过将三个坐标点的坐标分别代入平面方程式ax+by+cz+d＝0中，可以得到三个联合方程组，对所述三个联合方程组进行消元，可以确定系数a、b、c、d，从而确定所述平面方程式。或者，还可以通过高斯消元法、克莱姆法则等方法确定系数a、b、c、d，从而确定所述平面方程式。本技术在此不作进一步限定，其他计算系数的方法也属于本技术的保护范围。
[0192]
步骤s6052：根据所述平面方程式，确定所述背景板的每一坐标点的深度信息；
[0193]
具体的，在确定平面方程式ax+by+cz+d＝0的系数之后，将所述背景板的每一特征点的像素坐标信息代入所述平面方程式，计算得出z的值，即所述特征点的深度坐标，从而确定所述背景板的每一坐标点的深度信息。
[0194]
步骤s6053：确定每一坐标点的深度信息对应的灰度值，生成所述背景图像对应的真实深度图。
[0195]
具体的，所述深度信息与灰度值通过预先设置的转换规则进行对应，所述转换规则根据实际需要进行设置，例如：灰度值＝k*深度信息，k可以设置为0.5、0.8等，在此不作限定，通过所述预先设置的转换规则，可以确定每一坐标点的深度信息对应的灰度值，通过所述灰度值表征所述深度信息，在遍历所述背景图像的每一坐标点之后，确定每一坐标点的灰度值，结合每一坐标点的像素坐标信息，从而生成所述背景图像对应的真实深度图。
[0196]
请再参阅图15，图15是本技术实施例提供的一种生成真实深度图的整体流程图；
[0197]
如图15所示，生成真实深度图的整体流程，包括：
[0198]
步骤s1501：获取背景图像；
[0199]
具体的，获取所述摄像装置采集到的所述背景板的多张背景图像。
[0200]
步骤s1502：检测背景图像中的特征点；
[0201]
步骤s1503：获取特征点的世界坐标信息；
[0202]
步骤s1504：校正摄像装置的内部参数；
[0203]
具体的，所述摄像装置的内部参数包括内参矩阵。
[0204]
步骤s1505：获取摄像装置的姿态参数；
[0205]
具体的，所述摄像装置的姿态参数包括旋转矩阵以及平移矩阵。
[0206]
步骤s1506：根据特征点的世界坐标信息，确定相机坐标信息以及像素坐标信息；
[0207]
步骤s1507：获取特征点的深度信息；
[0208]
具体的，根据所述特征点的相机坐标信息，确定所述坐标点的深度信息，其中，所述深度信息定义为相机坐标系下的z轴方向的大小，在只考虑相机的姿态参数但不考虑相机的内部参数的前提下，所述特征点对应的深度信息为所述相机坐标信息的竖坐标的大小，即所述深度信息包括深度坐标，所述深度坐标为所述相机坐标信息的竖坐标的大小。
[0209]
步骤s1508：确定背景板的深度信息；
[0210]
具体的，确定背景板的每一坐标点的深度信息。
[0211]
步骤s1509：确定真实深度图；
[0212]
具体的，根据所述背景板的每一坐标点的像素坐标信息以及深度信息，生成所述背景图像对应的真实深度图。
[0213]
在本技术实施例中，通过提供一种真实深度图的生成方法，应用于深度图生成系统，所述系统包括：实验装置以及摄像装置，所述实验装置包括背景板，所述背景板上设置有多个特征点，所述方法包括：获取所述摄像装置采集到的所述背景板的背景图像；获取所述背景图像中的特征点的世界坐标信息；根据所述特征点的世界坐标信息，确定所述特征点的像素坐标信息；确定所述特征点对应的深度信息；根据所述特征点的像素坐标信息以及深度信息，生成所述背景图像对应的真实深度图。通过确定背景图像中的特征点的像素位置信息及其对应的深度信息，以生成所述背景图像对应的真实深度图，本技术能够提高真实深度图的精度。
[0214]
在生成真实深度图之后，所述真实深度图用于评价深度图的深度是否正确的标定参数或评价标准的深度图，真实深度图一般用于作为参考标准，验证深度图的误差。一般而言，可以通过多种不同的算法用来生成深度图，而不同的算法之间的数据处理各不相同，导致无法直接与真实深度图进行对比，基于此，本技术提出一种深度图的归一化方法，以解决目前不同算法对图像的处理方式不同导致无法直接与真实深度图进行对比的技术问题。
[0215]
请参阅图16，图16是本技术实施例提供的另一种实验装置的示意图；
[0216]
如图16所示，该实验装置，包括：背景模组，所述背景模组包括多个深度不同的背景板，每一所述背景板上设置有多个特征点，可以理解的是，所述实验装置与上述深度图生成系统中的实验装置相似，均包括三个背板，分别为背景板a、侧背板d以及桌面板c，其中，所述背景板a和桌面板c上设置有图案，所述图案上包括特征点，所述图案用于被摄像装置获取图像之后能够识别该图案上的特征点，所述图案可以为qr标记图案。
[0217]
可以理解的是，所述实验装置还可以包括三个以上的背板，例如：四面背板或五面背板，所述实验装置内可以放置一些设计好的物体，例如：板子，所述板子上设置有图案或重复纹理。具体的，所述桌面板c上设置有纵向凹槽和横向凹槽，所述纵向凹槽和横向凹槽分别用于插入板子，并对插入的板子进行固定。
[0218]
与上述深度图生成系统中的实验装置相比，本实验装置还包括背景模组，所述背景模组包括多个深度不同的背景板，所述多个深度不同的背景板固定设置于所述横向凹槽，并且，在摄像装置的视野内，不同背景板两两之间呈现不完全遮挡的状态，并且每一所述背景板上设置有多个特征点，以提供给摄像装置获取到每一背景板上的某一区域，以作为取样区域。
[0219]
请再参阅图17，图17是本技术实施例提供的一种深度图的归一化方法的流程示意图；
[0220]
如图17所示，该深度图的归一化方法，应用于深度图生成系统，所述深度图生成系统包括：实验装置以及摄像装置，所述实验装置包括背景模组，所述背景模组包括多个深度不同的背景板，每一所述背景板上设置有多个特征点，其中，所述深度图生成系统还包括电子设备，所述电子设备通信连接所述摄像装置，所述深度图的归一化方法的执行主体为所述深度图生成系统的电子设备，包括：
[0221]
步骤s1701：获取摄像装置采集到的所述背景模组的多幅背景图像；
[0222]
具体的，所述摄像装置对所述背景模组进行多次拍摄，以获取多幅背景图像，并将所述多幅背景图像发送到所述电子设备，以使所述电子设备获取所述摄像装置发送的所述背景模组的多幅背景图像。在本技术实施例中，可以通过间隔固定时间对所述背景模组进行拍摄，以获取多幅背景图像。
[0223]
步骤s1702：根据所述背景模组的多幅背景图像，确定多幅演算深度图；
[0224]
具体的，在获取到所述摄像装置发送的多幅背景图像之后，通过多种算法对每一幅背景图像进行处理，以确定多幅演算深度图，其中，所述算法包括激光雷达深度成像法、计算机立体视觉成像法、坐标测量机法、莫尔条纹法、结构光法等，通过多种不同的算法，确定多幅演算深度图，其中，每一演算深度图对应唯一的算法，在本技术实施例中，所述方法还包括：在获取到多幅背景图像之后，确定每一算法对应的至少一幅背景图像，通过每一算法对该算法对应的至少一幅背景图像进行处理，以获取一幅该算法对应的演算深度图，例如：可以通过某一算法对至少两幅背景图像进行处理之后，生成至少两幅该算法对应的演算深度图，并对所述两幅演算深度图进行平均，以确定该算法对应的一幅演算深度图，所述对所述两幅演算深度图进行平均，包括：对相同位置的像素点的像素坐标以及深度坐标进行平均，以确定平均坐标，所述平均坐标包括平均像素坐标以及平均深度坐标，将所述平均坐标作为该算法对应的所述演算深度图的坐标，以确定该算法对应的一幅演算深度图。
[0225]
步骤s1703：获取每一背景板对应的真实深度，确定所述多幅演算深度图的灰度值与真实深度的稳定拟合曲线；
[0226]
具体的，请再参阅图18，图18是图17中的步骤s1703的细化流程图；
[0227]
如图18所示，该步骤s1703：获取每一背景板对应的真实深度，确定所述多幅演算深度图的灰度值与真实深度的稳定拟合曲线，包括：
[0228]
步骤s17031：根据所述多幅演算深度图，确定每一演算深度图中每一背景板的取样区域对应的平均灰度值；
[0229]
具体的，所述每一背景板的取样区域为该背景板的预设区域，例如：图16中的右上角，可以理解的是，该取样区域可以被摄像装置捕捉以使采集的背景图像包含所述取样区域。其中，每一背景板均设置有一取样区域，所述取样区域用于确定像素的灰度值。
[0230]
通过获取所述多幅演算深度图，确定每一演算深度图中的每一背景板的取样区域对应的每一像素点的灰度值，对每一背景板的取样区域对应的每一像素点的灰度值求平均，确定每一背景板的取样区域对应的平均灰度值。
[0231]
步骤s17032：根据每一背景板对应的真实深度，确定每一幅演算深度图的平均灰度值与真实深度的拟合曲线，每一所述拟合曲线包括曲线参数；
[0232]
具体的，由于每一背景板均固定设置于所述实验装置，并且，固定设置于所述实验装置的橫向凹槽，因此，每一背景板距离摄像装置的距离固定，因此，每一背景板的距离可以通过预先测量得到，进而每一背景板对应的真实深度可以通过预先设置的距离与真实深度的对应关系得到。
[0233]
请再参阅图19，图19是本技术实施例提供的深度图的归一化方法的示意图；
[0234]
请一并参阅图16和图19，如图16所示，该实验装置包括五个背景板，假设五个背景板分别编号为1-5，五个背景板的真实深度与灰度值的关系如图19的右上角所示，其中，横
坐标表示真实深度，纵坐标表示灰度值。
[0235]
通过每一背景板对应的真实深度，对每一真实深度下每一幅演算深度图的平均灰度值进行拟合，以确定每一幅演算深度图的平均灰度值与真实深度的拟合曲线，从而确定每一所述拟合曲线对应的曲线参数。
[0236]
具体的，通过m阶多项式拟合，确定拟合曲线对应的方程式为其中，其中，i表示曲线的编号，aj是曲线参数。例如：表示第一条拟合曲线对应的方程式，可以理解的是，j的最大取值等于演算深度图的数量，在本技术实施例中，所述m的取值根据拟合得到的曲线具体确定，例如：m的取值为2，则拟合得到的曲线为抛物线。
[0237]
步骤s17033：根据每一所述拟合曲线对应的曲线参数，确定稳定拟合曲线；
[0238]
可以理解的是，由于多个拟合曲线之间存在一定的误差，为了最大限度地减少误差，本技术通过对每一所述拟合曲线对应的曲线参数进行求平均，以确定稳定拟合曲线。
[0239]
具体的，所述根据每一所述拟合曲线对应的曲线参数，确定稳定拟合曲线，包括：对多条拟合曲线对应的曲线参数求平均，确定平均曲线参数；根据所述平均曲线参数，确定稳定拟合曲线。
[0240]
其中，所述稳定拟合曲线为其中，为曲线参数的平均值，即平均曲线参数，其中，a
i,j
为第i条拟合曲线的第j个参数值，n为拟合曲线的数量。
[0241]
可以理解的是，不同拟合曲线的趋势相似，但是系数可能会明显不同，并且，同一算法在不同的背景图像中存在一定的误差，但是拟合曲线的整体趋势相似，因此，通过对多条拟合曲线进行求平均，从而确定平均曲线，并根据所述平均曲线参数，能够确定稳定拟合曲线，提高拟合曲线的稳定性，并减少误差。
[0242]
步骤s1704：建立真实深度图，并确定所述真实深度图对应的真实拟合曲线；
[0243]
具体的，所述建立真实深度图的步骤参见上述实施例的相关描述，在此不再赘述。
[0244]
所述确定所述真实深度图对应的真实拟合曲线，包括：
[0245]
获取所述真实深度图的真实深度，确定所述真实深度图的灰度值与真实深度的对应关系，并拟合确定所述真实深度图对应的真实拟合曲线，以确定真实曲线参数。
[0246]
具体的，确定所述真实深度图的取样区域，计算所述真实深度图的取样区域对应的平均灰度值，并根据获取到的所述真实深度图的真实深度，确定所述真实深度图的灰度值与真实深度的对应关系，并拟合确定所述真实深度图对应的真实拟合曲线，以确定真实曲线参数。
[0247]
步骤s1705：确定所述稳定拟合曲线与所述真实拟合曲线的映射关系；
[0248]
具体的，假设所述稳定拟合曲线为y＝fn(x)，所述真实拟合曲线为y
gt
＝dx+e，因此，为了确定所述稳定拟合曲线与所述真实拟合曲线的映射关系，即y
→ygt
，可以得到y
gt
＝df-n
(x)+e，例如：若所述拟合曲线为抛物线，则n＝2，此时所述稳定拟合曲线与所述真实拟合曲线的映射关系y
→ygt
为其中，a，b,c分别为二次函数y
＝f2(x)＝ax2+bx+c中的参数，e为系数项。
[0249]
可以理解的是，所述映射关系用于将演算深度图与真实深度图进行对应，即在演算深度图与真实深度图上，相同的灰度值对应相同的深度值，以为了更好地实现演算深度图与真实深度图两者之间的对比。
[0250]
步骤s1706：根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图。
[0251]
请再参阅图20，图20是图19中的步骤s1706的细化流程图；
[0252]
如图20所示，该步骤s1706：根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图，包括：
[0253]
步骤s17061：根据所述映射关系，确定每一所述演算深度图的每一坐标点的灰度值对应的深度值；
[0254]
具体的，将每一所述演算深度图的每一坐标点的灰度值对应的深度值确定为所述真实深度图中的相同的灰度值对应的深度值。
[0255]
步骤s17062：根据每一所述演算深度图的每一坐标点的灰度值对应的深度值，确定每一所述演算深度图一一对应的归一化深度图。
[0256]
具体的，在将每一所述演算深度图的每一坐标点的深度值变更为所述真实深度图中对应的深度值之后，确定每一所述演算深度图的每一坐标点对应的坐标信息，所述坐标信息包括像素坐标以及深度坐标，所述深度坐标即所述深度值，从而确定每一所述演算深度图一一对应的归一化深度图。
[0257]
请再参阅图21，图21是本技术实施例提供的一种深度图的归一化方法的整体流程示意图；
[0258]
如图21所示，该深度图的归一化方法，包括：
[0259]
步骤s2101：设置一实验装置；
[0260]
步骤s2102：获取摄像装置采集到的所述背景模组的多幅背景图像；
[0261]
步骤s2103：根据所述背景模组的多幅背景图像，确定多幅演算深度图；
[0262]
步骤s2104：建立真实深度图，获取每一背景板对应的真实深度；
[0263]
步骤s2105：确定所述多幅演算深度图的灰度值；
[0264]
步骤s2106：确定每一演算深度图的灰度值与真实深度的拟合曲线；
[0265]
步骤s2107：获取每一拟合曲线的拟合参数；
[0266]
步骤s2108：确定所述多幅演算深度图的灰度值与真实深度的稳定拟合曲线；
[0267]
步骤s2109：确定所述真实深度图对应的真实拟合曲线；
[0268]
步骤s2110：确定每一演算深度图的灰度值对应的深度值；
[0269]
步骤s2111：确定每一所述演算深度图一一对应的归一化深度图；
[0270]
步骤s2112：输出归一化深度图；
[0271]
在本技术实施例中，通过提供一种深度图的归一化方法，应用于深度图生成系统，所述深度图生成系统包括：实验装置以及摄像装置，所述实验装置包括背景模组，所述背景模组包括多个深度不同的背景板，每一所述背景板上设置有多个特征点，所述方法包括：获取摄像装置采集到的所述背景模组的多幅背景图像；根据所述背景模组的多幅背景图像，确定多幅演算深度图；获取每一背景板对应的真实深度，确定所述多幅演算深度图的灰度
值与真实深度的稳定拟合曲线；建立真实深度图，并确定所述真实深度图对应的真实拟合曲线；确定所述稳定拟合曲线与所述真实拟合曲线的映射关系；根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图。
[0272]
请参阅图22，图22是本技术实施例提供的一种深度图的评分方法的流程示意图；
[0273]
其中，该深度图的评分方法，应用于深度图生成系统，所述深度图生成系统包括至少一个背景板。
[0274]
如图22所示，该深度图的评分方法，包括：
[0275]
步骤s2201：获取归一化深度图与真实深度图；
[0276]
具体的，所述归一化深度图为上述实施例中提及的归一化深度图，所述获取归一化深度图包括：
[0277]
获取演算深度图；
[0278]
根据所述演算深度图，确定所述归一化深度图。
[0279]
具体的，所述归一化深度图为上述实施例中提及的归一化深度图，所述获取归一化深度图包括：
[0280]
获取摄像装置采集到的所述背景模组的多幅背景图像；
[0281]
根据所述背景模组的多幅背景图像，确定多幅演算深度图；
[0282]
获取每一背景板对应的真实深度，确定所述多幅演算深度图的灰度值与真实深度的稳定拟合曲线；
[0283]
建立真实深度图，并确定所述真实深度图对应的真实拟合曲线；
[0284]
确定所述稳定拟合曲线与所述真实拟合曲线的映射关系；
[0285]
根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图。
[0286]
在本技术实施例中，以一幅归一化深度图进行说明，应当说明的是，可以获取至少两幅归一化深度图，并对每一幅归一化深度图进行评分。
[0287]
具体的，所述真实深度图为上述实施例中提及的真实深度图，所述获取真实深度图，包括：
[0288]
获取所述摄像装置采集到的所述背景板的背景图像；
[0289]
获取所述背景图像中的特征点的世界坐标信息；
[0290]
根据所述特征点的世界坐标信息，确定所述特征点的像素坐标信息；
[0291]
确定所述特征点对应的深度信息；
[0292]
根据所述特征点的像素坐标信息以及深度信息，生成所述背景图像对应的真实深度图。
[0293]
在本技术实施例中，关于获取归一化深度图与真实深度图中未详尽描述的技术细节，可参见上述实施例，在此不再赘述。
[0294]
步骤s2202：确定至少一个评估区域，其中，所述评估区域为所述归一化深度图中每一背景板对应的区域；
[0295]
具体的，每一所述评估区域对应一个背景板，根据所述实验装置的背景模组的背景板的数量，确定所述评估区域的数量，例如：若所述背景模组包括五个背景板，则确定五个评估区域，其中，每一评估区域均为所述归一化深度图中每一背景板对应的区域。
[0296]
步骤s2203：确定每一所述评估区域中的边界区域和内部区域，并将所述边界区域划分为多个子边界区域；
[0297]
具体的，每一所述评估区域根据其位置可以划分为边界区域和内部区域，请再参阅图23，图23是本技术实施例提供的一种评估区域的示意图；
[0298]
如图23所示，该评估区域包括边界区域和内部区域，其中，评估区域中的内部区域为233，其余标号为边界区域，根据所述边界区域的位置关系，例如：边界区域的内外关系以及边界区域的背景是否有遮蔽，将所述边界区域划分为多个子边界区域，包括：边界外无遮蔽区域(ff non-occlusion，ffn)231，边界外有遮蔽区域(ff occlusion，ffo)234，边界内有遮蔽区域(ft occlusion，fto)235以及边界内无遮蔽区域(ft non-occlusion，ftn)232。
[0299]
可以理解的是，本技术实施例中提及的遮蔽指的是该区域的后方存在其他物体或物件。
[0300]
通过将所述边界区域划分为多个子边界区域，能够更好地对所述归一化深度图进行评价。
[0301]
步骤s2204：根据所述真实深度图，计算所述内部区域以及每一子边界区域的指标分数；
[0302]
具体的，在对评估区域进行划分之后，每一区域均对应多个评价指标，每一评价指标均对应唯一的指标分数，其中，在计算所述内部区域以及每一子边界区域的指标分数之前，所述方法还包括：预先建立多个评价指标，所述计算所述内部区域以及每一子边界区域的指标分数，包括：
[0303]
计算所述内部区域以及每一子边界区域的每一评价指标的指标分数。
[0304]
例如：所述评价指标包括平面均匀性指标、平面方向性指标、前景溢出指标、前景内缩指标、边界外标准差指标、边界内标准差指标、边界外凸出像素指标、边界内凸出像素指标、边界外锐利度指标、边界内锐利度指标等，其中，每一评价指标对应一指标分数；
[0305]
具体的，所述平面均匀性指标对应平面均匀性指标分数(variation score，var_s)，其中，所述平面均匀性指标分数是测量一个深度图平面品质的指标，在本技术实施例中，所述平面均匀性指标分数定义如下：
[0306][0307]
其中，var_s为平面均匀性指标分数，var(d)为深度指标，wr为调整参数，在本技术实施例中，其中，其中，di为归一化深度图中第i个像素的深度，为真实深度图中第i个像素的真实深度，n为像素数量，
[0308][0309]
在本技术实施例中，所述指标分数的值域被设置为[0，100]，因此，当平面均匀性指标分数var_s小于0时，设定所述平面均匀性指标分数为0，以满足指标分数位于值域[0，100]的要求。可以理解的是，所述平面均匀性指标分数是为了消除归一化深度图与真实深
度图之间的整体偏移所造成的影响，因此该平面均匀性指标分数只适用于所述评估区域的内部区域233。
[0310]
具体的，所述平面方向性指标对应平面方向性指标分数(orientation score，ori_s)，其中，所述平面方向性指标分数是测量一个深度图平面品质的指标，在本技术实施例中，所述平面方向性指标分数定义如下：
[0311][0312]
其中，ori_s为平面方向性指标分数，为归一化深度图中像素i的法向量，为真实深度图中相同像素位置的法向量，n为像素数量。
[0313]
具体的，所述前景溢出指标对应前景溢出指标分数(foreground fattening score，ffs)，所述前景溢出指标分数用于测量边界外深度图的图像品质，其通过溢出边界的像素数目比例来衡量归一化深度图的图像品质。
[0314]
请再参阅图24a，图24a是本技术实施例提供的一种前景溢出的示意图；
[0315]
如图24a所示，ff的区域为虚线框出的范围，前景溢出指标分数(foreground fattening score，ffs)定义为属于前景溢出(foreground fattening，ff)的范围mb内的像素灰度值较靠近真实背景灰度值的总像素占前景溢出(foreground fattening，ff)的范围mb内的像素总数的比例，即：
[0316][0317]
其中，ffs为前景溢出指标分数，h(i)＝k*fg
gt
(i)+(1-k)*bg
gt
(i)，其中，k为系数，系数k的取值范围为0～1，例如：设置系数k为0.5，fg
gt
(i)为真实深度图的像素位置i上的前景的灰度值，bg
gt
(i)为真实深度图的像素位置i上的背景的灰度值，a(i)为归一化深度图的像素位置i的灰度值，|mb|为区域mb的面积。
[0318]
具体的，前景内缩指标对应前景内缩指标分数(foreground thining score，fts)，所述前景内缩指标分数用于测量边界内深度图的图像品质，其通过凹进边界的像素数目比例来衡量归一化深度图的图像品质。前景内缩指标分数(foreground thining score，fts)定义为属于前景内缩(foreground thining，ft)的范围mf内的像素灰度值较靠近真实前景灰度值的总像素占前景内缩(foreground thining，ft)的范围mf的像素总数的比例，即：
[0319][0320]
其中，fts为前景内缩指标分数，h(i)＝k*fg
gt
(i)+(1-k)*bg
gt
(i)，其中，k为系数，系数k的取值范围为0～1，例如：设置系数k为0.5，fg
gt
(i)为真实深度图的像素位置i上的前景的灰度值，bg
gt
(i)为真实深度图的像素位置i上的背景的灰度值，a(i)为归一化深度图的像素位置i的灰度值，|mf|为区域mf的面积。
[0321]
请再参阅图24b，图24b是本技术实施例提供的另一种前景溢出的示意图；
[0322]
如图24b所示，x
edge
(i)表示溢出边界的前景的边界，x
edge,gt
(i)表示真实深度图的
边界，表示法向量。
[0323]
具体的，边界外标准差指标对应边界外标准差指标分数(standard deviation on ff region，sd_ff)，用于测量边界外深度图的图像品质，其通过溢出边界的前景的宽度的标准差来衡量图像品质，在本技术实施例中，所述边界外标准差指标分数sd_ff被定义为：
[0324][0325]
其中，sd
ff
为边界外标准差指标分数，x
dif
＝|(x
edge
(i)-xedge,gti
·
n，其中，xedgei为归一化深度图中溢出边界的前景的边界，x
edge，gt
(i)为真实深度图中溢出边界的前景的边界，为x
dif
的平均值，i为真实边界上的第i个像素，为法向量；
[0326]
具体的，边界内标准差指标对应边界内标准差指标分数(standard deviation on ft region，sd_ft)，用于测量边界内深度图的图像品质，其通过凹进边界的背景的宽度的标准差来衡量图像品质，在本技术实施例中，所述边界内标准差指标分数sd_ft被定义为：
[0327][0328]
其中，sd
ft
为边界内标准差指标分数，x
′
dif
＝|(x
′
edge
(i)-x
′
edge,gti
··
n，x
′
edgei为归一化深度图中凹进边界的背景的边界，x
′
edgegt
(i)为真实深度图中凹进边界的背景的边界，为x
′
dif
的平均值，i为真实边界上的第i个像素，为法向量。
[0329]
具体的，边界外凸出像素指标对应边界外凸出像素指标分数(pixel shift on ff region，ps_ff)，用于测量边界外深度图的图像品质，其通过溢出边界的前景的平均宽度来衡量图像品质，在本技术实施例中，所述边界外凸出像素指标分数ps_ff被定义为：
[0330][0331]
其中，ps
ff
为边界外凸出像素指标分数，n为ff区域内所有像素的总和，
[0332]
具体的，边界内凸出像素指标对应边界内凸出像素指标分数(pixel shift on ft region，ps_ft)，用于测量边界内深度图的图像品质，其通过凹进边界的背景的平均宽度来衡量图像品质，在本技术实施例中，所述边界内凸出像素指标分数ps_ft被定义为：
[0333][0334]
其中，ps
ft
为边界内凸出像素指标分数，n为ft区域内所有像素的总和，
[0335]
具体的，边界外锐利度指标对应边界外锐利度指标分数(relative gradient of ff boundary，rg_ff)，用于测量边界外深度图的图像品质，其通过溢出边界的前景的边界锐利度来衡量图像品质，在本技术实施例中，所述边界外锐利度指标分数rg_ff被定义为：
[0336][0337]
其中，rg
ff
为边界外锐利度指标分数，fg
gt
(i)为真实深度图的像素位置i上的前景的灰度值，bg
gt
(i)为真实深度图的像素位置i上的背景的灰度值，a(i)为归一化深度图的像素位置i的灰度值。
[0338]
具体的，边界内锐利度指标对应边界内锐利度指标分数(relative gradient of ft boundary，rg_ft)，用于测量边界内深度图的图像品质，其通过凹进边界的背景的边界锐利度来衡量图像品质，在本技术实施例中，所述边界内锐利度指标分数rg_ft被定义为：
[0339][0340]
其中，rg
ft
为边界内锐利度指标分数，fg
gt
(i)为真实深度图的像素位置i上的前景的灰度值，bg
gt
(i)为真实深度图的像素位置i上的背景的灰度值，a(i)为归一化深度图的像素位置i的灰度值。
[0341]
在本技术实施例中，通过设计多个评价指标，并确定所述内部区域以及每一子边界区域的指标分数，本技术能够提高归一化深度图的评估标准以更好地对归一化深度图进行评价。
[0342]
步骤s2205：根据所述指标分数，确定情境分数，以输出所述归一化深度图对应的评分结果。
[0343]
可以理解的是，指标分数对于实际场景的评估直观性不足，因此，本技术涉及多个情境，通过整合相关的评价指标以描述对于的情境。具体的，本技术实施例提供多个情境，包括：重复纹理(repeated patterns)、平坦区(textureless)、曲面(curve)、斜面(slope)、透明物体(transparent object)、光线(light)、前后景色彩相似度(color similarity)、细部结构(fine structure)、洞(holes)以及深度解析度(depth resolution)等情境。
[0344]
在本技术实施例中，所述方法还包括：
[0345]
确定至少两个情境类型，其中，所述情境类型包括基本情境和复杂情境，每一情境类型包括多个不同的情境。
[0346]
具体的，所述情境类型包括基本情境和复杂情境，所述基本情境包括：重复纹理(repeated patterns)、平坦区(textureless)、曲面(curve)、斜面(slope)、透明物体(transparent object)以及光线(light)；所述复杂情境包括：前后景色彩相似度(color similarity)、细部结构(fine structure)、洞(holes)以及深度解析度(depth resolution)。
[0347]
具体的，为了针对不同的情境，本技术需要对实验场景进行单独设计，例如：针对重复纹理(repeated patterns)情境，通过在被测试的背景板上贴上具有代表性的重复纹理，请参阅图25，图25是本技术实施例提供的一种重复纹理情境的示意图；
[0348]
如图25所示，通过在虚线内的背景板上贴上重复纹理，从而实现重复纹理情境的设计。
[0349]
具体的，针对平坦区(textureless)情境，通过使用一块没有纹理的背景板；针对曲面(curve)情境，通过使用一块带有曲面的背景板或物体；针对斜面(slope)情境，通过使
用一块具有斜面的背面板或物体；针对透明物体(transparent object)情境，通过使用具有透光性的圆柱或者方形物体；针对光线(light)情境，通过在实验装置的背景板旁边设置一个可调整光线强度的装置，例如：可调光灯；
[0350]
在本技术实施例中，由于基本情境较为简单，因此，针对基本情境，需要考虑上述全部的指标分数，即平面均匀性指标分数、平面方向性指标分数、前景溢出指标分数、前景内缩指标分数、边界外标准差指标分数、边界内标准差指标分数、边界外凸出像素指标分数、边界内凸出像素指标分数、边界外锐利度指标分数、边界内锐利度指标分数，通过计算全部的指标分数的平均值，将所述全部的指标分数的平均值作为该基本情境对应的情境分数，例如：重复纹理情境的情境分数为全部的指标分数的平均值。
[0351]
在本技术实施例中，针对复杂情境，本技术对分数和背景模组进行重新设计，以满足每一复杂情境下的深度图评价要求。
[0352]
具体的，针对前后景色彩相似度(color similarity)情境，进行针对性地设置实验装置，请参阅图26，图26是本技术实施例提供的一种前后景色彩相似度情境的示意图；
[0353]
如图26所示，通过使前景物件的边界颜色和背后的被遮蔽物件的部分有类似的颜色，例如：若前景物件的边界颜色为黑色，则背后的被遮蔽物件的部分也设置为黑色，从而设置与前后景色彩相似度(color similarity)情境对应的实验装置。
[0354]
具体的，由于前后景色彩相似度(color similarity)情境只需考虑边界的相关指标分数，因此，所述前后景色彩相似度(color similarity)情境对应与边界相关的指标分数，包括：前景溢出指标分数、前景内缩指标分数、边界外标准差指标分数、边界内标准差指标分数、边界外凸出像素指标分数、边界内凸出像素指标分数、边界外锐利度指标分数以及边界内锐利度指标分数，一共有八个指标分数，通过计算所述前后景色彩相似度情境对应的八个指标分数的平均值，将所述八个指标分数的平均值确定为所述前后景色彩相似度情境对应的情境分数。
[0355]
具体的，针对细部结构(fine structure)情境，进行针对性地设置实验装置，请再参阅图27，图27是本技术实施例提供的一种细部结构情境的示意图；
[0356]
如图27所示，通过设计一背景模组，该背景模组包含一个有挖洞的板子，以及可以插在所述板子的洞中间的木条，可以理解的是，可以设置一个板子进行实验，也可以搭配其他不同功能性的板子或物件进行多个情境的实验。
[0357]
具体的，与前后景色彩相似度(color similarity)情境相似，细部结构(fine structure)情境也是只需要考虑边界的相关指标分数，因此，所述细部结构(fine structure)情境对应与边界相关的指标分数，包括：前景溢出指标分数、前景内缩指标分数、边界外标准差指标分数、边界内标准差指标分数、边界外凸出像素指标分数、边界内凸出像素指标分数、边界外锐利度指标分数以及边界内锐利度指标分数，一共有八个指标分数，与前后景色彩相似度(color similarity)情境不同的是，所述细部结构(fine structure)情境还可以针对每一指标分数设置与该指标分数对应的权重，通过分别确定每一指标分数对应的权重，计算所述八个指标分数对应的加权平均值，将所述加权平均值确定为所述细部结构(fine structure)情境对应的情境分数。可以理解的是，每一所述指标分数对应的权重可以根据实际需要具体设置，以满足具体的需求。
[0358]
具体的，针对洞(holes)情境，进行针对性地设置实验装置，请再参阅图28，图28是
本技术实施例提供的一种洞情境的示意图；
[0359]
如图28所示，通过设计一背景模组，该背景模组包含一个有挖洞的板子，以及可以插在所述板子的洞中间的木条，可以理解的是，可以设置一个板子进行实验，也可以搭配其他不同功能性的板子或物件进行多个情境的实验。优选地，本技术实施例以背景模组包含有两个洞，并且两个洞以中间木条隔开为洞(holes)情境对应的实验装置。
[0360]
具体的，所述洞(holes)情境考虑全部指标分数，即包含平面均匀性指标分数、平面方向性指标分数、前景溢出指标分数、前景内缩指标分数、边界外标准差指标分数、边界内标准差指标分数、边界外凸出像素指标分数、边界内凸出像素指标分数、边界外锐利度指标分数以及边界内锐利度指标分数，总共十个指标分数，通过设置每一指标分数对应的权重，分别确定每一指标分数对应的权重，计算所述八个指标分数对应的加权平均值，将所述加权平均值确定为所述洞(holes)情境对应的情境分数。可以理解的是，每一所述指标分数对应的权重可以根据实际需要具体设置，以满足具体的需求。
[0361]
在本技术实施例中，所述方法还包括：针对洞(holes)情境，调整分数定义，例如：将前景溢出指标分数(foreground fattening score，ffs)中比较的真实深度图的背景调整为前景，以及将前景内缩指标分数(foreground thining score，fts)中比较的真实深度图的前景调整为背景，以及将平面均匀性指标分数(variation score，var_s)中比较的真实深度图的前景调整为背景，以及将平面方向性指标分数(orientation score，ori_s)中比较的真实深度图的前景调整为背景。
[0362]
具体的，针对深度解析度(depth resolution)情境，进行针对性地设置实验装置，请再参阅图29，图29是本技术实施例提供的一种深度解析度情境的示意图；
[0363]
如图29所示，通过设置一背景模组，所述背景模组包括n个背景板，每一背景板均插在桌面的凹槽上，以实现每一背景板的固定，其中，不同背景板之间有不同遮蔽，但是不能完全遮蔽，即保持每一背景板右上角不被遮蔽，可以被摄像装置获取到图像。
[0364]
请再参阅图30，图30是本技术实施例提供的另一种深度解析度情境的示意图；
[0365]
如图30所示，考虑每一背景板的遮蔽边界，即图30中的虚线框所在的位置，则只需要考虑边界的相关指标分数，因此，所述深度解析度(depth resolution)情境对应与边界相关的指标分数，包括：前景溢出指标分数、前景内缩指标分数、边界外标准差指标分数、边界内标准差指标分数、边界外凸出像素指标分数、边界内凸出像素指标分数、边界外锐利度指标分数以及边界内锐利度指标分数，一共有八个指标分数。
[0366]
请再参阅图31，图31是本技术实施例提供的一种指标分数的示意图；
[0367]
如图31所示，通过将所述八个指标分数与真实深度结合，确定指标分数的示意图，则可以分析出大部分的指标分数在哪一个深度之后的分数值较低，分数值太低代表该指标分数不具备参考价值，即不具有深度鉴别度，该深度即为深度解析度，例如：设定一个分数阈值，计算每一指标分数在该分数阈值时对应的深度的平均值，则确定所述深度的平均值为深度解析度，如图31所示，假设所述分数阈值为50分，则获取每一指标分数在50分时的深度，并且求每一指标分数在50分时的深度的平均值，即图中所示的125，此时可确定深度解析度为125cm。
[0368]
其中，所述根据所述指标分数，确定情境分数，以输出所述归一化深度图对应的评分结果，包括：输出所述归一化深度图中的每一指标分数以及每一情境下的情境分数，集合
每一指标分数以及每一情境下的情境分数作为所述归一化深度图对应的评分结果。通过建立不同的情境，对每一情境进行评分，本技术能够针对不同的场景进行评价，以更好地对归一化深度图进行评分。
[0369]
在本技术实施例中，由于不同演算法生成的归一化深度图不同，因此在对每一归一化深度图进行评分之后，进行比较以加速演算法的优化过程。
[0370]
例如：假设有三种演算法，分别为第一演算法a1、第二演算法a2以及第三演算法a3，比如针对重复纹理情境，三个演算法所得到的情境分数分别为score_a1＝70，score_a2＝80，score_a3＝90，此时代表第三演算法a3在重复纹理情境的表现最好；针对细部结构情境，三个演算法所得到的情境分数分别为score_a1＝70，score_a2＝85，score_a3＝80，表示第二演算法a2在细部结构情境的表现最好；针对深度解析度情境，设置一分数阈值，例如：设置分数阈值为50分，进行数据呈现之后，得到三个演算法的深度解析度分别为score_a1＝120cm，score_a2＝130cm，score_a3＝135cm，表示第三演算法a3在深度解析度情境的表现最好。
[0371]
依上所述，可以得到每一演算法在每一情境下的优劣，从而可以加速演算法的优化方向，比如：当某一演算法在边界外锐利度指标以及边界内锐利度指标的分数特别低时，而在平面均匀性指标以及平面方向性指标的分数特别高时，则代表该演算法可能存在过度抹平深度灰度值的缺失，因此，可以提供参考意见给该演算法的开发人员，作为分析该演算法缺陷的参考，以对该演算法进行更精细的深度图方向改善；或者，请再参阅图32，图32是本技术实施例提供的一种演算法的深度结果的示意图；
[0372]
如图32所示，当某一演算法的深度结果如图32的左半边所示时，而右半边为通过本专利提供的方法所显示出的错误深度，因此，可以明确确定深度图的哪些区域存在错误深度，以提供给该演算法的开发人员，作为分析该演算法缺陷的参考，以对该演算法进行更精细的深度图方向改善。
[0373]
在本技术实施例中，通过提供一种深度图的评分方法，应用于深度图生成系统，所述深度图生成系统包括至少一个背景板，所述方法包括：获取归一化深度图与真实深度图；确定至少一个评估区域，其中，所述评估区域为所述归一化深度图中每一背景板对应的区域；确定每一所述评估区域中的边界区域和内部区域，并将所述边界区域划分为多个子边界区域；根据所述真实深度图，计算所述内部区域以及每一子边界区域的指标分数；根据所述指标分数，确定情境分数，以输出所述归一化深度图对应的评分结果。通过计算归一化深度图的多个区域的指标分数，进而确定情境分数，本技术能够更好地对归一化深度图进行评分。
[0374]
请再参阅图33，图33是本技术实施例提供的一种真实深度图的生成装置的结构示意图；
[0375]
其中，该真实深度图的生成装置，应用于深度图生成系统，所述系统包括：实验装置以及摄像装置，所述实验装置包括背景板，所述背景板上设置有多个特征点，如图33所示，该真实深度图的生成装置330，包括：
[0376]
背景图像获取单元331，用于获取所述摄像装置采集到的所述背景板的背景图像；
[0377]
世界坐标单元332，用于获取所述背景图像中的特征点的世界坐标信息；
[0378]
像素坐标单元333，用于根据所述特征点的世界坐标信息，确定所述特征点的像素
坐标信息；
[0379]
深度信息单元334，用于确定所述特征点对应的深度信息；
[0380]
真实深度图单元335，用于根据所述特征点的像素坐标信息以及深度信息，生成所述背景图像对应的真实深度图。
[0381]
在本技术实施例中，所述像素坐标单元333，具体用于：
[0382]
根据所述背景图像中的特征点的世界坐标信息，确定所述背景图像中的特征点的相机坐标信息；
[0383]
根据所述背景图像中的特征点的相机坐标信息，确定背景图像中的特征点的像素坐标信息。
[0384]
在本技术实施例中，所述根据所述背景图像中的特征点的世界坐标信息，确定所述背景图像中的特征点的相机坐标信息，包括：
[0385]
获取摄像装置的姿态参数，所述姿态参数包括旋转矩阵和平移矩阵；
[0386]
根据所述旋转矩阵和平移矩阵，基于所述背景图像中的特征点的世界坐标信息，确定背景图像中的特征点的相机坐标信息。
[0387]
在本技术实施例中，所述深度信息单元334，具体用于：
[0388]
根据所述特征点的相机坐标信息，确定所述特征点对应的深度信息。
[0389]
在本技术实施例中，所述根据所述背景图像中的特征点的相机坐标信息，确定背景图像中的特征点的像素坐标信息，包括：
[0390]
获取摄像装置的内部参数；
[0391]
根据所述摄像装置的内部参数，基于所述背景图像中的特征点的相机坐标信息，确定所述背景图像中的特征点的像素坐标信息。
[0392]
在本技术实施例中，所述装置还包括：
[0393]
校正单元，用于校正所述背景图像中的特征点的像素坐标信息。
[0394]
在本技术实施例中，所述背景板的每一角落处均设置有标记图案，每一所述标记图案均包括第一特征点和第二特征点，所述校正所述背景图像中的特征点的像素坐标信息，包括：
[0395]
获取所述第二特征点的像素坐标信息；
[0396]
根据所述第一特征点与第二特征点的相对位置关系，确定所述第一特征点的像素坐标信息，将所述第一特征点的像素坐标信息确定为所述背景图像中对应的特征点的校正后的像素坐标信息。
[0397]
在本技术实施例中，所述真实深度图单元335，具体用于：
[0398]
根据所述背景板的多个特征点组成的特征点集，确定所述特征点集对应的平面的平面方程式；
[0399]
根据所述平面方程式，确定所述背景板的每一坐标点的深度信息；
[0400]
确定每一坐标点的深度信息对应的灰度值，生成所述背景图像对应的真实深度图。
[0401]
需要说明的是，上述真实深度图的生成装置可执行本技术实施例所提供的真实深度图的生成方法，具备执行方法相应的功能模块和有益效果。未在真实深度图的生成装置实施例中详尽描述的技术细节，可参见本技术实施例所提供的真实深度图的生成方法。
[0402]
在本技术实施例中，通过提供一种真实深度图的生成装置，应用于深度图生成系统，所述系统包括：实验装置以及摄像装置，所述实验装置包括背景板，所述背景板上设置有多个特征点，所述真实深度图的生成装置，包括：背景图像获取单元，用于获取所述摄像装置采集到的所述背景板的背景图像；世界坐标单元，用于获取所述背景图像中的特征点的世界坐标信息；像素坐标单元，用于根据所述特征点的世界坐标信息，确定所述特征点的像素坐标信息；深度信息单元，用于确定所述特征点对应的深度信息；真实深度图单元，用于根据所述特征点的像素坐标信息以及深度信息，生成所述背景图像对应的真实深度图。通过确定背景图像中的特征点的像素位置信息及其对应的深度信息，以生成所述背景图像对应的真实深度图，本技术能够提高真实深度图的精度。
[0403]
请再参阅图34，图34是本技术实施例提供的一种深度图的归一化装置的结构示意图；
[0404]
其中，该深度图的归一化装置，应用于深度图生成系统，所述深度图生成系统包括：实验装置以及摄像装置，所述实验装置包括背景模组，所述背景模组包括多个深度不同的背景板，每一所述背景板上设置有多个特征点；
[0405]
如图34所示，所述深度图的归一化装置340，包括：
[0406]
背景图像获取单元341，用于获取摄像装置采集到的所述背景模组的多幅背景图像；
[0407]
演算深度图单元342，用于根据所述背景模组的多幅背景图像，确定多幅演算深度图；
[0408]
稳定拟合曲线单元343，用于根据所述多幅演算深度图，确定灰度值与真实深度的稳定拟合曲线；
[0409]
真实拟合曲线344，用于建立真实深度图，并确定所述真实深度图对应的真实拟合曲线；
[0410]
映射关系单元345，用于确定所述稳定拟合曲线与所述真实拟合曲线的映射关系；
[0411]
归一化深度图单元346，用于根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图。
[0412]
在本技术实施例中，所述稳定拟合曲线单元343，具体用于：
[0413]
根据所述多幅演算深度图，确定每一演算深度图中每一背景板的取样区域对应的平均灰度值；
[0414]
获取每一背景板对应的真实深度，确定每一幅演算深度图的平均灰度值与真实深度的拟合曲线，每一所述拟合曲线包括曲线参数；
[0415]
根据每一所述拟合曲线对应的曲线参数，确定稳定拟合曲线。
[0416]
在本技术实施例中，所述根据每一所述拟合曲线对应的曲线参数，确定稳定拟合曲线，包括：
[0417]
对多条拟合曲线对应的曲线参数求平均，确定平均曲线参数；
[0418]
根据所述平均曲线参数，确定稳定拟合曲线。
[0419]
在本技术实施例中，所述真实拟合曲线344，具体用于：
[0420]
获取所述真实深度图的真实深度，确定所述真实深度图的灰度值与真实深度的对应关系，并拟合确定所述真实深度图对应的真实拟合曲线，以确定真实曲线参数。
[0421]
在本技术实施例中，所述归一化深度图单元346，具体用于：
[0422]
根据所述映射关系，确定每一所述演算深度图的每一坐标点的灰度值对应的深度值；
[0423]
根据每一所述演算深度图的每一坐标点的灰度值对应的深度值，确定每一所述演算深度图一一对应的归一化深度图。
[0424]
在本技术实施例中，所述根据所述映射关系，确定每一所述演算深度图的每一坐标点的灰度值对应的深度值，包括：
[0425]
将每一所述演算深度图的每一坐标点的灰度值对应的深度值确定为所述真实深度图中的相同的灰度值对应的深度值。
[0426]
需要说明的是，上述深度图的归一化装置可执行本技术实施例所提供的深度图的归一化方法，具备执行方法相应的功能模块和有益效果。未在深度图的归一化装置实施例中详尽描述的技术细节，可参见本技术实施例所提供的深度图的归一化方法。
[0427]
在本技术实施例中，通过提供一种深度图的归一化装置，应用于深度图生成系统，所述深度图生成系统包括：实验装置以及摄像装置，所述实验装置包括背景模组，所述背景模组包括多个深度不同的背景板，每一所述背景板上设置有多个特征点，所述装置包括：背景图像获取单元，用于获取摄像装置采集到的所述背景模组的多幅背景图像；演算深度图单元，用于根据所述背景模组的多幅背景图像，确定多幅演算深度图；稳定拟合曲线单元，用于根据所述多幅演算深度图，确定灰度值与真实深度的稳定拟合曲线；真实拟合曲线，用于建立真实深度图，并确定所述真实深度图对应的真实拟合曲线；映射关系单元，用于确定所述稳定拟合曲线与所述真实拟合曲线的映射关系；归一化深度图单元，用于根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图。通过确定稳定拟合曲线与真实拟合曲线的映射关系，以确定每一演算深度图一一对应的归一化深度图，本技术能够解决不同算法对图像的处理方式不同导致无法直接与真实深度图进行对比的技术问题。
[0428]
请再参阅图35，图35是本技术实施例提供的一种深度图的评分装置的结构示意图；
[0429]
其中，该深度图的评分装置，应用于电子设备，如图35所示，该深度图的评分装置350，包括：
[0430]
深度图获取单元351，用于获取归一化深度图与真实深度图；
[0431]
评估区域单元352，用于确定至少一个评估区域，其中，所述评估区域为所述归一化深度图中每一背景板对应的区域；
[0432]
区域划分单元353，用于确定每一所述评估区域中的边界区域和内部区域，并将所述边界区域划分为多个子边界区域；
[0433]
指标分数单元354，用于根据所述真实深度图，计算所述内部区域以及每一子边界区域的指标分数；
[0434]
评分结果单元355，用于根据所述指标分数，确定情境分数，以输出所述归一化深度图对应的评分结果。
[0435]
在本技术实施例中，所述深度图的评分装置还包括：
[0436]
评价指标单元，用于预先建立多个评价指标，所述计算所述内部区域以及每一子
边界区域的指标分数，包括：
[0437]
计算所述内部区域以及每一子边界区域的每一评价指标的指标分数。
[0438]
在本技术实施例中，所述深度图的评分装置还包括：
[0439]
情境类型单元，用于确定至少两个情境类型，其中，所述情境类型包括基本情境和复杂情境，每一情境类型包括多个不同的情境。
[0440]
在本技术实施例中，所述装置还包括：
[0441]
对应单元，用于确定每一所述情境对应的至少一个评价指标。
[0442]
在本技术实施例中，所述评分结果单元355，具体用于：
[0443]
根据每一所述情境对应的至少一个评价指标，确定每一所述情境对应的至少一个指标分数；
[0444]
根据每一所述情境对应的至少一个指标分数，确定每一所述情境对应的情境分数。
[0445]
在本技术实施例中，所述深度图获取单元351，具体用于：
[0446]
获取演算深度图；
[0447]
根据所述演算深度图，确定所述归一化深度图。
[0448]
在本技术实施例中，所述多个子边界区域包括边界外无遮蔽区域、边界外有遮蔽区域、边界内无遮蔽区域、边界内有遮蔽区域。
[0449]
需要说明的是，上述深度图的评分装置可执行本技术实施例所提供的深度图的评分方法，具备执行方法相应的功能模块和有益效果。未在深度图的评分装置实施例中详尽描述的技术细节，可参见本技术实施例所提供的深度图的评分方法。
[0450]
在本技术实施例中，通过提供一种深度图的评分装置，应用于电子设备，所述装置包括：深度图获取单元，用于获取归一化深度图与真实深度图；评估区域单元，用于确定至少一个评估区域，其中，所述评估区域为所述归一化深度图中每一背景板对应的区域；区域划分单元，用于确定每一所述评估区域中的边界区域和内部区域，并将所述边界区域划分为多个子边界区域；指标分数单元，用于根据所述真实深度图，计算所述内部区域以及每一子边界区域的指标分数；评分结果单元，用于根据所述指标分数，确定情境分数，以输出所述归一化深度图对应的评分结果。通过计算归一化深度图的多个区域的指标分数，进而确定情境分数，本技术能够更好地对归一化深度图进行评分。
[0451]
请参阅图36，图36为本技术各个实施例的一种电子设备的硬件结构示意图；
[0452]
如图36所示，该电子设备360包括但不限于：射频单元361、网络模块362、音频输出单元363、输入单元364、传感器365、显示单元366、用户输入单元367、接口单元368、存储器369、处理器3610、以及电源3611等部件，所述电子设备360还包括摄像头。本领域技术人员可以理解，图36中示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本技术实施例中，电子设备包括但不限于电视机、手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
[0453]
处理器3610，用于获取所述摄像装置采集到的所述背景板的背景图像；获取所述背景图像中的特征点的世界坐标信息；根据所述特征点的世界坐标信息，确定所述特征点的像素坐标信息；确定所述特征点对应的深度信息；根据所述特征点的像素坐标信息以及
深度信息，生成所述背景图像对应的真实深度图。
[0454]
在本技术实施例中，通过确定背景图像中的特征点的像素位置信息及其对应的深度信息，以生成所述背景图像对应的真实深度图，本技术能够提高真实深度图的精度。
[0455]
或者，所述处理器3610，用于获取摄像装置采集到的所述背景模组的多幅背景图像；根据所述背景模组的多幅背景图像，确定多幅演算深度图；获取每一背景板对应的真实深度，确定所述多幅演算深度图的灰度值与真实深度的稳定拟合曲线；建立真实深度图，并确定所述真实深度图对应的真实拟合曲线；确定所述稳定拟合曲线与所述真实拟合曲线的映射关系；根据所述映射关系，基于每一所述演算深度图，确定每一所述演算深度图一一对应的归一化深度图。
[0456]
在本技术实施例中，通过确定稳定拟合曲线与真实拟合曲线的映射关系，以确定每一演算深度图一一对应的归一化深度图，本技术能够解决不同算法对图像的处理方式不同导致无法直接与真实深度图进行对比的技术问题。
[0457]
或者，所述处理器3610，用于获取归一化深度图与真实深度图；确定至少一个评估区域，其中，所述评估区域为所述归一化深度图中每一背景板对应的区域；确定每一所述评估区域中的边界区域和内部区域，并将所述边界区域划分为多个子边界区域；根据所述真实深度图，计算所述内部区域以及每一子边界区域的指标分数；根据所述指标分数，确定情境分数，以输出所述归一化深度图对应的评分结果。
[0458]
在本技术实施例中，通过计算归一化深度图的多个区域的指标分数，进而确定情境分数，本技术能够更好地对深度图进行评分。
[0459]
应当理解的是，本技术实施例中，射频单元361可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器3610处理；另外，将上行的数据发送给基站。通常，射频单元361包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元361还可以通过无线通信系统与网络和其他设备通信。
[0460]
电子设备360通过网络模块362为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
[0461]
音频输出单元363可以将射频单元361或网络模块362接收的或者在存储器369中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元363还可以提供与电子设备360执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元363包括扬声器、蜂鸣器以及受话器等。
[0462]
输入单元364用于接收音频或视频信号。输入单元364可以包括图形处理器(graphics processing unit，gpu)3641和麦克风3642，图形处理器3641对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的目标图像进行处理。处理后的图像帧可以显示在显示单元366上。经图形处理器3641处理后的图像帧可以存储在存储器369(或其它存储介质)中或者经由射频单元361或网络模块362进行发送。麦克风3642可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元361发送到移动通信基站的格式输出。
[0463]
电子设备360还包括至少一种传感器365，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境
光线的明暗来调节显示面板3661的亮度，接近传感器可在电子设备360移动到耳边时，关闭显示面板3661和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器365还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
[0464]
显示单元366用于显示由用户输入的信息或提供给用户的信息。显示单元366可包括显示面板3661，可以采用液晶显示器(liquid crystal display，lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板3661。
[0465]
用户输入单元367可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元367包括触控面板3671以及其他输入设备3672。触控面板3671，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板3671上或在触控面板3671附近的操作)。触控面板3671可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器3610，接收处理器3610发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板3671。除了触控面板3671，用户输入单元367还可以包括其他输入设备3672。具体地，其他输入设备3672可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
[0466]
进一步的，触控面板3671可覆盖在显示面板3661上，当触控面板3671检测到在其上或附近的触摸操作后，传送给处理器3610以确定触摸事件的类型，随后处理器3610根据触摸事件的类型在显示面板3661上提供相应的视觉输出。虽然在图36中，触控面板3671与显示面板3661是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板3671与显示面板3661集成而实现电子设备的输入和输出功能，具体此处不做限定。
[0467]
接口单元368为外部装置与电子设备360连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元368可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备360内的一个或多个元件或者可以用于在电子设备360和外部装置之间传输数据。
[0468]
存储器369可用于存储软件程序以及各种数据。存储器369可主要包括存储程序区和存储数据区，其中，存储程序区可存储至少一个功能所需的应用程序3691(比如声音播放功能、图像播放功能等)以及操作系统3692等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器369可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0469]
处理器3610是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各
个部分，通过运行或执行存储在存储器369内的软件程序和/或模块，以及调用存储在存储器369内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器3610可包括一个或多个处理单元；优选的，处理器3610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器3610中。
[0470]
电子设备360还可以包括给各个部件供电的电源3611(比如电池)，优选的，电源3611可以通过电源管理系统与处理器3610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0471]
另外，电子设备360包括一些未示出的功能模块，在此不再赘述。
[0472]
优选的，本技术实施例还提供一种电子设备，包括处理器3610，存储器369，存储在存储器369上并可在所述处理器3610上运行的计算机程序，该计算机程序被处理器3610执行时实现上述的真实深度图的生成方法实施例、深度图的归一化方法实施例以及深度图的评分方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0473]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被一个或多个处理器执行时实现上述真实深度图的生成方法实施例、深度图的归一化方法实施例以及深度图的评分方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
[0474]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0475]
以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0476]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是移动终端，个人计算机，服务器，或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
[0477]
最后应说明的是：以上结合附图描述的实施例仅用以说明本技术的技术方案，本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本技术进行了详细的说明，本领域的普
通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。