投影效果判断方法、设备、存储介质及程序产品与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种投影效果判断方法、设备、存储介质及程序产品。


背景技术：

2.近年来，汽车企业和互联网产业纷纷启动智能网联汽车的研发，其中最核心的技术为自动驾驶技术，自动驾驶技术是汽车与交通行业面向未来市场竞争需要突破的关键技术，自动驾驶技术的落地实现，面临着诸多挑战，为保证自动驾驶的安全性，需要用到多传感器融合，将点云数据和图像数据结合起来，利用各自数据的优势，得到更丰富的信息，为自动驾驶提供合理的行驶规划，其中，点云数据和图像数据结合最常用的方法是将点云数据投影到图像表面。
3.但是投影时由于传感器的抖动、标定不够准确等原因，点云投影到图像平面时会产生偏移，投影偏移的数据会对后续的处理产生极大的干扰，造成投影不准确的问题，因此需要对投影的准确性进行判断。相关技术中，通常采用人工识别的方法，将点云投影渲染图和对应的摄像机采集的图像叠加起来，对叠加的图像进行人工筛选，来确定投影结果是否准确。
4.然而现有技术中，人工识别筛查的方式效率低，难以高效地判断点云投影结果是否准确。


技术实现要素：

5.本技术提供一种投影效果判断方法、设备、存储介质及程序产品，从而解决现有技术中，人工识别筛查的方式效率低，难以高效地判断点云投影结果是否准确的技术问题。
6.第一方面，本技术提供一种投影效果判断方法，包括：
7.获取投影区域的投影数据和图像数据，其中，所述投影数据通过点云数据在所述投影区域投影得到，所述图像数据为所述投影区域拍摄到的图像数据；
8.对所述投影数据和所述图像数据进行灰度处理，得到图像灰度图和投影灰度图；
9.将所述图像灰度图和所述投影灰度图输入至预设神经网络中，得到所述投影数据对应的投影标签，其中，所述预设神经网络通过多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签训练得到；
10.根据所述投影标签判断投影的效果。
11.这里，本技术实施例为了确定投影效果的准确性，首先获取投影区域的投影数据和图像数据，这里的投影数据为点云数据在投影区域的投影，图像数据为拍摄到的投影区域的图像，对投影数据和图像数据进行灰度处理，能够得到图像灰度图和投影灰度图，从而便于针对不同的数据进行处理，再将图像灰度图和投影灰度图输入至预设神经网络中，通过该预设神经网络，可以输出投影数据对应的投影标签，可以根据投影标签判断投影的效果，确定投影是否准确，本技术实施例无需人工识别投影数据与图像数据的区别，通过预设
神经网络，可以高效、快速地判断投影是否准确，提高了投影效果判断的效率。
12.可选的，在将所述图像灰度图和所述投影灰度图输入至预设神经网络中之前，还包括：
13.获取多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签；
14.将所述多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签输入至神经网络进行训练，得到所述预设神经网络。
15.这里，本技术实施例可以通过多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签来训练神经网络，得到输入为图像灰度图和投影灰度图，输出为投影数据对应的投影标签的预设神经网络，通过多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签的训练，提高了预设神经网络输出结果的准确性，进一步地提高了投影效果判断的准确性。
16.可选的，在对所述投影数据和所述图像数据进行灰度处理，得到图像灰度图和投影灰度图之后，还包括：
17.对所述投影灰度图进行像素填充处理，得到稠密投影灰度图；
18.相应的，将所述图像灰度图和所述投影灰度图输入至预设神经网络中，得到所述投影数据对应的投影标签，其中，所述预设神经网络通过多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签训练得到，包括：
19.将所述图像灰度图、所述投影灰度图和所述稠密投影灰度图输入至预设神经网络中，得到所述投影数据对应的投影标签，其中，所述预设神经网络通过多个图像灰度图样本、多个投影灰度图样本、多个稠密投影灰度图样本和多个预设投影标签训练得到。
20.这里，本技术实施例在对投影数据和图像数据进行灰度处理，得到图像灰度图和投影灰度图之后，对投影灰度图进行了像素填充处理，由于原始的投影数据和投影灰度图是稀疏的，图像存在很多空洞，而真正的图像的特征是稠密的，为了保证数据处理的准确性，通过像素填充，将投影数据处理得到稠密投影灰度图，将上述稠密投影灰度图输入至预设神经网络，可以得到更加准确的投影标签，进一步地提高了投影效果判断的准确性。
21.可选的，在对所述投影灰度图进行像素填充处理，得到稠密投影灰度图之后，还包括：
22.将所述稠密投影灰度图与所述图像灰度图作差，得到差值灰度图；
23.相应的，将所述图像灰度图和所述投影灰度图输入至预设神经网络中，得到所述投影数据对应的投影标签，其中，所述预设神经网络通过多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签训练得到，包括：
24.将所述图像灰度图、所述投影灰度图、所述稠密投影灰度图和所述差值灰度图输入至预设神经网络中，得到所述投影数据对应的投影标签，其中，所述预设神经网络通过多个图像灰度图样本、多个投影灰度图样本、多个稠密投影灰度图样本、多个差值灰度图样本和多个预设投影标签训练得到。
25.这里，本技术实施例可以将图像灰度图与稠密投影灰度图作差，得到差值灰度图，将差值灰度图也输入至预设神经网络，此预设神经网络在训练时结合了图像灰度图样品与稠密投影灰度图样品的差值，通过此差值，能准确地反映投影之后的图像与原始图像的偏移多少，将此差值作为预设神经网络的训练数据，能够提高预设神经网络的精度，进一步地
提高了投影效果判断的准确性。
26.可选的，所述预设投影标签包括良好标签和劣质标签；
27.相应的，根据所述投影标签判断投影效果包括：
28.若所述投影数据对应的投影标签为良好标签，则判断投影效果准确；
29.若所述投影数据对应的投影标签为劣质标签，则判断投影效果不准确。
30.这里，本技术实施例将投影标签分为良好标签和劣质标签，通过二分类的方式，对投影效果进行有效的区分，实现过程简单、结果清晰，能够准确、高效地判断投影效果。
31.可选地，所述预设投影标签包括良好标签、偏上标签和偏下标签；
32.相应的，根据所述投影标签判断投影效果包括：
33.若所述投影数据对应的投影标签为良好标签，则判断投影效果准确；
34.若所述投影数据对应的投影标签为偏上标签，则判断投影效果不准确，且投影偏上；
35.若所述投影数据对应的投影标签为偏下标签，则判断投影效果不准确，且投影偏下。
36.这里，本技术实施例将投影标签分为良好标签、偏上标签和偏下标签，不仅可以准确地判断投影效果的好坏，而且还可以根据偏上标签和偏下标签判断投影相对于原始图像偏移上还是偏移下，输出的预测结果更丰富，进一步地提高了投影效果判断的准确性以及投影预测的实用性，便于用户更好地了解投影情况。
37.可选的，在根据所述投影标签判断投影效果之后，还包括：
38.根据所述投影效果，对投影进行调整。
39.这里，本技术实施例可以根据投影效果，对投影进行调整，若确定投影不准确，则对投影进行调整，进一步地，若判断出投影偏上或者偏下，可以根据判断结果做针对性的调整，提高投影的准确度和投影质量，进一步地保证了自动驾驶汽车行驶的安全性。
40.第二方面，本技术实施例提供一种投影效果判断装置，包括：
41.第一获取模块，用于获取投影区域的投影数据和图像数据，其中，所述投影数据通过点云数据在所述投影区域投影得到，所述图像数据为所述投影区域拍摄到的图像数据；
42.第一处理模块，用于对所述投影数据和所述图像数据进行灰度处理，得到图像灰度图和投影灰度图；
43.输入模块，用于将所述图像灰度图和所述投影灰度图输入至预设神经网络中，得到所述投影数据对应的投影标签，其中，所述预设神经网络通过多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签训练得到；
44.判断模块，用于根据所述投影标签判断投影的效果。
45.可选的，在所述输入模块将所述图像灰度图和所述投影灰度图输入至预设神经网络中之前，上述装置还包括：
46.第二获取模块，用于获取多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签；
47.训练模块，用于将所述多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签输入至神经网络进行训练，得到所述预设神经网络。
48.可选的，在所述第一处理模块对所述投影数据和所述图像数据进行灰度处理，得
到图像灰度图和投影灰度图之后，上述装置还包括：
49.第二处理模块，用于对所述投影灰度图进行像素填充处理，得到稠密投影灰度图；
50.相应的，所述输入模块具体用于将所述图像灰度图、所述投影灰度图和所述稠密投影灰度图输入至预设神经网络中，得到所述投影数据对应的投影标签，其中，所述预设神经网络通过多个图像灰度图样本、多个投影灰度图样本、多个稠密投影灰度图样本和多个预设投影标签训练得到。
51.可选的，在所述第二处理模块对所述投影灰度图进行像素填充处理，得到稠密投影灰度图之后，上述装置还包括：
52.第三处理模块，用于将所述稠密投影灰度图与所述图像灰度图作差，得到差值灰度图；
53.相应的，所述输入模块具体用于将所述图像灰度图、所述投影灰度图、所述稠密投影灰度图和所述差值灰度图输入至预设神经网络中，得到所述投影数据对应的投影标签，其中，所述预设神经网络通过多个图像灰度图样本、多个投影灰度图样本、多个稠密投影灰度图样本、多个差值灰度图样本和多个预设投影标签训练得到。
54.可选的，所述预设投影标签包括良好标签和劣质标签；
55.相应的，所述判断模块具体用于若所述投影数据对应的投影标签为良好标签，则判断投影效果准确；
56.若所述投影数据对应的投影标签为劣质标签，则判断投影效果不准确。
57.可选的，所述预设投影标签包括良好标签、偏上标签和偏下标签；
58.相应的，所述判断模块具体用于若所述投影数据对应的投影标签为良好标签，则判断投影效果准确；
59.若所述投影数据对应的投影标签为偏上标签，则判断投影效果不准确，且投影偏上；
60.若所述投影数据对应的投影标签为偏下标签，则判断投影效果不准确，且投影偏下。
61.可选的，在所述判断模块根据所述投影标签判断投影效果之后，上述装置还包括：
62.调整模块，用于根据所述投影效果，对投影进行调整。
63.第三方面，本技术实施例提供一种投影效果判断设备，包括：至少一个处理器和存储器；
64.所述存储器存储计算机执行指令；
65.所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的投影效果判断方法。
66.第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的投影效果判断方法。
67.第五方面，本发明实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的投影效果判断方法。
68.本技术实施例提供的投影效果判断方法、设备、存储介质及程序产品，其中该方法
为了确定投影效果的准确性，首先获取投影区域的投影数据和图像数据，这里的投影数据为点云数据在投影区域的投影，图像数据为拍摄到的投影区域的图像，对投影数据和图像数据进行灰度处理，能够得到图像灰度图和投影灰度图，从而便于针对不同的数据进行处理，再将图像灰度图和投影灰度图输入至预设神经网络中，通过该预设神经网络，可以输出投影数据对应的投影标签，可以根据投影标签判断投影的效果，确定投影是否准确，本技术实施例无需人工识别投影数据与图像数据的区别，通过预设神经网络，可以高效、快速地判断投影是否准确，提高了投影效果判断的效率。
附图说明
69.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
70.图1为本技术实施例提供的一种投影图像及原始图像叠加的示意图；
71.图2为本技术实施例提供的一种投影效果判断系统架构示意图；
72.图3为本技术实施例提供的一种投影效果判断方法的流程示意图；
73.图4为本技术实施例提供的另一种投影效果判断方法的流程示意图；
74.图5为本技术实施例提供的又一种投影效果判断方法的流程示意图；
75.图6为本技术实施例提供的一种投影效果判断装置的结构示意图；
76.图7为本技术实施例提供的一种投影效果判断设备的结构示意图。
具体实施方式
77.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
78.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
79.近年来，汽车企业和互联网产业纷纷启动智能网联汽车的研发，其中最核心的技术为自动驾驶技术，自动驾驶技术是汽车与交通行业面向未来市场竞争需要突破的关键技术，自动驾驶技术的落地实现，面临着诸多挑战，为保证自动驾驶的安全性，需要用到多传感器融合，将点云数据和图像数据结合起来，利用各自数据的优势，得到更丰富的信息，为自动驾驶提供合理的行驶规划，这里，点云数据是指由激光雷达等传感器获取，以三维点形式记录的数据，每一个点包含有三维坐标，含有精确的位置信息，图像数据是指由摄像机等
传感器捕捉实际的画面产生的图像，由像素点阵构成的位图，含有丰富的颜色、纹理等信息。其中，点云数据和图像数据结合最常用的方法是将点云数据投影到图像表面。
80.但是投影时由于传感器的抖动、标定不够准确等原因，点云投影到图像平面时会产生偏移，投影偏移的数据会对后续的处理产生极大的干扰，造成投影不准确的问题，比如在地图制作的自动化流程中，将点云投影到图像平面，然后给点云赋上对应图像像素点的颜色信息，如果投不准，生成的结果就会有问题。如图1所示，图1为本技术实施例提供的一种投影图像及原始图像叠加的示意图，如图1所示，投影的图像为不连续的点组成的图像，其与原始图像存在偏移，所以我们需要把这些不准的、偏移的数据找出来舍弃掉，而如何有效率地对投影准确与否进行评估，就是我们需要解决的问题，因此需要对投影的准确性进行判断。相关技术中，通常采用人工识别的方法，将点云投影渲染图和对应的摄像机采集的图像叠加起来，对叠加的图像进行人工筛选，来确定投影结果是否准确。
81.然而现有技术存在人工识别筛查的方式效率低，难以高效地判断点云投影结果是否准确的技术问题。
82.为了解决上述技术问题，本技术实施例提供一种投影效果判断方法、设备、存储介质及程序产品，首先获取投影区域的投影数据和图像数据，对投影数据和图像数据进行灰度处理，能够得到图像灰度图和投影灰度图，从而便于针对不同的数据进行处理，再将图像灰度图和投影灰度图输入至预设神经网络中，通过该预设神经网络，可以输出投影数据对应的投影标签，可以根据投影标签判断投影的效果，确定投影是否准确，本技术实施例无需人工识别投影数据与图像数据的区别，通过预设神经网络，可以高效、快速地判断投影是否准确，提高了投影效果判断的效率。
83.可选的，图2为本技术实施例提供的一种投影效果判断系统架构示意图。在图2中，上述架构包括接收装置201、处理器202和显示装置203中至少一种。
84.可以理解的是，本技术实施例示意的结构并不构成对投影效果判断系统架构的具体限定。在本技术另一些可行的实施方式中，上述架构可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可根据实际应用场景确定，在此不做限制。图2所示的部件可以以硬件，软件，或软件与硬件的组合实现。
85.在具体实现过程中，接收装置201可以是输入/输出接口，也可以是通信接口。
86.处理器202可以获取投影区域的投影数据和图像数据，对投影数据和图像数据进行灰度处理，能够得到图像灰度图和投影灰度图，从而便于针对不同的数据进行处理，再将图像灰度图和投影灰度图输入至预设神经网络中，通过该预设神经网络，可以输出投影数据对应的投影标签，可以根据投影标签判断投影的效果，确定投影是否准确，本技术实施例无需人工识别投影数据与图像数据的区别，通过预设神经网络，可以高效、快速地判断投影是否准确，提高了投影效果判断的效率。
87.显示装置203可以用于对上述结果等进行显示。
88.显示装置还可以是触摸显示屏，用于在显示的上述内容的同时接收用户指令，以实现与用户的交互。
89.应理解，上述处理器可以通过处理器读取存储器中的指令并执行指令的方式实现，也可以通过芯片电路实现。
90.另外，本技术实施例描述的网络架构以及业务场景是为了更加清楚的说明本技术
实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
91.下面结合具体的实施例对本技术的技术方案进行详细的说明：
92.图3为本技术实施例提供的一种投影效果判断方法的流程示意图。本技术实施例的执行主体可以为图2中的处理器202，具体执行主体可以根据实际应用场景确定。如图3所示，该方法包括如下步骤：
93.s301：获取投影区域的投影数据和图像数据。
94.其中，投影数据通过点云数据在投影区域投影得到，图像数据为投影区域拍摄到的图像数据。
95.可选的，点云数据由激光雷达等传感器获取，投影区域的投影数据为点云数据在投影区域的投影，投影数据即投影图像，为了确定投影图像的效果，获取投影图像的投影区域的图像数据。
96.可选的，图像数据由摄像机等传感器获取，或者是获取指定区域的地图图像数据。
97.可选的，在获取到投影数据和图像数据之后，可以对投影数据和图像数据进行数据预处理，以便于将数据输入至预设神经网络进行处理。
98.s302：对投影数据和图像数据进行灰度处理，得到图像灰度图和投影灰度图。
99.可选的，对图像进行灰度处理可以直接调用函数、采用最大值法、分量法、平均值法和加权平均法等方式。
100.通过对图像的灰度处理，易于对图像数据进行后续处理，便于提高数据的准确性。
101.s303：将图像灰度图和投影灰度图输入至预设神经网络中，得到投影数据对应的投影标签。
102.其中，预设神经网络通过多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签训练得到。
103.可选的，在将图像灰度图和投影灰度图输入至预设神经网络中之前，可以预先训练神经网络，从而得到预设神经网络，具体的：
104.获取多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签；
105.将多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签输入至神经网络进行训练，得到预设神经网络。
106.可选的，预设神经网络为resnet18网络结构。
107.示范性的，一种神经网络训练方式如下：若投影标签为劣质标签和良好标签，则训练流程和经典的深度学习模型训练过程一样，先初始化神经网络，然后网络读入数据进行前向推理，得到预测的良好标签或者劣质标签。
108.可选的，在得到预测值之后，可以将预测值和标签进行比较，计算误差，如果误差高于阈值，则利用反向传播(error back propagation，bp)算法，更新网络参数，迭代下一次的训练，如果误差低于训练误差阈值，则训练完毕，输出训练模型，为预设神经网络。这里的标签为人工识别的训练数据对应的标签，可以理解的是，这里的训练误差阈值可以根据实际情况确定，本技术实施例对此不作具体限制。
109.可选的，在得到预测值之后，可以更新网络参数，迭代下一次的训练，在训练次数
达到预设训练次数阈值时，停止训练，输出训练模型，为预设神经网络，可以理解的是，这里的预设训练次数阈值可以根据实际情况确定，本技术实施例对此不作具体限制。
110.这里，本技术实施例可以通过多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签来训练神经网络，得到输入为图像灰度图和投影灰度图，输出为投影数据对应的投影标签的预设神经网络，通过多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签的训练，提高了预设神经网络输出结果的准确性，进一步地提高了投影效果判断的准确性。
111.s304：根据投影标签判断投影的效果。
112.可选的，根据不同的投影标签来确定投影结果。
113.一种可行的实现方式为预设投影标签包括良好标签(good标签)和劣质标签(bad标签)；
114.相应的，根据投影标签判断投影效果包括：
115.若投影数据对应的投影标签为良好标签，则判断投影效果准确；
116.若投影数据对应的投影标签为劣质标签，则判断投影效果不准确。
117.这里，本技术实施例将投影标签分为良好标签和劣质标签，通过二分类的方式，对投影效果进行有效的区分，实现过程简单、结果清晰，能够准确、高效地判断投影效果。
118.另一种可行的实现方式为预设投影标签包括良好标签、偏上标签和偏下标签；
119.相应的，根据投影标签判断投影效果包括：
120.若投影数据对应的投影标签为良好标签，则判断投影效果准确；
121.若投影数据对应的投影标签为偏上标签(up标签)，则判断投影效果不准确，且投影偏上；
122.若投影数据对应的投影标签为偏下标签(down标签)，则判断投影效果不准确，且投影偏下。
123.这里，本技术实施例将投影标签分为良好标签、偏上标签和偏下标签，不仅可以准确地判断投影效果的好坏，而且还可以根据偏上标签和偏下标签判断投影相对于原始图像偏移上还是偏移下，输出的预测结果更丰富，进一步地提高了投影效果判断的准确性以及投影预测的实用性，便于用户更好地了解投影情况。
124.再一种可行的实现方式为，投影标签包括多个分数，示范性的，可以包括60分、70分、80分、90分、100分等，可以根据投影标签进行打分，相应的，若分数大于预设分数阈值，则确定投影效果准确，若小于预设分数阈值，则确定投影效果不准确。可以理解的是，对于投影标签中分数的设置以及预设分数阈值，可以根据实际情况确定，本技术对此不做具体限制。
125.在一种可能的实现方式中，还可以根据投影效果对投影进行调整，在根据投影标签判断投影效果之后，还包括：根据投影效果，对投影进行调整。
126.这里，本技术实施例可以根据投影效果，对投影进行调整，若确定投影不准确，则对投影进行调整，进一步地，若判断出投影偏上或者偏下，可以根据判断结果做针对性的调整，提高投影的准确度和投影质量，进一步地保证了自动驾驶汽车行驶的安全性。
127.本技术实施例为了确定投影效果的准确性，首先获取投影区域的投影数据和图像数据，这里的投影数据为点云数据在投影区域的投影，图像数据为拍摄到的投影区域的图
像，对投影数据和图像数据进行灰度处理，能够得到图像灰度图和投影灰度图，从而便于针对不同的数据进行处理，再将图像灰度图和投影灰度图输入至预设神经网络中，通过该预设神经网络，可以输出投影数据对应的投影标签，可以根据投影标签判断投影的效果，确定投影是否准确，本技术实施例无需人工识别投影数据与图像数据的区别，通过预设神经网络，可以高效、快速地判断投影是否准确，提高了投影效果判断的效率。
128.可选的，本技术实施例还可以对投影数据进行数据处理，来填充像素，从而提高投影效果判断的准确性，相应的，图4为本技术实施例提供的另一种投影效果判断方法的流程示意图，如图4所示，该方法包括：
129.s401：获取投影区域的投影数据和图像数据。
130.s402：对投影数据和图像数据进行灰度处理，得到图像灰度图和投影灰度图。
131.其中，步骤s401-s402的实现方式与步骤s301-s302的实现方式相同，这里不做赘述。
132.s403：对投影灰度图进行像素填充处理，得到稠密投影灰度图。
133.由于投影灰度图是点云投影到图像上的结果，所以这个投影图是稀疏的，有很多的空洞，而真正的图像基本的特征是稠密的，所以这样的图无法直接用常见的图像的算法来处理，因此可以预先进行像素填充处理。
134.可选的，像素填充处理的具体方式如下：
135.定义一个kernel核，kernel核的size记为n；根据点云投影图的特征，投影图中越靠近下方的点云越稀疏；越靠近上方的点云越稠密，因此n的公式如下：
[0136][0137]
其中n
max
表示最大的kernel size，n
min
表示最小的kernel size，h表示投影图的最大行数，h表示当前的行数。这样就可以保证越往上，行数小的kernel size小，行数大的kernel size大。比如投影图行高480，设定n
max
为10，n
min
为2，那么第一行即h＝0的地方，n＝2，最后一行即h＝h＝480的地方，n＝10。
[0138]
有了kernel核后，每个像素点都用对应的kernel核做一遍膨胀操作，比如第一行kernel size为2，那对于第一行每个像素点，该像素点周围2个像素的位置如果有非零值，即为白色，那么该像素点的值就置为这些周边像素点的最大值。
[0139]
通过这样的操作，就可以尽量把投影图中空洞的部分填充起来了，而且利用这种策略，可以远处的点云用小的kernel size，近处稀疏的点云用大的kernel size，即可以得到比较好的去空洞的投影图。
[0140]
s404：将图像灰度图、投影灰度图和稠密投影灰度图输入至预设神经网络中，得到投影数据对应的投影标签。
[0141]
其中，预设神经网络通过多个图像灰度图样本、多个投影灰度图样本、多个稠密投影灰度图样本和多个预设投影标签训练得到。
[0142]
可选的，还可以结合图像识别的能力来做，在图像上和稠密化后的点云投影图上分别做语义分割识别，比如识别车道线等要素，再将两者识别的结果也放进网络，能更好地学习到特征，提高投影效果判断的准确度。
[0143]
s405：根据投影标签判断投影的效果。
[0144]
本技术实施例在对投影数据和图像数据进行灰度处理，得到图像灰度图和投影灰度图之后，对投影灰度图进行了像素填充处理，由于原始的投影数据和投影灰度图是稀疏的，图像存在很多空洞，而真正的图像的特征是稠密的，为了保证数据处理的准确性，通过像素填充，将投影数据处理得到稠密投影灰度图，将上述稠密投影灰度图输入至预设神经网络，可以得到更加准确的投影标签，进一步地提高了投影效果判断的准确性。
[0145]
可选的，本技术实施例还可以对图像数据与处理后的投影数据作差，从而提高投影效果判断的准确性，相应的，图5为本技术实施例提供的另一种投影效果判断方法的流程示意图，如图5所示，该方法包括：
[0146]
s501：获取投影区域的投影数据和图像数据。
[0147]
s502：对投影数据和图像数据进行灰度处理，得到图像灰度图和投影灰度图。
[0148]
s503：对投影灰度图进行像素填充处理，得到稠密投影灰度图。
[0149]
其中，步骤s501-s503的实现方式与步骤s401-s403的实现方式相同，这里不做赘述。
[0150]
s504：将稠密投影灰度图与图像灰度图作差，得到差值灰度图。
[0151]
s505：将图像灰度图、投影灰度图、稠密投影灰度图和差值灰度图输入至预设神经网络中，得到投影数据对应的投影标签。
[0152]
其中，预设神经网络通过多个图像灰度图样本、多个投影灰度图样本、多个稠密投影灰度图样本、多个差值灰度图样本和多个预设投影标签训练得到。
[0153]
s506：根据投影标签判断投影的效果。
[0154]
本技术实施例可以将图像灰度图与稠密投影灰度图作差，得到差值灰度图，将差值灰度图也输入至预设神经网络，此预设神经网络在训练时结合了图像灰度图样品与稠密投影灰度图样品的差值，能够提高预设神经网络的精度，进一步地提高了投影效果判断的准确性。
[0155]
图6为本技术实施例提供的一种投影效果判断装置的结构示意图，如图6所示，本技术实施例的装置包括：第一获取模块601、第一处理模块602、输入模块603和判断模块604。这里的投影效果判断装置可以是上述处理器202本身，或者是实现处理器202的功能的芯片或者集成电路。这里需要说明的是，第一获取模块601、第一处理模块602、输入模块603和判断模块604的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。
[0156]
其中，第一获取模块601，用于获取投影区域的投影数据和图像数据，其中，投影数据通过点云数据在投影区域投影得到，图像数据为投影区域拍摄到的图像数据；
[0157]
第一处理模块602，用于对投影数据和图像数据进行灰度处理，得到图像灰度图和投影灰度图；
[0158]
输入模块603，用于将图像灰度图和投影灰度图输入至预设神经网络中，得到投影数据对应的投影标签，其中，预设神经网络通过多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签训练得到；
[0159]
判断模块604，用于根据投影标签判断投影的效果。
[0160]
可选的，在输入模块603将图像灰度图和投影灰度图输入至预设神经网络中之前，
上述装置还包括：
[0161]
第二获取模块，用于获取多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签；
[0162]
训练模块，用于将多个图像灰度图样本、多个投影灰度图样本和多个预设投影标签输入至神经网络进行训练，得到预设神经网络。
[0163]
可选的，在第一处理模块602对投影数据和图像数据进行灰度处理，得到图像灰度图和投影灰度图之后，上述装置还包括：
[0164]
第二处理模块，用于对投影灰度图进行像素填充处理，得到稠密投影灰度图；
[0165]
相应的，输入模块603具体用于将图像灰度图、投影灰度图和稠密投影灰度图输入至预设神经网络中，得到投影数据对应的投影标签，其中，预设神经网络通过多个图像灰度图样本、多个投影灰度图样本、多个稠密投影灰度图样本和多个预设投影标签训练得到。
[0166]
可选的，在第二处理模块对投影灰度图进行像素填充处理，得到稠密投影灰度图之后，上述装置还包括：
[0167]
第三处理模块，用于将稠密投影灰度图与图像灰度图作差，得到差值灰度图；
[0168]
相应的，输入模块603具体用于将图像灰度图、投影灰度图、稠密投影灰度图和差值灰度图输入至预设神经网络中，得到投影数据对应的投影标签，其中，预设神经网络通过多个图像灰度图样本、多个投影灰度图样本、多个稠密投影灰度图样本、多个差值灰度图样本和多个预设投影标签训练得到。
[0169]
可选的，预设投影标签包括良好标签和劣质标签；
[0170]
相应的，判断模块604具体用于若投影数据对应的投影标签为良好标签，则判断投影效果准确；
[0171]
若投影数据对应的投影标签为劣质标签，则判断投影效果不准确。
[0172]
可选的，预设投影标签包括良好标签、偏上标签和偏下标签；
[0173]
相应的，判断模块604具体用于若投影数据对应的投影标签为良好标签，则判断投影效果准确；
[0174]
若投影数据对应的投影标签为偏上标签，则判断投影效果不准确，且投影偏上；
[0175]
若投影数据对应的投影标签为偏下标签，则判断投影效果不准确，且投影偏下。
[0176]
可选的，在判断模块604根据投影标签判断投影效果之后，上述装置还包括：
[0177]
调整模块，用于根据投影效果，对投影进行调整。
[0178]
图7为本技术实施例提供的一种投影效果判断设备的结构示意图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不限制本文中描述的和/或者要求的本技术的实现。
[0179]
如图7所示，该投影效果判断设备包括：处理器701和存储器702，各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器701可以对在投影效果判断设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。图7中以一个处理器701为例。
[0180]
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非
瞬时计算机可执行程序以及模块，如本技术实施例中的投影效果判断设备的方法对应的程序指令/模块(例如，附图6所示的第一获取模块601、第一处理模块602、输入模块603和判断模块604)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的投影效果判断设备的方法。
[0181]
投影效果判断设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
[0182]
输入装置703可接收输入的数字或字符信息，以及产生与投影效果判断设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以是投影效果判断设备的显示设备等输出设备。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
[0183]
本技术实施例的投影效果判断设备，可以用于执行本技术上述各方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0184]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任一的投影效果判断方法。
[0185]
本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上所述的投影效果判断方法。
[0186]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0187]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0188]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。