交通灯颜色识别方法、装置及电子设备、存储介质与流程

1.本技术涉及自动驾驶技术领域，尤其涉及一种交通灯颜色识别方法、装置及电子设备、存储介质。


背景技术：

2.通过摄像头检测识别前方的交通灯颜色并正确理解其意义是自动驾驶车辆必备的能力，交通灯颜色识别是其中必不可少的环节，交通灯颜色识别的结果关系到自动驾驶车辆应该加速还是减速，行驶还是停止。因此自动驾驶车辆对交通灯颜色识别的精度要求很高。
3.当前自动驾驶车辆通过摄像头识别交通灯，一般使用成熟的目标检测模型如yolov5来实现，通过训练该目标检测模型使其可以检测到图像中的交通灯目标框，同时输出其类别，如红灯/黄灯/绿灯。在成像质量较高的情况下，目标检测模型即可以正确判别交通灯的颜色。
4.但在实际路况下，当交通灯在图像中所占像素较小时，目标检测模型输出的检测框通常不能恰当地围住交通灯，导致背景部分的干扰增加。当自然光照较强时检测框中的交通灯颜色将会大大失真，此时目标检测模型输出的交通灯颜色识别结果也变得不可信。


技术实现要素：

5.本技术实施例提供了一种交通灯颜色识别方法、装置及电子设备、存储介质，以提高交通灯颜色识别的精度。
6.本技术实施例采用下述技术方案：
7.第一方面，本技术实施例提供一种交通灯颜色识别方法，其中，所述方法包括：
8.获取原始的交通灯颜色识别结果，所述原始的交通灯颜色识别结果包括交通灯检测框；
9.确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点；
10.根据所述过滤后的像素点在预设颜色通道下的通道值以及所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的颜色积分；
11.根据所述过滤后的像素点的颜色积分，确定所述交通灯检测框对应的交通灯颜色，作为最终的交通灯颜色识别结果。
12.可选地，所述确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点包括：
13.确定所述原始的交通灯颜色识别结果是否满足预设交通灯识别结果的可信性要求；
14.在所述原始的交通灯颜色识别结果不满足预设交通灯识别结果的可信性要求的
情况下，确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点。
15.可选地，所述确定所述原始的交通灯颜色识别结果是否满足预设交通灯识别结果的可信性要求包括：
16.确定所述交通灯检测框的尺寸是否满足预设尺寸要求，以及确定所述交通灯检测框中的像素点的饱和度是否满足预设饱和度要求；
17.若所述交通灯检测框的尺寸满足预设尺寸要求，且所述交通灯检测框中的像素点的饱和度满足预设饱和度要求，则确定所述原始的交通灯颜色识别结果满足所述预设交通灯识别结果的可信性要求；
18.若所述交通灯检测框的尺寸不满足预设尺寸要求，和/或，所述交通灯检测框中的像素点的饱和度不满足预设饱和度要求，则确定所述原始的交通灯颜色识别结果不满足所述预设交通灯识别结果的可信性要求。
19.可选地，所述确定所述交通灯检测框中的像素点的亮度包括：
20.确定所述交通灯检测框中的像素点在rgb颜色空间下的像素值；
21.根据所述交通灯检测框中的像素点在rgb颜色空间下的像素值，确定所述交通灯检测框中的像素点的亮度。
22.可选地，所述预设颜色通道包括rgb颜色空间下的r通道和g通道，所述根据所述过滤后的像素点在预设颜色通道下的通道值以及所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的颜色积分包括：
23.根据所述过滤后的像素点在所述r通道和所述g通道下的通道值，确定所述过滤后的像素点的通道值差值；
24.根据所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的位置权重；
25.根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重，确定所述过滤后的像素点的颜色积分。
26.可选地，所述过滤后的像素点包括多个，所述根据所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的位置权重包括：
27.确定所述交通灯检测框的中心像素点的位置；
28.根据各个所述过滤后的像素点与所述中心像素点的距离，确定所述过滤后的像素点的位置权重。
29.可选地，所述根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重，确定所述过滤后的像素点的颜色积分包括：
30.若所述过滤后的像素点的通道值差值在第一区间范围内，则根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重确定第一交通灯颜色的积分；
31.若所述过滤后的像素点的通道值差值在第二区间范围内，则根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重确定第二交通灯颜色的积分；
32.若所述过滤后的像素点的通道值差值在第三区间范围内，则根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重确定第三交通灯颜色的积分。
33.可选地，所述过滤后的像素点包括多个，所述根据所述过滤后的像素点的颜色积
分，确定所述交通灯检测框对应的交通灯颜色包括：
34.将各个过滤后的像素点的颜色积分分别赋值给对应的交通灯颜色；
35.根据各个交通灯颜色的颜色积分，确定所述交通灯检测框对应的交通灯颜色。
36.第二方面，本技术实施例还提供一种交通灯颜色识别装置，其中，所述装置包括：
37.获取单元，用于获取原始的交通灯颜色识别结果，所述原始的交通灯颜色识别结果包括交通灯检测框；
38.过滤单元，用于确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点；
39.第一确定单元，用于根据所述过滤后的像素点在预设颜色通道下的通道值以及所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的颜色积分；
40.第二确定单元，用于根据所述过滤后的像素点的颜色积分，确定所述交通灯检测框对应的交通灯颜色，作为最终的交通灯颜色识别结果。
41.第三方面，本技术实施例还提供一种电子设备，包括：
42.处理器；以及
43.被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
44.第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。
45.本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：本技术实施例的交通灯颜色识别方法，先获取原始的交通灯颜色识别结果，原始的交通灯颜色识别结果包括交通灯检测框；然后确定交通灯检测框中的像素点的亮度，并根据交通灯检测框中的像素点的亮度，对交通灯检测框中的像素点进行过滤，得到过滤后的像素点；之后根据过滤后的像素点在预设颜色通道下的通道值以及过滤后的像素点在交通灯检测框中的位置，确定过滤后的像素点的颜色积分；最后根据过滤后的像素点的颜色积分，确定交通灯检测框对应的交通灯颜色，作为最终的交通灯颜色识别结果。本技术实施例的交通灯颜色识别方法降低了交通灯检测框中背景部分及光照等因素对于颜色识别的影响，提高了自动驾驶车辆的交通灯颜色识别的精度。
附图说明
46.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
47.图1为本技术实施例中一种交通灯颜色识别方法的流程示意图；
48.图2为本技术实施例中一种交通灯颜色识别流程示意图；
49.图3为本技术实施例中一种交通灯识别装置的结构示意图；
50.图4为本技术实施例中一种电子设备的结构示意图。
具体实施方式
51.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及
相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
52.以下结合附图，详细说明本技术各实施例提供的技术方案。
53.现有技术中的交通灯颜色识别方案主要是通过目标检测模型检测出交通灯检测框，同时输出其颜色类别，但是此种方案当交通灯检测框在图像中占比较小或自然光照较强时，识别精度会大大降低。
54.还有一种方案是，通过目标检测模型先检测出交通灯目标框，同时将原来的rgb图像转换为hsv图像，hsv颜色空间是从人类视觉感官的角度设计，便于人类区分颜色。在hsv图像中将该交通灯目标框裁剪出来，分别统计其中红色像素点、黄色像素点、绿色像素点的个数占比，将其中的像素点的个数占比最高的作为最终的交通灯颜色。然而，此种方案得到的交通灯检测框中除交通灯外的背景部分将影响各类颜色像素点的占比，且当自然光照强烈时将产生色差，也会影响各类颜色像素点的统计值，从而造成识别精度降低。
55.此外，当hsv颜色空间中的s通道值过低时，会导致图像像素点的饱和度过低，单从hsv颜色空间中的阈值去判断，交通灯的部分已经不能被准确识别，而交通灯检测框外侧由于光照原因已经有呈现黄色或者红色的趋势，在这种情况下单纯统计交通灯目标框中红色、黄色、绿色的像素点占比已经很难准确判断交通灯颜色。
56.基于此，本技术实施例提供了一种交通灯颜色识别方法，如图1所示，提供了本技术实施例中一种交通灯颜色识别方法的流程示意图，所述方法至少包括如下的步骤s110至步骤s140：
57.步骤s110，获取原始的交通灯颜色识别结果，所述原始的交通灯颜色识别结果包括交通灯检测框。
58.本技术实施例在对交通灯颜色进行识别时，需要先获取原始的交通灯颜色识别结果，原始的交通灯颜色识别结果可以基于现有的目标检测模型来得到，通过事先训练能检测交通灯的目标检测模型如yolov5，然后将包含交通灯的图像输入训练好的目标检测模型，从而可以得到目标检测模型检测到的交通灯检测框及交通灯颜色类型等。
59.步骤s120，确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点。
60.由于前述步骤得到的原始的交通灯颜色识别结果可能受到背景或者光照等影响导致识别结果不准确，因此本技术实施例可以基于原始的交通灯颜色识别结果进一步进行交通灯颜色识别结果的优化，从而提高交通灯颜色识别精度。
61.具体地，可以先确定交通灯检测框中各个像素点的亮度值luminance，亮度值的高低在很大程度上影响了交通灯颜色的识别效果，因此这里可以利用交通灯检测框中各个像素点的亮度值来对交通灯检测框中的像素点进行过滤处理，从而过滤掉不满足预设亮度值要求的像素点。
62.步骤s130，根据所述过滤后的像素点在预设颜色通道下的通道值以及所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的颜色积分。
63.像素点的颜色可以通过不同的颜色空间进行表示，例如rgb颜色空间和hsv颜色空间，以rgb颜色空间为例，其对应有r通道、g通道和b通道三个通道，各个通道的通道值均分
布在0～255的范围内，当r通道的通道值相对更大时，像素点的颜色表现为红色，当g通道的通道值相对更大时，像素点的颜色表现为红色，当r通道和g通道的通道值较为接近时，像素点的颜色表现为黄色。基于此，本技术实施例可以根据r通道的通道值与g通道的通道值的相对大小来大致区分像素点的颜色。
64.此外，像素点在交通灯检测框中的位置也会影响颜色识别的准确性，这里主要是考虑到如果像素点分布在交通灯检测框的近边缘位置时，受背景部分的干扰会较大，因为需要将像素点在交通灯检测框中的位置也作为考量因素。
65.基于上述两个维度可以确定出过滤后的像素点的颜色积分，这里的颜色积分可以看作是对每一种交通灯颜色的累积赋值，最终可以根据颜色积分的数值大小来确定该交通灯检测框更倾向哪个交通灯颜色。
66.步骤s140，根据所述过滤后的像素点的颜色积分，确定所述交通灯检测框对应的交通灯颜色，作为最终的交通灯颜色识别结果。
67.在确定所有过滤后的像素点的颜色积分后，可以根据每一种交通灯颜色对应的总的颜色积分来确定哪种交通灯颜色的颜色积分最大，最后以此确定交通灯检测框对应的交通灯颜色，作为最终的交通灯颜色识别结果。
68.本技术实施例的交通灯颜色识别方法降低了交通灯检测框中背景部分及光照等因素对于颜色识别的影响，提高了自动驾驶车辆的交通灯颜色识别的精度。
69.在本技术的一个实施例中，所述确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点包括：确定所述原始的交通灯颜色识别结果是否满足预设交通灯识别结果的可信性要求；在所述原始的交通灯颜色识别结果不满足预设交通灯识别结果的可信性要求的情况下，确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点。
70.如前所述，用于检测交通灯颜色的目标检测模型在某些情况下输出的交通灯颜色识别结果是不准确的，进而才会执行本技术实施例的交通灯颜色识别流程。因此，本技术实施例在获取到原始的交通灯颜色识别结果后，可以先判断原始的交通灯颜色识别结果是否满足预设交通灯识别结果的可信性要求，例如该交通灯颜色识别结果是否受到了背景部分或者光照等因素的干扰。
71.如果原始的交通灯颜色识别结果满足预设交通灯识别结果的可信性要求，说明原始的交通灯颜色识别结果是准确且可靠的，即可以被自动驾驶车辆信任，反之则说明其不够准确和可靠，进而可进一步执行本技术的后续处理流程。
72.需要说明的是，上述判断流程可以作为可选步骤，本领域技术人员既可以在判断之后再确定是否执行本技术实施例的后续流程，当然也可以省去判断环节直接应用本技术实施例的交通灯颜色识别方案。
73.在本技术的一个实施例中，所述确定所述原始的交通灯颜色识别结果是否满足预设交通灯识别结果的可信性要求包括：确定所述交通灯检测框的尺寸是否满足预设尺寸要求，以及确定所述交通灯检测框中的像素点的饱和度是否满足预设饱和度要求；若所述交通灯检测框的尺寸满足预设尺寸要求，且所述交通灯检测框中的像素点的饱和度满足预设饱和度要求，则确定所述原始的交通灯颜色识别结果满足所述预设交通灯识别结果的可信
性要求；若所述交通灯检测框的尺寸不满足预设尺寸要求，和/或，所述交通灯检测框中的像素点的饱和度不满足预设饱和度要求，则确定所述原始的交通灯颜色识别结果不满足所述预设交通灯识别结果的可信性要求。
74.本技术实施例在确定原始的交通灯颜色识别结果是否满足预设交通灯识别结果的可信性要求时，可以从以下两个角度切入，一个角度是交通灯检测框中背景部分的干扰，另一个角度是光照对交通灯检测框的影响。
75.基于第一个角度，本技术实施例可以先确定交通灯检测框的尺寸大小，判断交通灯检测框的尺寸大小是否满足预设的尺寸阈值要求，如果交通灯检测框的尺寸小于预设的尺寸阈值，说明自动驾驶车辆与交通灯的距离较远，导致交通灯检测框在整个图像中的占比很小，这时交通灯检测框将无法恰当地包围住交通灯所在的位置，也就是超出了交通灯的大小，这就导致交通灯检测框中包含了较多的背景部分，在进行交通灯检测框的颜色识别时，就会引入较多干扰，导致目标检测模型预测的交通灯颜色不可信。反之，如果交通灯检测框的尺寸不小于预设的尺寸阈值，说明交通灯检测框在整个图像中的占比较大，交通灯检测框能够恰当地包围住交通灯所在的位置，背景部分干扰较少。
76.因此，通过尺寸阈值的设置可以确定交通灯检测框的尺寸是否满足预设的尺寸阈值要求，进而确定是否存在背景干扰的问题，该尺寸阈值的大小例如可以设置为15个像素点的大小，通过将交通灯检测框的最小边的长度与15个像素点的大小进行比较，从而可以确定是否满足预设的尺寸阈值要求。当然，本领域技术人员也可以根据实际情况灵活调整，在此不作具体限定。
77.基于第二个角度，本技术实施例可以通过像素点的饱和度来衡量光照的影响。具体地，对于每一个像素点的饱和度saturation的计算可以采用如下方式：
78.saturation＝(max(r,g,b)-min(r,g,b))/max(r,g,b)
79.之后，统计像素点的饱和度saturation《50％的像素点的数量，当像素点的饱和度saturation《50％的像素点的数量占比达到10％时，说明成像效果受光照影响已经较大，因此可以认为此时的目标检测模型预测的交通灯颜色不可信。反之，则说明光照影响较小。对于上述“50％”以及“10％”数值的设置，本领域技术人员可以根据实际情况灵活调整，在此不作具体限定。
80.需要说明的是，上述两个角度可以用来共同约束原始的交通灯颜色识别结果是否满足预设交通灯识别结果的可信性要求的判断，当然，本领域技术人员也可以任选其中一种进行判断。
81.在本技术的一个实施例中，所述确定所述交通灯检测框中的像素点的亮度包括：确定所述交通灯检测框中的像素点在rgb颜色空间下的像素值；根据所述交通灯检测框中的像素点在rgb颜色空间下的像素值，确定所述交通灯检测框中的像素点的亮度。
82.本技术实施例在确定交通灯检测框中的各个像素点的亮度时，可以通过如下方式来确定：
83.luminance＝max(r,g,b)/255*100％
84.基于交通灯检测框中的各个像素点的亮度大小可以对交通灯检测框中的像素点进行过滤处理，从而过滤掉不满足预设亮度值要求的像素点。预设亮度值要求可以是预设的亮度值阈值，例如可以设定像素点的亮度值luminance》＝50％，从而以此剔除掉亮度值
较低的像素点。亮度值阈值50％是一个经验阈值，本领域技术人员可以根据实际需求灵活调整，在此不作具体限定。
85.在本技术的一个实施例中，所述预设颜色通道包括rgb颜色空间下的r通道和g通道，所述根据所述过滤后的像素点在预设颜色通道下的通道值以及所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的颜色积分包括：根据所述过滤后的像素点在所述r通道和所述g通道下的通道值，确定所述过滤后的像素点的通道值差值；根据所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的位置权重；根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重，确定所述过滤后的像素点的颜色积分。
86.本技术实施例只需要对交通灯检测框进行“红色/黄色/绿色”三分类，而在rgb颜色空间中最典型的红色/黄色/绿色的像素值可以分别表示为(255,0,0)/(255,255,0)/(0,255,0)，即r通道代表红色成分，g通道代表绿色成分，当r和g接近时代表黄色成分。因此，本技术实施例可以基于rgb颜色空间下r通道的通道值与g通道的通道值的相对大小可以来大致区分像素点的颜色。
87.具体地，本技术实施例就可以根据过滤后的像素点在r通道和g通道下的通道值，计算出过滤后的像素点在两个通道之间的通道值差值，即可以表示为delta＝r-g，以此作为确定过滤后的像素点的颜色积分的一个维度。
88.此外，像素点在交通灯检测框中所在的位置也会影响颜色识别的准确性，如果像素点越靠近交通灯检测框的边缘，那么其受到背景部分的干扰就越大，如果像素点越远离交通灯检测框的边缘，那么其受到背景部分的干扰就越小。基于此，本技术实施例基于像素点在交通灯检测框中所在的位置设置了每个像素点的位置权重weight，进而可以通过每个像素点的位置权重的大小调整像素点的颜色积分。
89.在本技术的一个实施例中，所述过滤后的像素点包括多个，所述根据所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的位置权重包括：确定所述交通灯检测框的中心像素点的位置；根据各个所述过滤后的像素点与所述中心像素点的距离，确定所述过滤后的像素点的位置权重。
90.基于前述实施例，如果像素点越靠近交通灯检测框的边缘，说明该像素点越远离交通灯检测框的中心点，而如果像素点越远离交通灯检测框的边缘，说明该像素点越靠近交通灯检测框的中心点。基于此，本技术实施例在确定各个像素点的位置权重weight(j,i)时，可以先确定交通灯检测框的中心像素点的位置坐标(y,x)，即y＝h/2，x＝w/2，其中，h表示交通灯检测框的高，w表示交通灯检测框的宽。然后计算每一个像素点的位置坐标(j,i)与该中心像素点的位置坐标(y,x)的距离distance，距离越小，说明越靠近交通灯检测框的中心点，那么对应可以设置较大的位置权重，反之，则可以设置较小的位置权重。具体可以表示为如下形式：
91.distance_ratio＝((j-y)2+(i-x)2)
1/2
/((0.5h)2+(0.5w)2)
1/2
92.其中，distance_ratio表示(j,i)与(y,x)的距离与最大距离值的比值。
93.weight(j,i)＝(1.0-distance_ratio)294.其中，weight(j,i)的范围为(0,1.0]，距离中心像素点越近，weight(j,i)的值越大，距离中心像素点越远，weight(j,i)的值越小。
95.除了以中心像素点的方式来计算每个像素点的位置权重，还可以以每个像素点到与其最近的交通灯检测框的边的距离来衡量，如果像素点到与其最近的交通灯检测框的边的距离越大，说明该像素点越远离交通灯检测框的边缘，那么可以设置较大的位置权重，反之可以设置较小的位置权重，
96.在本技术的一个实施例中，所述根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重，确定所述过滤后的像素点的颜色积分包括：若所述过滤后的像素点的通道值差值在第一区间范围内，则根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重确定第一交通灯颜色的积分；若所述过滤后的像素点的通道值差值在第二区间范围内，则根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重确定第二交通灯颜色的积分；若所述过滤后的像素点的通道值差值在第三区间范围内，则根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重确定第三交通灯颜色的积分。
97.本技术实施例可以先将每个像素点对应的通道值差值与事先设定的多个区间范围进行比较，从而确定该像素点对应的通道值差值落在哪一个区间范围内，进而在根据该区间范围对应的颜色积分计算方式来计算该像素点的颜色积分并赋值给对应的交通灯颜色。具体可以采用如下方式来实现：
98.1)当delta《-20时：
99.green_score+＝weight(j,i)*(|delta|-20)/255
100.2)当-20《delta《20时：
101.yellow_score+＝weight(j,i)*(20-|delta|)/255
102.3)当delta》＝20时:
103.red_score+＝weight(j,i)*(|delta|-20)/255
104.针对上述第1)种情况，说明与r通道的通道值相比，g通道的通道值更大，表示该像素点的颜色更倾向于绿色，那么就可以对绿灯进行一次积分green_score+；针对上述第2)种情况，说明r通道的通道值与g通道的通道值较为接近，表示该像素点的颜色更倾向于黄色，那么就可以对黄灯进行一次积分yellow_score+；针对上述第3)种情况，说明与g通道的通道值相比，r通道的通道值更大，表示该像素点的颜色更倾向于红色，那么就可以对红灯进行一次积分red_score+。
105.需要说明的是，上述区间阈值的大小为经验值，本领域技术人员可以根据实际情况灵活调整，在此不作具体限定。
106.在本技术的一个实施例中，所述过滤后的像素点包括多个，所述根据所述过滤后的像素点的颜色积分，确定所述交通灯检测框对应的交通灯颜色包括：将各个过滤后的像素点的颜色积分分别赋值给对应的交通灯颜色；根据各个交通灯颜色的颜色积分，确定所述交通灯检测框对应的交通灯颜色。
107.本技术实施例计算过滤后的各个像素点的颜色积分的过程可以看作是一个逐像素点计算的过程，所有遍历完的像素点的颜色积分会按照不同的交通灯颜色被累加，从而得到每个交通灯颜色对应的最终的颜色积分，最后将每个交通灯颜色对应的最终的颜色积分进行比较，将颜色积分值最大的作为最终的交通灯颜色。
108.另外，需要说明的是，极特殊情况下可能会出现两种交通灯颜色的颜色积分值相
等，此时可以按照红灯》黄灯》绿灯的优先级顺序来处理。例如，如果红灯与黄灯的颜色积分相等，则识别为红灯，如果黄灯与绿灯的颜色积分相等，则识别为黄灯，从而尽可能保证自动驾驶车辆行驶的安全性。
109.为了便于对本技术各实施例的理解，如图2所示，提供了本技术实施例中一种交通灯颜色识别流程示意图。首先，将待识别图像输入目标检测模型，得到原始的交通灯颜色识别结果，包括交通灯检测框以及交通灯颜色类型等。然后，判断原始的交通灯颜色识别结果是否满足预设交通灯识别结果的可信性要求，一方面，可以判断交通灯检测框的尺寸大小是否满足预设的尺寸阈值要求，另一方面，可以判断交通灯检测框中的各个像素点的饱和度是否满足预设的饱和度阈值要求。如果交通灯检测框的尺寸大小小于预设的尺寸阈值，或者交通灯检测框中的像素点的饱和度小于一定饱和度阈值的像素点的数量达到一定比例，则认为原始的交通灯颜色识别结果不满足预设交通灯识别结果的可信性要求，即需要重新确定交通灯颜色识别结果。
110.在重新确定交通灯颜色识别结果时，先确定交通灯检测框中各个像素点的亮度，如果像素点的亮度小于预设亮度阈值，说明基于该像素点进行颜色识别的效果将会受到影响，因此可以将这些亮度小于预设亮度阈值的像素点过滤掉，将过滤后剩余的像素点进行后续处理。
111.之后，需要进一步确定过滤后剩余的像素点在r通道和g通道的通道值，然后将r通道和g通道的通道值差值作为衡量该像素点的颜色倾向的一个方面，另一方面需要确定像素点在整个交通灯检测框中的位置，再根据上述两个方面来确定各个像素点的颜色积分。
112.最后，在遍历完各个像素点之后，可以得到各个交通灯颜色对应的总的颜色积分，从而将颜色积分最大的作为最终的交通灯颜色。
113.本技术的交通灯颜色识别方法利用交通灯检测框的尺寸大小以及像素点的饱和度阈值来对原始的交通灯颜色检测的可信度进行了判断。此外，通过像素点的亮度和r/g通道差值，并结合像素点的位置权重，对交通灯检测框的颜色进行了重新判断，降低了交通灯检测框中背景部分及光照等因素对于颜色识别的影响，提高了自动驾驶车辆的交通灯颜色识别的精度。
114.本技术实施例还提供了一种交通灯颜色识别装置300，如图3所示，提供了本技术实施例中一种交通灯识别装置的结构示意图，所述装置300包括：获取单元310、过滤单元320、第一确定单元330以及第二确定单元340，其中：
115.获取单元310，用于获取原始的交通灯颜色识别结果，所述原始的交通灯颜色识别结果包括交通灯检测框；
116.过滤单元320，用于确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点；
117.第一确定单元330，用于根据所述过滤后的像素点在预设颜色通道下的通道值以及所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的颜色积分；
118.第二确定单元340，用于根据所述过滤后的像素点的颜色积分，确定所述交通灯检测框对应的交通灯颜色，作为最终的交通灯颜色识别结果。
119.在本技术的一个实施例中，所述过滤单元320具体用于：确定所述原始的交通灯颜色识别结果是否满足预设交通灯识别结果的可信性要求；在所述原始的交通灯颜色识别结果不满足预设交通灯识别结果的可信性要求的情况下，确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点。
120.在本技术的一个实施例中，所述过滤单元320具体用于：确定所述交通灯检测框的尺寸是否满足预设尺寸要求，以及确定所述交通灯检测框中的像素点的饱和度是否满足预设饱和度要求；若所述交通灯检测框的尺寸满足预设尺寸要求，且所述交通灯检测框中的像素点的饱和度满足预设饱和度要求，则确定所述原始的交通灯颜色识别结果满足所述预设交通灯识别结果的可信性要求；若所述交通灯检测框的尺寸不满足预设尺寸要求，和/或，所述交通灯检测框中的像素点的饱和度不满足预设饱和度要求，则确定所述原始的交通灯颜色识别结果不满足所述预设交通灯识别结果的可信性要求。
121.在本技术的一个实施例中，所述过滤单元320具体用于：确定所述交通灯检测框中的像素点在rgb颜色空间下的像素值；根据所述交通灯检测框中的像素点在rgb颜色空间下的像素值，确定所述交通灯检测框中的像素点的亮度。
122.在本技术的一个实施例中，所述预设颜色通道包括rgb颜色空间下的r通道和g通道，所述第一确定单元330具体用于：根据所述过滤后的像素点在所述r通道和所述g通道下的通道值，确定所述过滤后的像素点的通道值差值；根据所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的位置权重；根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重，确定所述过滤后的像素点的颜色积分。
123.在本技术的一个实施例中，所述过滤后的像素点包括多个，所述第一确定单元330具体用于：确定所述交通灯检测框的中心像素点的位置；根据各个所述过滤后的像素点与所述中心像素点的距离，确定所述过滤后的像素点的位置权重。
124.在本技术的一个实施例中，所述第一确定单元330具体用于：若所述过滤后的像素点的通道值差值在第一区间范围内，则根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重确定第一交通灯颜色的积分；若所述过滤后的像素点的通道值差值在第二区间范围内，则根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重确定第二交通灯颜色的积分；若所述过滤后的像素点的通道值差值在第三区间范围内，则根据所述过滤后的像素点的通道值差值和所述过滤后的像素点的位置权重确定第三交通灯颜色的积分。
125.在本技术的一个实施例中，所述过滤后的像素点包括多个，所述第二确定单元340具体用于：将各个过滤后的像素点的颜色积分分别赋值给对应的交通灯颜色；根据各个交通灯颜色的颜色积分，确定所述交通灯检测框对应的交通灯颜色。
126.能够理解，上述交通灯颜色识别装置，能够实现前述实施例中提供的交通灯颜色识别方法的各个步骤，关于交通灯颜色识别方法的相关阐释均适用于交通灯颜色识别装置，此处不再赘述。
127.图4是本技术的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储
器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
128.处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
129.存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
130.处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成交通灯颜色识别装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
131.获取原始的交通灯颜色识别结果，所述原始的交通灯颜色识别结果包括交通灯检测框；
132.确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点；
133.根据所述过滤后的像素点在预设颜色通道下的通道值以及所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的颜色积分；
134.根据所述过滤后的像素点的颜色积分，确定所述交通灯检测框对应的交通灯颜色，作为最终的交通灯颜色识别结果。
135.上述如本技术图1所示实施例揭示的交通灯颜色识别装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
136.该电子设备还可执行图1中交通灯颜色识别装置执行的方法，并实现交通灯颜色识别装置在图1所示实施例的功能，本技术实施例在此不再赘述。
137.本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执
行时，能够使该电子设备执行图1所示实施例中交通灯颜色识别装置执行的方法，并具体用于执行：
138.获取原始的交通灯颜色识别结果，所述原始的交通灯颜色识别结果包括交通灯检测框；
139.确定所述交通灯检测框中的像素点的亮度，并根据所述交通灯检测框中的像素点的亮度，对所述交通灯检测框中的像素点进行过滤，得到过滤后的像素点；
140.根据所述过滤后的像素点在预设颜色通道下的通道值以及所述过滤后的像素点在所述交通灯检测框中的位置，确定所述过滤后的像素点的颜色积分；
141.根据所述过滤后的像素点的颜色积分，确定所述交通灯检测框对应的交通灯颜色，作为最终的交通灯颜色识别结果。
142.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
143.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
144.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
145.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
146.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
147.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
148.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、
数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
149.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
150.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
151.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。