目标颜色分类方法、装置及计算机可读存储介质与流程

1.本技术涉及图像处理领域，特别是涉及一种目标颜色分类方法、装置及计算机可读存储介质。


背景技术：

2.颜色分类技术用于确定目标所属的颜色类别，该技术可以应用于诸多场景。例如，在车辆管理场景下，通过颜色分类技术得到车辆所属的颜色类别，用于对车辆的管理。在工艺品质量检测场景下，获取目标所属的颜色类别，用于确定目标的质量。在行人跟踪场景下，获取行人服饰所属的颜色类别，用于对不同视频帧中的行人进行匹配。
3.但是，目前的目标颜色分类方法得到的目标所属的颜色类别准确度不高。


技术实现要素：

4.本技术提供一种目标颜色分类方法、装置及计算机可读存储介质，能够解决目前的目标颜色分类方法得到的目标所属的颜色类别准确度不高的问题。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种目标颜色分类方法。该方法包括：利用第一分类网络对目标图像进行特征提取和颜色分类，得到目标的至少一个第一颜色分类结果；基于至少一个第一颜色分类结果的第一置信度，确定是否获取目标的至少一个第二颜色分类结果；响应于获取目标的至少一个第二颜色分类结果，利用第二分类网络对目标图像进行特征提取和颜色分类，得到目标的至少一个第二颜色分类结果，其中第二分类网络的特征提取方式不同于第一分类网络；基于至少一个第一颜色分类结果和至少一个第二颜色分类结果，确定目标所属的颜色类别。
6.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种目标颜色分类装置，该目标颜色分类装置包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
7.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
8.通过上述方式，本技术得到第一颜色分类结果之后，基于第一颜色分类结果的第一置信度确定是否获取第二颜色分类结果，第一置信度反映第一颜色分类结果的准确度是否足够高、是否能够直接用于确定目标所属的颜色类别，确定获取第二颜色分类结果则意味着第一颜色分类结果的准确度不够高、不能够直接用于确定目标所属的颜色类别，因此基于第一颜色分类结果和第二颜色分类结果共同确定目标所属的颜色类别。其中第一分类网络和第二分类网络的特征提取方式不同，意味着第一分类网络和第二分类网络提取到的特征，对目标的颜色信息的表达情况不同，因此结合第一颜色分类结果和第二颜色分类结果确定目标所属的颜色类别的过程中，第一颜色分类结果和第二颜色分类结果能够起到互补的作用，使确定的目标所属的颜色类别更加准确。
附图说明
9.图1是本技术目标颜色分类方法一实施例的流程示意图；
10.图2是本技术目标颜色分类方法另一实施例的流程示意图；
11.图3是本技术目标颜色分类方法又一实施例的流程示意图；
12.图4是本技术颜色分类系统一实施例的结构示意图；
13.图5是本技术目标颜色分类方法一具体实例的流程示意图；
14.图6是本技术目标颜色分类装置一实施例的结构示意图；
15.图7是本技术目标颜色分类装置另一实施例的结构示意图；
16.图8是本技术计算机可读存储介质一实施例的结构示意图；
具体实施方式
17.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
18.本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
19.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
20.图1是本技术目标颜色分类方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：
21.s11：利用第一分类网络对目标图像进行特征提取和颜色分类，得到目标的至少一个第一颜色分类结果。
22.目标可以是任何对应有多种颜色类别的主体，例如车辆、服饰、背包、工艺品、行人等等。为了便于理解，本技术后文主要以车辆为例进行说明。
23.第一颜色分类结果关联有第一置信度，第一颜色分类结果的数量等于目标对应的颜色类别数量。若目标对应的颜色类别为多个(例如20～30之间)，则第一颜色分类结果为多个，并分别关联有第一置信度。每个第一颜色分类结果为目标对应的一种颜色类别，每个第一颜色分类结果的第一置信度表达目标所属的颜色类别为该第一颜色分类结果的可能性，反映第一颜色分类结果的准确度。
24.s12：基于至少一个第一颜色分类结果的第一置信度，确定是否获取目标的至少一个第二颜色分类结果。
25.获取目标的至少一个第二颜色分类结果的条件可以包括：各第一颜色分类结果的第一置信度的最大值大于置信度阈值。相应地，s12中，可以判断各第一颜色分类结果的第一置信度的最大值是否大于置信度阈值；响应于不大于置信度阈值，获取目标的至少一个
第二颜色分类结果；响应于大于置信度阈值，不获取目标的至少一个第二颜色分类结果，且将第一置信度的最大值对应的第一颜色分类结果确定为目标所属的颜色类别。
26.或者，获取目标的至少一个第二颜色分类结果的条件可以包括：各第一颜色分类结果的第一置信度的最大值，与其他第一置信度之间的差值均大于差值阈值。相应地，s12中，可以判断各第一颜色分类结果的第一置信度的最大值，与其他第一置信度之间的差值是否均大于差值阈值；响应于不均大于差值阈值，获取目标的至少一个第二颜色分类结果；响应于均大于差值阈值，不获取目标的至少一个第二颜色分类结果，且将第一置信度的最大值对应的第一颜色分类结果确定为目标所属的颜色类别。
27.若基于第一置信度确定执行获取目标的至少一个第二颜色分类结果的步骤，意味着第一颜色分类结果的准确度不够高，不能够直接用于确定目标所属的颜色类别，执行s13～s14；若基于第一置信度确定不执行获取目标的至少一个第二颜色分类结果的步骤，意味着第一颜色分类结果的准确度足够高，能够直接用于确定目标所属的颜色类别，执行s15。
28.s13：利用第二分类网络对目标图像进行特征提取和颜色分类，得到目标的至少一个第二颜色分类结果。
29.其中第二分类网络的特征提取方式不同于第一分类网络。
30.第一分类网络的特征提取方式和第二分类网络的特征提取方式提取的特征，对目标图像中目标的颜色信息的表达情况(包括表达能力、表达角度等等)不同。
31.第一分类网络和第二分类网络的特征提取方式的不同，可能是由于特征提取层类别的不同引起的，也可能是由于同一类别的特征提取层数量的不同引起的，还可能是由于不同类别的特征提取层处理顺序的不同引起的。在一些实施例中，第一分类网络为efficientnet，第二分类网络为transformer，transformer可以是基于单头注意力机制的，也可以是基于多头注意力机制的。
32.与第一颜色分类结果类似，第二颜色分类结果关联有第二置信度，第二颜色分类结果的数量等于目标对应的颜色类别数量。若目标对应的颜色类别为多个，则第二颜色分类结果为多个，并分别关联有第二置信度。每个第二颜色分类结果为一种目标对应的颜色类别，每个第二颜色分类结果的第二置信度表达目标所属的颜色类别为该第二颜色分类结果的可能性。
33.s14：基于至少一个第一颜色分类结果和至少一个第二颜色分类结果，确定目标所属的颜色类别。
34.在一些实施例中，可以将第一颜色分类结果的第一置信度和对应的第二颜色分类结果的第二置信度进行融合，得到最终置信度。第二颜色分类结果和对应的第二颜色分类结果为同一颜色类别，融合的方式包括加权、相乘等等。目标所属的颜色类别为最终置信度的最大值对应的第一颜色分类结果/第二颜色分类结果。
35.在一些实施例中，可以从各第一颜色分类结果中选择若干个候选颜色分类结果，候选颜色分类结果的第一置信度大于其他第一颜色分类结果的第一置信度；将第二置信度的最大值对应的候选颜色分类结果，确定为目标所属的颜色类别。候选颜色分类结果的数量为不小于2的整数，例如2、3、4等等。候选颜色分类结果的准确度高于其他第一颜色分类结果的准确度，换句话说，相对于其他第一颜色分类结果，候选颜色分类结果中包括目标所属的颜色类别的概率更大。例如，候选颜色分类结果的数量为3，候选颜色分类结果中包括
目标所属的颜色类别的概率接近100％。
36.s15：基于至少一个第一颜色分类结果确定目标所属的颜色类别。
37.可以将第一置信度的最大值对应的第一颜色分类结果，作为目标所属的颜色类别。
38.可以理解的是，如果不关心第一颜色分类结果的准确度，而直接基于第一颜色分类结果确定目标所属的颜色类别，确定的目标所属的颜色类别的准确度可能不高。
39.通过本实施例的实施，本技术得到第一颜色分类结果之后，基于第一颜色分类结果的第一置信度确定是否获取第二颜色分类结果，第一置信度反映第一颜色分类结果的准确度是否足够高、是否能够直接用于确定目标所属的颜色类别，确定获取第二颜色分类结果则意味着第一颜色分类结果的准确度不够高、不能够直接用于确定目标所属的颜色类别，因此基于第一颜色分类结果和第二颜色分类结果共同确定目标所属的颜色类别。其中第一分类网络和第二分类网络的特征提取方式不同，意味着第一分类网络和第二分类网络提取到的特征，对目标的颜色信息的表达情况不同，因此结合第一颜色分类结果和第二颜色分类结果确定目标所属的颜色类别的过程中，第一颜色分类结果和第二颜色分类结果能够起到互补的作用，使确定的目标所属的颜色类别更加准确。
40.图2是本技术目标颜色分类方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。本实施例是对上述实施例s12～s15的进一步扩展。如图2所示，本实施例可以包括：
41.s21：判断各第一颜色分类结果的第一置信度的最大值是否大于置信度阈值。
42.响应于不大于置信度阈值，执行s22～s24；否则执行s26。
43.s22：获取目标的至少一个第二颜色分类结果。
44.s23：从各第一颜色分类结果中选择若干个候选颜色分类结果。
45.候选颜色分类结果的第一置信度大于其他第一颜色分类结果的第一置信度。
46.s24：将第二置信度的最大值对应的候选颜色分类结果确定为目标所属的颜色类别。
47.第二置信度的最大值对应的候选颜色分类结果，即第二置信度的最大值所属的第二颜色分类结果，对应的候选颜色分类结果。
48.s25：将第一置信度的最大值对应的第一颜色分类结果确定为目标所属的颜色类别。
49.本实施例的其他详细描述，请参考前面的实施例，在此不赘述。
50.进一步地，上述第一分类网络和第二分类网络的特征提取方式不同，是由于包括的特征提取层类别的不同引起的情况下，第一分类网络可以以卷积方式进行特征提取，第二分类网络可以以非卷积方式进行特征提取。或者，第一分类网络采用非卷积方式进行特征提取，第二分类网络采用卷积方式进行特征提取。
51.所谓卷积方式，是指第一分类网络包括卷积特征提取层，在特征提取过程利用该卷积特征提取层进行了卷积操作。所谓非卷积方式，是指第二分类网络不包括卷积特征提取层，在特征提取过程中未采用卷积操作。
52.可以理解的是，卷积操作会使得提取的特征不仅仅表达目标的颜色信息，还表达目标的边缘轮廓信息，从而卷积方式提取得到的特征(后文称之为细粒度特征)对目标的颜
色信息的表达能力不够强。非卷积方式提取得到的特征(后文称之为颜色特征)仅表达目标图像中目标的颜色信息，对目标的颜色信息的表达能力足够强。细粒度特征通用于各种目标处理任务，例如，目标是车辆，车辆处理任务可以包括车辆跟踪、车牌检测、车辆检测、车辆颜色分类等等。颜色特征所处的颜色空间可以是rgb、yuv等等，rgb颜色空间下，颜色特征包括r、g和b三个通道；yuv颜色空间下，颜色特征包括y、u和v三个颜色通道。
53.相对于颜色特征，将细粒度特征应用于颜色分类，能够对抗外界环境因素对颜色分类过程的干扰，但是边缘轮廓信息(外观)可能对颜色分类过程产生干扰(若存在外观相似目标的情况，会对颜色分类过程产生干扰)。相对于细粒度特征，将颜色特征应用于颜色分类，颜色分类过程不存在边缘轮廓信息的干扰，但是外界环境因素可能对颜色分类过程的干扰。所谓外界环境因素，包括但不限于光照情况、遮挡情况。外界环境因素可能导致目标图像中目标的颜色信息与目标的实际颜色信息不符。例如光照强度过高，可能引起目标反光，使得目标图像中目标的颜色信息与目标的实际颜色信息不符；目标被其他主体遮挡，可能引起串颜色的情况，使得目标的颜色信息与目标的实际颜色信息不符。从而，对颜色分类过程产生干扰。
54.因此，若第一分类网络提取的是颜色特征、第二分类网络提取的是细粒度特征，则在基于颜色特征得到的第一颜色分类结果不够准确的情况下，可以基于细粒度特征得到的第二颜色分类结果和第一颜色分类结果共同确定目标所属的颜色类别，以提高目标所属的颜色类别的准确度。或者，若第一分类网络提取的是细粒度特征、第二分类网络提取的是颜色特征，在基于细粒度特征得到的第一颜色分类结果不够准确的情况下，可以基于颜色特征得到的第二颜色分类结果和第一颜色分类结果共同确定目标所属的颜色类别，以提高目标所属的颜色类别的准确度。从而，能够结合颜色特征和细粒度特征两者的优点，实现目标颜色分类，由此既能够在存在外界环境因素干扰的情况下准确分类，也能够兼顾对外观相似目标的颜色分类的难点问题，从整体上提高确定的目标所属的颜色类别的准确度。
55.在第一分类网络以卷积方式进行特征提取，第二分类网络以非卷积方式进行特征提取的情况下，可以对s13进行如下扩展：
56.图3是本技术目标颜色分类方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。如图3所示，本实施例可以包括：
57.s31：将目标图像划分为若干图像块。
58.s32：获取各图像块在各颜色通道的代表像素值，并进行序列化，以形成特征序列。
59.一图像块在一颜色通道的代表像素值，可以是该图像块在该颜色通道的像素值的均值、最大值、最小值等等。
60.s33：基于特征序列进行颜色分类，得到第二颜色分类结果。
61.在s33中，可以直接对特征序列进行颜色分类，得到第二颜色分类结果。或者，可以利用注意力机制对特征序列进行处理，得到处理后的特征序列；对处理后的特征序列进行分类，得到第二颜色分类结果。注意力机制可以是单头注意力机制，也可以是多头注意力机制。通过注意力机制对特征序列处理，能够提高特征序列对目标的颜色信息的表达能力。
62.如下对s31～s33举例说明，第二分类网络是多头注意力机制的transformer，可以将目标图像分为8
×
8的图像块，对每个图像块的r、g和b三个颜色通道分别取均值，得到3
×8×
8的特征序列。利用多头注意力机制对3
×8×
8的特征序列处理，得到处理后的特征序
列，对处理后的特征序列进行分类，得到第二颜色分类结果。
63.为了便于理解，如下介绍一个本技术提供的方法的应用场景：
64.目标是车辆，在车辆跟踪场景下，获取车辆图像；对车辆进行颜色分类，确定车辆的颜色；基于车辆的颜色，对车辆进行模糊匹配；基于模糊匹配结果，对车辆进行精确匹配。其中，车辆对应的颜色类别包括红色、绿色、蓝色、黄色、紫色、黑色等等。
65.进一步地，结合图4说明实现该应用场景下颜色分类方法需要依据的颜色分类系统。该颜色分类系统可以包括摄像装置和目标颜色分类装置。摄像设备用于拍摄车辆图像，目标颜色分类装置用于获取拍摄到的车辆图像，对车辆图像进行颜色分类，得到车辆所属的颜色类别。该摄像装置可以是独立的摄像头，也可以是包含摄像头的终端；该颜色分类装置可以是任何具有处理能力的终端。
66.进一步地，结合图5对该应用场景下车辆颜色分类的方法进行详细说明：
67.第一分类网络包括第一特征提取层和第一颜色分类层(全连接层)，第二分类网络包括第二特征提取层和第二颜色分类层。
68.一阶段：
69.1)利用第一特征提取层对车辆图像进行特征提取，得到细粒度特征；利用第一颜色分类层对细粒度特征进行颜色分类，得到第一颜色分类结果。
70.2)依据第一置信度从大到小的顺序对各第一颜色分类结果排序，得到{top1，top2，top3，
…
}。
71.3)判断top1的第一置信度是否大于置信度阈值t；若不大于t，则将top1～top3作为候选颜色分类结果，并进入4)～7)；否则执行8)。
72.二阶段：
73.4)将车辆图像分为8*8的图像块。
74.5)利用第二特征提取层对车辆图像进行特征提取，得到颜色特征，即利用第二特征提取层对每个图像块的r、g和b三个通道分别取均值，得到3*8*8的特征序列；利用第二颜色分类层对颜色特征进行颜色分类，得到第二颜色分类结果。
75.6)依据对应的第二颜色分类结果的第二置信度从大到小的顺序，对top1～top3排序，得到{top2，top1，top3}。
76.7)将top2作为目标所属的颜色类别。
77.8)将top1作为目标所属的颜色类别。
78.经过测试统计发现，在第一颜色分类结果的第一置信度大于置信度阈值的情况下，基于第一颜色分类结果确定的目标所属的颜色类别top1的准确度接近100％。随着第一置信度的减小，第一颜色分类结果的准确度降低，在第一颜色分类结果的第一置信度不大于置信度阈值的情况下，需要在第一颜色分类结果的基础上，结合第二颜色分类结果辅助判断。
79.图6是本技术目标颜色分类装置一实施例的结构示意图。如图6所示，该目标颜色分类装置包括第一结果获取模块11、判断模块12、第二结果获取模块13和确定模块14。
80.第一结果获取模块11可以用于利用第一分类网络对目标图像进行特征提取和颜色分类，得到目标的第一颜色分类结果。
81.判断模块12，用于基于至少一个第一颜色分类结果的第一置信度，确定是否获取
目标的至少一个第二颜色分类结果。
82.第二结果获取模块13可以用于响应于获取目标的至少一个第二颜色分类结果，利用第二分类网络对目标图像进行特征提取和颜色分类，得到目标的第二颜色分类结果，其中第二分类网络的特征提取方式不同于第一分类网络。
83.确定模块14可以用于基于至少一个第一颜色分类结果和至少一个第二颜色分类结果，确定目标所属的颜色类别。
84.通过本实施例的实施，本技术在判断模块判断出得到第一颜色分类结果之后，基于第一颜色分类结果的第一置信度确定是否获取第二颜色分类结果，第一置信度反映第一颜色分类结果的准确度是否足够高、是否能够直接用于确定目标所属的颜色类别，确定获取第二颜色分类结果则意味着第一颜色分类结果的准确度不够高、不能够直接用于确定目标所属的颜色类别，因此第二结果获取模块获取第二颜色分类结果，确定模块基于第一颜色分类结果和第二颜色分类结果共同确定目标所属的颜色类别。其中第一分类网络和第二分类网络的特征提取方式不同，意味着第一分类网络和第二分类网络提取到的特征，对目标的颜色信息的表达情况不同，因此结合第一颜色分类结果和第二颜色分类结果确定目标所属的颜色类别的过程中，第一颜色分类结果和第二颜色分类结果能够起到互补的作用，使确定的目标所属的颜色类别更加准确。
85.图7是本技术目标颜色分类装置另一实施例的结构示意图。如图7所示，该目标颜色分类装置包括处理器21、与处理器21耦接的存储器22。
86.其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为cpu(central processing unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
87.图8是本技术计算机可读存储介质一实施例的结构示意图。如图8所示，本技术实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本技术上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
88.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
89.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。