行人衣着颜色识别的方法、系统、电子设备和存储介质与流程

1.本技术属于颜色识别领域，尤其涉及行人衣着颜色识别的方法、系统、电子设备和存储介质。


背景技术：

2.由于视频监控在各地安防的广泛应用，行人的精细化识别显得尤为重要。行人衣着颜色是监控系统中的一个重要属性，也是行人是最显著的外观特征。行人衣着颜色识别旨在识别视频或图像中行人的上衣和裤子颜色，准确的颜色识别可以极大提高找人的效率。
3.现有基于深度学习的行人衣着颜色识别方法，通常可以取得比传统识别方式更高的准确率。但是现有方法全部为多分类方法，识别结果为具体某一类颜色，对于纯色的上下身服装有较好效果，对于上半身或下半身为混色的情况不具有适用性。另外，已有深度学习行人颜色识别方法不能克服行人图像中被遮挡或行人误检的情况，在行人被遮挡或误检时，识别的颜色为遮挡物或误检物的颜色，极大降低了衣着颜色识别及检索的可靠性。


技术实现要素：

4.本发明实施例的主要目的在于提供行人衣着颜色识别的方法、系统、电子设备和存储介质，采用颜色多标签模型克服了一般颜色多分类模型对纯色分类效果好但无法处理混色情况的问题，提高了行人着装颜色识别的可用性；增加了对行人遮挡及误检测的识别，提高了行人着装颜色识别的可靠性。
5.第一方面，提供了行人衣着颜色识别的方法，所述方法包括：
6.通过预设的训练算法从训练图像中获取行人图像；
7.将所述行人图像在高度方向上划分为上衣图像和裤子图像，所述上衣图像包括：遮挡及误检上衣图像、正常上衣图像，所述裤子图像包括：遮挡及误检裤子图像、正常裤子图像；
8.对所述上衣图像和裤子图像进行颜色标签标注，获取标签上衣图像和标签裤子图像；
9.将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征；
10.将待识别图像输入经过所述颜色特征训练的卷积神经网络，获取颜色识别的结果。
11.在一个可能的实现方式中，所述将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征，包括：
12.将所述标签上衣图像和标签裤子图像调整为预设的标准大小；
13.通过pytorch框架构建卷积神经网络resnet18模型对所述经过调整的标签上衣图像和标签裤子图像进行特征提取，获取颜色特征；
14.通过反向传播算法以所述标签的平均二分类交叉熵损失为目标损失函数对
resnet18模型进行训练，当损失不再减小时完成所述训练。
15.在另一个可能的实现方式中，所述将待识别图像输入经过所述颜色特征训练的卷积神经网络，获取颜色识别的结果，包括：
16.将所述待识别图像调整为预设的标准大小；
17.将所述经过调整的待识别图像输入经过训练的卷积神经网络，采用逻辑回归二分类算法经过sigmoid激活函数获取对不同标签的概率值，所述标签包括：颜色、遮挡状态或误检状态；
18.根据所述概率值确定标签，包括：如果概率值大于预设的概率值阈值，则所述识别的结果为所述概率值对应的标签。
19.在另一个可能的实现方式中，采用二分类交叉熵损失对所述卷积神经网络进行训练时，单个样本的损失函数为：lossi＝-yilog(h(x))-(1-yi)log(1-h(x))，h(x)为sigmoid激活函数，yi为所述标签，其值为0或1；对于多个样本，其损失函数为所述多个样本的平均损失：m为样本的数量。
20.第二方面，提供了行人衣着颜色识别的系统，所述系统包括：
21.行人图像获取模块，用于通过预设的训练算法从训练图像中获取行人图像；
22.图像划分模块，用于将所述行人图像在高度方向上划分为上衣图像和裤子图像，所述上衣图像包括：遮挡及误检上衣图像、正常上衣图像，所述裤子图像包括：遮挡及误检裤子图像、正常裤子图像；
23.标签标注模块，用于对所述上衣图像和裤子图像进行颜色标签标注，获取标签上衣图像和标签裤子图像；
24.颜色特征获取模块，用于将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征；
25.颜色识别结果获取模块，用于将待识别图像输入经过所述颜色特征训练的卷积神经网络，获取颜色识别的结果。
26.在一个可能的实现方式中，所述将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征，包括：
27.将所述标签上衣图像和标签裤子图像调整为预设的标准大小；
28.通过pytorch框架构建卷积神经网络resnet18模型对所述经过调整的标签上衣图像和标签裤子图像进行特征提取，获取颜色特征；
29.通过反向传播算法以所述标签的平均二分类交叉熵损失为目标损失函数对resnet18模型进行训练，当损失不再减小时完成所述训练。
30.在另一个可能的实现方式中，所述将待识别图像输入经过所述颜色特征训练的卷积神经网络，获取颜色识别的结果，包括：
31.将所述待识别图像调整为预设的标准大小；
32.将所述经过调整的待识别图像输入经过训练的卷积神经网络，采用逻辑回归二分类算法经过sigmoid激活函数获取对不同标签的概率值，所述标签包括：颜色、
遮挡状态或误检状态；
33.根据所述概率值确定标签，包括：如果概率值大于预设的概率值阈值，则所述识别的结果为所述概率值对应的标签。
34.在另一个可能的实现方式中，采用二分类交叉熵损失对所述卷积神经网络进行训练时，单个样本的损失函数为：lossi＝-yilog(h(x))-(1-yi)log(1-h(x))，h(x)为sigmoid激活函数，yi为所述标签，其值为0或1；对于多个样本，其损失函数为所述多个样本的平均损失：m为样本的数量。
35.第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面提供的行人衣着颜色识别的方法。
36.第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面提供的行人衣着颜色识别的方法。
附图说明
37.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
38.图1为本发明一个实施例提供的行人衣着颜色识别的方法的流程图；
39.图2为本发明一个实施例提供的行人衣着颜色识别的系统的结构图；
40.图3为本发明一种电子设备的实体结构示意图。
41.具体实现方式
42.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本发明的限制。
43.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、模块、组件和/或它们的组。应该理解，当我们称模块被“连接”或“耦接”到另一模块时，它可以直接连接或耦接到其他模块，或者也可以存在中间模块。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
44.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实现方式作进一步地详细描述。
45.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如和解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
46.如图1所示为本发明一个实施例提供的行人衣着颜色识别的方法的流程图，所述方法包括：
47.步骤101，通过预设的训练算法从训练图像中获取行人图像；
48.步骤102，将所述行人图像在高度方向上划分为上衣图像和裤子图像，所述上衣图像包括：遮挡及误检上衣图像、正常上衣图像，所述裤子图像包括：遮挡及误检裤子图像、正常裤子图像；
49.步骤103，对所述上衣图像和裤子图像进行颜色标签标注，获取标签上衣图像和标签裤子图像；
50.步骤104，将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征；
51.步骤105，将待识别图像输入经过所述颜色特征训练的卷积神经网络，获取颜色识别的结果。
52.在本发明实施例中，获取不同场景、时间下的监控视频中的每帧图像，即为训练图像，采用yolov5算法对该训练图像进行检测，利用deepsort跟踪算法结合检测结果进行跟踪抓拍，将抓拍的行人检测结果收集并保存。确保收集的行人检测图像中包含无遮挡行人检测图像、有遮挡行人检测图像及误检的行人图像。
53.对于行人图像，在高度方向上划分为上衣、裤子图像区域，其中上衣区域为图像上边缘到整个图像高度占比0.4的高度处，裤子区域为图像下边缘到从下边缘往上数高度占整个图像高度0.45的高度处，被遮挡图像以及误检的上衣、裤子区域图像也按同样方式截取。
54.对于截取的上衣图像和裤子图像，按照黑、灰、白、红、橙、黄、绿、青、蓝、紫共10种颜色外加遮挡或误检共划分为11类标签，依次对所有截取后的上衣图像和裤子图像进行多标签标注。若该截取图像存在该颜色或存在遮挡或误检，则对应的标签标注为1，否则其对应的标签标注为0。
55.其中，所述将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征，包括：
56.将所述标签上衣图像和标签裤子图像调整为预设的标准大小；
57.通过pytorch框架构建卷积神经网络resnet18模型对所述经过调整的标签上衣图像和标签裤子图像进行特征提取，获取颜色特征；
58.通过反向传播算法以所述标签的平均二分类交叉熵损失为目标损失函数对resnet18模型进行训练，当损失不再减小时完成所述训练。
59.其中，所述将待识别图像输入经过所述颜色特征训练的卷积神经网络，获取颜色识别的结果，包括：
60.将所述待识别图像调整为预设的标准大小；
61.将所述经过调整的待识别图像输入经过训练的卷积神经网络，采用逻辑回归二分类算法经过sigmoid激活函数获取对不同标签的概率值，所述标签包括：颜色、遮挡状态或误检状态；
62.根据所述概率值确定标签，包括：如果概率值大于预设的概率值阈值，则所述识别的结果为所述概率值对应的标签。
63.其中，采用二分类交叉熵损失对所述卷积神经网络进行训练时，单个样本的损失函数为：lossi＝-yilog(h(x))-(1-yi)log(1-h(x))，h(x)为sigmoid激活函数，yi为所述标
签，其值为0或1；对于多个样本，其损失函数为所述多个样本的平均损失：m为样本的数量。
64.本发明实施例，通过预设的训练算法从训练图像中获取行人图像；将所述行人图像在高度方向上划分为上衣图像和裤子图像；对所述上衣图像和裤子图像进行颜色标签标注，获取标签上衣图像和标签裤子图像；将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征；将待识别图像输入经过所述颜色特征训练的卷积神经网络，获取颜色识别的结果。采用颜色多标签模型克服了一般颜色多分类模型对纯色分类效果好但无法处理混色情况的问题，提高了行人着装颜色识别的可用性；增加了对行人遮挡及误检测的识别，提高了行人着装颜色识别的可靠性。
65.如图2所示我本发明一个实施例提供的行人衣着颜色识别的系统的结构图，所述系统包括：
66.行人图像获取模块201，用于通过预设的训练算法从训练图像中获取行人图像；
67.图像划分模块202，用于将所述行人图像在高度方向上划分为上衣图像和裤子图像，所述上衣图像包括：遮挡及误检上衣图像、正常上衣图像，所述裤子图像包括：遮挡及误检裤子图像、正常裤子图像；
68.标签标注模块203，用于对所述上衣图像和裤子图像进行颜色标签标注，获取标签上衣图像和标签裤子图像；
69.颜色特征获取模块204，用于将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征；
70.颜色识别结果获取模块205，用于将待识别图像输入经过所述颜色特征训练的卷积神经网络，获取颜色识别的结果。
71.在本发明实施例中，获取不同场景、时间下的监控视频中的每帧图像，即为训练图像，采用yolov5算法对该训练图像进行检测，利用deepsort跟踪算法结合检测结果进行跟踪抓拍，将抓拍的行人检测结果收集并保存。确保收集的行人检测图像中包含无遮挡行人检测图像、有遮挡行人检测图像及误检的行人图像。
72.对于行人图像，在高度方向上划分为上衣、裤子图像区域，其中上衣区域为图像上边缘到整个图像高度占比0.4的高度处，裤子区域为图像下边缘到从下边缘往上数高度占整个图像高度0.45的高度处，被遮挡图像以及误检的上衣、裤子区域图像也按同样方式截取。
73.对于截取的上衣图像和裤子图像，按照黑、灰、白、红、橙、黄、绿、青、蓝、紫共10种颜色外加遮挡或误检共划分为11类标签，依次对所有截取后的上衣图像和裤子图像进行多标签标注。若该截取图像存在该颜色或存在遮挡或误检，则对应的标签标注为1，否则其对应的标签标注为0。
74.其中，所述将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征，包括：
75.将所述标签上衣图像和标签裤子图像调整为预设的标准大小；
76.通过pytorch框架构建卷积神经网络resnet18模型对所述经过调整的标签上衣图像和标签裤子图像进行特征提取，获取颜色特征；
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
86.另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的行人衣着颜色识别的方法，该方法包括：通过预设的训练算法从训练图像中获取行人图像；将所述行人图像在高度方向上划分为上衣图像和裤子图像，所述上衣图像包括：遮挡及误检上衣图像、正常上衣图像，所述裤子图像包括：遮挡及误检裤子图像、正常裤子图像；对所述上衣图像和裤子图像进行颜色标签标注，获取标签上衣图像和标签裤子图像；将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征；将待识别图像输入经过所述颜色特征训练的卷积神经网络，获取颜色识别的结果。
87.又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的行人衣着颜色识别的方法，该方法包括：通过预设的训练算法从训练图像中获取行人图像；将所述行人图像在高度方向上划分为上衣图像和裤子图像，所述上衣图像包括：遮挡及误检上衣图像、正常上衣图像，所述裤子图像包括：遮挡及误检裤子图像、正常裤子图像；对所述上衣图像和裤子图像进行颜色标签标注，获取标签上衣图像和标签裤子图像；将所述标签上衣图像和标签裤子图像输入预设的卷积神经网络，获取颜色特征；将待识别图像输入经过所述颜色特征训练的卷积神经网络，获取颜色识别的结果。
88.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
89.以上所述仅是本发明的部分实现方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。