一种基于IRD图像的行人目标检测方法、电子设备、计算机可读存储介质与流程

本发明涉及红外及深度图像处理检测，具体涉及一种基于ird图像的行人目标检测方法、电子设备、计算机可读存储介质。

背景技术：

1、行人目标检测是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。行人检测在智能辅助驾驶，客流统计，智能监控等多个场景下都具有广泛的应用，近年来发展迅速，但是也存在着许多问题。

2、在行人目标检测领域，大多为多行人、常移动、光影环境复杂的场景；传统的方法通常是基于rgb彩色相机的图像，图像分辨率较高，而在行人目标检测的复杂场景中，图像分辨率较高会严重影响推理速度，同时检测精度也受衣着颜色、光照等方面的影响而降低；并且rgb彩色图像包含人脸等个人隐私信息，存在安全隐患；

3、而随着tof相机(tof相机具有红外景深传感器，含有灰度及深度数据)研发的日渐成熟，利用tof相机可以实现更好的行人目标检测。

技术实现思路

1、本发明要解决的技术问题在于解决使用rgb图像做行人目标检测存在的推理速度、检测精度低、存在泄露个人隐私隐患等诸多问题；为解决上述技术问题,本发明采用的具体技术方案为:

2、有鉴于此，本发明基于idr图像(基于tof(time of flight)技术的ir(infraredradiation)图像和d(depth)图像融合的三通道低分辨率图像)做行人目标检测，可以避免上述问题；本发明提供的技术方

3、案如下：

4、一种基于ird图像的行人目标检测方法，其特征在于，包括以下步骤：

5、(1)利用tof相机采集行人的灰度图像(ir)及深度图像(d)的数据；

6、(2)将所述灰度图像(ir)与所述深度图像(d)融合为三通道图像(ird)；

7、(3)利用已训练完成的模型，推理识别出所述三通道图像(ird)中的行人。

8、其中，采用单台tof相机采集行人的原始图像经过sensor后输出的所述灰度图像(ir)及所述深度图像(d)的时间一致，空间也对齐，因此其时间和像素上是对齐的，如此可以保证后续图像融合的准确性；

9、优选的，所述三通道图像(ird)的融合方法包括：

10、①将所述灰度图像(ir)的有效值归一化到0～255；

11、

12、其中，xir为所述灰度图像(ir)原始有效值，threshir为所述灰度图像(ir)归一化阈值；

13、②将所述深度图像(d)的有效值归一化到0～255；

14、具体的，先利用相机挂高减去所述深度图像(d)的原始有效值，随后再归一化到0～255；

15、xd＝camera_height-xd

16、

17、其中，camera_height为所述相机挂高，xd为所述深度图像(d)的原始有效值，threshd为所述深度图像(d)归一化阈值；

18、③合并所述灰度图像(ir)和所述深度图像(d)为所述三通道图像(ird)；

19、其中所述三通道图像(ird)包含二通道所述灰度图像(ir)和一通道所述深度图像(d)；

20、结合相机挂高来归一化图像数据，能提高实际应用场景中的识别效果。

21、进一步的，已训练完成的所述模型的训练方法如下：

22、a、取所述三通道图像(ird)数据做数据标注；

23、b、将标注好的数据按比例划分为训练集、验证集和测试集；

24、c、利用所述训练集和所述验证集进行所述模型的训练；

25、d、利用所述测试集进行所述模型的评估：

26、若，模型评估效果符合预期，则所述模型训练完成；

27、若，模型评估效果不符合预期，则重复步骤a-d。

28、优选的，取至少2组所述三通道图像(ird)数据做数据标注，其中不同组的所述三通道图像(ird)对应的tof相机的挂高不同；

29、采集tof相机不同挂高状态下对应的行人的所述灰度图像(ir)及所述深度图像(d)的数据，进而融合成不同挂高的所述三通道图像(ird)数据，对不同挂高的所述三通道图像(ird)做数据标注，能提高模型的泛化能力，提高模型对于从未见过的数据的预测能力，在训练数据上有很好的表现。

30、优选的，所述将标注好的数据按比例划分为训练集、验证集和测试集，其中，所述训练集、所述验证集和所述测试集占比为8:1:1。

31、优选的，所述模型为yolov5s模型。

32、进一步的，在对所述三通道图像(ird)做数据标注时，行人的头部与上半身作为一个标注框进行标注，标注格式为txt标注文件，每行格式为“类别中心点横坐标中心点纵坐标标注框宽度标注框高度”，其中，所述“中心点横坐标”、所述“中心点纵坐标”、所述“标注框宽度”、所述“标注框宽度”、所述“标注框高度”均除以图像的宽度和高度后做归一化；该步骤可以应对不同尺寸输入的影响。

33、进一步的，所述模型的评估，评估指标包含p(precision)、r(recall)、map@0.5(mean average precision)；当所述p、r、map@0.5均达到96％以上时，认为模型评估效果符合预期。

34、进一步的，所述数据标注包括人工标注，在第一次采集所述三通道图像(ird)数据时，使用人工标注方法对数据做标注；

35、进一步的，所述数据标注包括模型预标注；当模型评估效果不符合预期时，重新采集所述三通道图像(ird)数据，利用不符合预期的模型对所述三通道图像(ird)做数据预标注，然后使用人工标注对标注数据进行微调以提高标注效率。

36、本发明还提供了一种基于ird图像的行人目标检测电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现方法步骤。

37、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于ird图像的行人目标检测方法的步骤。

38、该方法将ir与d图像进行融合，使用的图像分辨率较低为320*240，可以明显降低模型推理速度，达到实时检测，能够广泛部署在嵌入式等低算力平台；同时，ird图像对颜色、光照等信息不敏感，检测效果受衣着颜色，光照等环境因素影响较小，能够有效提升检测精度，而且可以有效保护个人隐私信息。

技术特征：

1.一种基于ird图像的行人目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于ird图像的行人目标检测方法，其特征在于，所述三通道图像(ird)的融合方法包括：

3.根据权利要求1所述的一种基于ird图像的行人目标检测方法，其特征在于，已训练完成的所述模型的训练方法如下：

4.根据权利要求3所述的一种基于ird图像的行人目标检测方法，其特征在于，取至少2组所述三通道图像(ird)数据做数据标注，其中不同组的所述三通道图像(ird)对应的tof相机的挂高不同。

5.根据权利要求3所述的一种基于ird图像的行人目标检测方法，其特征在于，所述数据标注包括人工标注，在第一次采集所述三通道图像(ird)数据时，使用人工标注方法对数据做标注。

6.根据权利要求5所述的一种基于ird图像的行人目标检测方法，其特征在于，所述数据标注包括模型预标注；当模型评估效果不符合预期时，重新取所述三通道图像(ird)数据，利用不符合预期的模型对所述三通道图像(ird)做数据预标注，然后使用人工标注对标注数据进行微调。

7.根据权利要求3所述的一种基于ird图像的行人目标检测方法，其特征在于，所述训练集、所述验证集和所述测试集占比为8:1:1。

8.根据权利要求1所述的一种基于ird图像的行人目标检测方法，其特征在于，所述模型为yolov5s模型。

9.一种基于ird图像的行人目标检测电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时，实现权利要求1-8任一项所述的方法步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于ird图像的行人目标检测方法的步骤。

技术总结
本发明公开了一种基于IRD图像的行人目标检测方法、电子设备、计算机可读存储介质，其中，该行人目标检测方法包括利用TOF相机采集行人的灰度图像(IR)及深度图像(D)的数据，将所述灰度图像(IR)与所述深度图像(D)融合为三通道图像(IRD)；利用已训练完成的模型，推理识别出所述三通道图像(IRD)中的行人。该方法将IR与D图像进行融合，使用的图像分辨率较低为320*240，可以明显降低模型推理速度，达到实时检测，能够广泛部署在嵌入式等低算力平台；同时，IRD图像对颜色、光照等信息不敏感，检测效果受衣着颜色，光照等环境因素影响较小，能够有效提升检测精度，而且可以有效保护个人隐私信息。

技术研发人员：刘鑫鹏,刘英,徐进杰
受保护的技术使用者：青岛维感科技有限公司
技术研发日：
技术公布日：2024/1/15