一种基于红外影像的边缘端行人检测方法与流程

1.本发明公开一种方法,涉及机器学习图像处理及边缘计算技术领域，具体地说是一种基于红外影像的边缘端行人检测方法。


背景技术：

2.人类的身体具有相同的基本结构。可以利用计算机视觉来通过半刚性结构并提取特征来量化人体。可以将量化的特征传递给机器学习模型，这些模型在训练时可用于检测和跟踪图像和视频流中的人。
3.现有的计算机视觉行人检测方法使用hog+svm，计算复杂，且识别率低；而目前火热的深度学习方法，受限于计算力和功耗，无法在低功耗的边缘端设备进行部署使用和实时推理。


技术实现要素：

4.本发明针对现有技术的问题，提供一种基于红外影像的边缘端行人检测方法，借助红外影像，避免手工设计特征上的误识别率高的情况，且计算消耗小，并通过量化进行进一步模型压缩和计算加速，使得模型可以运行在 mcu级别的超低功耗芯片上，更有利于边缘端设备进行检测。
5.本发明提出的具体方案是：
6.本发明提供一种基于红外影像的边缘端行人检测方法，建立机器学习模型，部署机器学习模型到边缘端的mcu级芯片上，进行边缘端行人检测，其中利用机器学习模型根据红外影像使用帧间差值的方法记录红外像素变化的位置，通过图像形态学方法处理红外像素中零散的点或区域，提取处理后红外像素区域的特征，将提取的特征输入至多层感知机进行特征分类，判断红外影像是否为行人。
7.进一步，所述的一种基于红外影像的边缘端行人检测方法中所述通过图像形态学方法处理红外像素中零散的区域，包括：
8.使用图像形态学方法中腐蚀方法将红外像素中零散的点去除，或者示意膨胀方法将红外像素中零散的区域合并。
9.进一步，所述的一种基于红外影像的边缘端行人检测方法中所述提取红外像素区域的特征，包括：
10.利用特征矩阵对处理后红外像素区域进行滑窗卷积，并通过特征矩阵的缩放进行降维，以便输入多层感知机。
11.进一步，所述的一种基于红外影像的边缘端行人检测方法中将提取的特征输入至多层感知机之前，包括：
12.将多层感知机的权重进行量化，由float32量化为uint8。
13.进一步，所述的一种基于红外影像的边缘端行人检测方法中所述将提取的特征输入至多层感知机进行特征分类，包括：
14.配置多层感知机的参数，设置输入层神经元数量，设置隐藏层神经元数量，输出神经元数量，设置激活函数为sigmoid。
15.本发明还提供一种基于红外影像的边缘端行人检测装置，包括机器学习模型模块，
16.机器学习模型模块建立机器学习模型，部署机器学习模型到边缘端的 mcu级芯片上，进行边缘端行人检测，其中机器学习模型模块利用机器学习模型根据红外影像使用帧间差值的方法记录红外像素变化的位置，通过图像形态学方法处理红外像素中零散的点或区域，提取处理后红外像素区域的特征，将提取的特征输入至多层感知机进行特征分类，判断红外影像是否为行人。
17.进一步，所述的一种基于红外影像的边缘端行人检测装置中所述机器学习模型模块通过图像形态学方法处理红外像素中零散的区域，包括：
18.使用图像形态学方法中腐蚀方法将红外像素中零散的点去除，或者示意膨胀方法将红外像素中零散的区域合并。
19.进一步，所述的一种基于红外影像的边缘端行人检测装置中所述机器学习模型模块提取红外像素区域的特征，包括：
20.利用特征矩阵对处理后红外像素区域进行滑窗卷积，并通过特征矩阵的缩放进行降维，以便输入多层感知机。
21.进一步，所述的一种基于红外影像的边缘端行人检测装置中机器学习模型模块将提取的特征输入至多层感知机之前，包括：
22.将多层感知机的权重进行量化，由float32量化为uint8。
23.进一步，所述的一种基于红外影像的边缘端行人检测装置中所述机器学习模型模块将提取的特征输入至多层感知机进行特征分类，包括：
24.配置多层感知机的参数，设置输入层神经元数量，设置隐藏层神经元数量，输出神经元数量，设置激活函数为sigmoid。
25.本发明的有益之处是：
26.本发明提供一种基于红外影像的边缘端行人检测方法，利用建立机器学习模型借助卷积或互相关的计算提取特征，送入量化后的多层感知机进行特征分类，既能将行人检测的准确率控制在一个可接受的范围，又能简化计算过程，并压缩模型体积，有利于部署到边缘端低功耗的mcu级芯片上，降低使用成本和功耗。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1是本发明方法流程示意图。
具体实施方式
29.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以
更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
30.本发明提供一种基于红外影像的边缘端行人检测方法，建立机器学习模型，部署机器学习模型到边缘端的mcu级芯片上，进行边缘端行人检测，其中利用机器学习模型根据红外影像使用帧间差值的方法记录红外像素变化的位置，通过图像形态学方法处理红外像素中零散的点或区域，提取处理后红外像素区域的特征，将提取的特征输入至多层感知机进行特征分类，判断红外影像是否为行人。
31.本发明方法通过建立机器学习模型，并借助卷积或互相关的计算提取特征，送入量化后的多层感知机进行特征分类，既能将行人检测的准确率控制在一个可接受的范围，又能简化计算过程，并压缩模型体积，有利于部署到边缘端低功耗的mcu级芯片上，降低使用成本和功耗。
32.具体应用中，在本发明方法的一些实施例中，进行边缘端行人检测。具体过程为：
33.通过固定机位的红外摄像头对红外图像进行获取，
34.使用帧间差值的方法对红外像素变化的位置进行记录，计算前后两帧差值，
35.使用图像形态学腐蚀或膨胀将红外图像中零散的点去除，将成片区域合并，取最外层坐标进行矩形拟合，
36.基于人的外形轮廓模式设计行人检测特征矩阵对图像形态学处理后的红外图像进行滑窗卷积，可以结合三种加权的值的方式确保泛化性，将卷积结果由50x100进行降维缩放，至10x20，
37.将多层感知机的权重进行量化，量化的模型为 x_float＝x_scale*x_quantized。x_scale是(x_max-x_min)/255，x_min为模型权重所有值的最小值，x_max为模型权重所有值的最大值，量化后权重的范围为[0,255]，
[0038]
多层感知机的权重由float32量化为uint8，
[0039]
将特征图送入多层感知机进行分类，其中输入层为200个神经元，隐藏层设置为100个神经元，输出为2个神经元，激活函数为sigmoid，前向传播计算方式为y＝wx+b的形式，
[0040]
如果判断为行人，则记录当前矩形框坐标并输出。
[0041]
本发明方法借助红外影像的特性，避免了传统影像在手工设计特征上的误识别率高的情况，且计算消耗小，并通过量化进行进一步模型压缩和计算加速，使得模型可以运行在mcu级别的超低功耗芯片上。
[0042]
本发明还提供一种基于红外影像的边缘端行人检测装置，包括机器学习模型模块，
[0043]
机器学习模型模块建立机器学习模型，部署机器学习模型到边缘端的 mcu级芯片上，进行边缘端行人检测，其中机器学习模型模块利用机器学习模型根据红外影像使用帧间差值的方法记录红外像素变化的位置，通过图像形态学方法处理红外像素中零散的点或区域，提取处理后红外像素区域的特征，将提取的特征输入至多层感知机进行特征分类，判断红外影像是否为行人。
[0044]
上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
[0045]
同样地，本发明装置利用建立机器学习模型借助卷积或互相关的计算提取特征，
送入量化后的多层感知机进行特征分类，既能将行人检测的准确率控制在一个可接受的范围，又能简化计算过程，并压缩模型体积，有利于部署到边缘端低功耗的mcu级芯片上，降低使用成本和功耗。
[0046]
需要说明的是，上述各流程和各装置结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
[0047]
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。