一种基于车载单目摄像机的行人距离测量方法

1.本发明涉及深度学习卷积神经网络等技术领域，尤其涉及一种基于darknet框架的yolov4行人检测算法的测距方法。


背景技术：

2.在行人检测及测距等道路环境感知中，摄像头具有信息丰富、成本低等优势，在高级驾驶辅助系统及未来无人驾驶的实现中，基于摄像头的行人测距将是一项关键技术。目前应用于汽车测距的方式主要有以下几种：激光测距、超声测距、微波测距、红外线测距、视觉测距。其中，超声测距与红外线测距仪因其探测距离较短，主要应用于汽车倒车控制系统；而激光和微波雷达测距仪因其具有测量距离远、精度高等优点，常被应用于车辆主动安全控制系统，但其产品规格大，测距越远成本越高。视觉测量技术在精度、速度、智能化等方面具有很强的适应性，并具有高精度、稳定性好、非接触性测量等特点，若再结合图像处理技术，即可构成自动化较高的实用测距系统，因此它在智能车辆辅助驾驶导航的安全距离测量中应用极广。


技术实现要素：

3.本发明设计了一种基于车载单目摄像机的行人距离测量方法。车载相机行人距离测量的核心是对行人的准确检测，利用yolov4算法实时检测车辆前方道路环境中的行人，即可得到行人在像素坐标系中的位置，再将像素坐标系中行人和相机的像素坐标通过opencv标定转换为世界坐标系中行人和相机的世界坐标，并通过计算这两点之间的距离即可得到行人与汽车之间的距离。
4.本发明通过以下技术方案实现：
5.1.一种基于车载单目摄像机的行人距离测量方法，其特征在于，所述测距方法包括以下步骤：
6.步骤1：相机标定，得到相机的内参和外参；
7.步骤2：视频图像采集并制作voc格式的数据集；
8.步骤3：利用制作的数据集训练模型并测试；
9.步骤4：通过标定计算车与行人的距离。
10.2.根据权利要求1所述测距方法，其特征在于，所述步骤1制作数据集具体为，
11.步骤1.1：将标定板摆放在平地上，用相机多角度进行拍摄并得到20张左右照片，通过opencv标定即可得到相机的内参矩阵；
12.步骤1.2：将相机固定在车上后，再拍摄一张照片，通过已知的内参矩阵进行标定即可得到这张图片的外参矩阵。
13.3.根据权利要求1所述测距方法，其特征在于，所述步骤4标定及计算距离具体为，
14.步骤4.1：利用训练好的yolov4模型行人进行检测并得到行人的像素坐标；
15.步骤4.2：将行人和相机的像素坐标分别通过标定转换为对应的世界坐标；
16.步骤4.3：求解相机和人在世界坐标系中的距离，即为车辆与行人间的距离。
17.本发明的有益效果是：
18.可以实时准确地检测到行人，并且得到行人的准确坐标，从而计算距离。本设计采用的opencv标定法可以随时进行重新标定，相比matlab标定便捷。利用此方法测距可以提醒司机减速刹车，有效减少或者避免发生车祸。
附图说明
19.图1为世界坐标系到像素坐标系的映射
20.图2为单目相机测距的流程图
21.图3为车载相机与行人的测距模型图
具体实施方式
22.厂区作业车辆在正常行驶时容易与行人发生碰撞造成事故，因此，为了避免此类事故，在车上安装摄像头，通过其拍摄的视频实时计算车辆与行人的距离。车辆正常行驶时当其与行人距离减小至某一个阈值时，提醒司机做出相应操作或进行主动制动，以达到保护行人的目的。为了更清楚地说明本发明现有技术中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
23.步骤1：本设计在opencv下进行标定，像素坐标系点(u，v)与世界坐标系点(xw，yw，zw)的映射关系：
[0024][0025]
等号右侧的第一个矩阵即为相机的内参矩阵，第二个矩阵为外参矩阵，其中r和t分别为旋转矩阵和平移向量，利用海康威视的摄像头，从各个角度拍摄大约20张标定板的图片，输入到opencv进行标定，得到相机的内参矩阵和外参矩阵。
[0026]
步骤2：视频图像采集。拍摄车辆行驶过程中的多段视频，对其中有行人的视频片段进行抽帧以用于制作行人检测的数据集，图像标注采用labelimg，并制作voc格式的数据集。此外，视频还用于测试车辆行人距离测量。
[0027]
步骤3：算法模型训练与检测。本项目采用yolov4与yolo fastest两种算法分别进行训练和测试，先用手机拍摄行人的图像，用卷尺测量被测人与手机的距离，使用训练好的yolov4或yolo fastest检测行人，通过标定计算距离，得出两者的差异，从而验证本文中计算距离方法的准确度。yolo fastest更易于部署在硬件资源有限的嵌入式设备中。
[0028]
步骤4：标定计算坐标。首先在车上固定车载摄像头的位置与角度，将标定板水平放置于地面，使其位于摄像头视场中间位置，拍摄有标定板的照片用于相机标定；注意：标定以后摄像头相对于车辆的位置和角度便不能更改了，一旦更改则必须重新标定。通过上一节算法模型的训练与测试后，可以得到行人在图像上的像素坐标，以此作为标定的输入，经过标定计算即可得到行人在地面的世界坐标，同样可以通过标定程序计算摄像头在地面的投影点的世界坐标，将内参矩阵和外参矩阵相乘，并且令zw＝0得到：
[0029][0030]
得到关于xw和yw的二元一次方程：
[0031][0032]
于是，可以通过像素坐标(u，v)及内外参矩阵得到地面(标定板平面)世界坐标系点(xw，yw，0)，即二维平面映射二维平面的一个过程。
[0033]
进而计算它们之间的距离即可得到车辆与行人的实际距离，并将此距离标注于检测框上方。


技术特征：
1.一种基于车载单目摄像机的行人距离测量方法，其特征在于，所述测距方法包括以下步骤：步骤1：相机标定，得到相机的内参和外参；步骤2：视频图像采集并制作voc格式的数据集；步骤3：利用制作的数据集训练模型并测试；步骤4：通过标定计算车与行人的距离。2.根据权利要求1所述测距方法，其特征在于，所述步骤制作数据集具体为，步骤1.1：将标定板摆放在平地上，用相机多角度进行拍摄并得到20张左右照片，通过opencv标定即可得到相机的内参矩阵；步骤1.2：将相机固定在车上后，再拍摄一张照片，通过已知的内参矩阵进行标定即可得到这张图片的外参矩阵。3.根据权利要求1所述测距方法，其特征在于，所述步骤4具体为，步骤4.1：利用训练好的yolov4模型行人进行检测并得到行人的像素坐标；步骤4.2：将行人和相机的像素坐标分别通过标定转换为对应的世界坐标；步骤4.3：求解相机和人在世界坐标系中的距离，即为车辆与行人间的距离。

技术总结
本发明设计了一种基于车载单目摄像机的行人距离测量方法。车载相机行人距离测量的核心是对行人的准确检测，利用YOLOv4算法实时检测车辆前方道路环境中的行人，即可得到行人在像素坐标系中的位置，再将像素坐标系中行人和相机的像素坐标通过OpenCV标定转换为世界坐标系中行人和相机的世界坐标，并通过计算这两点之间的距离即可得到行人与汽车之间的距离。点之间的距离即可得到行人与汽车之间的距离。点之间的距离即可得到行人与汽车之间的距离。


技术研发人员：王以忠 易凯 周艳均
受保护的技术使用者：天津科技大学
技术研发日：2021.11.10
技术公布日：2022/1/28