基于机器视觉与地图的车辆定位追踪方法以及系统与流程

本发明涉及智慧交通，特别是涉及一种基于机器视觉与地图的车辆定位追踪方法以及系统。

背景技术：

1、交通状况优化是预防和缓解交通拥堵的关键。车辆行驶轨迹可以全面完整的表征交通流运行状态，包含了丰富的交通流信息。

2、然而，传统方法中由于图像的深度信息不准确或者视觉设备安装在杆体横臂采集图像时容易出现抖动问题，造成坐标转换时容易出现误差，进而导致传统方法的车辆定位精度低。

技术实现思路

1、本发明的目的是解决传统方法的车辆定位精度低的技术问题。为实现上述目的，本发明提供一种基于机器视觉与地图的车辆定位追踪方法以及系统。

2、本发明提供一种基于机器视觉与地图的车辆定位追踪方法，包括：

3、获取道路地图信息，并根据所述道路地图信息，获得每个图层中每个地图图形对应的空间表示图；

4、获取多个拍摄图像；

5、对每个所述拍摄图像进行边缘检测且连接成形，获得每个所述拍摄图像对应的多个边缘图形；

6、将每个所述边缘图形与每个所述空间表示图进行匹配，形成多个图形匹配对，根据所述多个图形匹配对，计算图形像素级变换矩阵，并根据所述图形像素级变换矩阵对每个所述拍摄图像进行变换，获得每个所述拍摄图像的每个像素的空间位置，生成像素空间位置表集；

7、对所述多个拍摄图像中初始拍摄图像与每个非初始拍摄图像进行动态图像特征匹配，获得每个所述非初始拍摄图像相对于所述初始拍摄图像的几何变换关系与像素对应关系，根据所述几何变换关系与所述像素对应关系，获得每个所述非初始拍摄图像的空间矩阵；

8、获取当前实时图像的当前特征点集，并根据所述当前特征点集与每个所述空间矩阵，判断所述当前实时图像与所述空间矩阵对应的所述非初始拍摄图像是否匹配，若匹配，则在所述像素空间位置表集中查找所述非初始拍摄图像对应的像素空间位置表；

9、获取所述当前实时图像中每个车辆的多个车轮点位置；

10、根据所述像素空间位置表，查找每个所述车轮点位置对应的空间坐标位置，获得当前时刻的每个车辆的空间位置；

11、根据各个时刻的同一车辆的所述空间位置，获得每个车辆的轨迹信息。

12、在一个实施例中，所述根据各个时刻的同一车辆的所述空间位置，获得同一车辆的轨迹信息之后，所述方法还包括：

13、获取跨设备对应的每个跨设备车辆的跨设备轨迹信息；

14、判断所述跨设备车辆与所述车辆是否为同一目标；

15、若所述跨设备车辆与所述车辆为同一目标，则以时间为依据，将所述跨设备轨迹信息与所述轨迹信息进行融合，形成跨设备车辆追踪信息。

16、在一个实施例中，所述将每个所述边缘图形与每个所述空间表示图进行匹配，形成多个图形匹配对，根据所述多个图形匹配对，计算图形像素级变换矩阵，并根据所述图形像素级变换矩阵对每个所述拍摄图像进行变换，获得每个所述拍摄图像的每个像素的空间位置，生成像素空间位置表集，包括：

17、对每个所述图形匹配对中所述边缘图形与所述空间表示图分别进行三角拆分，形成多个图形三角对；

18、对每个所述图形三角对进行仿射变换，获得所述图形像素级变换矩阵；

19、对每个所述图形匹配对中边缘图形进行边缘像素插值，获得已配对完整边缘图形。

20、在一个实施例中，所述方法还包括：

21、将非配对的边缘图形与非配对的空间表示图分别进行三角拆分，形成多个非配对三角图形；

22、对每个所述非配对的边缘图形进行边缘像素插值，获得非配对完整边缘图形；

23、将所述已配对完整边缘图形、所述已配对空间表示图、所述非配对完整边缘图形以及所述非配对空间表示图进行相加，获得完整图像；

24、根据所述图形像素级变换矩阵对所述完整图像进行变换，获得所述完整图像的每个像素的空间位置，生成所述像素空间位置表集。

25、在一个实施例中，所述对所述多个拍摄图像中初始拍摄图像与每个非初始拍摄图像进行动态图像特征匹配，获得每个所述非初始拍摄图像相对于所述初始拍摄图像的几何变换关系与像素对应关系，包括：

26、获取所述初始拍摄图像，并对所述初始拍摄图像进行特征提取，获得初始图像特征点集；

27、获取多个所述非初始拍摄图像，并对每个所述非初始拍摄图像进行特征点提取，获得多个非初始图像特征点集；

28、对每个所述非初始图像特征点集与所述初始图像特征点集中的特征点进行匹配，获得多个特征点匹配对；

29、根据所述多个特征点匹配对，获得所述初始拍摄图像与每个所述非初始拍摄图像之间的几何变换关系；

30、对所述初始拍摄图像与每个所述非初始拍摄图像分别进行网格划分，形成初始网格区域与非初始网格区域；

31、获取所述初始网格区域与所述非初始网格区域中相同网格位置对应的网格级别匹配关系；

32、根据双线性插值，计算所述网格级别匹配关系中在每个网格区域对应的像素关系。

33、在一个实施例中，所述根据所述当前特征点集与每个所述空间矩阵，判断所述当前实时图像与所述空间矩阵对应的所述非初始拍摄图像是否匹配，若匹配，则在所述像素空间位置表集中查找所述非初始拍摄图像对应的像素空间位置表，包括：

34、若匹配，则计算所述当前实时图像与所述非初始拍摄图像的匹配值；

35、若所述匹配值为最佳匹配，则在所述像素空间位置表集中查找所述非初始拍摄图像对应的像素空间位置表。

36、本发明提供一种基于机器视觉与地图的车辆定位追踪系统，包括：

37、空间信息获取模块，用于获取道路地图信息，并根据所述道路地图信息，获得每个图层中每个地图图形对应的空间表示图；

38、图像获取模块，用于获取多个拍摄图像；

39、边缘成形模块，用于对每个所述拍摄图像进行边缘检测且连接成形，获得每个所述拍摄图像对应的多个边缘图形；

40、像素空间转换模块，用于将每个所述边缘图形与每个所述空间表示图进行匹配，形成多个图形匹配对，根据所述多个图形匹配对，计算图形像素级变换矩阵，并根据所述图形像素级变换矩阵对每个所述拍摄图像进行变换，获得每个所述拍摄图像的每个像素的空间位置，生成像素空间位置表集；

41、图像特征匹配模块，用于对所述多个拍摄图像中初始拍摄图像与每个非初始拍摄图像进行动态图像特征匹配，获得每个所述非初始拍摄图像相对于所述初始拍摄图像的几何变换关系与像素对应关系，根据所述几何变换关系与所述像素对应关系，获得每个所述非初始拍摄图像的空间矩阵；

42、抖动纠正模块，用于获取当前实时图像的当前特征点集，并根据所述当前特征点集与每个所述空间矩阵，判断所述当前实时图像与所述空间矩阵对应的所述非初始拍摄图像是否匹配，若匹配，则在所述像素空间位置表集中查找所述非初始拍摄图像对应的像素空间位置表；

43、车辆定位模块，用于获取所述当前实时图像中每个车辆的多个车轮点位置；

44、空间位置查找模块，用于根据所述像素空间位置表，查找每个所述车轮点位置对应的空间坐标位置，获得当前时刻的每个车辆的空间位置；

45、轨迹生成模块，用于根据各个时刻的同一车辆的所述空间位置，获得每个车辆的轨迹信息。

46、在一个实施例中，所述系统还包括：

47、跨设备轨迹信息获取模块，用于获取跨设备对应的每个跨设备车辆的跨设备轨迹信息；

48、同目标判断模块，用于判断所述跨设备车辆与所述车辆是否为同一目标；

49、跨设备融合模块，用于若所述跨设备车辆与所述车辆为同一目标，则以时间为依据，将所述跨设备轨迹信息与所述轨迹信息进行融合，形成跨设备车辆追踪信息。

50、在一个实施例中，所述像素空间转换模块包括：

51、图形三角对获取模块，用于对每个所述图形匹配对中所述边缘图形与所述空间表示图分别进行三角拆分，形成多个图形三角对；

52、仿射变换模块，用于对每个所述图形三角对进行仿射变换，获得所述图形像素级变换矩阵；

53、像素插值模块，用于对每个所述图形匹配对中边缘图形进行边缘像素插值，获得已配对完整边缘图形。

54、在一个实施例中，所述系统还包括：

55、非配对图形获取模块，用于将非配对的边缘图形与非配对的空间表示图分别进行三角拆分，形成多个非配对三角图形；

56、非配对像素插值模块，用于对每个所述非配对的边缘图形进行边缘像素插值，获得非配对完整边缘图形；

57、边缘修正模块，用于将所述已配对完整边缘图形、所述已配对空间表示图、所述非配对完整边缘图形以及所述非配对空间表示图进行相加，获得完整图像；

58、像素空间位置表生成模块，用于根据所述图形像素级变换矩阵对所述完整图像进行变换，获得所述完整图像的每个像素的空间位置，生成所述像素空间位置表集。

59、在一个实施例中，所述图像特征匹配模块包括：

60、初始特征获取模块，用于获取所述初始拍摄图像，并对所述初始拍摄图像进行特征提取，获得初始图像特征点集；

61、非初始特征获取模块，用于获取多个所述非初始拍摄图像，并对每个所述非初始拍摄图像进行特征点提取，获得多个非初始图像特征点集；

62、特征点匹配模块，用于对每个所述非初始图像特征点集与所述初始图像特征点集中的特征点进行匹配，获得多个特征点匹配对；

63、几何变换计算模块，用于根据所述多个特征点匹配对，获得所述初始拍摄图像与每个所述非初始拍摄图像之间的几何变换关系；

64、网格划分模块，用于对所述初始拍摄图像与每个所述非初始拍摄图像分别进行网格划分，形成初始网格区域与非初始网格区域；

65、网格匹配关系获取模块，用于获取所述初始网格区域与所述非初始网格区域中相同网格位置对应的网格级别匹配关系；

66、像素关系计算模块，用于根据双线性插值，计算所述网格级别匹配关系中在每个网格区域对应的像素关系。

67、在一个实施例中，所述抖动纠正模块包括：

68、匹配值计算模块，用于若匹配，则计算所述当前实时图像与所述非初始拍摄图像的匹配值；

69、查找模块，用于若所述匹配值为最佳匹配，则在所述像素空间位置表集中查找所述非初始拍摄图像对应的像素空间位置表。

70、上述基于机器视觉与地图的车辆定位追踪方法以及系统中，将道路地图信息提取的数据信息与拍摄图像提取的数据信息进行了匹配映射，建立了道路地图信息与拍摄图像信息之间的映射关系，将道路地图信息与拍摄图像信息进行了结合，从不同角度对目标位置进行了定位，可以解决传统方法中由于图像的深度信息不准确导致的定位精度低的问题。同时，通过动态图像特征匹配步骤，对拍摄图像进行了抖动纠正。进一步，快速高效的将当前实时图像快速匹配到对应的像素空间位置表，查找车辆的车轮点的空间坐标位置，获知当前时刻的每个车辆的空间位置，从而根据各个时刻的同一车辆的空间位置，获得每个车辆的轨迹信息。通过本发明提供的基于机器视觉与地图的车辆定位追踪方法，不仅解决了车辆定位的精度问题，而且解决了防抖问题。本发明提供的基于机器视觉与地图的车辆定位追踪方法，精度高且抗抖动，可以提供高精度、稳定的车辆轨迹，可以广泛应用于智慧交通，智慧公安，智慧交管，智慧停车，城市交通信号控制等领域。