一种基于实例分割的目标匹配方法与流程

本发明涉及数据处理，特别涉及一种基于实例分割的目标匹配方法。

背景技术：

1、自动驾驶系统中感知模块可对视觉传感器即摄像机持续输出的感知数据即摄像机拍摄的视觉图像进行行人目标匹配处理从而得到各个行人目标的跟踪轨迹。常规情况下，感知模块处理行人目标匹配的典型处理步骤为：先对当前时刻的视觉图像进行行人目标检测处理得到多个当前时刻的行人目标检测框bboxnow(bounding box，bbox)；再基于卡尔曼滤波器对前一时刻的各个行人目标检测框bboxpre进行一步预测得到对应的预测行人目标检测框bbox*now；再对每个行人目标检测框bboxnow与每个预测行人目标检测框bbox*now的目标检测框交并比进行计算得到对应的交并比矩阵；再基于匈牙利算法根据交并比矩阵进行匹配度计算得到对应的匹配度矩阵；再基于匹配度矩阵为各个行人目标检测框bboxnow找到最大匹配度的预测行人目标检测框bbox*now，从而为各个行人目标检测框bboxnow找到最大匹配度的行人目标检测框bboxpre；再将最大匹配度大于预设的匹配度阈值的行人目标检测框bboxpre和行人目标检测框bboxnow视为一对相互匹配的检测框匹配对；再将每个检测框匹配对的一对行人目标检测框bboxpre、bboxnow视为同一行人目标在前后时刻的两个目标检测结果，并为这两个bboxpre、bboxnow创建对应的目标关联关系。由此不难看出，常规情况下感知模块是以前后时刻的行人目标检测框交并比作为匹配条件进行目标匹配处理的。

2、然而通过实践我们发现这种常规处理方式在行人数量较多时往往会发生目标匹配错误的问题，究其原因主要是因为对于距离较近的行人目标而言其各自对应的目标检测框的形状大小都类似，如果按照传统方案以前后时刻的行人目标检测框交并比作为匹配条件就容易发生错配。例如，在前一时刻检测到路人甲对应的目标检测框bboxpre,1；在当前时刻从路人甲身后走出了路人乙且路人乙与路人甲的身高体型近似，此时就会检测与路人甲、乙对应的两个目标检测框bboxnow,1和bboxnow,2；我们在实践中发现感知模型基于常规方案可能会出现以下两种目标匹配错误的情况：1)认为bboxnow,1、bboxnow,2和bboxpre,1都是匹配目标，并为bboxnow,1-bboxpre,1和bboxnow,2-bboxpre,1都形成目标关联；2)认为bboxnow,2和bboxpre,1是匹配目标，并为bboxnow,2-bboxpre,1形成目标关联。

3、若要降低感知模块发生类似上述目标匹配错误的几率，就需要在目标匹配处理时另外选取其他更能体现行人目标差异的特征作为匹配条件来替换常规方案中以行人目标检测框交并比作为匹配条件的处理方式。

技术实现思路

1、本发明的目的，就是针对现有技术的缺陷，提供一种基于实例分割的目标匹配方法、电子设备及计算机可读存储介质；本发明在对视觉图像进行目标检测时还对各个行人目标进行实例分割，并对各个行人目标实例进行色彩分布特征向量提取，并以前后时刻各个行人目标实例的色彩分布特征向量为匹配条件进行目标匹配处理，并基于目标匹配结果为前后时刻的行人目标框建立目标关联关系。本发明另外选取了一种更能体现行人目标差异的色彩分布特征向量作为匹配条件来进行目标匹配处理，通过本发明的处理方式可以增大行人目标的特征差异、提高行人目标匹配的准确度，从而达到降低感知模块发生目标匹配错误几率的目的。

2、为实现上述目的，本发明实施例第一方面提供了一种基于实例分割的目标匹配方法，所述方法包括：

3、步骤1，在起始时刻获取第一图像；

4、步骤2，对所述第一图像进行行人目标色彩分布特征提取处理得到最早的前一时刻特征张量；

5、步骤3，在下一时刻获取第二图像；

6、步骤4，对所述第二图像进行行人目标色彩分布特征提取处理得到对应的当前时刻行人特征张量；

7、步骤5，根据所述当前时刻行人特征张量和所述前一时刻特征张量进行行人目标匹配处理得到多个第一匹配目标组；并为各个所述第一匹配目标组对应的两个前后时刻的行人目标建立目标关联关系；

8、步骤6，根据所有所述第一匹配目标组对所述前一时刻特征张量进行未消失目标特征向量更新和已消失目标特征向量删除处理得到对应的一次更新特征张量；并根据所有所述第一匹配目标组和所述当前时刻行人特征张量对所述一次更新特征张量进行新增目标特征向量添加处理得到对应的二次更新特征张量；

9、步骤7，将所述二次更新特征张量作为新的所述前一时刻特征张量；并转至步骤3继续下一时刻的循环处理。

10、优选的，所述前一时刻特征张量的形状为a×n3，a为前一时刻行人目标数量，n为预设的特征区间数量，1≤a，1≤n；所述前一时刻特征张量包括a个向量长度为n3的前一时刻行人特征向量fi，i为前一时刻行人目标索引，1≤i≤a；

11、所述当前时刻行人特征张量的形状为b×n3，b为当前时刻行人目标数量，1≤b；所述当前时刻行人特征张量包括b个向量长度为n3的当前时刻行人特征向量fj，j为当前时刻行人目标索引，1≤j≤b；

12、所述第一匹配目标组包括一个所述当前时刻行人特征向量fj和一个所述前一时刻行人特征向量fi。

13、优选的，所述行人目标色彩分布特征提取处理，具体包括：

14、将本次输入的所述第一图像或所述第二图像作为对应的当前图像；

15、对所述当前图像进行行人目标检测和行人实例分割处理得到带有多个行人目标检测框的语义分割图；各个所述行人目标检测框对应的检测目标类型为行人目标类型；所述语义分割图包括多个第一像素点；各个所述第一像素点包括一组三通道rgb像素值和一个像素语义类型；所述三通道rgb像素值包括r通道像素值、g通道像素值和b通道像素值；所述像素语义类型包括行人语义类型和其他多个非行人语义类型；

16、将所述语义分割图上各个所述行人目标检测框覆盖的图像区域提取出来作为对应的行人语义分割图；

17、对各个所述行人语义分割图进行色彩分布特征向量提取处理得到对应的第一特征向量；所述第一特征向量的向量长度为n3；

18、对所述语义分割图的所述行人目标检测框的数量进行统计得到对应的第一数量；

19、若所述当前图像为所述第一图像，则设置对应的所述前一时刻行人目标数量a为所述第一数量，并将各个所述第一特征向量作为对应的所述前一时刻行人特征向量fi，并由得到的所述前一时刻行人目标数量a的向量长度为n3的所述前一时刻行人特征向量fi组成最早的所述前一时刻特征张量输出；

20、若所述当前图像为所述第二图像，则设置对应的所述当前时刻行人目标数量b为所述第一数量，并将各个所述第一特征向量作为对应的所述当前时刻行人特征向量fj，并由得到的所述当前时刻行人目标数量b的向量长度为n3的所述当前时刻行人特征向量fj组成对应的所述当前时刻行人特征张量输出。

21、进一步的，所述对各个所述行人语义分割图进行色彩分布特征向量提取处理得到对应的第一特征向量，具体包括：

22、基于预设的r、g、b通道取值范围和所述特征区间数量n构建一个三维rgb网格空间记为对应的第一网格空间；所述第一网格空间的x、y、z轴的取值范围分别与所述r、g、b通道取值范围对应；所述第一网格空间的x轴被均分成n个x轴特征区间,每个所述x轴特征区间对应一个特征区间索引x_id,1≤x_id≤n；所述第一网格空间的y轴被均分成n个y轴特征区间,每个所述y轴特征区间对应一个特征区间索引y_id,1≤y_id≤n；所述第一网格空间的z轴被均分成n个z轴特征区间,每个所述z轴特征区间对应一个特征区间索引z_id,1≤z_id≤n；所述第一网格空间由n3个第一网格gx_id,y_id,z_id构成；

23、为所述第一网格空间的各个所述第一网格gx_id,y_id,z_id分配一个对应的第一网格计数器；并将各个所述第一网格计数器的计数值初始化为预设的计数器初始值；

24、将所述行人语义分割图上所述像素语义类型为行人语义类型的所述第一像素点记为对应的第一行人像素点；

25、对各个所述第一行人像素点进行遍历；遍历时，将当前遍历的所述第一行人像素点记为对应的当前像素点；并将所述当前像素点的所述r通道像素值、所述g通道像素值和所述b通道像素值提取出来作为对应的x、y、z轴坐标值x1、y1和z1组成对应的第一点坐标(x1,y1,z1)；并将所述第一网格空间中所述第一点坐标(x1,y1,z1)所在的所述第一网格gx_id,y_id,z_id作为对应的当前网格；并对所述当前网格对应的所述第一网格计数器的计数值加1；

26、遍历结束时，由所述第一网格空间对应的n3个所述第一网格计数器的计数值组成一个长度为n3的计数值向量记为对应的第一计数值向量；并对所述第一计数值向量进归一化处理得到对应的长度为n3的归一化计数值向量；并将所述归一化计数值向量作为对应的所述第一特征向量输出。

27、优选的，所述根据所述当前时刻行人特征张量和所述前一时刻特征张量进行行人目标匹配处理得到多个第一匹配目标组，具体包括：

28、对所述当前时刻行人特征张量的各个所述当前时刻行人特征向量fj和所述前一时刻特征张量的各个所述前一时刻行人特征向量fi进行余弦距离计算得到对应的第一余弦距离dj,i，

29、从各个所述当前时刻行人特征向量fj对应的所述前一时刻行人目标数量a的所述第一余弦距离dj,i中选出最大值作为对应的第一最大余弦距离dj,max；

30、对各个所述当前时刻行人特征向量fj对应的所述第一最大余弦距离dj,max是否大于预设的余弦距离阈值进行识别；若是，则由当前所述当前时刻行人特征向量fj和所述第一最大余弦距离dj,max对应的所述前一时刻行人特征向量fi组成一组对应的所述第一匹配目标组；

31、将得到的所有所述第一匹配目标组输出。

32、优选的，所述为各个所述第一匹配目标组对应的两个前后时刻的行人目标建立目标关联关系，具体包括：

33、将所述第一匹配目标组中所述前一时刻行人特征向量fi对应的行人目标检测框记为对应的前一时刻行人目标，将所述第一匹配目标组中所述当前时刻行人特征向量fj对应的行人目标检测框作为对应的当前时刻行人目标，并在所述前一时刻行人目标与所述当前时刻行人目标之间创建同一目标关联关系。

34、优选的，所述根据所有所述第一匹配目标组对所述前一时刻特征张量进行未消失目标特征向量更新和已消失目标特征向量删除处理得到对应的一次更新特征张量，具体包括：

35、将所有所述第一匹配目标组中的所述前一时刻行人特征向量fi的所述前一时刻行人目标索引i的索引值提取出来组成对应的第一索引值序列；

36、在所述前一时刻特征张量中，将所述前一时刻行人目标索引i的索引值不满足所述第一索引值序列的所述前一时刻行人特征向量fi记为对应的已消失目标特征向量，并将所述前一时刻行人目标索引i的索引值满足所述第一索引值序列的所述前一时刻行人特征向量fi记为对应的未消失目标特征向量；

37、对各个所述第一匹配目标组进行遍历；遍历时，将当前遍历的所述第一匹配目标组作为对应的当前匹配目标组，并将所述前一时刻特征张量中与所述当前匹配目标组的所述前一时刻行人特征向量fi对应的所述未消失目标特征向量作为对应的当前未消失目标特征向量，并将所述当前匹配目标组的所述前一时刻行人特征向量fi和所述当前时刻行人特征向量fj提取出来作为对应的前一时刻状态量和当前时刻观测量；并基于预设的状态滤波器根据所述前一时刻状态量和所述当前时刻观测量对当前时刻的状态量进行预测得到对应的长度为n3的当前时刻状态量；并将所述前一时刻特征张量中的所述当前未消失目标特征向量更新为对应的所述当前时刻状态量；所述状态滤波器包括卡尔曼滤波器和指数移动平均滤波器；

38、遍历结束时，将所述前一时刻特征张量中所有所述已消失目标特征向量对应的所述前一时刻行人特征向量fi删除；并对所述前一时刻特征张量中剩余的所述前一时刻行人特征向量fi的数量进行统计得到对应的第二数量，并将所述前一时刻特征张量的所述前一时刻行人目标数量a更新为对应的所述第二数量；

39、将完成未消失目标特征向量更新和已消失目标特征向量删除的所述前一时刻特征张量作为对应的所述一次更新特征张量输出。

40、优选的，所述根据所有所述第一匹配目标组和所述当前时刻行人特征张量对所述一次更新特征张量进行新增目标特征向量添加处理得到对应的二次更新特征张量，具体包括：

41、将所有所述第一匹配目标组中的所述当前时刻行人特征向量fj的所述当前时刻行人目标索引j的索引值提取出来组成对应的第二索引值序列；

42、将所述当前时刻行人特征张量中所述当前时刻行人目标索引j的索引值不满足所述第二索引值序列的所述当前时刻行人特征向量fj记为对应的新增目标特征向量；并将各个所述新增目标特征向量作为一个新增的所述前一时刻行人特征向量fi向所述一次更新特征张量中添加；

43、对所述一次更新特征张量中所有所述前一时刻行人特征向量fi的数量进行统计得到对应的第三数量，并将所述一次更新特征张量的所述前一时刻行人目标数量a更新为对应的所述第三数量；

44、将完更新的所述一次更新特征张量作为对应的所述二次更新特征张量输出。

45、本发明实施例第二方面提供了一种电子设备，包括：存储器、处理器和收发器；

46、所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；

47、所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。

48、本发明实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。

49、本发明实施例提供了一种基于实例分割的目标匹配方法、电子设备及计算机可读存储介质；本发明在对视觉图像进行目标检测时还对各个行人目标进行实例分割，并对各个行人目标实例进行色彩分布特征向量提取，并以前后时刻各个行人目标实例的色彩分布特征向量为匹配条件进行目标匹配处理，并基于目标匹配结果为前后时刻的行人目标框建立目标关联关系。本发明另外选取了一种更能体现行人目标差异的色彩分布特征向量作为匹配条件来进行目标匹配处理，通过本发明的处理方式增大了行人目标的特征差异、提高了行人目标匹配的准确度，降低了感知模块发生目标匹配错误的几率。