技术特征：
1.一种多目标跟踪识别方法，其特征在于，包括：对包括有至少一个当前目标的当前帧图像进行特征提取，得到所述当前帧图像对应的初步特征；根据所述当前帧图像的前若干帧图像，获取每个所述前帧目标分别对应的运动信息，并为每个前帧目标分别预测得到第一预测位置；根据所述第一预测位置对所述初步特征进行增强，得到增强特征；对所述增强特征进行对象识别，得到每个所述当前目标分别对应的位置识别信息和特征识别信息；提取每个所述前帧目标的轨迹信息，对于每个所述前帧目标，确定其在当前帧时刻的前一帧图像中的位置信息和特征信息；根据所述位置信息，为每个所述目标对象分别预测得到第二预测位置；对于每个所述当前目标，将其与全部的所述轨迹信息分别组合，得到若干匹配组；对于每个所述匹配组，将该匹配组包括的所述当前目标的所述位置识别信息、所述特征识别信息与该匹配组包括的轨迹信息确定出的所述第二预测位置、特征信息分别进行匹配，得到位置匹配度和特征匹配度，并根据所述位置匹配度和所述特征匹配度得到联合匹配度；根据若干所述匹配组及其分别对应的所述联合匹配度，得到多目标跟踪识别结果。2.根据权利要求1所述的方法，还包括：响应于确定在所述多目标跟踪识别结果中仍存在未成功匹配的所述当前目标和所述轨迹信息，调取所述前帧目标中非激活状态的轨迹信息；计算未成功匹配的所述当前目标和非激活状态的所述轨迹信息之间的特征匹配度；响应于该所述特征匹配度大于等于预设的特征匹配度阈值，确定匹配成功，并将成功匹配的非激活状态的所述轨迹信息更新为激活状态；响应于确定所述轨迹信息保持非激活状态的时间超过预设的时间阈值，将该所述轨迹信息删除；其中，将所述非激活状态的轨迹信息定义为：所述前一帧图像与该所述轨迹信息未成功匹配；将所述激活状态的轨迹信息定义为：所述前一帧图像与该所述轨迹信息成功匹配。3.根据权利要求1所述的方法，还包括：响应于确定不具备前若干帧图像，不进行所述第一预测位置的预测；并将所述初步特征输入卷积神经网络，得到每个所述当前目标分别对应的的所述位置识别信息和特征识别信息；所述前若干帧图像包括：符合预定数目的前若干帧连续图像。4.根据权利要求3所述的方法，其特征在于，所述为每个前帧目标分别预测得到第一预测位置，包括：提取每个所述前帧目标在每帧图像中的位置矩阵，并将所述位置矩阵在时间维度上进行拼接，得到所述前帧目标的历史位置矩阵；利用所述历史位置矩阵，通过卷积长短期记忆网络，得到所述前帧目标在前若干帧图像中的所述运动信息；利用所述运动信息，通过所述卷积神经网络和所述卷积长短期记忆网络，预测每个所
述前帧目标在当前帧时刻的位置，并采取结构相似性损失函数的监督训练，得到第一预测位置。5.根据权利要求1所述的方法，其特征在于，根据所述第一预测位置对所述初步特征进行增强，包括：利用所述初步特征和所述第一预测位置构建如下的增强公式，计算所述增强特征：其中，f
′
t
表示所述增强特征，f
t
表示所述初步特征，p
t
表示所述第一预测位置。6.根据权利要求1或3所述的方法，其特征在于，所述得到每个所述当前目标分别对应的位置识别信息和特征识别信息，包括：将所述增强特征或所述初步特征输入所述卷积神经网络的位置预测网络层，得到所述位置概率矩阵；将所述增强特征或所述初步特征输入所述卷积神经网络的偏移预测网络层，得到所述偏移预测矩阵；将所述增强特征或所述初步特征输入所述卷积神经网络的长宽预测网络层，得到所述长宽预测矩阵；将所述增强特征或所述初步特征输入所述卷积神经网络的特征提取网络层，得到所述目标特征矩阵，作为所述特征识别信息；利用所述位置概率矩阵和所述偏移预测矩阵，得到所述当前目标的位置向量；利用所述位置向量和所述长宽预测矩阵，构成所述位置识别信息；其中，对于所述位置概率矩阵中的每一个位置，响应于该所述位置的概率值大于预设的概率阈值，确定该所述位置存在所述当前目标；响应于确定所述概率值小于等于预设的所述概率阈值，确定该位置不存在所述当前目标。7.根据权利要求2所述的方法，其特征在于，所述确定其在前一帧图像中的位置信息和特征信息，包括：提取所述激活状态的所述轨迹信息在所述前一帧图像中的纵坐标、横坐标、宽度和高度；以及所述纵坐标、所述横坐标、所述宽度和所述高度的各自变化率；并按照匀速运动的规律，预测所述前帧目标在当前帧时刻的位置，作为所述第二预测位置。8.根据权利要求1所述的方法，其特征在于，所述得到位置匹配度和特征匹配度，包括：对于每个所述匹配组，利用所述第二预测位置和所述位置识别信息构建如下公式，并计算所述位置匹配度：p
dst
＝(p
p-p
o
)s(p
p-p
o
)
t
其中，p
dst
表示位置匹配度，p
p
表示第二预测位置，p
o
表示所述位置识别信息，s表示协方差运算；其中，响应于确定所述位置匹配度小于预设的位置匹配度阈值，舍去该所述位置匹配度对应的匹配组；以及利用所述特征识别信息和所述特征信息构建余弦距离公式，计算所述前帧目标和所述当前目标之间的所述特征匹配度；
其中，响应于确定所述特征匹配度小于预设的特征匹配度阈值，舍去该所述特征匹配度对应的匹配组。9.根据权利要求1所述的方法，其特征在于，所述根据所述匹配度和所述特征匹配度得到联合匹配度，包括：对于每个所述匹配组，利用所述位置匹配度和所述特征匹配度构建如下公式，计算所述前帧目标和所述当前目标之间的所述联合匹配度：其中，g
dst
表示所述联合匹配度，p
dst
表示所述位置匹配度，e
dst
表示所述特征匹配度，为权重系数；响应于确定所述联合匹配度小于预设的联合匹配度阈值，舍去该所述联合匹配度对应的匹配组；所述得到多目标跟踪识别结果，包括：对于每个所述当前目标，仅基于被舍去的剩余匹配组，利用所述联合匹配度，并采取匈牙利匹配算法，在每个所述轨迹信息之间进行一对一的唯一匹配，并将所述当前目标加入至与其成功匹配的所述轨迹信息中。10.一种多目标跟踪装置，包括：初步特征提取模块、第一预测模块、对象识别模块、第二预测模块、匹配模块和跟踪识别模块；所述初步特征提取模块，被配置为：对包括有至少一个当前目标的当前帧图像进行特征提取，得到所述当前帧图像对应的初步特征；所述第一预测模块，被配置为：根据所述当前帧图像的前若干帧图像，获取每个所述前帧目标分别对应的运动信息，并为每个前帧目标分别预测得到第一预测位置；所述对象识别模块，被配置为：根据所述第一预测位置对所述初步特征进行增强，得到增强特征；对所述增强特征进行对象识别，得到每个所述当前目标分别对应的位置识别信息和特征识别信息；所述第二预测模块，被配置为：提取每个所述前帧目标的轨迹信息，对于每个所述前帧目标，确定其在当前帧时刻的前一帧图像中的位置信息和特征信息；根据所述位置信息，为每个所述目标对象分别预测得到第二预测位置；所述匹配模块，被配置为：对于每个所述当前目标，将其与全部的所述轨迹信息分别组合，得到若干匹配组；以及对于每个所述匹配组，将该匹配组包括的所述当前目标的所述位置识别信息、所述特征识别信息与该匹配组包括的轨迹信息确定出的所述第二预测位置、特征信息分别进行匹配，得到位置匹配度和特征匹配度，并根据所述位置匹配度和所述特征匹配度得到联合匹配度；所述跟踪识别模块，被配置为：根据若干所述匹配组及其分别对应的所述联合匹配度，得到多目标跟踪识别结果。
技术总结
本申请提供一种多目标跟踪方法和装置；方法包括：对当前帧图像进行特征提取，当前目标的初步特征；根据前若干帧图像，获取前帧目标的运动信息，并分别预测第一预测位置；并对初步特征进行增强；对增强特征进行对象识别，得到位置识别信息和特征识别信息；提取轨迹信息，确定前帧目标的位置信息和特征信息；根据位置信息，为每个目标对象分别预测得到第二预测位置；对于每个当前目标，将其与全部的轨迹信息分别组合，得到若干匹配组；将每个匹配组包括的当前目标的位置识别信息、特征识别信息与该匹配组包括的轨迹信息确定出的第二预测位置、特征信息分别进行匹配，得到位置匹配度和特征匹配度，并计算联合匹配度，得到多目标跟踪识别结果。跟踪识别结果。跟踪识别结果。
技术研发人员：贺志强 牛凯 范方舟
受保护的技术使用者：北京邮电大学
技术研发日：2021.10.29
技术公布日：2022/3/21