本发明涉及计算机视觉，具体为基于视觉语义跨模态目标跟踪方法。
背景技术：
1、目标跟踪是机器视觉中一类被广为研究的重要问题，分为单目标跟踪与多目标跟踪。前者跟踪视频画面中的单个目标，后者则同时跟踪视频画面中的多个目标，得到这些目标的运动轨迹。基于视觉的目标自动跟踪在智能监控、动作与行为分析、自动驾驶等领域都有重要的应用。例如，在自动驾驶系统中，目标跟踪算法要对运动的车、行人、其他动物的运动进行跟踪，对它们在未来的位置、速度等信息作出预判。
2、目前，目标识别与个跟踪领域发展多年，大量算法涌现，但是该领域仍存在有以下几个问题：
3、(1)在环境复杂，且待检测目标在图像中存在部分遮挡情况，单一的固定视角识别存在一定的误差，同时视角变换与预测等情况的目标识别，也是目标跟踪领域的难题。
4、(2)为了保证跟踪算法的跟踪有效性，算法同时要确保鲁棒性，但是具有较高的鲁棒性意味着更高的计算复杂度，更复杂的跟踪策略，从而导致算法实时性下降，进而会带来一系列识别与预测误差的问题。
技术实现思路
1、本发明的目的在于提供基于视觉语义跨模态目标跟踪方法，以解决上述背景技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：基于视觉语义跨模态目标跟踪方法，其方法包括如下步骤：
3、(1)首先通过视觉模块对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹；
4、(1.1)输入初始帧并指定期望跟踪的目标，通常用矩形框标定，在下一帧中产生众多候选框并提取这些候选框的特征；
5、(1.2)观测模型对这些候选框评分；
6、(1.3)最后在这些评分中找一个得分最高的候选框作为预测的目标，或者对多个预测值进行融合得到更优的预测目标。
7、(2)根据所跟踪的视频序列给定初始帧的目标状态，预测后续帧中该目标状态；
8、(3)获得当前帧的目标区域后，提取当前目标的特征，并用模型更新算法进行观测模型的在线更新；
9、(4)对上述特征进行提取，获得每帧图像检测结果，把检测结果同已有的跟踪轨迹进行关联，并对模型进行观测，验证运动模型运动区域的可能性，对运动模型产生的候选框进行分析；
10、(5)算法完成了根据第一帧的信息对第二帧的预测，后续帧以此类推，同时根据指定规则更新模型；
11、(6)将视觉模块获取的信息进行比对，再不断依据上述算法进行目标预测位置的调整，实现对目标的准确追踪。
12、优选的，所述步骤(1)中，对目标的检测和提取采用目标跟踪算法，对错误的检测进行去除，同时增加遗漏的检测。
13、优选的，所述步骤(1)中，对目标的检测和提取包含视觉特征、统计特征、变换系数特征、代数特征。
14、优选的，所述步骤(1)中，视觉模块包括ccd相机、云端处理平台以及嵌入式处理器，同时还包括用于进行安装上述模块的固定机器和运动机器。
15、优选的，所述步骤(2)中，进行预测时，把检测和轨迹和匹配看作为二元变量，通过构造一个整体的目标函数，求变量的最佳值，使得目标函数最优，从而得到检测和轨迹的最佳匹配。
16、优选的，所述步骤(2)中，对视频序列的所有图像帧都作meanshift运算，并将上一帧的结果作为下一帧meanshift算法的搜索窗口的初始值，如此进行迭代。
17、优选的，所述步骤(3)中，在线更新的内容为目标区域模型的预测情况，并将其反馈至初始化的目标提取分析步骤，以判断出该类模型预测的准确性，并利用算法更新预测区域，不断迭代，如目标后续出现在预测区域的矩形候选框内，则不进行反馈。
18、优选的，所述固定机器和运动机器均应用计算机视觉算法对目标进行跟踪，根据跟踪结果即目标在图像中的位置，计算出真实世界中运动追踪相对地面固定跟踪目标的跟踪位移差，以此调整运动机器的姿态，使目标始终保持在图像的中心位置。
19、优选的，所述运动机器上包含若干可添加其他外设的通信接口，以实现与固定机器之间的信息传输进而不断调整预测位置以及自身位置的目的。
20、与现有技术相比，本发明的有益效果如下：
21、本发明提出的计算机视觉技术可以较好应用于目标跟踪领域，在计算机视觉技术的基础上进行有效改进，通过特定的算法综合对图像进行预先处理，之后分别对目标识别和目标跟踪。借助一整套算法方案，保证了目标跟踪的准确性与便利性，通过固定机器和运动机器的协同配合工作，提高了整个跟踪系统对移动目标的识别与跟踪的实时性、鲁棒性，实现了系统中识别待测物体运动的一致性。
1.基于视觉语义跨模态目标跟踪方法，其特征在于，其方法包括如下步骤：
2.根据权利要求1所述的基于视觉语义跨模态目标跟踪方法，其特征在于：所述步骤(1)中，对目标的检测和提取采用目标跟踪算法，对错误的检测进行去除，同时增加遗漏的检测。
3.根据权利要求1所述的基于视觉语义跨模态目标跟踪方法，其特征在于：所述步骤(1)中，对目标的检测和提取包含视觉特征、统计特征、变换系数特征、代数特征。
4.根据权利要求1所述的基于视觉语义跨模态目标跟踪方法，其特征在于：所述步骤(1)中，视觉模块包括ccd相机、云端处理平台以及嵌入式处理器，同时还包括用于进行安装上述模块的固定机器和运动机器。
5.根据权利要求1所述的基于视觉语义跨模态目标跟踪方法，其特征在于：所述步骤(2)中，进行预测时，把检测和轨迹和匹配看作为二元变量，通过构造一个整体的目标函数，求变量的最佳值，使得目标函数最优，从而得到检测和轨迹的最佳匹配。
6.根据权利要求1所述的基于视觉语义跨模态目标跟踪方法，其特征在于：所述步骤(2)中，对视频序列的所有图像帧都作meanshift运算，并将上一帧的结果作为下一帧meanshift算法的搜索窗口的初始值，如此进行迭代。
7.根据权利要求1所述的基于视觉语义跨模态目标跟踪方法，其特征在于：所述步骤(3)中，在线更新的内容为目标区域模型的预测情况，并将其反馈至初始化的目标提取分析步骤，以判断出该类模型预测的准确性，并利用算法更新预测区域，不断迭代，如目标后续出现在预测区域的矩形候选框内，则不进行反馈。
8.根据权利要求4所述的基于视觉语义跨模态目标跟踪方法，其特征在于：所述固定机器和运动机器均应用计算机视觉算法对目标进行跟踪，根据跟踪结果即目标在图像中的位置，计算出真实世界中运动追踪相对地面固定跟踪目标的跟踪位移差，以此调整运动机器的姿态，使目标始终保持在图像的中心位置。
9.根据权利要求4所述的基于视觉语义跨模态目标跟踪方法，其特征在于：所述运动机器上包含若干可添加其他外设的通信接口，以实现与固定机器之间的信息传输进而不断调整预测位置以及自身位置的目的。