待跟踪的目标对象确定方法、系统及机器人与流程

本发明涉及人工智能领域，具体而言，涉及一种待跟踪的目标对象确定方法、系统及机器人。

背景技术：

1、对于智能清扫机器人而言，跟踪行人执行清扫任务可以准确、高效地对指定待清扫区域进行清扫，因此，行人跟踪功能是智能清扫机器人中亮眼的功能。

2、但是，现有的智能清扫机器人实现行人跟踪功能的方案，主要是通过对摄像头采集到的视频数据进行处理与分析，提取行人的特征点实现对行人的识别、定位与跟踪的过程。在此过程中，需要机器人具有多个行人存在时依然稳定跟踪目标行人的能力。

3、目前市面上大多数智能清扫机器人的行人跟踪功能，主要利用传感器(如摄像头、激光雷达等)来感知周围环境，获得实时图像，通过目标检测技术识别行人，利用跟踪算法来实时追踪行人的位置与运动。

4、具体地，相关技术中主要采用传统方法与深度学习方法来实现行人跟踪清扫方案。传统方法中，利用目标行人的特征点进行跟踪，在特征点遮挡时无法完成跟踪，同时还受到拍摄角度，光线干扰等问题。深度学习方法中，主要对目标行人分为外观建模与运动建模两部分，利用外观特征与运动特征共同完成行人跟踪。然而由于跟踪清扫中存在多人复杂的多人场景(例如，家庭扫地机器人对于家庭中出现多人的场景，酒店商用机器人对于酒店中出现多人的场景)，以及行人运动的方向不定性，传统和深度学习的跟踪方法在对运动行人进行跟踪时，容易出现跟踪对象切换，或跟踪终止等跟踪失败的问题。所以当多个行人出现在视野中则需要用户对机器进行操作，大大降低了机器人使用的便捷性与高效性。

5、因此，如何能够让智能机器人在存在多个可跟踪行人干扰移动时，依然可以对目标行人实现稳定跟踪清扫，是目前亟待解决的问题。

技术实现思路

1、本发明的主要目的在于公开了一种待跟踪的目标对象确定方法、系统及机器人，以至少解决相关技术中传统和深度学习的跟踪方法在对运动行人进行跟踪时，容易出现跟踪对象切换或跟踪失败等问题。

2、根据本发明的一个方面，提供了一种待跟踪的目标对象确定方法。

3、根据本发明的待跟踪的目标对象确定方法包括：实时获取视觉传感器采集到的图像信息，对当前帧图像和前一帧图像中待跟踪的目标对象进行运动估计，确定下一帧图像中所述目标对象的位置信息；对所述视觉传感器采集到的所述下一帧图像进行目标检测，将检测到的至少一个对象位置信息与所述确定的所述目标对象的位置信息进行匹配；在满足预定匹配范围的一个或多个对象位置信息中，将匹配度最高的对象位置信息对应的对象设置为候选对象；使用所述当前帧图像中所述目标对象的视觉特征信息，对所述下一帧图像中所述候选对象的视觉特征信息进行验证，在验证通过的情况下，将所述候选对象确定为所述目标对象。

4、根据本发明的另一方面，提供了一种待跟踪的目标对象确定系统。

5、根据本发明的待跟踪的目标对象确定系统包括：获取模块，用于实时获取视觉传感器采集到的图像信息；运动估计模块，用于对当前帧图像和前一帧图像中待跟踪的目标对象进行运动估计，确定确定下一帧图像中所述目标对象的位置信息；目标检测模块，用于对所述视觉传感器采集到的所述下一帧图像进行目标检测；匹配模块，用于将检测到的至少一个对象位置信息与所述确定的所述目标对象的位置信息进行匹配，在满足预定匹配范围的一个或多个对象位置信息中，将匹配度最高的对象位置信息对应的对象设置为候选对象；验证模块，用于使用所述当前帧图像中所述目标对象的视觉特征信息，对所述下一帧图像中所述候选对象的视觉特征信息进行验证，在验证通过的情况下，将所述候选对象确定为所述目标对象。

6、根据本发明的又一方面，提供了一种机器人。

7、根据本发明的机器人包括：存储器及处理器，其中，所述存储器，用于存储计算机执行指令；所述处理器，用于执行所述存储器存储的计算机执行指令，使得所述机器人执行如上述任一项所述的方法。

8、根据本发明，通过对实时采集到的图像中目标对象进行运动估计，获取下一帧图像中目标对象的预测位置，将预测位置与实际观测位置进行融合，确定目标对象在下一帧图像中的位置。并且，利用目标对象的视觉特征信息进行跟踪验证，能够保证智能机器人在存在多个可跟踪对象干扰移动时，依然可以对目标对象实现稳定跟踪。

技术特征：

1.一种待跟踪的目标对象确定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，实时获取视觉传感器采集到的图像信息，对当前帧图像和前一帧图像中待跟踪的目标对象进行运动估计之前，还包括：

3.根据权利要求2所述的方法，其特征在于，在检测到当前帧存在多个对象时，判断是否存在待跟踪的目标对象包括以下至少之一：

4.根据权利要求1所述的方法，其特征在于，对当前帧图像和前一帧图像中待跟踪的目标对象进行运动估计，确定下一帧图像中所述目标对象的位置信息包括：

5.根据权利要求1所述的方法，其特征在于，将检测到的至少一个对象位置信息与所述确定的所述目标对象的位置信息进行匹配包括：

6.根据权利要求1所述的方法，其特征在于，使用所述当前帧图像中所述目标对象的视觉特征信息，对所述下一帧图像中所述候选对象的视觉特征信息进行验证，如果验证没有通过，还包括：

7.根据权利要求6所述的方法，其特征在于，循环执行此步骤，验证均未通过时，还包括：

8.根据权利要求1至7中任一项所述的方法，其特征在于，还包括：

9.根据权利要求8所述的方法，其特征在于，控制所述机器人跟踪所述目标对象包括以下至少之一：

10.一种待跟踪的目标对象确定系统，其特征在于，包括：

11.根据权利要求10所述的系统，其特征在于，所述运动估计模块进一步包括：

12.根据权利要求10所述的系统，其特征在于，

13.根据权利要求10所述的系统，其特征在于，所述验证模块进一步包括：

14.一种机器人，包括：存储器及处理器，其特征在于，

技术总结
本发明公开了一种待跟踪的目标对象确定方法、系统及机器人，该方法包括：实时获取视觉传感器采集到的图像信息，对当前帧图像和前一帧图像中待跟踪的目标对象进行运动估计，确定下一帧图像中目标对象的位置信息；对采集到的下一帧图像进行目标检测，将检测到的至少一个对象位置信息与确定的目标对象的位置信息进行匹配；在满足预定匹配范围的一个或多个对象位置信息中，将匹配度最高的对象位置信息对应的对象设置为候选对象；对下一帧图像中候选对象的视觉特征信息进行验证，在验证通过的情况下，将候选对象确定为目标对象。上述方案能够保证智能机器人在存在多个可跟踪对象干扰移动时，可以对目标对象实现稳定跟踪。

技术研发人员：程婧雅,闫东坤
受保护的技术使用者：北京盈迪曼德科技有限公司
技术研发日：
技术公布日：2024/3/21