基于视觉地图重建的面向复杂环境下的目标检测方法

本公开实施例涉及图像识别，尤其涉及一种基于视觉地图重建的面向复杂环境下的目标检测方法。

背景技术：

1、目前同时定位和映射是移动机器人的一个基本问题slam算法假设一个静态场景，限制了它们在现实世界环境中的适用性visual slam中的内容仍然是一个悬而未决的问题，

2、slam(simultaneous localization and mapping)是一种用于移动机器人和自主驾驶车辆等领域的关键技术，用于同时实现定位和建图。其发展源于对于移动机器人在未知环境中的定位和导航的需求。在过去的几十年里，slam领域经历了快速的发展和进步，主要得益于在slam领域涌现了许多创新的算法和方法。其中，滤波器(如扩展卡尔曼滤波器、无迹卡尔曼滤波器)、优化算法(如图优化)、粒子滤波器等是常用的技术手段。此外，还有一些基于特征提取、深度学习和机器学习的方法被应用于slam任务，如基于特征点的视觉slam、语义slam等。这些算法的不断改进和创新推动了slam技术的发展。然而这些现有方法忽略或未能同时解决两个基本问题：在现实环境中建图的实时性以及在现实复杂环境下适用性。

3、目前现有的解决方案通常依赖于纯粹的几何方法学习技术可以在具有先验动态对象的环境中改进slam解决方案，提供更多场景信息。然而，大多数解决方案都没有准备好应对现实复杂场景。

4、可见，亟需一种检测效率、适应性和精准度高的的基于视觉地图重建的面向复杂环境下的目标检测方法。

技术实现思路

1、有鉴于此，本公开实施例提供一种基于视觉地图重建的面向复杂环境下的目标检测方法，至少部分解决现有技术中存在检测效率、适应性和精准度较差的问题。

2、本公开实施例提供了一种基于视觉地图重建的面向复杂环境下的目标检测方法，包括：

3、步骤1，接收单目摄像头获取的目标区域的视频流，并将视频流中需要建图的rgb图像转换成灰度图；

4、步骤2，使用orb算法提取灰度图中的特征点；

5、步骤3，根据特征点和预设的选择策略获取关键帧；

6、步骤4，将关键帧插入局部地图进行建图；

7、步骤5，对建图后的关键帧进行特征点过滤和更新；

8、步骤6，使用卷积神经网络，将过滤更新后的关键帧分成不同尺寸的网格，每个网格预测一组边界框和相应的类别概率；

9、步骤7，利用检测模型预测每个边界框属于人体类别的概率，得到目标检测结果；

10、步骤8，完成单次关键帧的局部建图后，剔除本地关键帧，同时返回步骤3更新关键帧，直至完成全部关键帧的识别，得到目标区域对应的目标识别结果。

11、根据本公开实施例的一种具体实现方式，所述步骤1具体包括：

12、接收单目摄像头获取的目标区域的视频流；

13、将视频流中需要建图的rgb图像进行去畸变处理；

14、将完成去畸变处理的rgb图像转换为灰度图像。

15、根据本公开实施例的一种具体实现方式，所述步骤2具体包括：

16、步骤2.1，网格化和fast角点提取对每张图像进行网格化处理，将图像分成多个网格，在每个网格内进行fast角点提取特征点；

17、步骤2.2，特征点均匀化根据预先分配的每一层金字塔的特征点数，对提取的特征点进行均匀化；

18、步骤2.3，设定四叉树分裂停止条件使用四叉树的方法来处理特征点，其中，节点分裂的停止条件为分裂的节点数目大于等于要求的特征点数，或者每个分裂节点内只有一个特征点；

19、步骤2.4，通过灰度质心法计算每个特征点的方向。

20、根据本公开实施例的一种具体实现方式，所述步骤3具体包括：

21、选择视频流中任一帧作为初始关键帧，并计算其特征点和描述子通过匹配当前帧与初始关键帧之间的特征点，进行初始的相机定位和建图初始化；

22、根据预设的策略选择新的关键帧并提取其特征点并计算描述子。

23、根据本公开实施例的一种具体实现方式，所述步骤5具体包括：

24、步骤5.1，使用运动检测算法检测关键帧中的动态区域或物体；

25、步骤5.2，使用特征点提取算法在整个关键帧上提取特征点；

26、步骤5.3，将提取的特征点与动态区域进行匹配，根据匹配程度确定特征点是否属于动态区域；

27、步骤5.4，根据匹配结果，剔除属于动态区域的特征点，保留稳定的静态特征点；

28、步骤5.5，计算动态区域的面积占关键帧的比例值，并根据所述比例值更新特征点的数量。

29、根据本公开实施例的一种具体实现方式，所述步骤7具体包括：

30、对每个尺度的特征图，根据预测的边界框的置信度分数进行筛选，使用非极大值抑制算法，剔除高度重叠的边界框，保留置信度最高的边界框；

31、据置信度阈值和类别阈值对保留的边界框进行筛选，同时根据边界框的位置和类别信息，输出人群的检测结果，其中，所述目标检测结果包括边界框坐标、类别标签和置信度分数。

32、根据本公开实施例的一种具体实现方式，所述检测模型为throng-human yolov3tiny模型。

33、根据本公开实施例的一种具体实现方式，所述步骤7之后，所述方法还包括：

34、使用标注的边界框和类别信息，计算预测边界框与真实边界框之间的损失函数，通过反向传播算法更新网络参数，优化模型的性能和准确度；

35、使用测试集对模型进行评估，得到评估结果并据此对模型进行调优和改进。

36、本公开实施例中的基于视觉地图重建的面向复杂环境下的目标检测方案，包括：步骤1，接收单目摄像头获取的目标区域的视频流，并将视频流中需要建图的rgb图像转换成灰度图；步骤2，使用orb算法提取灰度图中的特征点；步骤3，根据特征点和预设的选择策略获取关键帧；步骤4，将关键帧插入局部地图进行建图；步骤5，对建图后的关键帧进行特征点过滤和更新；步骤6，使用卷积神经网络，将过滤更新后的关键帧分成不同尺寸的网格，每个网格预测一组边界框和相应的类别概率；步骤7，利用检测模型预测每个边界框属于人体类别的概率，得到目标检测结果；步骤8，完成单次关键帧的局部建图后，剔除本地关键帧，同时返回步骤3更新关键帧，直至完成全部关键帧的识别，得到目标区域对应的目标识别结果。

37、本公开实施例的有益效果为：通过本公开的方案，提取图像中的特征点并据此选定关键帧后进行局部建图，然后对建图后的关键帧进行特征点过滤和更新进行边界框识别，利用识别到的边界框完成目标检测，提高了检测效率、适应性和精准度。

技术特征：

1.一种基于视觉地图重建的面向复杂环境下的目标检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于,所述步骤1具体包括：

3.根据权利要求1所述的方法，其特征在于,所述步骤2具体包括：

4.根据权利要求1所述的方法，其特征在于,所述步骤3具体包括：

5.根据权利要求1所述的方法，其特征在于,所述步骤5具体包括：

6.根据权利要求1所述的方法，其特征在于，所述步骤7具体包括：

7.根据权利要求1所述的方法，其特征在于,所述检测模型为throng-humanyolov3tiny模型。

8.根据权利要求7所述的方法，其特征在于,所述步骤7之后，所述方法还包括：

技术总结
本公开实施例中提供了一种基于视觉地图重建的面向复杂环境下的目标检测方法，属于图像识别技术领域，具体包括：将视频流中需要建图的RGB图像转换成灰度图；使用ORB算法提取灰度图中的特征点；根据特征点和预设的选择策略获取关键帧；将关键帧插入局部地图进行建图；对建图后的关键帧进行特征点过滤和更新；使用卷积神经网络，将过滤更新后的关键帧分成不同尺寸的网格，每个网格预测一组边界框和相应的类别概率；利用检测模型预测每个边界框属于人体类别的概率，得到目标检测结果；更新关键帧，直至完成全部关键帧的识别，得到目标区域对应的目标识别结果。通过本公开的方案，提高了检测效率、适应性和精准度。

技术研发人员：陈志刚,汪海波,朱炳洋,庾永昂
受保护的技术使用者：中南大学
技术研发日：
技术公布日：2024/1/15