知识与数据混合驱动的视野遮挡潜在危险场景认知方法

本发明属于车辆交通危险场景认知，涉及一种知识与数据混合驱动的视野遮挡潜在危险场景认知方法。

背景技术：

1、自动驾驶领域中，底层架构和大部分的技术问题已经解决，但是仍然有5％的“长尾”问题仍然是悬而未决，这也是当前制约自动驾驶发展的重要因素。目前，针对于自动驾驶视野遮挡潜在危险场景认知的研究都是尝试利用车联网或车路协同系统来解决这一问题。上述一类依靠网联技术的系统虽然有助于视野遮挡区域内交通参与者状态的感知，但是其除了需要解决网络自身传输的可靠性、安全性等问题外，依旧存在诸多问题。例如，车联网技术依靠车辆/行人所携带的手机或其它智能设备构建v2x通讯以避免潜在危险，但是这种方式难以避免因智能设备缺失或损坏而导致的通讯中断；车路协同技术较为依赖路基传感器所获取的信息，但是由于潜在危险场景的分布具有较高随机性，路基传感器无法实现对所有潜在危险场景的全面永久覆盖，从而会导致重要道路信息的感知缺失；另外，路端智能感知很难覆盖城区所有道路以及非道路区域。

2、为弥补上述技术的不足以应对潜在危险场景带来的安全隐患，可从单车智能角度出发，通过结合车辆本身与人工智能技术，研究基于知识与数据混合驱动的视野遮挡潜在危险场景类人化认知模型。自主车辆视野遮挡潜在危险场景认知是一个需要多维度考虑的问题，该问题涉及到自主车辆与周围交通参与者之间交互的影响，周围环境的影响以及该场景所处的时间段的影响。因此在进行场景认知的时候，需要多维度的考虑该交通场景中其他参与者之间的交互关系。

技术实现思路

1、本发明的目的是提供一种知识与数据混合驱动的视野遮挡潜在危险场景认知方法，解决了现有技术在对潜在危险场景认知过程中，难以综合考虑自主车辆与虚拟的交通参与者之间的相对运动，以及周围宏观交通环境的上下文语义场景对场景认知的影响，导致对视野遮挡下潜在危险场景认知不够、实时性准确性不足的问题。

2、本发明采用的技术方案是，一种知识与数据混合驱动的视野遮挡潜在危险场景认知方法，按照以下步骤具体实施：

3、步骤1、感知场景图像信息、位置时间信息；

4、步骤2、检测场景目标，

5、通过yolo v8算法检测出场景中交通参与者的显性特征信息，包括参与者及其属性信息；

6、步骤3、生成场景图，

7、基于psg模型全面输出图像中的所有关系，并用准确的分割块来定位物体；基于这些特征信息和关系生成场景图，并把这些信息以spo三元组方式进行存储；

8、步骤4、进行知识图谱多跳推理，

9、采用知识图谱多跳推理方法，对场景图中表示的实体及关系信息进行类人化知识推理，获取场景中的潜在隐性信息；

10、步骤5、利用bert模型进行特征编码，

11、整合场景的显性和隐性信息并进行基于bert模型的特征编码，得到作为数据驱动输入的向量矩阵；

12、步骤6、基于st-gcn实现场景认知，

13、把完成特征编码的向量矩阵输入到st-gcn模型中，得到场景认知的最终结果。

14、本发明的有益效果，包括以下几个方面：

15、1)本发明方法通过融合知识图谱与深度学习技术，构建了一种基于数据与知识驱动面向自动驾驶系统视野遮挡场景的认知方法，挖掘了道路场景语义信息，相较于单纯基于道路场景图像信息进行场景认知具有更好的迁移性和泛化性。

16、2)本发明方法在场景认知过程中，考虑了潜在危险场景宏微观时空构成因素之间耦合关系对场景认知的影响。

17、3)运用基于st-gcn的时空图卷积技术，能够更完整准确的认知当前潜在危险场景，st-gcn考虑了场景中各交互者的耦合关系，解决了常规的潜在交通危险场景认知方法中仅单独考虑自主车车辆与潜在交通参与者之间的单向交互。

技术特征：

1.一种知识与数据混合驱动的视野遮挡潜在危险场景认知方法，其特征在于，按照以下步骤具体实施：

2.根据权利要求1所述的知识与数据混合驱动的视野遮挡潜在危险场景认知方法，其特征在于：步骤1中，应用车载相机感知一定时序间隔的实时场景照片、应用车载gps感知场景所处的gps信息，同时应用百度api对获得的实时场景照片和gps信息进行处理，获得所需要的位置和时间信息。

3.根据权利要求1所述的知识与数据混合驱动的视野遮挡潜在危险场景认知方法，其特征在于：步骤3中，所述的所有关系包括物体与物体间关系、物体与背景间关系、背景与背景间关系。

4.根据权利要求1所述的知识与数据混合驱动的视野遮挡潜在危险场景认知方法，其特征在于：步骤3中，所述的spo三元组包括实体、关系、实体。

5.根据权利要求1所述的知识与数据混合驱动的视野遮挡潜在危险场景认知方法，其特征在于：步骤5中，把遮挡区域、高人流区域、高峰时间段、交通参与者的信息转化为特征向量，来构建特征矩阵。

技术总结
本发明公开了一种知识与数据混合驱动的视野遮挡潜在危险场景认知方法，步骤包括：步骤1、感知场景图像信息、位置时间信息；步骤2、检测场景目标；步骤3、生成场景图；步骤4、进行知识图谱多跳推理，获取场景中的潜在隐性信息；步骤5、利用Bert模型进行特征编码，得到作为数据驱动输入的向量矩阵；步骤6、基于ST‑GCN实现场景认知，把完成特征编码的向量矩阵输入到ST‑GCN模型中，得到场景认知的最终结果，即成。本发明的方法，相较于单纯基于道路场景图像信息进行场景认知具有更好的迁移性和泛化性，考虑了潜在危险场景宏微观时空构成因素之间耦合关系对场景认知的影响，能够更完整准确的认知当前潜在危险场景。

技术研发人员：周劲草,王源,傅卫平,李睿,杨世强
受保护的技术使用者：西安理工大学
技术研发日：
技术公布日：2024/1/13