基于图神经网络的交通场景泛化理解方法及装置

本申请涉及自动驾驶交通场景理解，特别涉及一种基于图神经网络的交通场景泛化理解方法及装置。

背景技术：

1、智能网联汽车(icv)的场景理解与评估是自动驾驶的关键技术之一。在接受到周围交通环境的实时以及历史信息后，为了做出决策、控制等自动驾驶指令，需要对原始的物理信息进行进一步提炼，实现对复杂交通场景的语义化理解与评估。

2、相关技术中，交通场景理解方法大致可以分为三类：一类为基于物理规则指标的方法，基于ttc(预期碰撞时间)、thw(预期车头时距)等单一物理规则，对智能车辆周围的智能体进行一一计算；第二类为基于大数据分布的统计法，设定几类统计指标(例如事故发生率等)，通过对历史一段时间的统计，对当前交通事件形成评估；第三类为基于交互物理模型的方法，例如将交通场景中的智能体抽象为弹簧-阻尼模型、基于态势场的能量模型等。

3、然而，相关技术中，基于物理规则指标的方法评价标准过于单一，无法处理复杂交互场景，基于大数据分布的统计方法时效性差，应对突发的交通事件无法做出实时评估，基于交互物理模型的方法需要针对特定场景进行参数调优与设计，不具备场景泛化性，亟待改善。

技术实现思路

1、本申请提供一种基于图神经网络的交通场景泛化理解方法及装置，以解决相关技术中，基于物理规则指标的方法评价标准过于单一，无法处理复杂交互场景，基于大数据分布的统计方法时效性差，应对突发的交通事件无法做出实时评估，基于交互物理模型的方法需要针对特定场景进行参数调优与设计，不具备场景泛化性等问题。

2、本申请第一方面实施例提供一种基于图神经网络的交通场景泛化理解方法，包括以下步骤：获取原始交通场景智能体信息；基于所述原始交通场景智能体信息，构建子图节点和对应的特征向量并编码，生成经过编码的节点特征向量；以及利用所述经过编码的节点特征向量，构建动态有向图，并通过图卷积神经网络训练得到节点之间边的参数向量，以体现交通场景中各智能体以及环境之间的相互作用，形成场景理解图。

3、可选地，在本申请的一个实施例中，所述构建子图节点和对应的特征向量并编码，生成经过编码的节点特征向量，包括：按照自车节点、他车节点、行人节点、骑车人节点、车道线节点、时间戳节点及预设的其他节点分别进行节点建模，并在所述特征向量中考虑物理属性场景特征、交互属性场景特征和交通规则场景特征。

4、可选地，在本申请的一个实施例中，所述物理属性场景特征包含自车以及周围智能体的位置、速度、加速度与类型，所述交互属性场景特征包含行车安全场区域池化能量与路权冲突，所述交通规则场景特征包含路线禁止以及车速限制。

5、可选地，在本申请的一个实施例中，所述构建子图节点和对应的特征向量并编码，生成经过编码的节点特征向量，还包括：利用预设编码结构将每个特征向量的数据结构进行对齐，并使用两层线性全连接层构成的多层感知机神经网络进行编码。

6、可选地，在本申请的一个实施例中，所述原始交通场景智能体信息包括场景中包含的智能体的先前预设时长内的位置、速度、加速度、类型和局部地图信息。

7、本申请第二方面实施例提供一种基于图神经网络的交通场景泛化理解装置，包括：获取模块，用于获取原始交通场景智能体信息；生成模块，用于基于所述原始交通场景智能体信息，构建子图节点和对应的特征向量并编码，生成经过编码的节点特征向量；以及体现模块，用于利用所述经过编码的节点特征向量，构建动态有向图，并通过图卷积神经网络训练得到节点之间边的参数向量，以体现交通场景中各智能体以及环境之间的相互作用，形成场景理解图。

8、可选地，在本申请的一个实施例中，所述生成模块包括：建模单元，用于按照自车节点、他车节点、行人节点、骑车人节点、车道线节点、时间戳节点及预设的其他节点分别进行节点建模，并在所述特征向量中考虑物理属性场景特征、交互属性场景特征和交通规则场景特征。

9、可选地，在本申请的一个实施例中，所述物理属性场景特征包含自车以及周围智能体的位置、速度、加速度与类型，所述交互属性场景特征包含行车安全场区域池化能量与路权冲突，所述交通规则场景特征包含路线禁止以及车速限制。

10、可选地，在本申请的一个实施例中，所述生成模块还包括：编码单元，用于利用预设编码结构将每个特征向量的数据结构进行对齐，并使用两层线性全连接层构成的多层感知机神经网络进行编码。

11、可选地，在本申请的一个实施例中，所述原始交通场景智能体信息包括场景中包含的智能体的先前预设时长内的位置、速度、加速度、类型和局部地图信息。

12、本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于图神经网络的交通场景泛化理解方法。

13、本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于图神经网络的交通场景泛化理解方法。

14、本申请实施例可以基于图数据结构，将交通场景要素分为五类子节点，并基于多种交通场景特征定义节点特征向量，通过图神经网络形成场景理解图数据结构，实现可泛化、语义化的复杂交通场景推理与理解，支撑多类下游决策与控制任务，提升算法泛化性，保证较高性能。由此，解决了相关技术中，基于物理规则指标的方法评价标准过于单一，无法处理复杂交互场景，基于大数据分布的统计方法时效性差，应对突发的交通事件无法做出实时评估，基于交互物理模型的方法需要针对特定场景进行参数调优与设计，不具备场景泛化性等问题。

15、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种基于图神经网络的交通场景泛化理解方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述构建子图节点和对应的特征向量并编码，生成经过编码的节点特征向量，包括：

3.根据权利要求2所述的方法，其特征在于，所述物理属性场景特征包含自车以及周围智能体的位置、速度、加速度与类型，所述交互属性场景特征包含行车安全场区域池化能量与路权冲突，所述交通规则场景特征包含路线禁止以及车速限制。

4.根据权利要求2所述的方法，其特征在于，所述构建子图节点和对应的特征向量并编码，生成经过编码的节点特征向量，还包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述原始交通场景智能体信息包括场景中包含的智能体的先前预设时长内的位置、速度、加速度、类型和局部地图信息。

6.一种基于图神经网络的交通场景泛化理解装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述生成模块包括：

8.根据权利要求7所述的装置，其特征在于，所述物理属性场景特征包含自车以及周围智能体的位置、速度、加速度与类型，所述交互属性场景特征包含行车安全场区域池化能量与路权冲突，所述交通规则场景特征包含路线禁止以及车速限制。

9.根据权利要求7所述的装置，其特征在于，所述生成模块还包括：

10.根据权利要求6-9任一项所述的装置，其特征在于，所述原始交通场景智能体信息包括场景中包含的智能体的先前预设时长内的位置、速度、加速度、类型和局部地图信息。

11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于图神经网络的交通场景泛化理解方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于图神经网络的交通场景泛化理解方法。

技术总结
本申请涉及一种基于图神经网络的交通场景泛化理解方法及装置，其中，方法包括：获取原始交通场景智能体信息；基于原始交通场景智能体信息，构建子图节点和对应的特征向量并编码，生成经过编码的节点特征向量；利用经过编码的节点特征向量，构建动态有向图，并通过图卷积神经网络训练得到节点之间边的参数向量，以体现交通场景中各智能体以及环境之间的相互作用，形成场景理解图。由此，解决了相关技术中，基于物理规则指标的方法评价标准过于单一，无法处理复杂交互场景，基于大数据分布的统计方法时效性差，应对突发的交通事件无法做出实时评估，基于交互物理模型的方法需要针对特定场景进行参数调优与设计，不具备场景泛化性等问题。

技术研发人员：王裕宁,王建强,刘秩源,林昊田,李晋豪,李若辰
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/1/13