基于图卷积网络的人车关联方法及装置与流程

1.本发明涉及数据挖掘、图神经网络及大数据分析在停车监控系统中的应用，具体 地涉及一种基于图卷积网络的人车关联方法及装置。


背景技术：

2.人车关联是指建立车辆与乘车人员的关联关系，其能够分析出车辆的乘客身份信 息，或者人员乘坐的车辆信息。
3.现有的人车关联方法，一般是通过在多个路口安装视频摄像头和手机感应设备， 通过数据采集分析，获取通过路口的车牌号码和手机imei(internationalmobileequipment identity，手机序列号)号。如果在多个路口，车牌号和imei号始 终伴随出现，则说明该imei号手机在该车牌号的车上。进一步，通过电信部门数据可 以查找到对应手机imei号使用人员的身份，从而建立车辆与乘车人员身份之间的关联 关系。
4.然而现有的人车关联方法，需要在多个路口安装摄像头和手机感应设备，并且需 要建立远距离的通信网络将这些分布广泛的设备连接起来，整个系统成本投入大，同 时这种方法依赖于车辆上的人员都携带其手机，并且该手机为其常用的手机，否则将 无法关联或无法准确关联。
5.图像的采集与分析技术是当前交通管理常用的技术之一，如使用基于车牌图像识 别的交通违法事件检测或基于其他车辆特征图像识别的其他交通事件检测，如何从车 牌和车辆的信息快速确定违法的驾驶人员，以对交通违法事件进行监管显得尤为重要。
6.基于此，本发明亟需提供一种人车关联方法，解决现有技术中存在的问题。


技术实现要素：

7.本发明的目的是解决现有交通事件中人车无法关联以及关联不准确的问题。
8.为实现上述目的，本发明提供一种基于图卷积网络的人车关联方法，所述方法包 括：
9.获取车辆与车主的样本对数据，根据所述样本对数据制作用于人车检测和人车关 联数据集；
10.基于所述人车检测数据集训练人车目标检测模型，基于所述人车关联数据集训练 人车关联模型；
11.通过人车目标检测模型获取监控图中所有人和车辆的区域，并将所述监控图中的 人和车辆特征输入人车关联模型；
12.输出所述图像中人和车辆的关系信息。
13.作为本发明的进一步改进，所述获取车辆与车主的样本对数据包括：采集包含车 主和车辆的图像，基于采集的图像获取车主上下车时间段的图像作为样本对数据。
14.作为本发明的进一步改进，根据所述样本对数据制作用于人车检测和人车关联数 据集包括：
15.标记监控图像中所有的人车目标矩形框，记录所述人车矩形框中图像车辆和车主 的匹配信息，形成人车检测和人车关联数数据集。
16.作为本发明的进一步改进基于所述人车检测数据集训练的人车目标检测模型包 括：
17.采用基于深度学习目标检测方法，通过目标检测模型检测人与车辆目标；
18.并通过多个卷积层提取目标图像特征，并以此为特征生成目标区域坐标；
19.利用人车检测数据集，采用梯度下降算法训练得到人车目标检测模型中的参数。
20.作为本发明的进一步改进，基于所述人车关联数据集训练人车关联模型具体包括：
21.提取人车区域图像中的人车目标整体特征，并将所述人车目标整体特征作为节点 创建二分图；
22.通过图卷积网络在所述二分图上进行人和车辆的特征交互更新，得到更新后的节 点特征向量；
23.通过多层感知器网络对更新后的节点特征向量计算生成人和车辆的关联关系。
24.作为本发明的进一步改进，通过图卷积网络在所述二分图上进行人和车辆的特征 交互更新，得到更新后的节点特征向量包括：
25.分别获取二分图上的车辆以及人节点特征集合；
26.根据车辆以及人节点特征计算二分图中边连接权值，得到二分图的权值矩阵；
27.基于二个图卷积层进行人车特征交互，得到更新后的人车节点特征向量。
28.本发明还公开了一种基于图卷积网络的人车关联装置，所述装置包括：
29.获取模块，用于获取车辆与车主的样本对数据，根据所述样本对数据制作用于人 车检测和人车关联数据集；
30.训练模块，基于所述人车检测数据集训练人车目标检测模型，基于所述人车关联 数据集训练人车关联模型；
31.推理模块，通过人车目标检测模型获取监控图中所有人和车辆的区域，并将所述 监控图中的人和车辆特征输入人车关联模型；输出所述图像中人和车辆的关系信息。
32.作为本发明的进一步改进，所述获取模块还用于采集包含车主和车辆的图像，基 于采集的图像获取车主上下车时间段的图像作为样本对数据。
33.作为本发明的进一步改进，所述装置还包括制作模块，
34.所述制作模块用于根据所述样本对数据制作用于人车检测和人车关联数据集，具 体包括标记监控图像中所有的人车目标矩形位置，记录所述人车目标的车辆和车主的 匹配信息，形成人车检测和人车关联数数据集。
35.作为本发明的进一步改进，所述训练模块用于：
36.采用基于深度学习目标检测方法，检测人与车辆目标；
37.并通过多个卷积层提取目标图像特征，并以此为特征生成目标区域坐标；
38.利用人车检测数据集，采用梯度下降算法训练得到人车目标检测模型中的参数。
39.作为本发明的进一步改进，所述训练模块还用于：
40.提取人车区域图像中的人车目标整体特征，并将所述人车目标整体特征作为节点 创建二分图；
41.通过图卷积网络在所述二分图上进行人和车辆的特征交互更新，得到更新后的节 点特征向量；
42.通过多层感知器网络(mlp)对更新后的节点特征向量计算生成人和车辆的关联关 系。
43.作为本发明的进一步改进，所述训练模块还用于：
44.分别获取二分图上的车辆以及人节点特征集合；
45.根据车辆以及人节点特征计算二分图中边连接权值，得到二分图的权值矩阵；
46.基于二个图卷积层进行人车特征交互，得到更新后的人车节点特征向量
47.本发明中，人车关联是建立车辆与车主的关联关系，在交通系统建立车辆与车主 的图像配对关系，为此需要同时捕获车辆与车主的图像，而高位视频的停车场景有利 于同时捕获车辆与车主的图像的合适场景。可以利用车主在停车时间，在上车和下车 时间段内同时捕获车辆与车主的图像。
48.本发明在停车场景内捕获车辆与车主的图像基础上，判断图像中的车辆与人是否 属于车辆与车主的关系。为了提高人车关联方法的准确率，采用深度学习方法提取出 人车的特征，通过学习捕捉人物与车辆的距离与人物上下车姿势等视觉特征，判断人 车的关联关系。
49.采用本发明提供的基于图卷积网络的人车关联方法可将人车检测模型与人车关联 模型应用于停车场景中,在图像中使得车辆与车主进行关联。所述人车联模型应用于 在捕获到车辆及其与之关联的车主，主要是车主上下车的时间段，判断车辆附近的是 否为车主。首先采用人车检测模型获取监控图中所有人和车辆的区域，然后将该图中 的人和车辆输入人车辆关联模型中，所述人车辆关联模型包括了视觉特征提取及其与 几何信息的融合、二分图的建立，特征交互与更新，最终输出所述图像中人和车辆是 否为车辆和车主的关系，为各种交通事件的监管提供了便利。
附图说明
50.图1是本发明基于图卷积网络的人车关联方法示意图；
51.图2是本发明提供的训练集标注示意图；
52.图3是本发明提供的人车目标特征提取模块示意图；
53.图4是本发明提供的基于人车目标构成的二分图结构示意图；
54.图5是本发明提供的图卷积网络关联生成过程示意图；
55.图6是本发明提供的人车关联过程示意图。
具体实施方式
56.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
57.本发明公开了一种基于图卷积网络的人车关联方法，具体地用于在高位视频停车 场景中，通过相机抓拍到人与车辆目标的图像，采用图卷积网络处理二分图的方法将 车辆与车主关联起来。如图1所示，该方法包括：
58.101、获取车辆与车主的样本对数据，根据所述样本对数据制作用于人车检测和人 车关联数据集；
59.所述获取车辆与车主的样本对数据包括：采集包含车主和车辆的图像，基于采集 的图像获取车主上下车时间段的图像作为样本对数据，这样的图像中能够同时抓拍到 车辆及其车主信息；
60.标记监控图像中所有的人车目标矩形框，即人和车辆存在同一个矩形框中，记录 所有所述人车目标矩形框中车辆和车主的匹配信息，形成人车检测和人车关联数数据 集。
61.当完成人车检测和人车关联数据集的制作之后，需要进一步利用数据集进行模型 训练，首先需要训练人与车辆两类目标的检测模型。
62.本实施例中采用深度学习目标检测方法，其检测的目标包括人与车辆两类，本发 明中以yolov3为检测模型，利用制作的人车检测数据集，采用梯度下降算法训练得到 人车目标检测模型，该步骤为进行人车目标关联提供了基础。
63.训练人车目标关联模型主要包括两部分，分别是人车特征提取以及人车关联生成 两部分，其中人车特征提取主要包括：基于所述人车目标检测模型输出包含人车目标 的几何坐标位置；
64.根据所述人车目标检测模型获取人车目标区域，提取所述人车目标中的视觉特征；
65.融合所述人车目标的几何位置和视觉特征，得到人车目标整体特征；
66.进一步的，人车关联生成部分包括：提取人车区域图像中的人车目标整体特征， 并将所述人车目标整体特征作为节点创建二分图；
67.分别获取二分图上的车辆以及人节点特征集合；
68.根据车辆以及人节点特征计算二分图中边连接权值，得到权值矩阵；
69.基于两层图卷积网络将人车特征进行交互，得到更新后的节点特征向量。
70.通过多层感知机对更新后的节点特征向量计算生成人和车辆的关联关系。
71.103、通过人车目标检测模型获取监控图中所有人和车辆的区域，并将所述监控图 中的人和车辆特征输入人车关联模型；输出所述图像中人和车辆的关系信息。
72.具体的，作为优选的实施方式对本方法进行描述：
73.本发明公开的基于图卷积网络的人车关联方法主要包括人车目标检测以及人车目 标关联生成两个模型，本实施例中包含这两个模型的制作、模型设计与训练，模型部 署与应用。
74.本发明主要应用在交通监控场景，特别是高位视频停车场景，它便于同时捕获到 车主与车辆等信息，在应用场景中采集人车目标检测模型与人车目标关联模型训练所 需要的数据，本实例中，主要采集多个停车监控场景中含有车主上车或者下车时间段 内的图像视频，根据图像视频获取车辆与车主的样本数据集，具体标注出训练图像中 的人车目标位置以及关联信息。
75.在人车目标检测模型训练集中，通过标记每张监控图像中所有的人车目标的几何 信息，具体包括人车区域的中心点的坐标以及宽高长度以及类别(x,y,w,h,c)，该类别 主要是人和车辆两类，人的检测可以选用人体或者人脸，考虑到监控视频中人脸的获 取难度较大，本实施例中选取人的全身区域作为人的检测目标。
76.在人车目标关联数据集中，标记每张图像中车辆和车主的匹配信息，如(《车辆0， 人物2》，《车辆2，人物3》)，如果车辆和人没有完成匹配，则无需记录，如图2所示 的是人车
目标检测与人车关联数据的标注图，该车辆矩形框附近的人与车辆初步确认 一辆车与一个人完成匹配。
77.以上完成了人车目标检测与人车关联模型的训练数据集的制作。
78.接下来需要训练人车目标检测模型和人车目标关联模型，采用的目标检测模型包 括ssd、faster-rcnn、yolo等模型，本实施例选用yolov3为例，yolov3是yolo系 列的目标检测算法中的第三版目标检测模型，yolov3模型的主干部分为darknet53和 特征金字塔fpn(feature pyramid networks，特征金字塔网络)结构，对于每幅输入 图像，yolov3会预测输出三个不同大小的三维张量，在三个不同的尺度上检测出不同 大小的目标物体，可通过yolov3网络后输出为包含人车目标的几何坐标位置。
79.具体的，作为优选的实施方式，训练深度学习人车目标检测模型时采用所述人车 目标检测训练集，以所标注的人车目标位置与类别作为监督信息，通过梯度下降算法 训练yolov3检测模型，训练得到最优人车目标检测模型。最后，导出最终训练后的人 车目标检测模型，用于获取图像中人车的目标区域，作为后续判断人车关联时使用。
80.本实例中的人车关联模型包括目标特征提取部分和关联生成部分。
81.第一部分：目标特征提取部分，如图3所示，该部分采用卷积层、池化层和激活 层搭建卷积神经网络作为特征提取网络对图像中检测到的人车目标区域进行视觉特征 提取；由于人车的几何位置也是判断人车关联的重要信息，则本实施例中增加网络模 块将人车目标的视觉特征与几何位置进行特征融合形成目标整体特征，具体采用多层 卷积神经网络，提取人车目标视觉特征，再将目标视觉特征与几何特征(包括目标的 中心位置与宽高信息)进行拼接，形成人车目标整体特征；
82.第二部分：人车关联生成部分，如图4所示，将图像中的人车目标分成两个节点 集合，即车辆节点特征集合和人节点特征集合以集合p与集合v作 为节点，构造二分图g，其中：m,n分别表示图像中人和车的数量；
83.二分图g中节点的特征即人车目标整体特征；将所有人与车辆的特征输入图g中 的边连接权值计算公式为计算出人与车的关联关系；
84.其中e
i,j
表示第i辆车与第j个人的连接权值；vi表示第i辆车的特征向量，pj是第 j个人的特征向量，we为可学习参数的矩阵。则二分图g的权值矩阵为
[0085][0086]
将所述二分图g采用图卷积网络进行两集合节点最优匹配；
[0087]
如图5所示的图匹配网络的优化模块，在经过特征提取网络得到人车两个目标集 合的特征向量，首先两集合交互更新每个节点的特征，然后根据新的节点特征更新二 人图的连接权重(e)，经过两层图卷积处理后，在关联生成层输出最优的关联矩阵
[0088]
本实施例采用的图匹配网络模块包含两层图卷积，进行目标节点的特征更新和节 点间边关系的更新，最后输出一个最优的一对一的关联矩阵；具体地，目标节点的特 征更新是在二分图的不相交的节点中通过矩阵乘法实例化消息传递，将与该节点相连 的其他
节点特征进行聚集融合得到新的特征，即二分图中一个集合中每个节点的特征 向量，根据另一个集合中所有节点之间的相似度加权更新它们的特征向量，具体地，
[0089]
第一个图卷积层的特征更新公式为：
[0090][0091][0092]
第二个图卷积层的特征更新公式为：
[0093][0094][0095]
其中表示车辆与人的特征向量组成的矩阵，softmax(e)表示计算出权值矩 阵e进行softmax归一化，每一层权值矩阵e根据更新后的特征重新计算，代 表每层的可学习参数，ρ(
·
)对元素进行非线性化操作，本实例中采用relu函数。
[0096]
进一步的，更新后的节点特征向量输入关联生成层，其中关联矩阵中元素x
i,j
通过 一对节点的特征，然后应用一个可学习的转换来计算标量值输出，关联生成层可以形 式化如下
[0097][0098]
σ(
·
)表示连接这两个节点边的特征，本实例采用非参数化元素相减，通过多层感 知器网络对更新后的节点特征向量计算生成人和车辆的关联关系，具体的采用可学习 多层感知器用来实例化变换得到的标量值训练过程所采用的用二元交叉熵损失如 下公式表示：
[0099][0100]
其中λ为相关联样本与非关联的平衡因子。
[0101]
以上完成任何车辆关联生成部分。
[0102]
本实施例采用x表示由标注信息获取的图像中的真实关联矩阵，其中每个元素都 是二进制数据，
[0103][0104]
具体的，将人车检测模型与人车关联模型应用于停车场景中,在图像中车辆与车 主进行关联。所述人车联模型应用于在捕获到车辆及其与之关联的车主，主要是车主 上下车的时间段，判断车辆附近的是否为车主。
[0105]
如图6所示首先采用人车检测模型获取监控图中所有人和车辆的区域，然后将该 图中的人和车辆输入人车辆关联模型中，所述人车辆关联模型包括了视觉特征提取及 其与几何信息的融合、二分图的建立，特征交互与更新，最终输出所述图像中人和车 辆是否为车辆和车主的关系，若x
i，j
为1，则证明车与人关联，否则不关联。
[0106]
本发明还公开了一种基于图卷积网络的人车关联装置用于执行上述方法，所述装 置包括：
[0107]
获取模块，用于获取车辆与车主的样本对数据，根据所述样本对数据制作用于人 车检测和人车关联数据集；
[0108]
训练模块，用于基于所述人车检测数据集得到人车目标检测模型，训练所述人车 关联数据集得到人车关联模型；
[0109]
推理模块，通过人车目标检测模型获取监控图中所有人和车辆的区域，并将所述 监控图中的人和车辆特征输入人车关联模型；输出所述图像中人和车辆的关系信息。
[0110]
作为本发明的进一步改进，所述获取模块还用于采集包含车主和车辆的图像，基 于采集的图像获取车主上下车时间段的图像作为样本对数据。
[0111]
作为本发明的进一步优化，所述装置还包括制作模块，所述制作模块用于根据所 述样本对数据制作用于人车检测和人车关联数据集，具体包括标记监控图像中所有的 人车目标矩形框，记录所述人车矩形框中图像车辆和车主的匹配信息，形成人车检测 和人车关联数数据集。
[0112]
作为本发明的进一步优化，所述训练模块用于：
[0113]
基于所述人车目标检测模型输出包含人车目标的几何坐标位置；
[0114]
根据所述人车目标检测模型获取人车目标区域，提取所述人车目标中的视觉特征；
[0115]
融合所述人车目标的几何位置和视觉特征，得到人车目标整体特征。
[0116]
作为本发明的进一步改进，所述训练模块还用于：
[0117]
提取人车区域图像中的人车目标整体特征，并将所述人车目标整体特征作为节点 创建二分图；
[0118]
通过特征提取网络在所述二分图上进行人和车辆的特征交互更新，得到更新后的 节点特征向量；
[0119]
通过图卷积网络处理装置对更新后的节点特征向量加权计算生成人和车辆的关联 关系。
[0120]
作为本发明的进一步改进，所述训练模块还用于：
[0121]
分别获取二分图上的车辆以及人节点特征集合；
[0122]
根据车辆以及人节点特征计算二分图中边连接权值；
[0123]
根据多个人车边连接权值获取二分图的权值矩阵；
[0124]
基于二分图的权值矩阵进行节点匹配，得到更新后的节点特征向量。
[0125]
本领域技术人员还可以了解到本技术实施例列出的各种说明性逻辑块(illustrativelogical block)，模块和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。 为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件 (illustrative components)，模块和步骤已经通用地描述了它们的功能。这样的功能是 通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员 可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理 解为超出本技术实施例保护的范围。
[0126]
本技术实施例中所描述的各种说明性的逻辑块，或模块都可以通过通用处理器， 数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑装置， 离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的 功能。通
用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理 器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数 字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处 理器核，或任何其它类似的配置来实现。
[0127]
本技术实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器 执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom 存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom 或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以 使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储 媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置 于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
[0128]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步 详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定 本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改 进等，均应包含在本发明的保护范围之内。