一种基于光流的货柜商品跟踪方法与流程

1.本发明涉及深度学习领域，具体涉及一种基于光流的货柜商品跟踪方法。


背景技术：

2.多目标跟踪(mot)是许多计算机视觉应用中需要的关键感知技术，具有广泛的应用场景，例如自动驾驶和视频监控等。除此之外的另一重要场景就是基于货柜场景的多目标物体检测跟踪。
3.现阶段最流行的多目标跟踪方法是基于检测器的跟踪方法，即需要基于图像中检测框的物体进行跟踪，对相邻帧之间的同一个检测物体进行跟踪。由于运动物体在运动过程中存在遮挡、运动多样性以及训练数据较少的问题，基于多目标的运动检测的跟踪方法仍然是计算机视觉中一项具有挑战性的任务。
4.在现有技术的应用中，大多通过两个独立的步骤来解决多目标跟踪问题：步骤1、利用神经网络提取输入帧的运动特征以及外观特征；步骤2、基于提取到的运动特征以及外观特征将相邻帧物体关联。
5.运动物体的运动特征描述每个目标如何从一帧移动到另一帧，可以有效地帮助我们为下一帧中的每个目标选择最优搜索区域。运动物体的外观特征有助于区别不同的运动物体，传统方法中常常利用图像直方图等人工设计的特征匹配物体。经过提取特征后，需要对相邻帧物体进匹配，在将物体进行匹配的过程中，大多采用简单的匈牙利算法对多个运动目标进行关联。
6.在以上所述的多目标跟踪方法中，对特征和外观提取器的要求较高，如果在提取运动特征和外观特征出现漏检以及错检的问题，就会导致后续的目标追踪也跟着出错。此外，在将相邻帧物体关联匹配的过程中也需要采取许多启发式的方法。不难发现，将特征提取以及数据关联独立化的跟踪算法效率较低。


技术实现要素：

7.本发明的目的在于针对现有技术中的缺陷，提供一种基于光流的货柜商品跟踪方法，在货柜场景下利用光流以及检测框的信息，对货柜中的商品进行更加精准、高效的多目标跟踪。
8.为实现上述目的，本发明采用以下技术方案：
9.一种基于光流的货柜商品跟踪方法，包括以下步骤：
10.s1、利用商品信息训练检测器以及光流模型；
11.s2、通过检测器对货柜的视频进行物体检测，在视频的每一帧图像上用检测框标示出检测到的商品；
12.s3、遍历视频帧，将视频中出现的首个检测框所标示的商品作为初始跟踪目标，将所述首个检测框添加到轨迹t1中作为轨迹t1的起点；
13.s4、继续遍历视频帧，对于连续的每两帧图像，通过光流模型预测前一帧图像中的
检测框所标示的商品在后一帧图像中的位置，将预测的位置标示为预测框；
14.s5、计算所述预测框与后一帧图像中的检测框的匹配度，当匹配度高于设定阈值时，将后一帧图像中的检测框添加到轨迹t1中。
15.进一步地，在s4中，对于第t帧图像i
t
，若其前一帧图像i
t-1
中含有轨迹t1，则将(i
t-1
,i
t
)输入光流模型，得到前后两帧图像i
t-1
和i
t
的光流图，并根据光流图预测所述轨迹t1在图像i
t
中的位置，将预测的位置标示为预测框b
t
；
16.在s5中，计算预测框b
t
与图像i
t
的检测框a
t
的匹配度，若匹配度高于设定阈值则将检测框a
t
添加到轨迹t1中。
17.进一步地，在s5中，计算预测框b
t
与图像i
t
的检测框a
t
的iou，若iou高于设定阈值则将检测框a
t
添加到轨迹t1中。
18.进一步地，在s4中，根据光流图预测轨迹t1在图像i
t
中的位置，将预测的位置标示为预测框b
t
的方法为：根据检测框a
t-1
内的光流计算检测框a
t-1
内每个像素点的位移均值和方差；基于均值获得预测框b
t
与检测框a
t-1
之间的相对位移，进而计算预测框b
t
在图像i
t
中的位置；基于方差获得预测框b
t
与检测框a
t-1
之间的相对形变，进而对预测框b
t
的形状和大小进行动态调整。
19.进一步地，还包括：s6、若预测框b
t
与图像i
t
的检测框a
t
的匹配度低于设定阈值，则对图像i
t
的前δt帧图像进行回溯检查：
20.按照由后往前的顺序依次对图像i
t-1
至图像i
t-δt
进行检查，直至出现符合以下条件的图像i
x
：所述图像i
x
中含有轨迹t1，且按照s4的方法将(i
x
,i
t
)输入光流模型后得到的预测框b
t
，与图像i
t
中的检测框a
t
的匹配度高于设定阈值；
21.若发现符合条件的图像i
x
，则结束回溯检查，并将检测框a
t
添加到轨迹t1中；
22.其中，δt为用户设定的参数，t-δt≤x≤t-1。
23.进一步地，所述s6还包括：对于第t帧图像i
t
，若其前一帧图像i
t-1
中不含轨迹t1，也对图像i
t
的前δt帧图像进行回溯检查。
24.进一步地，还包括：s7、若在s6中未发现符合条件的图像i
x
，则判定检测框a
t
不属于轨迹t1，将检测框a
t
所标示的商品作为另一个跟踪目标，将检测框a
t
添加到另一条新的轨迹t2中作为轨迹t2的起点。
25.进一步地，还包括：s8、重复s4至s7，直至遍历所有视频帧，得到轨迹t1至tn；筛选过滤掉其中的异常轨迹后，得到最终的轨迹结果。
26.进一步地，所述异常轨迹为长度小于4帧的轨迹。
27.借助光流以及目标检测器的发展，本发明设计了一种基于光流的货柜商品跟踪方法，借助物体光流的信息有效地将目标物体进行跟踪，并且对检测过程中出现的漏检以及错检问题进行优化，整个模型框架在跟踪期间的推理简单高效。
28.本发明结合光流以及检测框的信息对目标进行跟踪，基于图像光流进行可形变目标检测框预测，并且还利用回溯方法对跟踪过程由于遮挡、旋转等原因而产生的错检和漏检问题进行优化。
附图说明
29.图1是本发明中的检测器以及光流模型的工作原理图。
具体实施方式
30.下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。
31.光流技术是一种重要的二维运动估计技术，它不仅可以用于运动目标检测，也可以进行运动目标跟踪。这是由光流技术的内在特性所决定的，也是光流技术的优势所在。只要图像中存在运动物体，就会有光流产生，对于运动一致的区域，光流表现出一致性；运动不一致的区域，光流也就表现出不一致。通过对光流场进行分析，可以实现运动目标的检测和跟踪。目前已经有许多基于光流技术的目标检测和跟踪的系统。
32.借助光流技术以及目标检测器的发展，本发明实施例提供了一种基于光流的货柜商品跟踪方法，包括以下步骤：
33.s1、利用商品信息训练检测器以及光流模型。
34.s2、通过检测器对货柜的视频进行物体检测，在视频的每一帧图像上用检测框标示出检测到的商品。
35.s3、遍历视频帧，将视频中出现的首个检测框所标示的商品作为初始跟踪目标，将所述首个检测框添加到轨迹t1中作为轨迹t1的起点。
36.s4、继续遍历视频帧，对于连续的每两帧图像，通过光流模型预测前一帧图像中的检测框所标示的商品在后一帧图像中的位置，将预测的位置标示为预测框。
37.具体地，如图1所示，在s4中，对于第t帧图像i
t
，若其前一帧图像i
t-1
中含有轨迹t1(即图像i
t-1
中存在检测框a
t-1
，且检测框a
t-1
在轨迹t1中)，则将(i
t-1
,i
t
)输入光流模型，得到前后两帧图像i
t-1
和i
t
的光流图，并根据光流图预测所述轨迹t1在图像i
t
中的位置，将预测的位置标示为预测框b
t
。
38.其中，根据光流图预测轨迹t1在图像i
t
中的位置，将预测的位置标示为预测框b
t
的方法为：根据检测框a
t-1
内的光流计算检测框a
t-1
内每个像素点的位移均值和方差；基于均值获得预测框b
t
与检测框a
t-1
之间的相对位移，进而计算预测框b
t
在图像i
t
中的位置；基于方差获得预测框b
t
与检测框a
t-1
之间的相对形变，进而对预测框b
t
的形状和大小进行动态调整。该方法在面对物体因发生剧烈运动造成位置和形状发生强烈变化时能够保持良好的鲁棒性。
39.s5、计算预测框b
t
与图像i
t
的检测框a
t
的匹配度，若匹配度高于设定阈值则将检测框a
t
添加到轨迹t1中。
40.在本实施例中，采用iou(交并比)作为衡量匹配度的指标，若预测框b
t
与图像i
t
的检测框a
t
的iou高于设定阈值，则判定预测框b
t
与检测框a
t
的匹配度较高，并将检测框a
t
添加到轨迹t1中。
41.s6、对于第t帧图像i
t
，若其前一帧图像i
t-1
中不含轨迹t1(即图像i
t-1
中没有检测框a
t-1
，或检测框a
t-1
不在轨迹t1中)，或者预测框b
t
与图像i
t
的检测框a
t
的匹配度低于设定阈值，则对图像i
t
的前δt帧图像进行回溯检查。
42.回溯检查的具体内容包括：按照由后往前的顺序依次对图像i
t-1
至图像i
t-δt
进行检查，直至出现符合以下条件的图像i
x
：所述图像i
x
中含有轨迹t1(即图像i
x
中存在检测框a
t-1
，且检测框a
t-1
在轨迹t1中)，且按照s4的方法将(i
x
,i
t
)输入光流模型后得到的预测框b
t
，与图像i
t
中的检测框a
t
的匹配度高于设定阈值；
43.若发现符合条件的图像i
x
，则结束回溯检查，并将检测框a
t
添加到轨迹t1中；
44.其中，δt为用户设定的参数，t-δt≤x≤t-1。
45.s7、若在s6中未发现符合条件的图像i
x
，则判定检测框a
t
不属于轨迹t1，将检测框a
t
所标示的商品作为另一个跟踪目标，将检测框a
t
添加到另一条新的轨迹t2中作为轨迹t2的起点。
46.s8、重复s4至s7，直至遍历所有视频帧，得到轨迹t1至tn；筛选过滤掉其中的异常轨迹后，得到最终的轨迹结果。其中，所述异常轨迹为长度小于4帧的轨迹。
47.需要说明的是，在重复s4至s7的过程中，并不是仅对轨迹t1进行跟踪，而是对于出现的每一条轨迹都采取与轨迹t1相同的方法进行跟踪，以得到所有轨迹t1至tn。
48.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。