目标追踪方法、装置、可读存储介质及电子设备与流程
本公开涉及计算机视觉技术领域，具体地，涉及一种目标追踪方法、装置、可读存储介质及电子设备。
背景技术：
目标追踪是adas(advanceddrivingassistantsystem，高级驾驶辅助系统)中一个重要的课题，有效的目标追踪可以为驾驶员提供可靠的目标对象位置信息，利用这些信息，驾驶员便可以从人为跟踪任务中解放出来。如此，驾驶员只需设置需要追踪的目标对象，之后，由辅助导航系统自动地追踪目标对象，甚至可以将这些信息提供给自动驾驶系统以达到自动追踪目标对象的目的。但是，现在的目标追踪方法不能准确地追踪目标对象，从而不能准确地为自动驾驶系统提供目标对象的位置信息。
技术实现要素：
本公开的目的是提供一种目标追踪方法、装置、可读存储介质及电子设备，以提高目标追踪的准确性和鲁棒性。
为了实现上述目的，本公开提供一种目标追踪方法，包括：
在接收到当前帧的图像后，若目标追踪器的当前状态为启用状态，则将所述图像输入至所述目标追踪器，以通过所述目标追踪器对目标对象进行追踪；
若所述目标追踪器未追踪到所述目标对象，则将所述目标追踪器的状态切换为停用状态，并将所述图像输入至目标检测模型，以通过所述目标检测模型对所述目标对象进行检测；
若所述目标检测模型成功检测到所述目标对象，则根据所述目标检测模型的输出数据，确定所述目标对象的检测位置信息，根据所述检测位置信息初始化所述目标追踪器，并重新启用所述目标追踪器。
可选地，还包括：
若所述目标追踪器成功追踪到所述目标对象，则根据所述图像、以及追踪获得的所述目标对象的追踪位置信息和尺度信息，生成所述目标检测模型的训练样本；
根据所述训练样本进行训练，以获得所述目标检测模型。
可选地，所述根据所述图像、以及追踪获得的所述目标对象的追踪位置信息和尺度信息，生成训练样本，包括：
根据追踪获得的所述目标对象的追踪位置信息和尺度信息，确定所述图像中所述目标对象所属的目标图像块，以及除所述目标图像块之外的至少一个背景图像块；
根据所述目标图像块对应的图像数据，生成正例训练样本；
根据每一所述背景图像块对应的图像数据，生成与该背景图像块对应的负例训练样本，其中，所述目标检测模型的训练样本包括所述正例训练样本和所述负例训练样本。
可选地，所述目标追踪器包括第一模型和第二模型，所述目标追踪器用于通过以下方式对目标对象进行追踪：
根据所述当前帧的图像和所述第一模型，确定所述目标对象的第一位置信息和尺度信息；
根据所述当前帧的图像和所述第二模型，确定在预设尺度下所述目标对象的颜色直方分布；
根据所述第一位置信息，确定在所述预设尺度下的所述目标对象的位置响应能量分布；
根据所述颜色直方分布和所述位置响应能量分布，确定所述目标对象的第二位置信息和所述第二位置信息的置信度；
若所述置信度大于或等于预设阈值，则确定成功追踪到所述目标对象，并将所述第二位置信息确定为所述目标对象的追踪位置信息；
若所述置信度小于所述预设阈值，则确定未追踪到所述目标对象。
可选地，所述目标检测模型包括多个依次级联的分类器，第一级分类器用于将接收到的所述图像分成多个图像块，每级分类器用于识别该分类器获得的图像块是背景图像块还是所述目标对象所属的目标图像块，并在识别该分类器获得的图像块是所述目标图像块的情况下输出该目标图像块对应的图像数据，其中，若所述目标检测模型中的最后一级分类器输出了图像数据，则确定所述目标检测模型成功检测到所述目标对象。
可选地，所述方法还包括：
若所述目标追踪器成功追踪到所述目标对象，则根据追踪获得的所述目标对象的追踪位置信息和尺度信息，确定所述目标对象在世界坐标系下相对于车载相机的位置。
本公开是提供一种目标追踪装置，包括：
输入模块，用于在接收到当前帧的图像后，若目标追踪器的当前状态为启用状态，则将所述图像输入至所述目标追踪器，以通过所述目标追踪器对目标对象进行追踪；
切换模块，用于若所述目标追踪器未追踪到所述目标对象，则将所述目标追踪器的状态切换为停用状态，并将所述图像输入至目标检测模型，以通过所述目标检测模型对所述目标对象进行检测；
第一确定模块，用于若所述目标检测模型成功检测到所述目标对象，则根据所述目标检测模型的输出数据，确定所述目标对象的检测位置信息，根据所述检测位置信息初始化所述目标追踪器，并重新启用所述目标追踪器。
可选地，所述装置还包括：
生成模块，用于若所述目标追踪器成功追踪到所述目标对象，则根据所述图像、以及追踪获得的所述目标对象的追踪位置信息和尺度信息，生成所述目标检测模型的训练样本；
训练模块，用于根据所述训练样本进行训练，以获得所述目标检测模型。
可选地，所述生成模块包括：
确定子模块，用于根据追踪获得的所述目标对象的追踪位置信息和尺度信息，确定所述图像中所述目标对象所属的目标图像块，以及除所述目标图像块之外的至少一个背景图像块；
第一生成子模块，用于根据所述目标图像块对应的图像数据，生成正例训练样本；
第二生成子模块，用于根据每一所述背景图像块对应的图像数据，生成与该背景图像块对应的负例训练样本，其中，所述目标检测模型的训练样本包括所述正例训练样本和所述负例训练样本。
可选地，所述目标追踪器包括第一模型和第二模型，所述装置还包括：
第二确定模块，用于根据所述当前帧的图像和所述第一模型，确定所述目标对象的第一位置信息和尺度信息；
第三确定模块，用于根据所述当前帧的图像和所述第二模型，确定在预设尺度下所述目标对象的颜色直方分布；
第四确定模块，用于根据所述第一位置信息，确定在所述预设尺度下的所述目标对象的位置响应能量分布；
第五确定模块，用于根据所述颜色直方分布和所述位置响应能量分布，确定所述目标对象的第二位置信息和所述第二位置信息的置信度；
第六确定模块，用于若所述置信度大于或等于预设阈值，则确定成功追踪到所述目标对象，并将所述第二位置信息确定为所述目标对象的追踪位置信息；
第七确定模块，用于若所述置信度小于所述预设阈值，则确定未追踪到所述目标对象。
可选地，所述装置还包括：
第八确定模块，用于若所述目标追踪器成功追踪到所述目标对象，则根据追踪获得的所述目标对象的追踪位置信息和尺度信息，确定所述目标对象在世界坐标系下相对于车载相机的位置。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开提供的上述目标追踪方法的步骤。
本公开还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开提供的上述目标追踪方法的步骤。
通过上述技术方案，在目标追踪过程中，充分利用目标追踪器和目标检测模型的特点，既可以在目标对象出现在图像中时对目标对象进行追踪，也可以在目标对象丢失或遮挡后再次出现时，及时检测出目标对象。此外，在目标检测模型检测到目标对象时，还可以利用目标对象的检测位置信息初始化目标追踪器。这样，基于目标追踪器和目标检测模型对目标对象进行追踪，可以提高目标追踪的准确性和鲁棒性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一示例性实施例的一种目标追踪方法的流程图。
图2是根据本公开一示例性实施例的一种利用目标追踪器追踪目标对象的方法的流程图。
图3是根据本公开一示例性实施例的一种生成目标检测模型的方法的流程图。
图4是根据本公开一示例性实施例的一种目标检测模型的示意图。
图5是根据本公开一示例性实施例的一种目标追踪装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
通常情况下，追踪模型可分为短时追踪模型(以下称为目标追踪器)和长时追踪模型(以下称为目标检测模型)。其中，目标追踪器的特点是追踪速度较快、帧率高，可以对高速运动的目标对象进行追踪，但是在目标对象丢失或者被遮挡期间，无法进行追踪。只有当目标对象再次出现以及驾驶员再次输入目标对象时，才能继续追踪。目标检测模型是利用检测的方法对目标对象进行追踪，如此，在目标丢失或被遮挡之后再次出现时可以找回目标对象，但是，其检测速度较慢，帧率较低，无法跟踪高速运动的目标对象。在相关技术中，仅是利用上述一者对目标对象进行追踪。示例地，若仅利用目标追踪器对目标对象进行追踪，在目标对象丢失或者被遮挡之后再次出现时，还需要驾驶员再次输入目标对象才能继续追踪。若仅利用目标检测模型对目标对象进行追踪，追踪速率较慢。因此，仅是利用上述一者对目标对象进行追踪，不能准确地为自动驾驶系统提供目标对象的位置信息。
为了解决相关技术中存在的问题，本公开提供一种目标追踪方法、装置、可读存储介质及电子设备。图1是根据本公开一示例性实施例的一种目标追踪方法的流程图，该方法可以应用于具有处理能力的电子设备中，例如处理器、整车控制器等。如图1所示，该方法可以包括以下步骤。
在步骤11中，在接收到当前帧的图像后，若目标追踪器的当前状态为启用状态，则将图像输入至目标追踪器，以通过目标追踪器对目标对象进行追踪。
执行本方法的电子设备在接收到车载相机拍摄的当前帧图像时，判断目标追踪器是否处于启用状态，若该目标追踪器处于启用状态，则将该当前帧图像输入至目标追踪器中，以在当前帧图像包含有目标对象子图像的情况下，通过目标追踪器成功追踪到目标对象。目标追踪器可以是与该电子设备互相分开但存在耦合关系的处理模块，也可以是包含在该电子设备中的一段计算机程序。此外，当前帧图像为当前时刻下车载相机拍摄的车辆周围的场景图像。
在步骤12中，若目标追踪器未追踪到目标对象，则将目标追踪器的状态切换为停用状态，并将图像输入至目标检测模型，以通过目标检测模型对目标对象进行检测。
由于在目标对象丢失或被遮挡的情况下，车载相机所拍摄的车辆周围的场景图像中不包括目标对象子图像，所以，目标追踪器就无法追踪到目标对象。此时，该电子设备将目标追踪器的状态切换为停用状态，并将该当前帧图像输入至目标检测模型，以通过目标检测模型对该目标对象进行检测。其中，该目标检测模型可以是与该电子设备互相分开但存在耦合关系的处理模块，也可以是包含在该电子设备中的一段计算机程序。
在步骤13中，若目标检测模型成功检测到目标对象，则根据目标检测模型的输出数据，确定目标对象的检测位置信息，根据检测位置信息初始化目标追踪器，并重新启用目标追踪器。
其中，目标检测模型输出的图像数据为目标对象所属的目标图像块对应的图像数据。这样，在目标检测模型成功检测到目标对象时，电子设备可以根据目标图像块对应的图像数据，在图像中确定出目标对象的检测位置信息，根据检测位置信息初始化目标追踪器，并重新启用目标追踪器。
如此，在目标追踪器被启用之后，若电子设备再次接收到图像，则可以将当前帧图像输入至目标追踪器，以通过目标追踪器对目标对象进行再次追踪。
需要理解的是，初始化目标追踪器的目的是使目标追踪器可以在图像中确定出目标对象。由于在初始化过程中尺度信息默认为1，所以，在目标检测模型成功检测到目标对象后，只需根据目标对象的检测位置信息即可初始化目标追踪器。此外，在目标追踪器被初始化之后，一旦被重新启用，就可以根据该检测位置信息在当前帧图像中确定出目标对象，进而对该目标对象进行追踪。
通过上述技术方案，在目标追踪过程中，充分利用目标追踪器和目标检测模型的特点，既可以在目标对象出现在图像中时对目标对象进行追踪，也可以在目标对象丢失或遮挡后再次出现时，及时检测出目标对象。此外，在目标检测模型检测到目标对象时，还可以利用目标对象的检测位置信息初始化目标追踪器。这样，基于目标追踪器和目标检测模型对目标对象进行追踪，可以提高目标追踪的准确性和鲁棒性。
接下来，分别对目标追踪器的追踪过程和目标检测模型的检测过程进行说明。
首先，对本公开中目标追踪器的追踪过程进行描述。
本公开所提供的目标追踪器包括第一模型和第二模型，其中，第一模型是基于fdsst(fastdiscriminativescalespacetracking，快速判别尺度空间跟踪算法)算法建立的模型，利用目标对象的hog(histogramoforientedgradient，方向梯度直方图)特征，采用位置滤波器和尺度滤波器分别对目标对象进行追踪。第二模型是基于staple(sumoftemplateandpixel-wiselearners)算法建立的模型，利用目标对象的颜色分布直方图信息对目标对象进行追踪。
下面，参考图2示出的目标追踪器追踪目标对象的方法，分别对fdsst算法和staple算法进行描述。
在步骤21中，根据当前帧的图像和第一模型，确定目标对象的第一位置信息和尺度信息。
在一种实施例中，利用fdsst算法，确定第一位置信息的具体过程可以包括如下步骤：
在训练得到位置估算模型和优化迭代模型的过程中，在图像中确定出目标对象之后，根据目标对象所在的图像块p的大小，提取图像块p的hog特征，得到大小为m*n*d1的hog特征f。其中，m表示图像块p的高(单位为像素)，n表示图像块p的宽(单位为像素)，d1表征特征f的维度。另外，利用高斯函数构造目标对象所属图像块的响应函数g1，且响应函数g1的大小为m*n。在响应函数g1中，位于中间位置的响应值最大，且向四周响应值依次递减。
根据fdsst算法原理，构建目标对象的位置估算模型(1)和位置估算优化迭代模型(2)和(3)：
其中，hl表征在第l维下目标对象的位置估算模型，g1是响应函数g1经过离散傅立叶变换(dft)得到的；
其中，η表征学习率；
在已知目标对象的位置估算优化迭代模型之后，在跟踪过程中，可以根据下述步骤(1)-(3)确定第一位置信息。
步骤(1)：根据目标对象在前一帧图像中的位置信息和尺度信息生成第一目标框，将第一目标框放大2倍以生成第二目标框，在当前帧图像中根据第二目标框获取到一图像块，该图像块的范围即为在当前帧图像中对目标对象进行搜索的范围。利用该第一目标框在该图像块中进行遍历，以得到多个图像样本ztrans。
步骤(2)：根据图像样本ztrans、前一帧图像中目标对象的位置估算优化迭代模型
其中，f-1表征逆傅里叶变换，d2表征图像样本ztrans的hog特征z的维度，且d2＝d1，
步骤(3)：在位置响应能量分布ytrans中，找出使ytrans最大的位置信息，该位置信息即为第一位置信息。
在确定出第一位置信息之后，利用fdsst算法，确定尺度信息的具体过程可以包括如下步骤：
在训练得到尺度估算模型和优化迭代模型的过程中，利用一个一维的相关滤波器估计目标对象在图像中的尺度。假设在当前帧图像中目标对象的所在的图像块大小为p*r，尺度的数量为s。其中，p表示目标对象的所在的图像块的高(单位为像素)，r表示目标对象的所在的图像块的宽(单位为像素)。截取得到大小为anp*anr的图像块标记为jn，其中，a表示一个尺度因子，n的取值范围如下：
这样就能够得到一系列的不同尺度的图像样本。针对每一个图像样本求其特征描述子(维度d3)，将每一图像样本的特征描述子输入至尺度滤波器，尺度滤波器的响应输出为g2(通常用高斯函数构建得出)，g2的输出响应大小为1×s，中间值最大，向两端依次减小。对g2做一维的dft得到g2。
其中，获取目标对象的尺度估算模型、尺度估算优化迭代模型与获取目标对象的位置估算模板、位置估算优化迭代模型一样，参考上述公式(1)、(2)、(3)可以得到目标对象的尺度估算模型、尺度估算优化迭代模型，在此不再赘述。
在确定出目标对象的尺度估算优化迭代模型之后，在跟踪过程中，可以根据下述步骤(4)-(6)在当前帧图像中确定目标对象的尺度信息。
步骤(4)：以第一位置信息为中心，在当前帧图像中分别按照33种不同的尺度提取样本wscale。
步骤(5)：根据zscale、前一帧图像中目标对象的尺度估算优化迭代模型计算得出尺度响应能量分布。
步骤(6)：在尺度响应能量分布yscale中，找出使yscale最大的尺度信息。
在当前帧图像中，以第一位置信息为中心，提取33个不同尺度的样本wscale，分别求其特征描述子，组成新的特征w，同样求取每一维度的一维的傅里叶变换得到wi，i的取值范围为[1,d3]，进而根据wi、前一帧图像中目标对象的尺度估算优化迭代模型得到尺度响应能量分布(求取方法和位置估计类似，参照上述公式(4))，尺度响应能量分布为1×s维的向量，在尺度响应能量分布中最大值的所对应的尺度为尺度信息。
需要说明的是，在目标追踪器被初始化时，第一模型可根据用户在图像中选中的目标对象的区域，确定出目标对象所属的图像块，并提取该图像块的hog特征，根据该hog特征确定出目标对象的初始模板迭代模型。根据hog特征确定出目标对象的初始模板迭代模型属于现有技术，在此不再赘述。
在步骤22中，根据当前帧的图像和第二模型，确定在预设尺度下目标对象的颜色直方分布。
在一种实施例中，利用staple算法，确定在预设尺度下目标对象的颜色直方分布的具体过程可以包括以下步骤：
步骤(7)：根据当前帧图像、公式(5)和公式(6)分别确定出前景颜色直方图分布ρt(o)和背景颜色直方图分布ρt(b)：
其中，ro表示前景图像中的红色直方图，go表示前景图像中的绿色直方图，bo表示前景图像中的蓝色直方图。
其中，rb表示后景图像中的红色直方图，gb表示后景图像中的绿色直方图，bb表示后景图像中的蓝色直方图。
步骤(8)：根据前景颜色直方图分布ρt(o)和背景颜色直方图分布ρt(b)、以及公式(7)确定目标对象的颜色直方分布β：
需要说明的是，第二模型不对图像的尺度进行缩放，即，预设尺度可以为1。
在步骤23中，根据第一位置信息，确定在预设尺度下的目标对象的位置响应能量分布。
由于只有在相同尺度下，才能将位置响应能量分布和颜色直方分布进行融合，且第二模型无法对图像的尺度进行缩放，所以，在利用第一模型确定出第一位置信息之后，还需根据该第一位置信息，在图像中按照该预设尺度提取出一图像样本ztrans，并执行上述步骤(4)，得出在预设尺度下的目标对象的位置响应能量分布ytrans。
在步骤24中，根据颜色直方分布和位置响应能量分布，确定目标对象的第二位置信息和该第二位置信息对应的置信度。
在一种实施方式中，可按照公式(8)将目标对象的颜色直方分布和预设尺度下的目标对象的位置响应能量分布进行加权融合:
f(x)＝γtmpl(x)ftmpl(x)+γhist(x)fhist(x)(8)
其中，x表征当前帧图像，f(x)表征在当前帧图像中目标对象的相关度响应分布，ftmpl(x)表征在当前帧图像中预设尺度下的目标对象的位置响应能量分布ytrans，fhist(x)表征在当前帧图像中目标对象的颜色直方分布β，γtmpl(x)表征在当前帧图像中位置响应能量分布的权重，γhist(x)表征在当前帧图像中颜色直方分布的权重。此外，发明人经过多次实验发现，当γtmpl(x)为0.3，γhist(x)为0.7时，追踪效果最佳。
在融合后的相关度响应分布f(x)中，找出使f(x)最大的位置信息，该位置信息即为第二位置信息。此外，在融合后的相关度响应分布f(x)中，还可以根据f(x)的最大值，进一步确定出第二位置信息的置信度。置信度是通过计算相关度响应分布的平均峰值相关能量(averagepeak-tocorrelationenergy,apce)得到，其反应相关度响应分布的波动程度和检测目标对象的置信水平，其计算公式如下：
其中，w,h表征f(x)的宽和高，fmax为f(x)中的最大值，fmin为f(x)中的最小值，fw,h为f(x)中的依次遍历的值。
在步骤25中，若置信度大于或等于预设阈值，则确定成功追踪到目标对象，并将第二位置信息确定为目标对象的追踪位置信息。
在步骤26中，若置信度小于预设阈值，则确定未追踪到目标对象。
若置信度大于或等于预设阈值，则表明所确定的第二位置信息是目标对象在图像中的位置的概率较大，此时，认为成功追踪到目标对象，将第二位置信息确定为目标对象的追踪位置信息。若置信度小于预设阈值，则表明所确定的第二位置信息是目标对象在图像中的位置的概率较小，此时，认为未追踪到目标对象。
此外，在确定出目标追踪信息和尺度信息之后，根据该目标追踪信息和尺度信息分别利用上述公式(2)和(3)，更新目标对象的位置估算优化迭代模型、以及尺度估算优化迭代模型。
需要说明的是，第一模型不局限于基于fdsst算法建立，只要是能够实现利用目标对象的hog特征对目标对象进行追踪即可。第二模型不局限于基于staple算法建立，只要是能够实现利用目标对象的颜色分布直方图信息对目标对象进行追踪即可。
通过上述技术方案，将第一模型和第二模型进行结合，由于第一模型可以确定出第一位置信息和尺度信息，进而可以对目标对象的纹理有较好的描述，第二模型对目标对象的颜色信息有较好的描述，所以，将两者结合可以提高目标追踪器对目标对象的光照和旋转的鲁棒性，使得追踪更为准确。
下面对目标检测模型的检测过程进行描述。
在对目标检测模型的检测过程进行描述之前，首先对目标检测模型的生成过程进行说明。在本公开中，上述目标检测模型可以通过训练得到。具体地，如图3所示，目标检测模型的生成可以包括以下步骤。
在步骤31中，若目标追踪器成功追踪到目标对象，则根据图像、追踪获得的目标对象的追踪位置信息和尺度信息，生成目标检测模型的训练样本。
需要说明的是，步骤31中的“追踪位置信息”和步骤13中的“检测位置信息”均表征目标对象在图像中的位置信息。不同的描述仅是用于区分在不同场景下通过不同方式获得的目标对象在图像中的位置信息。其中，步骤13中的“检测位置信息”是在目标检测模型检测到目标对象的场景下，通过目标检测模型获得的目标对象在图像中的位置信息。步骤31中的“追踪位置信息”是在目标追踪器成功追踪到目标对象的场景下，通过目标追踪器获得的目标对象在图像中的位置信息。
在一种实施例中，上述生成训练样本的具体实施方式可以为：
根据追踪获得的目标对象的追踪位置信息和尺度信息，确定图像中目标对象所属的目标图像块，以及除目标图像块之外的至少一个背景图像块。
需要理解的是，在已知追踪位置信息和尺度信息后，电子设备可以在图像中确定出目标对象所属的目标图像块。在图像中除目标图像块之外均为背景图像，进而，在已知目标图像块之后，电子设备还可在图像中确定出至少一个背景图像块。
根据目标图像块对应的图像数据，生成正例训练样本。
根据每一背景图像块对应的图像数据，生成与该背景图像块对应的负例训练样本，其中，目标检测模型的训练样本包括该正例训练样本和该负例训练样本。
在根据图像、追踪获得的目标对象的追踪位置信息和尺度信息，生成训练样本的正例训练样本和负例训练样本之后，执行步骤32。
在步骤32中，根据训练样本进行训练，以获得目标检测模型。
由于是根据图像、追踪获得的目标对象的追踪位置和尺度信息生成训练样本，并以此训练样本训练得到目标检测模型的，所以，所得到的目标检测模型可以准确地从图像中识别出目标对象，进而可准确地确定出目标对象的检测位置信息。
接着，对目标检测模型的检测过程进行说明。
为了准确地检测目标对象，在本公开中，该目标检测模型可以包括多个依次级联的分类器。第一级分类器用于将接收到的图像分成多个图像块，每级分类器用于识别该分类器获得的图像块是背景图像块还是目标对象所属的目标图像块，并在识别该分类器获得的图像块是目标图像块的情况下输出该目标图像块对应的图像数据，其中，若目标检测模型中的最后一级分类器输出了图像数据，则确定目标检测模型成功检测到目标对象。
本公开中并不具体限定分类器的数量以及分类器的类型。需要说明的是，目标检测模型包括的分类器的数量越多，对目标对象的检测越准确，但检测速度越慢。
图4是根据本公开一示例性实施例的一种目标检测模型的示意图。如图4所示，以目标检测模型包括依次级联的方差分类器、随机厥分类器和最近邻分类器为例，对目标检测模型检测目标对象的过程进行说明。
首先，方差分类器中预先设置多个矩形框，在图像输入到目标检测模型时，方差分类器根据预设的多个矩形框将图像分割成多个图像块。确定每个图像块对应的方差，并将方差小于预设方差值的图像块确定为背景图像块。将方差大于或等于预设方差值的图像块对应的图像数据输入至随机厥分类器。
接着，随机厥(randomfern)分类器利用randomfern在线模型，确定每个图像块对应的后验概率，将后验概率小于预设概率值的图像块确定为背景图像块，并将后验概率大于或等于预设概率值的图像块对应的图像数据输入至最近邻分类器。
最后，最近邻分类器利用最近邻在线模型，确定出每个图像块与目标对象的相似度，若存在相似度大于预设相似度的图像块，则将该图像块确定为目标图像块，并输出该目标图像块对应的图像数据。
若最近邻分类器输出了图像数据，则确定该目标检测模型成功检测到目标对象，即，目标对象再次出现在图像中。此时，可以通过目标检测模型输出的目标图像块对应的图像数据，确定出目标对象在图像中的检测位置信息。
其中，上述中所涉及的预设方差值、预设概率值以及预设相似度均是在训练过程中确定。另外，在每级分类器中所确定出的背景图像块对应的图像数据，可以保留在分类器中，也可以通过负例训练样本输出接口输出。
采用上述技术方案，在目标对象丢失或遮挡后再次出现时，可以及时检测出目标对象，并确定出目标对象在图像中的检测位置信息，进而可以利用该检测位置信息初始化目标追踪器，使得目标追踪器可以得到当前时刻下的目标对象，并以此为目标进行追踪，从而提高了目标追踪的准确性。
在一种实施例中，若目标追踪器成功追踪到目标对象，则根据追踪获得的目标对象的追踪位置信息和尺度信息，确定目标对象在世界坐标系下相对于车载相机的位置。
在目标追踪器成功追踪到目标对象时，还可以进一步确定目标对象相对于车载相机的位置。示例地，可以参照以下公式(10)确定目标对象在世界坐标系下相对于车载相机的位置：
其中，u、v为上文所确定的目标对象在图像中水平方向、竖直方向上的位置信息，s为目标对象的尺度信息，m为车载相机内参矩阵，其可以通过标定程序获得，n表示车载相机外参矩阵，即为车辆的运动姿态参数，其可以通过在车身处设置运动传感器获得，
在确定出目标对象在世界坐标系下相对于车载相机的位置之后，可以得到目标对象的移动轨迹，并将目标对象的移动轨迹发送至adas系统中，如此，可以向驾驶员提供目标追踪的有效信息。
基于同一发明构思，本公开还提供一种目标追踪装置。图5是根据本公开一示例性实施例的一种目标追踪装置的框图。如图5所示，该装置可以包括：
输入模块51，用于在接收到当前帧的图像后，若目标追踪器的当前状态为启用状态，则将所述图像输入至所述目标追踪器，以通过所述目标追踪器对目标对象进行追踪；
切换模块52，用于若所述目标追踪器未追踪到所述目标对象，则将所述目标追踪器的状态切换为停用状态，并将所述图像输入至目标检测模型，以通过所述目标检测模型对所述目标对象进行检测；
第一确定模块53，用于若所述目标检测模型成功检测到所述目标对象，则根据所述目标检测模型的输出数据，确定所述目标对象的检测位置信息，根据所述检测位置信息初始化所述目标追踪器，并重新启用所述目标追踪器。
在上述目标追踪装置中，可以充分利用目标追踪器和目标检测模型，既可以在目标对象出现在图像中时对目标对象进行追踪，也可以在目标对象丢失或遮挡后再次出现时，及时检测出目标对象。此外，在目标检测模型检测到目标对象时，还可以利用目标对象的检测位置信息初始化目标追踪器。这样，基于目标追踪器和目标检测模型对目标对象进行追踪，可以提高目标追踪的准确性和鲁棒性。
可选地，所述装置还包括：
生成模块，用于若所述目标追踪器成功追踪到所述目标对象，则根据所述图像、以及追踪获得的所述目标对象的追踪位置信息和尺度信息，生成所述目标检测模型的训练样本；
训练模块，用于根据所述训练样本进行训练，以获得所述目标检测模型。
可选地，所述生成模块包括：
确定子模块，用于根据追踪获得的所述目标对象的追踪位置信息和尺度信息，确定所述图像中所述目标对象所属的目标图像块，以及除所述目标图像块之外的至少一个背景图像块；
第一生成子模块，用于根据所述目标图像块对应的图像数据，生成正例训练样本；
第二生成子模块，用于根据每一所述背景图像块对应的图像数据，生成与该背景图像块对应的负例训练样本，其中，所述目标检测模型的训练样本包括所述正例训练样本和所述负例训练样本。
可选地，所述目标追踪器包括第一模型和第二模型，所述装置还包括：
第二确定模块，用于根据所述当前帧的图像和所述第一模型，确定所述目标对象的第一位置信息和尺度信息；
第三确定模块，用于根据所述当前帧的图像和所述第二模型，确定在预设尺度下所述目标对象的颜色直方分布；
第四确定模块，用于根据所述第一位置信息，确定在所述预设尺度下的所述目标对象的位置响应能量分布；
第五确定模块，用于根据所述颜色直方分布和所述位置响应能量分布，确定所述目标对象的第二位置信息和所述第二位置信息的置信度；
第六确定模块，用于若所述置信度大于或等于预设阈值，则确定成功追踪到所述目标对象，并将所述第二位置信息确定为所述目标对象的追踪位置信息；
第七确定模块，用于若所述置信度小于所述预设阈值，则确定未追踪到所述目标对象。
可选地，所述装置还包括：
第八确定模块，用于若所述目标追踪器成功追踪到所述目标对象，则根据追踪获得的所述目标对象的追踪位置信息和尺度信息，确定所述目标对象在世界坐标系下相对于车载相机的位置。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备600可以被提供为一控制器，如整车控制器。参照图6，电子设备600包括处理器622，其数量可以为一个或多个，以及存储器632，用于存储可由处理器622执行的计算机程序。存储器632中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器622可以被配置为执行该计算机程序，以执行上述的目标追踪方法。
另外，电子设备600还可以包括电源组件626和通信组件650，该电源组件626可以被配置为执行电子设备600的电源管理，该通信组件650可以被配置为实现电子设备600的通信，例如，有线或无线通信。此外，该电子设备600还可以包括输入/输出(i/o)接口658。电子设备600可以操作基于存储在存储器632的操作系统，例如linux操作系统。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的目标追踪的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器632，上述程序指令可由电子设备600的处理器622执行以完成上述的目标追踪的方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由所述可编程的装置执行时用于执行上述的目标追踪的方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
- 还没有人留言评论。精彩留言会获得点赞！