目标追踪方法、装置、介质和设备与流程
本公开涉及计算机技术领域，具体地，涉及一种目标追踪方法、装置、介质和设备。
背景技术：
由于视野有限，单相机的物体或人员追踪只能在有限空间内进行，这使得很难获得物体或人员运动的完整轨迹，只能通过一小段一小段的轨迹来认知其运动过程。在对这些轨迹进行整合时，物体或人员的再识别成为一个巨大的挑战，很难保证追踪的完整性。
技术实现要素：
本公开的目的是提供一种目标追踪方法、装置、介质和设备，能够保证追踪的完整性。
根据本公开的第一实施例，提供一种目标追踪方法，包括：对多相机系统中的长焦相机拍摄的所有长焦图像帧进行对象检测，并针对每一帧长焦图像，基于对象检测结果构建检测点集合；基于起始追踪点，从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点；将所选取的目标追踪点连接起来，作为针对所述起始追踪点的追踪序列。
根据本公开的第二实施例，提供一种目标追踪装置，包括：检测模块，用于对多相机系统中的长焦相机拍摄的所有长焦图像帧进行对象检测，并针对每一帧长焦图像，基于对象检测结果构建检测点集合；追踪模块，用于基于起始追踪点，从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点；追踪序列确定模块，用于将所选取的目标追踪点连接起来，作为针对所述起始追踪点的追踪序列。
根据本公开的第三实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开第一实施例所述方法的步骤。
根据本公开的第四实施例，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现根据本公开第一实施例所述方法的步骤。
通过采用上述技术方案，能够在多相机系统下实现较好的追踪效果，而且既能输出追踪视频，也可以将追踪画面作为小窗结合到广角视频中，以兼顾细节和大场面。这种全程追踪的能力为多相机系统在更多领域中的应用打下了基础。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一种实施例的目标追踪方法的流程图。
图2示出了以每一个
图3示出了几段追踪效果。
图4展示了几组相机间追踪的示意图。
图5示出了其中一个相机的候选框参数示意图。
图6示出了以候选框中心点的横坐标为例，多项式拟合效果随多项式阶数的变化的示意图。
图7示出了选用多阶次n＝6来对各变量进行多项式拟合平滑的结果示意图。
图8示出了相机间平滑效果示意图。
图9示出了候选框直接拼接的效果示意图。
图10示出了完成坐标对齐之后的拼接效果示意图。
图11示出了经过泊松图像编辑后的拼接效果示意图。
图12是候选框过度平滑的后果示意图。
图13示出了，对于拍摄的25fps视频素材而言，应用了不同窗长的高斯滤波器进行滤波操作之后得到的实验结果示意图。
图14示出了动作对比追踪效果示意图。
图15是根据本公开一种实施例的目标追踪装置的示意框图。
图16是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据本公开一种实施例的目标追踪方法的流程图。如图1所示，该方法包括以下步骤s11至s13。
在步骤s11中，对多相机系统中的长焦相机拍摄的所有长焦图像帧进行对象检测，并针对每一帧长焦图像，基于对象检测结果构建检测点集合。
多相机系统是将广角镜头和长焦镜头相互配合的相机系统，其既能覆盖很大的场景，又能获取足够的精度以进行追踪。
对象指的是诸如人员、物体等。
由于在同一帧长焦图像中通常会存在着多个同一类型的对象，因此，这里的检测点集合是包括了被追踪对象(也即下文中的目标追踪点)在内的所有同一类型的对象。举例而言，假设是用多相机系统对运动员a进行追踪，由于同时参与比赛的还有运动员b、运动员c，所以检测点集合里包括了关于运动员a、b和c的检测点，而下文中提及的起始追踪点和目标追踪点均是指的是运动员a。
为了进行对象检测，可以采用诸如神经网络(例如openpose检测框架)、利用hog算子的特征提取算法等来实现。
以openpose检测框架为例，为了追求检测结果的准确性，在实际检测过程中可以采用滑动窗的方法将长焦图像送入openpose检测框架的例如25点人体模型中进行检测，其中，滑动窗的高度hb可以根据人体高度hh，底片高度hs，图像整体高度hi，镜头焦距f以及相机到被摄人员的距离d，依照如下经验公式1-1算出：
完成25个关键点检测之后，对每一个关键点都会得到{x,y,p}三元组数据，其中{x,y}为关键点坐标，p为置信度。对于一些置信度较低的点，检测结果会将其舍去，导致并非每一个人都有完整的25个关键点检测数据。为了便于后续处理，可以对每一个人身上检出的有效点坐标求平均得到平均坐标
在步骤s12中，基于起始追踪点，从每个检测点集合中选取对应于起始追踪点的目标追踪点。
经过步骤s11的对象检测过程，对视频的每一帧t都构建了一个检测点集合st，则，在步骤s12中，会从检测点集合st中选取目标检测点pt，将其连接起来作为追踪序列。这一过程需要给定起始追踪点p0，来标出整个视频序列中待追踪的目标，而整个过程可以分为单相机的追踪和相机间的追踪。
对于单相机视频序列的追踪，可以采用如下的算法以生成追踪序列，具体算法流程如下：
其中
根据本公开实施例的追踪算法的基本思想是：对于每一帧图像it，通过诸如openpose的对象检测算法检测出该帧图像的检测点集合st，然后计算st中每一个点st[i]同上一个追踪点pf之间的欧式距离，找到距离最小的点p′＝st[it]，计算出最小距离d′＝d(p′,pf)。若这一最小距离小于阈值d0，则表明当前点p′到上一追踪点pf的距离足够小，可以被
遍历同一个相机的所有帧，直到追踪点离开画面边界，即完成了单相机的目标追踪。图3示出了几段追踪效果，可以看出对于遮挡等情况的鲁棒性比较高。
对于相机间的追踪而言，由于在多相机系统中，相机覆盖区域基本互相连通，因此可以通过利用相机之间的相对位置关系，对离开上一相机视野的目标做持续追踪。
假设将目标即将离开的相机记作cf，在其中的最后一个追踪点记作pt，所在的图像帧为第t帧。把目标即将进入的相机记作cn，用st+1表示在相机cn的第t+1帧画面中所有的检测点。只需要利用相机之间的位置关系，将pt的位置和st+1中各点的位置转移到同一坐标系下，就可以沿用前面描述的单相机追踪过程进行追踪了。把相机cf到广角相机co重映射的单应性矩阵记作hfo，广角相机co到相机cn重映射的单应性矩阵记作hon，由公式1-2将pt转换至cn坐标系下的表示p′t：
p′t＝[pnx,pny](1-2)
其中，hfo是上一所述长焦相机到所述多相机系统中的广角相机重映射的单应性矩阵；hon是所述多相机系统中的广角相机到下一所述长焦相机重映射的单应性矩阵；
在得到p′t之后，将其作为cn单相机追踪里的初始追踪点p0，沿用前面描述的单相机追踪算法，即可在相机cn中继续追踪目标。图4展示了几组相机间追踪的示意图。其中，图4中的上图为cf追踪结果，下图为cn追踪结果。可以看出，利用多相机系统中相机间的相对位置，能够非常简便地完成相机间的追踪，减小了整个追踪算法的不必要的开销。
在步骤s13中，将所选取的目标追踪点连接起来，作为针对起始追踪点的追踪序列。
在完成对象追踪之后，还需要以各个追踪点为中心绘制候选框，将候选框中的内容逐帧输出作为一镜到底视频流。但此时的候选框位置仅仅取决于目标检测点的位置，抖动非常大，观看体验极差，因此需要对候选框位置做时域平滑，让输出的视频更加稳定。
下面描述单相机候选框平滑。
用{cx,cy,w,h}四元组表示一个候选框，其中(cx,cy)代表候选框中心点的位置，(w,h)代表候选框的宽度和高度。在单相机的画面中，候选框的大小(w0,h0)都是固定的，因此只需要考虑(cx,cy)这两个变量的平滑即可。将其中一个相机的候选框参数绘制如图5所示。
采用多项式拟合来消除过多的抖动，对(cx,cy)这两个变量分别做平滑。为了保证候选框的初始和最终位置相同，在多项式平滑的过程中需要将首尾两点固定住，以保证平滑后轨迹的正确性。以候选框中心点的横坐标为例，多项式拟合效果随多项式阶数的变化如图6所示。
可以观察到，对于这一组数据而言，在多项式阶次达到6之后，拟合效果并不会随着阶次升高而继续变好，反而在阶次n＝7,8时，在曲线末端容易出现较为明显的凸起。因此本文选用多阶次n＝6来对各变量进行多项式拟合平滑，其平滑结果如图7所示。可见，经过这一平滑操作，同一相机内部截取的视频画面将不会有剧烈的抖动。
接下来描述相机间候选框平滑。
当追踪目标由相机cf视野移动到相机cn视野中时，如果两相机的焦距相同，则无需其他操作，直接播放候选框内容即可。如果两相机的焦距不同，则切换时会产生瞬间的缩放，让观众感觉卡顿，为了解决这一现象，需要在相机焦距切换时做平滑，将瞬间的焦距切换更改为连续的焦距变化。
分别用ff和fn表示两台相机的焦距，假设在t帧处切换至cn的视频画面，希望在n帧之内完成焦段的过渡，则相机cn在t至t+n之间帧的候选框大小需要做下式1-3中的调整：
其中，t是追踪切换时刻下一所述长焦相机的视频帧序号；n是追踪切换时过渡视频帧的数目；i是从t到n的遍历序号；wi是第i帧中候选框的宽度；w0是追踪切换前上一所述长焦相机画面中的候选框宽度；ff是上一所述长焦相机的焦距；fn是下一所述长焦相机的焦距；hi是第i帧中候选框的高度；h0是追踪切换前上一所述长焦相机画面中的候选框高度。
当i＝t时，
通过采用上述技术方案，能够在多相机系统下实现较好的追踪效果，而且既能输出追踪视频，也可以将追踪画面作为小窗结合到广角视频中，以兼顾细节和大场面。这种全程追踪的能力为多相机系统在更多领域中的应用打下了基础。
对于高山滑雪这样的运动项目，出于安全考虑，选手们只能单人依次完成比赛，而无法同台竞技。这使得运动员在训练过程中无法方便地对比自己同冠军选手在路径选择、动作规范等方面的差别。而根据本公开的实施例则可以解决这一问题，也即结合协同追踪算法，可以将两位运动员的比赛过程合成到同一幅画面中，完整地追踪他们“同台竞技”的过程，可以为运动员的训练提供重要参考。
为了实现同框对比，需要利用前面描述的追踪算法得到的候选框序列：
其中下标a和b用于区分两位运动员，xa1(t)用来代指运动员a的广角画面1中的候选框序列，依此类推。每一个候选框x都由{cx,cy,w,h}四元组表示。为了调节运动员的先后位置，序列
整体而言，根据本公开实施例的同框合成思路如下：将xbi(t+t0)候选框中的内容pbi(t+t0)拼接到xai(t)对应的整幅画面iai(t)中，得到拼接后的画面ii(t)。再根据两个候选框的位置给出最终候选框xi(t)，并根据这一候选框从ii(t)中选取对应内容，作为输出。
首先是图像拼接，为了将pbi(t+t0)很好地拼接到iai(t)中，做到同框对比的效果，可以分两步完成。
第一步是坐标对齐。
由于处在同一相机的视野中，xai(t)和xbi(t+t0)两个候选框的坐标本身处于同一坐标系，无需进行坐标变换。但拍摄过程中相机位置不够稳定，如果直接将pbi(t+t0)这一图像块拼接到图像iai(t)中，会出现如图9所示细微的错位现象。这一现象的存在将为后续的拼接效果优化提出挑战。
为了解决这一问题，将ibi(t+t0)这一帧向iai(t)对齐。用sift算子对两张图提取特征并进行匹配，利用这些匹配点对拟合单应性重映射矩阵hba。利用hba将ibi(t+t0)做重映射，得到图像i′bi(t+t0)。再利用xbi(t+t0)这一候选框从i′bi(t+t0)中框选出图像块p′bi(t+t0)，拼接到图像iai(t)中即可。完成坐标对齐之后的拼接效果如图10所示。
第二步是平滑拼接。
如果仅仅是将p′bi(t+t0)拼接到图像iai(t)的相应位置，会存在两个问题：由于颜色不同产生的拼接缝；图像块会对运动员产生遮挡。为了解决这两个问题，可以采用泊松图像编辑(poissonimageediting)进行处理，能对绝大多数的图像拼接做到较好的平滑效果。图11示出了经过泊松图像编辑后的拼接效果示意图。
经过上述两步拼接过程，可以将两位运动员很好地拼接到了一起，最后完成候选框的计算即可。对于候选框xai(t)和xbi(t+t0)，只需要取其最小的包围框，并对包围框的大小做宽高比16:9补全即可。得到的候选框内容如图11所示。
经过前面描述的平滑拼接之后，得到了最终的候选框序列
这一问题之所以不会在单人追踪中出现，是因为单人追踪时的候选框全部是以运动员为中心的，候选框大小的轻微改变并不会影响追踪效果。而在多人动作对比过程中，候选框经过合并，已经不再以运动员为中心了，很可能出现运动员位于画面边缘的情况。此时如果候选框大小发生改变，就很容易导致追踪失败。
为了避免上述情况的发生，可以采用高斯滤波来进行平滑，也即，可以提取平滑拼接后追踪序列的中心点，作为追踪点序列；通过对所述追踪点序列进行高斯滤波，对平滑拼接后的追踪序列做平滑处理。这样，在保证曲线整体变化趋势的同时，除去了输出画面里不必要的抖动。图13示出了，对于拍摄的25fps视频素材而言，应用了不同窗长的高斯滤波器进行滤波操作之后得到的实验结果示意图。实验结果证明了高斯滤波的效果，选用窗长为13的高斯核进行滤波，取得了不错的效果。图14示出了动作对比追踪效果示意图。
图15是根据本公开一种实施例的目标追踪装置的示意框图。如图15所示，该装置包括：检测模块151，用于对多相机系统中的长焦相机拍摄的所有长焦图像帧进行对象检测，并针对每一帧长焦图像，基于对象检测结果构建检测点集合；追踪模块152，用于基于起始追踪点，从每个检测点集合中选取对应于起始追踪点的目标追踪点；追踪序列确定模块153，用于将所选取的目标追踪点连接起来，作为针对起始追踪点的追踪序列。
通过采用上述技术方案，能够在多相机系统下实现较好的追踪效果，而且既能输出追踪视频，也可以将追踪画面作为小窗结合到广角视频中，以兼顾细节和大场面。这种全程追踪的能力为多相机系统在更多领域中的应用打下了基础。
可选地，对于所述多相机系统中的各个所述长焦相机的单相机追踪而言，所述基于起始追踪点，从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点，包括：
基于该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离，确定所述下一帧长焦图像中的目标追踪点。
可选地，所述基于该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离，确定所述下一帧长焦图像中的目标追踪点，包括：
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离中的最小欧式距离小于预设阈值，则将最小欧式距离所对应的检测点作为所述下一帧长焦图像中的目标追踪点，并计算最小欧式距离所对应的检测点与上一帧长焦图像中的目标追踪点之间的移动矢量；
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离中的最小欧式距离大于所述预设阈值，则基于上一帧长焦图像中的目标追踪点及其移动矢量来确定下一帧长焦图像中的目标追踪点。
可选地，对于所述多相机系统中的长焦相机间的追踪而言，所述追踪模块152还用于：
利用各个所述长焦相机之间的相对位置关系，将上一所述长焦相机的目标追踪点的位置转换到下一所述长焦相机的坐标系下，得到下一所述长焦相机的单相机追踪的起始追踪点。
可选地，所述利用各个所述长焦相机之间的相对位置关系，将上一所述长焦相机的目标追踪点的位置转换到下一所述长焦相机的坐标系下，得到下一所述长焦相机的单相机追踪的起始追踪点，是利用下述公式来实现的：
p′t＝[pnx,pny]
其中，hfo是上一所述长焦相机到所述多相机系统中的广角相机重映射的单应性矩阵；hon是所述多相机系统中的广角相机到下一所述长焦相机重映射的单应性矩阵；
可选地，所述将所选取的目标追踪点连接起来，作为针对所述起始追踪点的追踪序列，包括：以各个所述目标追踪点为中心绘制候选框；对所述候选框进行平滑处理，得到针对所述起始追踪点的追踪序列。
可选地，对于所述多相机系统中的各个所述长焦相机的单相机追踪而言，所述对所述候选框进行平滑处理，包括：通过多项式拟合，对所述候选框进行平滑处理。
可选地，对于所述多相机系统中的长焦相机间的追踪而言，所述对所述候选框进行平滑处理，包括：基于上一长焦相机与下一长焦相机的焦距，对下一长焦相机的候选框大小进行调整。
可选地，利用下式对下一长焦相机的候选框大小进行调整：
其中，t是追踪切换时刻下一所述长焦相机的视频帧序号；n是追踪切换时过渡视频帧的数目；i是从t到n的遍历序号；wi是第i帧中候选框的宽度；w0是追踪切换前上一所述长焦相机画面中的候选框宽度；ff是上一所述长焦相机的焦距；fn是下一所述长焦相机的焦距；hi是第i帧中候选框的高度；h0是追踪切换前上一所述长焦相机画面中的候选框高度。
可选地，所述装置还包括合成模块，用于：将不同对象的所述追踪序列合成到同一画面中。
可选地，所述将不同对象的所述追踪序列合成到同一画面中，包括：将不同对象的所述追踪序列进行坐标对齐；将坐标对齐后的所述追踪序列平滑拼接到同一画面中。
可选地，所述合成模块还用于：提取平滑拼接后追踪序列的中心点，作为追踪点序列；通过对所述追踪点序列进行高斯滤波，对所述平滑拼接后的追踪序列做平滑处理。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图16是根据一示例性实施例示出的一种电子设备700的框图。如图16所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(i/o)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的目标追踪方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(staticrandomaccessmemory，简称sram)，电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory，简称eeprom)，可擦除可编程只读存储器(erasableprogrammableread-onlymemory，简称eprom)，可编程只读存储器(programmableread-onlymemory，简称prom)，只读存储器(read-onlymemory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(nearfieldcommunication，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件705可以包括：wi-fi模块，蓝牙模块，nfc模块。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(applicationspecificintegratedcircuit，简称asic)、数字信号处理器(digitalsignalprocessor，简称dsp)、数字信号处理设备(digitalsignalprocessingdevice，简称dspd)、可编程逻辑器件(programmablelogicdevice，简称pld)、现场可编程门阵列(fieldprogrammablegatearray，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的目标追踪方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的目标追踪方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的目标追踪方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
- 还没有人留言评论。精彩留言会获得点赞！