针对柱面图检测框的目标后处理方法、装置、设备和存储介质与流程

1.本发明涉及目标后处理的技术领域，尤其涉及一种针对柱面图检测框的目标后处理方法、装置、设备和存储介质。


背景技术：

2.目前，计算机视觉相关技术原理在驾驶辅助和智能驾驶领域的应用越来越广泛，基于摄像头的视觉感知技术方案也逐渐被各大厂商采用成为主流方案。视觉感知任务主要包括障碍物检测、障碍物分类、可行域识别等任务，随着计算机硬件的大幅度提升，目前行业内普遍采用深度学习模型完成上述任务，其中障碍物检测和分类任务通常由基于检测框的模型完成，可行域识别任务常由基于语义分割的模型完成。依据不同的产品和功能，不同的任务通常基于不同的图片形式来完成开发，比如泊车功能通常基于鱼眼图，行车功能通常基于平面图等。鱼眼图的优势是具有超大的视角范围，但是其图片具有很强的畸变特性，且越靠近图片边缘的像素畸变越大，从算法应用层面来说很不利于完成目标检测等相关任务。
3.驾驶辅助泊车产品通常装配鱼眼摄像头，其优点是具有超大的视野范围，但其缺点是鱼眼图具有较大的非线性畸变，不利于后续感知算法的开发。常见的做法是将鱼眼图转换为其他形式的图片，其中一种图片表征形式即柱面图（一种图片的表征形式，在图片水平方向(u)上有一定程度的非线性畸变，在竖直方向(v)上保持和原图一致），然后再基于此种图片进行深度学习的模型训练以及其他感知算法的开发。深度学习模型移植到车载设备后，由于算力、模型裁剪以及汽车行驶状态变化等原因，通常其感知性能相对于训练阶段会出现一定程度的下滑，表现最明显的即是2d检测框的明显抖动，这很不利于3d障碍物的测距；一般的平滑任务常采用卡尔曼滤波算法，其包含预测和更新两个过程，由于柱面图在水平方向上存在畸变，预测过程需要很深的专家知识（柱面图相关），开发成本较高。
4.申请号为cn111260539a的中国专利公开了一种鱼眼图目标识别方法，包括：通过等距柱状投影方法获得待目标识别的鱼眼图的等距柱面展开图以及该等距柱面展开图上任意一个点的坐标与所述鱼眼图上对应点的坐标之间的转换关系；通过预训练的用于识别所述目标的识别模型对所述等距柱面展开图进行识别，得到所述目标在等距柱面展开图上的识别框坐标；通过上述转换关系将所述识别框坐标转换为所述鱼眼图上的识别框坐标；但该方案柱面展开图的转换关系相对复杂，需要很强的专业知识，开发成本高。


技术实现要素：

5.本发明要解决的主要技术问题是：提供一种针对柱面图检测框的目标后处理方法、装置、设备和存储介质，能够解决上述背景技术提到的问题。
6.为了解决上述的主要技术问题采取以下技术方案实现：一种针对柱面图检测框的目标后处理方法，包括以下步骤： s1：基于前一帧的所有已跟踪的检测框获取已跟踪检测框的预测检测框；
ꢀ
s2：将当前帧模型检测的新输入检测框与获取的每个预测检测框进行匹配； s3：若新输入检测框与预测检测框满足匹配要求，则基于所述新输入检测框的属性更新跟踪检测框；否则，基于新输入检测框创建新的跟踪检测框。
7.优选地，基于前一帧的所有已跟踪的检测框获取已跟踪检测框的预测检测框，包括：基于预设时间内已跟踪的检测框的状态变化获取状态转移矩阵以及状态误差矩阵；根据所述状态转移矩阵以及所述状态误差矩阵获取已跟踪检测框的预测检测框，其中所述预测检测框可基于预测过程噪声矩阵优化。
8.优选地，获取已跟踪检测框的预测检测框采用以下公式：其中公式（1）（2）中f为状态转移矩阵，q为预测过程噪声矩阵，x为跟踪检测框的状态向量，t和t-1分别表示当前帧时间和前一帧时间，p为跟踪检测框的状态误差矩阵；状态转移矩阵f可记为：δt为当前帧时间与前一帧时间的差值；预测过程噪声矩阵q为：density表示各个属性值随机误差的密度，此值为可标定值。
9.优选地，检测的新输入检测框的属性包括状态向量[cx,cy,w,h]和测量误差向量[varcx, varcy,varw,varh], 其中，cx和varcx分别为检测框中心点的水平坐标及其误差，cy和varcy为检测框中心点的竖直坐标及其误差，w和varw为检测框的宽度及其误差，h和varh为检测框的高度及其误差；预测检测框的属性包含状态向量[cx,cy,w,h,vx,vy,vw,vh]和状态误差[varcx, varcy,varw,varh, varvx, varvy, varvw, varvh ],其中，vx和varvx为检测框中心点水平坐标的变化速率及其误差，vy和varvy为检测框中心点竖直坐标的变化速率及其误差, vw和varvw为检测框宽度的变化速率及其误差, vh和varvh为检测框高度的变化速率及其误差。
[0010]
优选地，基于所述新输入检测框的属性更新跟踪检测框，包括基于新输入检测框的属性进行滤波以更新跟踪检测框，具体为：公式（3）中r为新输入检测框状态方差矩阵；h为测量矩阵；k为卡尔曼增益；新输入检测框状态方差矩阵r为：测量矩阵h为：。
[0011]
优选地，基于新输入检测框更新跟踪检测框，更新跟踪检测框的公式为：公式（4）（5）中x
t
为更新后的跟踪检测框的状态向量，p
t
为更新后的跟踪检测框的状态误差矩阵；新输入检测框的状态向量为z=[cx,cy,w,h]。
[0012]
优选地，新输入检测框与预测检测框的匹配指标为类别和交并比iou(intersection over union)，两者匹配成功的逻辑条件为检测框类别一致且交并比大于阈值，该阈值可标定。
[0013]
一种针对柱面图检测框的目标后处理的装置，所述装置包括：新输入检测框获取模块，用于获取当前帧模型检测的新输入检测框的属性；已跟踪检测框跟踪模块，用于获取前一帧所有已跟踪检测框的属性并进行跟踪；卡尔曼滤波模型估计模块，用于将获取到的新输入检测框的属性、前一帧的所有已跟踪的检测框的属性输入，以使所述卡尔曼滤波模型对前一帧所有已跟踪的检测框进行预测以获取预测检测框，并将预测检测框与新输入检测框进行匹配，得出和输出新的跟踪检测框属性。
[0014]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序所述处理器执行所述计算机程序时实现上述的方法。
[0015]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
[0016]
与现有技术相比，本发明应用于柱面图检测框的目标后处理具备下列优点：（1）本发明利用经典的卡尔曼滤波算法，对深度学习模型识别的2d障碍物检测框进行处理，使得处理后的检测框相比原检测框更稳定和平滑，有利于3d障碍物检测。
[0017]
（2）本发明的算法中通过适当地设计检测框状态向量的内容和过程噪声矩阵q的形式，使得由多种复杂外因引起的检测框在前后两帧之间的变化，可以整体地由相应属性
的变化速率表征，减少了开发人员在专家知识上的大量投入，降低开发成本。
附图说明
[0018]
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图做简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]
图1为一个实施例的算法流程图；图2为一个实施例的匹配流程图；图3为一个实施例中一种针对柱面图检测框的目标后处理的装置的结构框图。
具体实施方式
[0020]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，文中所提到的所有连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。
[0021]
在一个实施例中，请参阅图1所示，一种针对柱面图检测框的目标后处理方法，包括以下步骤： s1：将前一帧的所有已跟踪的检测框进行预测，并得出已跟踪检测框的预测检测框；已跟踪的检测框的属性包括状态向量[cx,cy,w,h]和测量误差向量[varcx, varcy,varw,varh], 其中，cx和varcx分别为检测框中心点的水平坐标及其误差，cy和varcy为检测框中心点的竖直坐标及其误差，w和varw为检测框的宽度及其误差，h和varh为检测框的高度及其误差。
[0022]
对前一帧已跟踪的检测框进行预测的公式为：其中公式（1）（2）中f为状态转移矩阵，q为预测过程噪声矩阵，x为跟踪检测框的状态向量，t和t-1分别表示当前帧时间和前一帧时间，p为跟踪检测框的状态误差矩阵；检测的新输入检测框的属性包括状态向量[cx,cy,w,h]和测量误差向量[varcx, varcy,varw,varh], 其中，cx和varcx分别为检测框中心点的水平坐标及其误差，cy和varcy为检测框中心点的竖直坐标及其误差，w和varw为检测框的宽度及其误差，h和varh为检测框的高度及其误差；预测检测框的属性包含状态向量[cx,cy,w,h,vx,vy,vw,vh]和状态误差[varcx, varcy,varw,varh, varvx, varvy, varvw, varvh ],其中，vx和varvx为检测框中心点水平坐标的变化速率及其误差，vy和varvy为检测框中心点竖直坐标的变化速率及其误差, vw和varvw为检测框宽度的变化速率及其误差, vh和varvh为检测框高度的变化速率及其误差。
[0023]
状态转移矩阵f可记为：δt为当前帧时间与前一帧时间的差值；本发明所要解决的问题属于时变问题，需要对算法维护的前一周期计算结果的跟踪检测框进行预测，使其与当前周期的采样测量值保持时序性。
[0024]
预测过程噪声矩阵q为：density表示各个属性值随机误差的密度，此值为可标定值。
[0025]
预测过程中噪声矩阵q的形式，使得由障碍物自身的运动、汽车自身的运动以及模型性能稳定性波动共同造成的检测框属性在不同帧之间的变化，能够由该属性的变化率综合表征，减少了专家知识研究的投入。
[0026]
s2：根据当前帧模型检测的新输入检测框与s1步骤中得出的每个预测检测框进行匹配，并判定两者是否匹配；s3：若新输入检测框与预测检测框满足匹配要求，利用新输入检测框的属性更新跟踪检测框；否则，利用新输入检测框创建新的跟踪检测框。
[0027]
更新过程是针对新输入检测框与预测检测框满足匹配要求；在所述s3步骤中的更新跟踪检测框是基于经典的卡尔曼滤波公式，具体为：k由以下公式确定：公式（3）中r为新输入检测框状态方差矩阵；h为测量矩阵；k为卡尔曼增益；新输入检测框状态方差矩阵r为：测量矩阵h为：
更新跟踪检测框的具体公式为：公式（4）（5）中x
t
为更新后的跟踪检测框的状态向量，p
t
为更新后的跟踪检测框的状态误差矩阵；新输入检测框的状态向量为z=[cx,cy,w,h]。
[0028]
利用公式（4）（5）更新完的xt和相对于输入的新检测框来说，其属性变化更加平滑，有利于障碍物3d检测。
[0029]
在其中一个实施例中，如图2所示，所述新输入检测框与预测检测框的匹配指标为类别和交并比iou(intersection over union)，两者匹配成功的逻辑条件为检测框类别一致且交并比大于阈值，该阈值可标定，即当新输入检测框与预测检测框的类别进行匹配时，若匹配，则判断两者的交互比是否大于阈值，若满足大于阈值，则基于新输入检测框的属性更新跟踪检测框；否则，则基于新输入检测框的属性创建新的跟踪检测框。
[0030]
在一个实施例中，如图3所示，提供了一种针对柱面图检测框的目标后处理的装置，包括：新输入检测框获取模块101，用于获取当前帧模型检测的新输入检测框的属性；已跟踪检测框跟踪模块102，用于获取前一帧所有已跟踪检测框的属性并进行跟踪；卡尔曼滤波模型估计模块103，用于将获取到的新输入检测框的属性、前一帧的所有已跟踪的检测框的属性输入，以使所述卡尔曼滤波模型对前一帧所有已跟踪的检测框进行预测以获取预测检测框，并将预测检测框与新输入检测框进行匹配，得出和输出新的跟踪检测框属性。
[0031]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现了上述的方法。
[0032]
在其中一个实施例中，该计算机设备可以是终端，包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种环视图车位检测结果的处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0033]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述
计算机程序被处理器执行时实现了上述各个方法实施例中的步骤。
[0034]
需要说明的是，本发明中的“上、下、左、右、内、外”是以图中零部件的相对位置为基准定义的，只是为了描述技术方案的清楚及方便，应当理解，此方位词的应用对本技术的保护范围不构成限制。
[0035]
以上所述的实施方式为优选实施方式而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，依然可以对前述实施所记载的技术方案进行修改，或者对其中部分技术特性进行等同替换，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围内。