一种图像目标检测漏检插值方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种图像目标检测漏检插值方法。


背景技术：

2.目标检测技术方案涉及机器视觉、传感器标定等技术，以上技术是当前成熟技术方案，各类行业和场景都会进行使用，目前随着边缘目标检测，自动驾驶等领域的智能普及，检测算法运动需求越来越大。
3.图像目标检测受检测算法以及外部环境(光照、遮挡、天气)等影响，容易存在漏检的情况.


技术实现要素：

4.本发明的目的在于提供一种图像目标检测漏检插值方法，以期解决背景技术中存在的问题。
5.为了实现上述目的，本发明采用以下技术方案：
6.一种图像目标检测漏检插值方法，包括以下步骤：
7.通过标定计算图像像素坐标系到世界坐标系的单应矩阵h，计算当前检测目标的像素点对应的世界坐标系的物理位置；
8.通过图像检测算法检测目标2d框信息；
9.将目标2d框信息变换为3d框信息；
10.根据关联矩阵对全局跟踪列表状态进行转移，转移到当前检测时刻状态；
11.遍历全局跟踪目标，获取当前时刻未被检测值关联的全局跟踪目标；
12.计算出目标在像素坐标系中的位置；
13.绘制目标的2d框，实现当前时刻未检测目标的插值处理。
14.在一些实施例中，所述2d框信息表示方式为左上角和右下角的像素点：(u0,v0,u1,v1)，其中(u0,v0)为左上角像素点，(u1,v1)为右下角像素点。
15.在一些实施例中，将目标2d框信息变换为3d框信息；包括：通过2d框信息，计算目标框底边中心点uc(uc,vc)，其中，uc＝(u0+u1)/2，vc＝v1；然后通过该像素点(uc,vc,1)左乘h矩阵，p＝h*uc，得到3d的物理位置p(x,y,z)，其中归一化后的p1(x/z，y/z，1)为检测的目标距离参考点的实际物理距离。
16.在一些实施例中，所述关联矩阵包括：
17.计算图像的2d框交并比，交并比是指两个目标2d框交集和并集的比值，交集是指重叠区域；
18.计算目标特征向量相似度：通过计算检测目标和跟踪目标的余弦相似度，得到两个目标特征的相似度信息；
19.将交并比和特征向量相似度作加权求和，得到最终的相似度信息，然后根据匈牙利匹配矩阵算法，得到全局跟踪目标和当前检测目标的关联矩阵。
20.在一些实施例中，所述对全局跟踪列表状态进行转移，转移到当前检测时刻状态；包括：
21.目标运动模型处理是根据关联矩阵和当前检测结果，将当前全局跟踪目标状态转移到当前检测的时刻，运动模型通常采用卡尔曼滤波器，具体处理方法包括以下内容：
22.计算检测时间和当前全局跟踪目标的状态时间差，t；
23.对于检测目标和全局跟踪目标关联匹配上的情况：将全局跟踪目标的状态，通过卡尔曼滤波器构造的运动模型预测下t时刻之后的状态，s1x＝s0x+v0x*t，s1y＝s0y+v0y*t，然后将检测目标计算得到的3d信息作为观测值，对状态进行修正；得到检测时刻的最终状态。
24.对于未关联上的检测目标，创建全局跟踪目标和对应的运动模型；
25.对于未关联上的全局跟踪目标，通过运动模型预测到t时候之后的3d状态，即检测时刻的状态；
26.编译全局跟踪目标，对一定时间阈值以上未被关联的全局目标进行删除。
27.在一些实施例中，计算出目标在像素坐标系中的位置；包括：
28.编译全局跟踪目标列表，筛选出当前时刻未被关联上的全局目标；
29.根据筛选的全局目标的3d信息，计算目标在图像中的投影点，计算方式为：uc＝h逆*pc；h逆为相机标定矩阵中单应矩阵h的逆矩阵，pc为当前时刻的3d信息，通过以上计算出图像中的一个点，该点为当前为检测目标的2d框底边中心点。
30.在一些实施例中，绘制目标的2d框，实现当前时刻未检测目标的插值处理；包括：
31.根据计算得到的像素点uc(uc,vc)，结合存储的目标的2d框信息(u0,v0,u1,v1)，计算得到当前时刻目标的2d位置，新的u0＝uc-(u1-u0)/2,v0＝vc-(v1-v0)，u1＝uc-(u1+u0)/2，v1＝v1；最终实现了未检测目标的插值显示。
32.本技术所提供的一种图像目标检测漏检插值方法具有的有益效果包括但不限于：
33.本技术的技术方案通过相机标定，得到图像坐标到世界坐标的转换矩阵；建立全局目标跟踪列表，将当前检测的目标与全局目标进行关联，计算得到关联矩阵；然后根据关联矩阵维护全局跟踪列表，同时将全局目标状态转移到当前检测时刻(3d信息)；完成之后从全局跟踪列表中筛选出当前时刻未被检测目标关联的目标，该部分目标即为漏检的目标，通过该部分目标3d信息及标定矩阵，计算该目标在当前时刻中的图像位置，结合目标的2d框信息，实现该漏检目标在图像中的插值和显示。
附图说明
34.图1为本发明实施例所述一种图像目标检测漏检插值方法的流程示意图
35.图2为本发明实施例所述的训练流程图。
36.图3为本发明实施例所述的推断流程图。
具体实施方式
37.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
38.相反，本技术涵盖任何由权利要求定义的在本技术的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本技术有更好的了解，在下文对本技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本技术。
39.以下将结合图1-3对本技术实施例所涉及的一种图像目标检测漏检插值方法进行详细说明。值得注意的是，以下实施例仅仅用于解释本技术，并不构成对本技术的限定。
40.实施例1：
41.一种图像目标检测漏检插值方法，其技术方案包括以下内容：
42.1、相机标定
43.相机模型中常见四个平面坐标系：
44.a、图像像素坐标系(u,v)：以像素为单位，是以图像的左上方为原点的图
45.像坐标系；
46.b、图像物理坐标系(也叫像平面坐标系)(x,y)：以毫米为单位，用物理单位表示图像像素位置，定义坐标系oxy，原点o定义在相机zc轴与图像平面交点；
[0047][0048]
c、相机坐标系(xc,yc,zc)：以毫米为单位,以相机的光心作为原点，zc轴与光轴重合，并垂直于成像平面，且取摄影方向为正方向，xc、yc轴与图像物
[0049]
理坐标系的x,y轴平行，且oco为摄像机的焦距f；
[0050]
d、世界坐标系(xw,yw,zw)：根据具体情况而定,该坐标系描述环境中任何物体的位置。
[0051]
本方法通过标定计算图像像素坐标系到世界坐标系的单应矩阵h(详细标定过程可参见张正友标定法等)，通过单应矩阵，可以计算当前检测目标的像素点(u,x)对应的世界坐标系的物理位置p(x，y,z)。
[0052]
2、目标检测
[0053]
通过深度网络检测算法，实现目标检测，目标检测结果为目标2d框，常见2d框表示方式为左上角和右下角的像素点：(u0,v0,u1,v1)，其中(u0,v0)为左上角像素点(u1,v1)为右下角像素点。
[0054]
3、2d到3d变换
[0055]
2d到3d变换是指通过相机检测的目标在图像中的2d框，计算得到该目标距离参考点的实际物理位置，具体方法为：通过(1)计算得到h矩阵的和(2)得到的目标2d框。
[0056]
首先通过2d框，计算目标框底边中心点uc(uc,vc)，uc＝(u0+u1)/2，vc＝v1，因为底边中心点可以理解成地面上的一点，如图1所示。然后通过该像素点(uc,vc,1)左乘h矩阵，p＝h*uc，得到3d的物理位置p(x,y,z)，其中归一化后的p1(x/z，y/z，1)为检测的目标距离参考点的实际物理距离。
[0057]
4、目标跟踪
[0058]
目标跟踪主要包括目标关联、目标运动模型处理两部分，具体包括以下内容：
[0059]
4-1创建全局跟踪目标列表
[0060]
4-2目标关联，目标关联是将当前相机检测的目标与全局跟踪目标进行匹配计算，匹配成功则认为该目标与全局对应的跟踪目标是同一个目标，如果不成功，则认为是一个
新目标。
[0061]
针对相机目标匹配，输出得到目标关联矩阵，目标关联矩阵包括关联上的目标关联信息，未关联的全局跟踪目标，未关联的检测目标。关联矩阵计算包括以下内容：
[0062]
4-1-1计算图像的2d框交并比，如图2所示，2d框用于计算检测目标和跟踪目标的交并比，交并比是指两个目标2d框交集和并集的比值，交集是指重叠区域。
[0063]
4-1-2计算目标特征向量相似度：目标特征向量通常为256或512维的特征信息，通过计算检测目标和跟踪目标的余弦相似度，得到两个目标特征的相似度信息。
[0064]
4-1-3将交并比和特征向量相似度作加权求和，得到最终的相似度信息，然后根据匈牙利匹配矩阵算法，得到全局跟踪目标和当前检测目标的关联矩阵。
[0065]
4-3目标运动模型处理
[0066]
目标运动模型处理是跟踪关联矩阵和当前检测结果，将当前全局跟踪目标状态转移到当前检测的时刻，运动模型通常采用卡尔曼滤波器，具体处理方法包括以下内容：
[0067]
4-3-1：计算检测时间和当前全局跟踪目标的状态时间差，t；
[0068]
4-3-2：对于检测目标和全局跟踪目标关联匹配上的情况：将全局跟踪目标的状态，通过卡尔曼滤波器构造的运动模型预测下t时刻之后的状态，s1x＝s0x+v0x*t，s1y＝s0y+v0y*t，然后将检测目标计算得到的3d信息作为观测值，对状态进行修正。得到检测时刻的最终状态。
[0069]
4-3-3：对于未关联上的检测目标，创建全局跟踪目标和对应的运动模型。
[0070]
4-3-4：对于未关联上的全局跟踪目标，通过运动模型预测到t时候之后的3d状态，即检测时刻的状态。
[0071]
4-3-5：编译全局跟踪目标，对一定时间阈值以上未被关联的全局目标进行删除。
[0072]
(5)、未检测目标的插值
[0073]
未被检测目标是当前时刻场景里面存在，但当前时刻未被检测算法所检测到，即全局跟踪目标中，未被关联的全局目标。对于这种目标，通过3d到2d变换，可以计算到目标投影到图像中的点，然后结合目标的2d框尺寸，可以恢复出目标的检测结果，详细方法包括以下内容：
[0074]
5-1：编译全局跟踪目标列表，筛选出当前时刻未被关联上的全局目标。
[0075]
5-2：根据5-1筛选的全局目标的3d信息，计算目标在图像中的投影点，计算方式未uc＝h逆*pc。h逆为相机标定矩阵中h矩阵的逆矩阵，pc为当前时刻的3d信息，通过以上以上可以计算的图像中的一个点，该点为当前为检测目标的2d框底边中心点。
[0076]
5-3：根据5-2计算得到的像素点uc(uc,vc)，结合存储的目标的2d框信息(u0,v0,u1,v1)，可以计算得到当前时刻目标的2d位置，新的u0＝uc-(u1-u0)/2,v0＝vc-(v1-v0)，u1＝uc-(u1+u0)/2，v1＝v1。最终实现了未检测目标的插值显示。
[0077]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。