中，矩阵1被重写为包括权重的矩阵3:
此外，向量1被重写为向量3: -[wilt(qi) W2lt(q2)…WnIt(qn)]T 向量3 应当注意的是，在实施例中，矩阵2被类似地修改为包括权重。被重写为包括权重的矩 阵2为以下矩阵4:
向量3被重写为(称为向量4): -[wilt(qi) W2lt(q2) ··· wnIt(qn) -wiVo(qi) -W2Vo(q2) ··· -WnltVo(qn)]向量4 在实施例中，矩阵3、4和向量3、4中的权重被建模为kernel函数，并随在r的特定像素与 相邻像素之间的距离而减小。建模为kernel函数的权重可表示为方程7: wk = Ks( | |qk-r | I )方程7 其中，Ks为kernel函数。
[0052] 另一种使用像素的径向速度信息作为约束的方式是将LK技术的局部速度恒定约 束转换为径向速度信息的对应关系，并使用所述对应关系对加权系数wk进行建模。即，可基 于特定像素的相邻像素的径向速度是恒定的这一假设来确定所述加权系数。这一假设引出 以下方程8和9: Vo(qk)= | |V(r) I |cos(ek,V(r))方程8 Vo(r)= I |V(r) I I cos(er,V(r))方程 9 其中，VD(qk)表示相邻像素 qk的径向速度;VD(r)为特定像素在r的径向速度。从方程8减 去方程9来计算径向分量之间的差值，如下面的方程10所示：
其中，与eqk之间的角度。假设在特定像素 r的空间邻域内不显著变化（g卩， 小），则使得加权系数建模为如下面的方程11所示： wk = Ks( I |qk-r I I ) · Kd( | |VD(qk)-VD(r) I I )方程 11 其中，Kd为Kerne 1函数。
[0053] 在实施例中，在由施加局部速度恒定约束（即，矩阵1和向量1)所计算的方案中以 及在由施加径向速度约束（即，矩阵2和向量2)所计算的方案中使用基于方程11所计算的加 权系数。此外，在实施例中，kernel函数Kd被修正为如方程12所示：
[0054] 应当注意的是，本发明实施例的径向速度约束适用于Horn-Schunck算法，其在运 动场中使用平滑度约束并切换到鲁棒方法而进行运动估算，假定使用非高斯零均值假设：
B.K.P.Horn和B.G. Schunk的Determining optical flow( "确定光流"），Artificial Intelligence，vol · 17:185-203，1981描述了Horn-Schunck算法，其通过引用并入本文。
[0055] 本发明实施例的径向速度约束也可用作D.J.Fleet和Y.Weiss的"Optical Flow Estimation(光流估算)"，第5章，2006中所描述的运动估算的概率公式中运动场上的约束， 其通过引用并入本文。本发明实施例的径向速度约束可并入到A. Jepson和M. J.Black的 "Mixture models for optical flow computation(光流计算的混合模型）"Proc. IEEE Computer Vision and Pattern Recognition,CVPR-93,pages 760-761,New York,June 1993中所描述的使用最大期望(EM)法求解的混合模型中，其通过引用并入本文。
[0056] 现参照图2,并继续参照图1，流程图示出了用于压缩图像序列的方法。在实施例 中，所述方法可使用图1中的图像处理系统1〇〇来执行。鉴于本公开可以理解，方法中的操作 顺序并不限于如图2所示的顺序执行，而是根据情况并且根据本公开也可以以一个或多个 不同的顺序执行。在实施例中，所述方法可基于预定的事件按计划运行，和/或在图像处理 系统100的操作期间持续运行。
[0057] 在框210,图像处理系统100从雷达102接收包括多个像素的图像。每个像素包括径 向速度信息。径向速度信息表示基于目标相对于雷达102的运动而由雷达102所测量的多个 像素中每个像素的径向速度。每个像素还包括强度信息。
[0058] 在框220,图像处理系统100基于像素的径向速度信息和像素的强度信息将图像的 多个像素分类成多个像素组。图像处理系统1〇〇通过比较一个像素的径向速度信息与另一 个像素的径向速度信息并基于两个像素的径向速度信息来判断所述多个像素中的一个像 素是否与所述多个像素中的另一个像素足够相似。在实施例中，图像处理系统100使用适于 使用像素径向速度信息的图像分割技术来对像素进行分类。
[0059]在框230,图像处理系统100将像素组中的至少一个与目标相关联。
[0060] 现参照图3,并继续参照图1，流程图示出了用于压缩图像序列的方法。在实施例 中，所述方法可使用图1中的图像处理系统100来执行。鉴于本公开可以理解，方法中的操作 顺序并不限于如图3所示的顺序执行，而是根据情况并且根据本公开也可以以一个或多个 不同的顺序执行。在实施例中，所述方法可基于预定的事件按计划运行，和/或在图像处理 系统100的操作期间持续运行。
[0061] 在框310,图像处理系统100从雷达102接收图像序列。序列中的每个图像均包括多 个像素。每个像素包括径向速度信息。径向速度信息表示基于目标相对于雷达102的运动而 由雷达102所测量的多个像素中的每个像素的径向速度。每个像素包括强度信息。多个像素 中的每个像素包括位置信息，例如X坐标值，y坐标值和z坐标值。
[0062]在框320,图像处理系统100通过将像素的径向速度信息作为约束来估算图像序列 中的图像内像素的光流。基于与图像中特定像素在空间上相邻的多个像素的径向速度是恒 定的这一假设，每个像素的径向速度信息被用作约束以求解像素光流的强度恒定约束方 程。图像处理系统100还使用强度信息作为另一约束。图像处理系统100使用适于使用像素 的径向速度信息的光流技术来估算像素的光流。
[0063]虽然已参照示例性实施例描述了本发明，但本领域技术人员应当理解，可以对其 要素进行各种改变以及替换各种等同物，而不偏离本发明的范围。此外，可作出多种修改以 改变特定的情况或材料至本发明的教导，而不偏离其实质范围。因此，本发明旨在不局限于 所公开的【具体实施方式】，而在于本发明包括落入本申请范围内的所有实施例。
【主权项】
1. 一种用于处理图像的计算机实现方法，其包括： 接收包括多个像素的图像，每个像素包括径向速度信息； 基于所述像素的径向速度信息由计算机将所述图像的所述多个像素分类成多个像素 组；以及 将至少一个所述像素组与目标相关联。2. 如权利要求1所述的方法，其中，所述径向速度信息表示基于目标相对于雷达的运动 而由所述雷达所测量的每个所述像素的径向速度。3. 如权利要求1所述的方法，进一步包括使用适于使用所述像素的所述径向速度信息 的图像分割技术。4. 如权利要求1所述的方法，其中，每个像素进一步包括强度信息，其中，所述分类进一 步基于所述像素的所述强度信息。5. 如权利要求1所述的方法，其中，所述分类包括基于两个像素的径向速度信息来确定 所述多个像素中的一个像素是否与所述多个像素中的另一个像素足够相似。6. 如权利要求1所述的方法，其中，所述分类包括比较所述多个像素中的一个像素的所 述径向速度信息与所述多个像素中的另一个像素的所述径向速度信息。7. -种用于处理图像的系统，其包括： 雷达，其被配置用于生成包括多个像素的图像，每个像素包括径向速度信息；以及 图像处理模块，其被配置成： 基于所述像素的径向速度信息将所述图像的所述多个像素分类成多个像素组；以及 将至少一个所述像素组与目标相关联。8. 如权利要求7所述的系统，其中，所述径向速度信息表示基于目标相对于雷达的运动 而由所述雷达所测量的每个所述像素的径向速度。9. 如权利要求7所述的系统，其中，所述图像处理模块被配置成使用适于使用所述像素 的所述径向速度信息的图像分割技术。10. -种用于处理图像的计算机程序产品，所述计算机程序产品包括： 计算机可读存储介质，其具有体现在一起的程序指令，所述程序指令能够由处理电路 读取以促使所述处理电路执行一种方法，所述方法包括： 接收包括多个像素的图像，每个像素包括径向速度信息； 基于所述像素的径向速度信息而将所述图像的所述多个像素分类成多个像素组；以及 将至少一个所述像素组与目标相关联。
【专利摘要】本发明涉及雷达图像中的基于多普勒的分割及光流。在实施例中，提供了一种图像处理方法。所述方法接收包括多个像素的图像。每个像素包括径向速度信息。所述方法基于像素的径向速度信息将图像的多个像素分类成多个像素组。所述方法将至少一个像素组与目标相关联。
【IPC分类】G06T7/20
【公开号】CN105574892
【申请号】CN201510940150
【发明人】I·施泰因瓦斯奥尔尚斯基, I·比利克, O·比亚勒
【申请人】通用汽车环球科技运作有限责任公司
【公开日】2016年5月11日
【申请日】2015年9月19日
【公告号】DE102015115789A1, US20160084953