。此外,图1所示的模块可被组合和/或进一步划分。 在实施例中,图像处理系统100和雷达102在车辆中运行。
[0038] 雷达102生成图像处理系统100周围环境的高分辨率图像或帖。雷达102捕捉雷 达数据的系列图像114,运些图像被传递到图像处理系统100进行图像处理和分析。在实施 例中,雷达102被配置成可对存在于雷达102的范围内的一个或多个移动目标150上执行 多普勒分析,W对雷达102所捕捉的图像中各个像素生成径向速度信息。除径向速度信息 夕F,雷达102还生成图像中各个像素的范围信息、仰角信息和方位角信息。此外,雷达102 生成表示像素的一个或多个强度或亮度值的像素的强度信息。
[0039] 图像处理系统100的数据存储器104存储从雷达102接收的图像114。在实施例 中,编码器模块(未示出)可在将图像存储到数据存储器104之前对图像114进行编码,当 分割模块106和光流估算模块108从数据存储器104中检索所述图像时,解码器模块可对 经编码的图像进行解码。 W40] 分割模块106实现一种或多种分割技术,W应用到来自雷达102的图像中,W识别 图像中的目标和边界。在实施例中,除了像素所设及的其它信息,例如强度信息之外,分割 模块106所实现的分割技术还使用图像中像素的径向速度信息。分割模块106将处理后的 具有经识别的目标和边界的图像发送到使用所述处理后的图像的另一个系统(未示出)。 例如,在车辆中运行的所述实施例中的图像处理系统100将处理后的图像发送到实现车辆 安全功能(例如,检测其它车辆、行人、其它障碍物等)的另一个系统(未示出)。
[0041] 根据本发明的实施例,分割模块106所实现的分割技术包括适于使用径向速度信 息的常规分割技术。存在多种常规分割技术可适于使用所述径向速度信息。常规分割技术 的示例包括区域增长技术、聚类技术、基于边缘的(或边缘检测)技术和基于模型的技术。
[0042] 区域增长技术开始于图像中作为目标的代表像素的一个或多个种子像素。区域增 长技术将一个或多个相似性标准应用到与种子像素相邻的像素,来判断所述相邻的像素与 所述种子像素是否足够相似而能够表示同一目标。在实施例中,相似性标准包括两个像素 的径向速度之间的差是否小于阔值径向速度差。如果径向速度之间的差小于阔值差,所述 区域增长技术确定所述两个像素足够相似而能够表示同一目标。其它类似的标准(例如, 两个像素之间的强度值差是否小于阔值强度差)可补充判断两个像素是否足够相似而能 够表示同一目标。适于使用径向速度信息的区域生长技术可被用于基于脉冲禪合神经网络 (PCNN)来检测图像中的目标。
[0043] 聚类技术例如基于强度值的相似性将图像的像素群集到图像中的表示同一目标 的一个或多个区域内。在实施例中,所述聚类技术适于使用图像中像素的径向速度信息。本 发明的实施例中适于使用径向速度信息的聚类技术包括K均值算法,其为一种将图像分割 成K个聚类的迭代技术,其中K是一个正整数。K均值算法(1)随机或基于启发拾取K个聚 类中屯、,(2)将图像中的每个像素分配给使所述像素和相应的聚类中屯、之间的"距离"最小 化的聚类,(3)通过聚类中所有像素的平均属性(例如,强度)重新计算所述聚类中屯、,W 及(4)重复(2)和(3),直到达到收敛(即没有像素进一步改变聚类)。所述像素和聚类中 屯、之间的"距离"是所述属性(例如,强度、颜色值、位置等)或所述属性的加权组合之间的 平方或绝对值差。可通过手动、随机或通过启发选择K。在实施例中,K均值算法适于使用 像素的径向速度信息,使得所述像素和聚类中屯、之间的"距离"包括像素的径向速度和聚类 中屯、的径向速度之间的平方或绝对值差。
[0044] 基于边缘的技术通过识别图像中的分离边缘并将所述边缘连接而形成图像中的 目标的边界来检测图像中的目标。边缘位于例如相邻像素的强度值突然改变的地方。在实 施例中,基于边缘的技术适于使用图像中像素的径向速度信息来检测图像中的边缘。目P,基 于边缘的技术将径向速度的突然改变(例如,两个像素的径向速度之间的改变或差值大于 径向速度差值阔值)认为是图像中边缘的表示。
[0045] 基于模型的技术使用概率模型(例如,马尔可夫随机场)来识别图像中的目标。 良P,基于模型的技术基于目标的概率模型定义属于图像中特定目标的图像中的像素的概 率。在实施例中,基于模型的技术适于使用图像中像素的径向速度信息来建立目标的概率 模型并定义属于所述目标的像素的概率。
[0046] 光流估算模块108实现一种或多种光流技术来估算雷达102所生成的图像序列中 的图像的每个像素的光流。在实施例中,除了像素所设及的其它信息、例如强度信息之外, 光流估算模块108所实现的光流技术还适于使用图像中的径向速度信息。光流估算模块 108将处理后的具有经估算的光流的图像发送给使用所述处理后的图像的另一个系统(未 示出)。例如,实施例中在车辆中运行的图像处理系统100将处理后的图像发送给实现车辆 安全功能(例如,对其它车辆、行人、其它障碍物等的运动做出响应)的另一个系统(未示 出)。
[0047] 有多种可由本发明的实施例使用W适于使用径向速度信息的常规光流技术。常规 光流技术的示例包括Lukas Kanade (LK)技术、加权LK技术、离散优化技术、移流技术和具 有整合的运动模型的加权LK技术。
[0048] 常规光流技术基于使用有序图像的序列对瞬时图像速度或离散图像位移的估算。 在笛卡尔坐标系中,瞬时图像速度由下列方程1定义: νω = [Vx(r),Vy(r),Vz(r)]方程 1 其中,V(r)表示像素 r从一个图像到序列中下一个图像的瞬时速度;r表示序列中图 像的每个特定像素的坐标值(例如,在笛卡尔坐标系中的X,y和Z坐标值);Vy(r)表示特 定像素的X坐标像素速度;Vy (r)表示特定像素的y坐标像素速度;V, (r)表示特定像素的Z 坐标像素速度。常规的光流技术通过向方程1施加强度恒定约束来确定图像的图像速度。 下面的方程2表示强度恒定约束,其为在序列中两个连续的图像中第一个图像的像素的强 度或亮度,并且两个连续的图像中第二个图像的对应的像素不变: I(r+V,t+At)=I(r,t)方程 2 其中,I(r,t)表示两个图像中的第一个图像的强度值一一在时间t和位置r的强度 (即,X,y和Z坐标值);I (r+V,t+Δ t)表示两个图像中的第二个图像的强度值;V表示具有 X,y和Z分量向量的坐标向量;Δ t表示捕捉运两个图像时两种情况之间的时间间隔。在泰 勒级数中方程2的线性化趋于由下述方程3表示的近似值,其被称为强度恒定约束方程: V I (r, t) · V (r, t) +It (r, t) = 0 方程 3 其中,▽!为:
在方程3中,▽ I(r,t)为图像像素强度的梯度向量(即,I(r)),并且It(r,t)为随时 间t的偏导,(W下,在方程和术语中省略了时间t)。运些值基于数值离散从连续的图像计 算得出。但是,单独的强度恒定约束不足W求解Ξ个未知的速度分量(即,Vy,Vy,和V,)。为 了得出运些未知数,需要附加的约束。 W例不同的常规光流技术不同于它们施加不同的附加约束。例如,LK技术施加局部速 度恒定约束,其中假设具有V、,Vy和V ,的坐标向量V在特定像素在r的空间邻域(即,围绕 特定像素在r处的空间窗口)内是恒定的。目P,假设方程3对所述特定像素的所有相邻像 素有效,那么方程3可改写成方程4 : V I (q) · V (r)+It(q) = Ο 方程 4 其中,q表示在序列的图像中特定像素 r的空间邻域的各个像素,It(q)是随时间t的 偏导。然后,LK技术基于最小二乘原理来获得解一一整体方案使得每个单方程所引起的误 差的平方和最小化。所述方案被表示为方程5: V = (A'A) 方程5 其中,A为nX 3的矩阵,其中η为特定像素 r的相邻像素的数目,其由相邻像素 q的一 系列梯度Vlh)构建。目P,在所述方案中的矩阵A(称为矩阵1)为:
矩阵1 向量b由下式给出(称为向量1): -[It(qi)It(q2)...It(qn)]T 向量 1
[0050] 在实施例中,常规的技术LK适于使用图像中每个像素的径向速度信息作为附加 约束来求解方程3中的图像速度V(r)。具体来说,径向速度信息提供了图像速度V(r)的径 向分量。作为附加约束的每个像素的径向速度信息可表达为方程6 : Gf · VCr) = Vn(r)方程 6 其中,V(r)是序列中图像的图像速度;VD(r)是特定像素在r的径向速度,表示为: r ¥\\
[0051] 方程3上所施加的附加线性约束使得每个像素中光流的估算更加精确和稳定。使 用方程3上所施加运一附加约束,由方程5求解所得的矩阵A为化X 3的矩阵:
然后,向量b由下式给出(称为向量2): -[It(Qi) It(Q2)…It(qn)-VD(qi)-VD (化)…-Vohjr向量 2
[0052] 约束数目的倍增允许为每个特定像素使用较少数量的邻近像素(即,二维雷达图 像窗口大小减小达维雷达图像窗口大小减小达。此外,使用径向速度信息作为 约束比常规LK技术所施加的使用局部速度的约束具有更好的光流估算。
[0053] 最小二乘原理使得特定像素的所有相邻像素具有相同的重要性。在加权LK技术 中,相邻像素