雷达图像中的基于多普勒的分割及光流的制作方法
【专利说明】雷达图像中的基于多普勒的分割及光流 相关申请的交叉引用
[00011本申请是2014年9月19日提交的美国临时专利申请序列号为No. 62/052696的非临 时申请，其公开内容通过引用全部并入本文。
技术领域
[0002] 本发明主题涉及使用计算机视觉技术的数字图像处理，更具体地涉及处理图像时 使用经改进以使用图像像素径向速度信息的计算机视觉技术。
【背景技术】
[0003] 为了从数字图像中提取有用的信息，已有使用多种计算机视觉技术以处理数字图 像。例如，图像分割技术将图像分割成多个区域来定位图像中的目标和边界(例如，直线和 曲线）。光流技术用于研究由观察者(眼睛或照相机)和场景之间的相对运动引起的图像中 的目标、表面和边缘的运动。具体地，光流技术用于估算光流（即，图像中的一个像素向另一 图像中的另一位置运动的速度）。光流技术被用于运动估算、数据压缩、机器人导航和目标 跟踪。
【发明内容】
[0004] 在本发明的一个示例性实施例中，提供一种图像处理方法。所述方法接收包括多 个像素的图像。每个像素包括径向速度信息。所述方法基于像素的径向速度信息将图像的 多个像素分类成多个像素组。所述方法将至少一个像素组与目标相关联。
[0005] 在本发明的另一个示例性实施例中，提供一种图像处理系统。所述系统包括雷达， 所述雷达被配置用于生成包括多个像素的图像。每个像素包括径向速度信息。所述系统还 包括图像处理模块，所述图像处理模块被配置成基于像素的径向速度信息将图像的多个像 素分类成多个像素组，并将至少一个像素组与目标相关联。
[0006] 在本发明的另一个示例性实施例中，提供一种用于处理图像的计算机程序产品。 所述计算机程序产品包括存储有体现在一起的程序指令的计算机可读存储介质。所述程序 指令可由处理电路读取，使所述处理电路执行一种方法。所述方法接收包括多个像素的图 像。每个像素包括径向速度信息。所述方法基于像素的径向速度信息将图像的多个像素分 类成多个像素组。所述方法将至少一个像素组与目标相关联。
[0007] 本发明还公开了以下方案：
[0008] 方案1: 一种用于处理图像的计算机实现方法，其包括： 接收包括多个像素的图像，每个像素包括径向速度信息； 基于所述像素的径向速度信息由计算机将所述图像的所述多个像素分类成多个像素 组；以及 将至少一个所述像素组与目标相关联。
[0009] 方案2:如方案1所述的方法，其中，所述径向速度信息表示基于目标相对于雷达的 运动而由所述雷达所测量的每个所述像素的径向速度。
[0010] 方案3:如方案1所述的方法，进一步包括使用适于使用所述像素的所述径向速度 信息的图像分割技术。
[0011] 方案4:如方案1所述的方法，其中，每个像素进一步包括强度信息，其中，所述分类 进一步基于所述像素的所述强度信息。
[0012] 方案5:如方案1所述的方法，其中，所述分类包括基于两个像素的径向速度信息来 确定所述多个像素中的一个像素是否与所述多个像素中的另一个像素足够相似。
[0013] 方案6:如方案1所述的方法，其中，所述分类包括比较所述多个像素中的一个像素 的所述径向速度信息与所述多个像素中的另一个像素的所述径向速度信息。
[0014] 方案7:-种用于处理图像的系统，其包括： 雷达，其被配置用于生成包括多个像素的图像，每个像素包括径向速度信息；以及 图像处理模块，其被配置成： 基于所述像素的径向速度信息将所述图像的所述多个像素分类成多个像素组;以及 将至少一个所述像素组与目标相关联。
[0015] 方案8:如方案7所述的系统，其中，所述径向速度信息表示基于目标相对于雷达的 运动而由所述雷达所测量的每个所述像素的径向速度。
[0016] 方案9:如方案7所述的系统，其中，所述图像处理模块被配置成使用适于使用所述 像素的所述径向速度信息的图像分割技术。
[0017] 方案10:如方案7所述的系统，其中，每个像素进一步包括强度信息，其中，所述分 类进一步基于所述像素的所述强度信息。
[0018] 方案11:如方案7所述的系统，其中，所述图像处理模块被配置成通过基于两个像 素的所述径向速度信息确定所述多个像素中的一个像素与所述多个像素中的另一个像素 是否足够相似来进行分类。
[0019] 方案12:如方案7所述的系统，其中，所述图像处理模块被配置成通过比较所述多 个像素中的一个像素的所述径向速度信息与所述多个像素中的另一个像素的所述径向速 度信息来进行分类。
[0020] 方案13: -种用于处理图像的计算机程序产品，所述计算机程序产品包括： 计算机可读存储介质，其具有体现在一起的程序指令，所述程序指令能够由处理电路 读取以促使所述处理电路执行一种方法，所述方法包括： 接收包括多个像素的图像，每个像素包括径向速度信息； 基于所述像素的径向速度信息而将所述图像的所述多个像素分类成多个像素组;以及 将至少一个所述像素组与目标相关联。
[0021] 方案14:如方案13所述的计算机程序产品，其中，所述径向速度信息表示基于目标 相对于雷达的运动而由所述雷达所测量的所述像素的径向速度。
[0022] 方案15:如方案13所述的计算机程序产品，其中，所述方法进一步包括使用适于使 用所述像素的所述径向速度信息的图像分割技术。
[0023] 方案16:如方案13所述的计算机程序产品，其中，每个像素进一步包括强度信息， 其中，所述分类进一步基于所述像素的所述强度信息。
[0024] 方案17:如方案13所述的计算机程序产品，其中，所述分类包括基于两个像素的径 向速度信息来判断所述多个像素中的一个像素与所述多个像素中的另一个像素是否足够 相似。
[0025] 方案18:如方案13所述的计算机程序产品，其中，所述分类包括比较所述多个像素 中的一个像素的所述径向速度信息与所述多个像素中的另一个像素的所述径向速度信息。
[0026] 从以下结合附图的本发明的详细描述中，可以清楚地得出本发明的上述特征和优 点以及其它特征和优点。
【附图说明】
[0027] 在以下实施例的详细说明中，仅通过举例的方式示出其它的特征、优点和细节，该 详细说明参照附图，其中：
[0028]图1描述了根据本发明实施例的雷达和图像处理系统；
[0029]图2是根据本发明实施例的说明处理图像方法的流程图；以及
[0030] 图3是根据本发明实施例的说明处理图像序列的方法的流程图。
【具体实施方式】
[0031] 以下描述本质上仅是示例性的，而非意在限制本公开、其应用或用途。应当理解， 在整个附图中，对应的参考标记表示相同或相应的部件和特征。
[0032] 高分辨率成像雷达所生成的图像比常规雷达系统所生成的图像或常规摄像系统 所生成的图像携带更多的信息。这是因为，高分辨率成像雷达所生成的图像中示出的目标 由显示所述目标更多细节的更多数目的像素来表示，而常规雷达系统所生成的图像中示出 的目标为较低分辨率的图像，其中较少数量的像素(例如点)表示该目标。此外，由于常规的 摄像系统不捕捉图像中像素的径向速度信息，因此高分辨率成像雷达所生成的图像比常规 成像系统所生成的图像携带更多的信息。
[0033] 在实施例中，除了常规雷达所生成的图像中包括的范围信息、仰角信息和方位角 信息之外，高分辨率成像雷达所生成的图像还包括径向速度信息。具体地，在实施例中，高 分辨率成像雷达所生成的图像中的每个像素均包括径向速度信息、范围信息、仰角信息、方 位角信息以及所测量的反射强度。像素的径向速度信息表示基于目标相对于雷达的运动而 由雷达所测量的像素的径向速度。像素的范围信息表示目标和雷达之间的距离。仰角信息 表示从雷达到目标的仰角。方位角信息表示从雷达到目标的方位角。像素的径向速度信息、 范围信息、仰角信息和方位角信息由雷达使用球面坐标系生成。然而，雷达可被配置成使用 其它坐标系，例如笛卡尔坐标系，并生成具有根据其它坐标系统的坐标信息的像素的图像。
[0034] -般而言，本发明实施例的方法和系统使得计算机视觉技术适于使用高分辨率成 像雷达所生成的图像或帧中的像素的径向速度信息，并使用所适用的计算机视觉技术处理 一个或多个图像。本发明实施例的方法和系统的适于使用径向速度信息的计算机视觉技术 包括分割技术和光流技术。
[0035]根据本发明的示例性实施例，图1描绘了图像处理系统100和雷达102。在实施例 中，图像处理系统100包括一个或多个模块，例如数据存储器104、分割模块106和光流估算 模块108。如本文所使用的，术语"模块"或"子模块"是指执行一个或多个软件或固件程序的 专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的）和存储器、组合逻辑电 路和/或其它适合的提供所描述的功能的组件。当在软件中实现时，模块或子模块可实施在 存储器中作为非暂时性机器可读存储介质，其可由处理电路和由所述处理电路执行用于执 行一种方法的存储指令来读取。此外，图1所示的模块可被组合和/或进一步划分