基于多普勒的雷达图像分割及光流的制作方法
【专利说明】基于多普勒的雷达图像分割及光流 相关申请的交叉引用
[0001] 本申请是2014年9月19日提交的美国临时专利申请序列号为No. 62/052696的 非临时申请，其公开内容通过引用全部并入本文。
技术领域
[0002] 本发明主题设及使用计算机视觉技术的数字图像处理，更具体地设及处理图像时 使用经改进W使用图像像素径向速度信息的计算机视觉技术。
【背景技术】
[0003] 为了从数字图像中提取有用的信息，已有使用多种计算机视觉技术W处理数字图 像。例如，图像分割技术将图像分割成多个区域来定位图像中的目标和边界（例如，直线和 曲线）。光流技术用于研究由观察者（眼睛或照相机）和场景之间的相对运动引起的图像 中的目标、表面和边缘的运动。具体地，光流技术用于估算光流（即，图像中的一个像素向 另一图像中的另一位置运动的速度）。光流技术被用于运动估算、数据压缩、机器人导航和 目柄跟踪。
【发明内容】
[0004] 在本发明的一个示例性实施例中，提供一种用于处理图像序列的方法。所述方法 接收由雷达生成的图像序列。每个图像包括多个像素。每个像素包括径向速度信息。所述 方法通过将像素的径向速度信息用作约束来估算图像序列中的图像内像素的光流。
[0005] 在本发明的另一个示例性实施例中，提供一种用于处理图像序列的系统。所述系 统包括雷达，所述雷达被配置用于生成图像序列。每个图像包括多个像素。每个像素包括 径向速度信息。所述系统还包括图像处理模块，所述图像处理模块被配置成通过将径向速 度信息作为约束来估算图像序列中的图像内像素的光流。
[0006] 在本发明的另一个示例性实施例中，提供一种用于处理图像序列的计算机程序产 品。所述计算机程序产品包括存储有程序指令的计算机可读存储介质。所述程序指令可由 处理电路读取，使所述处理电路执行一种方法。所述方法接收由雷达生成的图像序列。每 个图像包括多个像素。每个像素包括径向速度信息。所述方法通过将像素的径向速度信息 作为约束来估算图像序列中的图像内像素的光流。
[0007] 本发明还公开了 W下方案。
[000引方案1 :一种用于处理图像序列的计算机实现方法，包括： 接收由雷达生成的图像序列，每个图像包括多个像素，每个像素包括径向速度信息；W 及 通过将所述像素的所述径向速度信息用作约束由计算机来估算所述图像序列中的图 像内的所述像素的光流。
[0009] 方案2 :如方案1所述的方法，其中，所述径向速度信息表示基于目标相对于雷达 的运动而由所述雷达所测量的所述像素的径向速度。
[0010] 方案3 :如方案1所述的方法，进一步包括使用适于使用所述像素的所述径向速度 信息的光流技术。 W11] 方案4 :如方案1所述的方法，其中，每个像素进一步包括强度信息，其中，除所述 像素的所述径向速度信息外，还使用所述强度信息来执行所述估算。 阳01引方案5 :如方案1所述的方法，其中，所述像素的所述径向速度信息被用作约束W 求解所述像素的所述光流的强度恒定约束方程。
[001引方案6 :如方案1所述的方法，其中，所述估算包括假设与图像中特定像素在空间 上相邻的多个像素的所述径向速度是恒定的。
[0014] 方案7 :如方案1所述的方法，其中，每个像素进一步包括包括有X坐标值、y坐标 值和Z坐标值的位置信息。
[001引方案8 :-种用于处理图像序列的系统，包括： 雷达，其被配置用于生成图像序列，每个图像包括多个像素，每个像素包括径向速度信 息；化及 图像处理模块，其被配置成通过将所述像素的所述径向速度信息用作约束来估算所述 图像序列中的图像内的所述像素的光流。
[0016] 方案9 :如方案8所述的系统，其中，所述径向速度信息表示基于目标相对于雷达 的运动而由所述雷达所测量的所述像素的径向速度。
[0017] 方案10 :如方案8所述的系统，其中，所述图像处理模块被配置成使用适于使用所 述像素的所述径向速度信息的光流技术。
[0018] 方案11 :如方案8所述的系统，其中，每个像素进一步包括强度信息，其中，除所述 像素的所述径向速度信息外，还使用所述强度信息来执行所述估算。
[0019] 方案12 :如方案8所述的系统，其中，所述像素的所述径向速度信息被用作约束W 求解所述像素的所述光流的强度恒定约束方程。
[0020] 方案13 :如方案8所述的系统，其中，所述图像处理模块被配置成通过假设与图像 中特定像素在空间上相邻的多个像素的所述径向速度是恒定的进行估算。
[0021] 方案14 :如方案8所述的系统，其中，每个像素进一步包括包括有X坐标值、y坐标 值和Z坐标值的位置信息。
[0022] 方案15 :-种用于处理图像序列的计算机程序产品，所述计算机程序产品包括： 计算机可读存储介质，其具有实现在一起的程序指令，所述程序指令可由处理电路读 取W促使所述处理电路执行一种方法，所述方法包括： 接收由雷达生成的图像序列，每个图像包括多个像素，每个像素包括径向速度信息；W 及 通过将所述像素的所述径向速度信息用作约束估算所述图像序列中的图像内的所述 像素的光流。
[002引方案16 :如方案15所述的计算机程序产品，其中，所述径向速度信息表示基于目 标相对于雷达的运动而由所述雷达所测量的所述像素的径向速度。
[0024] 方案17 :如方案15所述的计算机程序产品，其中，所述方法进一步包括使用适于 使用所述像素的所述径向速度信息的光流技术。
[00巧]方案18 :如方案15所述的计算机程序产品，其中，每个像素进一步包括强度信息， 其中，除所述像素的所述径向速度信息外，还使用所述强度信息来执行所述估算。
[00%] 方案19 :如方案15所述的计算机程序产品，其中，所述像素的所述径向速度信息 被用作约束W求解所述像素的所述光流的强度恒定约束方程。
[0027] 方案20 :如方案15所述的计算机程序产品，其中所述估算包括假设与图像中特定 像素在空间上相邻的多个像素的所述径向速度是恒定的。
[0028] 从W下结合附图的本发明的详细描述中，可W清楚地得出本发明的上述特征和优 点W及其它特征和优点。
【附图说明】
[0029] 在W下实施例的详细说明中，仅通过举例的方式示出其它的特征、优点和细节，该 详细说明参照附图，其中：
[0030] 图1描述了根据本发明实施例的雷达和图像处理系统；
[0031] 图2是根据本发明实施例的说明处理图像方法的流程图；W及
[0032] 图3是根据本发明实施例的说明处理图像序列的方法的流程图。
【具体实施方式】
[0033] W下描述本质上仅是示例性的，而非意在限制本公开、其应用或用途。应当理解， 在整个附图中，对应的参考标记表示相同或相应的部件和特征。
[0034] 高分辨率成像雷达所生成的图像比常规雷达系统所生成的图像或常规摄像系统 所生成的图像携带更多的信息。运是因为，高分辨率成像雷达所生成的图像中示出的目标 由显示所述目标更多细节的更多数目的像素来表示，而常规雷达系统所生成的图像中示出 的目标为较低分辨率的图像，其中较少数量的像素（例如点）表示该目标。此外，由于常规 的摄像系统不捕捉图像中像素的径向速度信息，因此高分辨率成像雷达所生成的图像比常 规成像系统所生成的图像携带更多的信息。
[0035] 在实施例中，除了常规雷达所生成的图像中包括的范围信息、仰角信息和方位角 信息之外，高分辨率成像雷达所生成的图像还包括径向速度信息。具体地，在实施例中，高 分辨率成像雷达所生成的图像中的每个像素均包括径向速度信息、范围信息、仰角信息、方 位角信息W及所测量的反射强度。像素的径向速度信息表示基于目标相对于雷达的运动而 由雷达所测量的像素的径向速度。像素的范围信息表示目标和雷达之间的距离。仰角信息 表示从雷达到目标的仰角。方位角信息表示从雷达到目标的方位角。像素的径向速度信息、 范围信息、仰角信息和方位角信息由雷达使用球面坐标系生成。然而，雷达可被配置成使用 其它坐标系，例如笛卡尔坐标系，并生成具有根据其它坐标系统的坐标信息的像素的图像。
[0036] 一般而言，本发明实施例的方法和系统使得计算机视觉技术适于使用高分辨率成 像雷达所生成的图像或帖中的像素的径向速度信息，并使用所适用的计算机视觉技术处理 一个或多个图像。本发明实施例的方法和系统的适于使用径向速度信息的计算机视觉技术 包括分割技术和光流技术。
[0037] 根据本发明的示例性实施例，图1描绘了图像处理系统100和雷达102。在实施例 中，图像处理系统100包括一个或多个模块，例如数据存储器104、分割模块106和光流估算 模块108。如本文所使用的，术语"模块"或"子模块"是指执行一个或多个软件或固件程序 的专用集成电路（ASIC)、电子电路、处理器（共享的、专用的或成组的）和存储器、组合逻 辑电路和/或其它适合的提供所描述的功能的组件。当在软件中实现时，模块或子模块可 实施在存储器中作为非暂时性机器可读存储介质，其可由处理电路和由所述处理电路执行 用于执行一种方法的存储指令来读取