确定车辆速度的方法和系统的制作方法
【专利摘要】一种车辆速度确定系统和方法接收可操作地车载设置在车辆上的相机的视场的图像数据。在车辆移动时，至少部分基于图像数据中的一个或多个差异确定车辆的速度和/或航向。一个方面中，可以检查不同图像或帧中的像素强度，以识别图像或帧中的感兴趣的一个或多个特征。图像或帧中感兴趣的一个或多个特征的移动与车辆沿路线的移动相关，并且能够将在获得图像或帧时之间的时间差用于确定车辆的速度。
【专利说明】确定车辆速度的方法和系统
[0001 ]相关申请的交叉参考
[0002 ] 本申请要求2014年12月29日提交的美国临时申请N0.62/097377的优先权，该申请的整个公开将通过引用合并与此。
技术领域
[0003]本文所公开的主题的实施例涉及确定车辆速度。
【背景技术】
[0004]车辆可以包括用于测量车辆速度的传感器。例如，可以基于由磁铁产生的旋转磁场确定汽车速度，该磁铁耦合到与车辆速度成比例移动的车辆的轴或其它部件。可以将车辆速度传递给车辆的操作者，用于评估与交通控制法规(例如，速度限制)的一致性，或者传递给车辆控制系统，用于基于测量的速度自动或以其他方式控制车辆。然而，如果传感器被损坏，则这种功能性可不可用。
[0005]在一些运输系统中，政府法规需要车辆或某些指定等级或类型的车辆具有用于确定车辆速度的冗余装置。例如，在一些正列车控制(PTC)相关的法规下，可需要机车或其他动力轨道车辆具有冗余速度传感器。然而，这类冗余传感器可显著增加机车或其他轨道车辆成本。
【发明内容】
[0006]在一个实施例中，系统包括一个或多个分析处理器，该分析处理器配置成可操作地车载设置在车辆上，并且配置成接收可操作地车载设置在车辆上的相机的视场的图像数据。至少一部分视场包括车辆外部的车辆的路线。该一个或多个分析处理器进一步配置成当车辆移动时至少部分基于图像数据确定车辆的速度。
[0007]在另一个实施例中，方法包括接收可操作地车载设置在车辆上的摄像机的视场的图像数据。至少一部分视场包括车辆外部的车辆的路线。该方法进一步包括当车辆移动时至少部分基于图像数据确定车辆的速度。
[0008]在一个实施例中，系统(例如车辆速度确定系统)包括一个或多个分析处理器，该分析处理器配置成可操作地车载设置在车辆上，并且配置成接收可操作地车载设置在车辆上的相机的视场的图像数据。该一个或多个分析处理器进一步配置成当车辆移动时至少部分基于图像数据中的一个或多个差异确定车辆的一个或多个速度或航向。
[0009]在一个实施例中，方法(例如，用于确定车辆的速度)包括接收可操作地车载设置在车辆上的相机的视场的图像数据，并且当车辆移动时至少部分基于图像数据中的一个或多个差异确定车辆的速度。
[0010]在一个实施例中，系统(例如，车辆速度确定系统)包括一个或多个处理器，该处理器配置成接收在不同时间由沿路线移动的车辆上的车载相机获得的图像。该一个或多个处理器还配置成确定图像之间的差异，并且基于图像之间的差异确定沿路线的车辆的一个或多个航向或速度。
[0011]技术方案1:一种系统，包括:
[0012]一个或多个分析处理器，所述分析处理器配置成可操作地车载设置在车辆上，并且配置成接收可操作地车载设置在所述车辆上的相机的视场的图像数据，
[0013]其中所述一个或多个分析处理器进一步配置成当所述车辆移动时至少部分基于所述图像数据中的一个或多个差异确定所述车辆的速度或朝向中的一个或多个。
[0014]技术方案2:如技术方案I所述的系统，其中所述相机的所述视场的至少一部分包含所述车辆外部的所述车辆的路线。
[0015]技术方案3:如技术方案2所述的系统，进一步包括可操作地车载设置在所述车辆上并且定向的所述相机，使得所述相机的所述视场包含所述路线，所述路线是所述车辆将行进的路面或导轨之一。
[0016]技术方案4:如技术方案I所述的系统，进一步包括配置成可操作地车载设置在所述车辆上的车辆控制系统，其中所述车辆控制系统配置成基于所确定的所述速度自动控制所述车辆、控制对操作者显示所确定的所述速度、控制所确定的所述速度的信息在所述车辆上的车载存储、或控制所确定的所述速度的所述信息在所述车辆外的通讯中的至少一个。
[0017]技术方案5:如技术方案I所述的系统，进一步包括配置成可操作地车载设置在所述车辆上的车辆控制系统，其中所述车辆控制系统配置成基于所确定的所述速度自动控制所述车辆。
[0018]技术方案6:如技术方案I所述的系统，其中所述一个或多个分析处理器配置成:
[0019]识别跨所述图像数据的多个帧及时移动的、所述图像数据中所述路线的感兴趣的至少一个特征；
[0020]确定感兴趣的所述至少一个特征已经移动的总的像素距离；
[0021 ]基于所述总的像素距离及捕捉所述图像数据的帧速率确定像素变化速率;以及
[0022]基于所述像素变化速率及单位像素距离与单位路线距离的相关性确定所述速度。
[0023]技术方案7:如技术方案I所述的系统，其中所述一个或多个分析处理器配置成通过确定所述图像数据中感兴趣的一个或多个特征已经变化的方向以及基于所述方向确定所述车辆的所述朝向来确定所述车辆的所述朝向。
[0024]技术方案8:如技术方案I所述的系统，其中所述一个或多个分析处理器配置成通过识别所述图像数据中感兴趣的一个或多个特征以及监测所述图像数据中感兴趣的所述一个或多个特征的移动来确定所述车辆的所述速度或所述朝向的所述一个或多个，其中所述一个或多个分析处理器配置成基于所述图像数据中的像素强度识别感兴趣的所述一个或多个特征。
[0025]技术方案9:如技术方案8所述的系统，其中所述一个或多个分析处理器配置成将一个或多个卷积滤波器应用于所述图像数据，以便识别感兴趣的所述一个或多个特征。
[0026]技术方案IO: —种方法，包括:
[0027]接收可操作地车载设置在车辆上的相机的视场的图像数据；以及
[0028]当所述车辆移动时至少部分基于所述图像数据中的一个或多个差异确定所述车辆的速度。
[0029]技术方案11:如技术方案10所述的方法，其中至少一部分视场包含所述车辆外部的所述车辆的路线。
[0030]技术方案12:如技术方案1所述的方法，其中定向所述相机，使得所述摄像机的所述视场包含路线，所述路线是车辆将行进的路面或导轨之一。
[0031]技术方案13:如技术方案10所述的方法，进一步包括:基于确定的所述速度控制所述车辆，控制对操作者显示确定的所述速度，控制确定的所述速度的信息在所述车辆上的车载存储，或控制确定的所述速度的信息在所述车辆外的通讯中的一个或多个。
[0032]技术方案14:如技术方案10所述的方法，进一步包括基于确定的所述速度自动控制所述车辆。
[0033]技术方案15:如技术方案1所述的方法，其中通过如下确定所述速度:
[0034]识别跨所述图像数据的多个帧及时移动的、图像数据中所述路线的感兴趣的至少一个特征图像特征；
[0035]确定至少一个图像特征移动的总的像素距离；
[0036]基于所述总的像素距离以及捕捉所述图像数据的帧速率确定像素的变化率;以及
[0037]基于所述像素的变化率以及单位像素距离与单位路线距离之间的相关性确定速度。
[0038]技术方案16:如技术方案10所述的方法，其中通过所述车辆上的一个或多个车载处理器自动执行接收所述图像数据及确定所述车辆的所述速度。
[0039]技术方案17:如技术方案10所述的方法，进一步包括基于所述图像数据中的像素强度识别所述图像数据中感兴趣的一个或多个特征，以及监测所述图像数据中感兴趣的一个或多个特征的移动，其中基于监测的所述移动确定所述速度。
[0040]技术方案18:如技术方案17所述的方法，其中识别所述感兴趣的一个或多个特征包含将一个或多个卷积滤波器应用于所述图像数据。
[0041]技术方案19:一种系统，包括:
[0042]一个或多个处理器，所述处理器配置成接收在不同时间由在沿路线移动的车辆上的车载相机获得的图像，所述一个或多个处理器配置成确定所述图像之间的差异，以及基于所述图像之间的差异确定沿路线的所述车辆的一个或多个航向或速度。
[0043]技术方案20:如技术方案19所述的系统，其中所述一个或多个处理器配置成将所述图像中感兴趣的一个或多个特征的位置中的变化确定为差异。
[0044]技术方案21:如技术方案19所述的系统，其中所述一个或多个处理器配置成确定的感兴趣的特征的位置在所述图像之间变化有多远，以及基于所述位置变化有多远确定车辆的速度。
[0045]技术方案22:如技术方案19所述的系统，其中所述一个或多个处理器配置成确定其中感兴趣的特征位置在所述图像之间变化的方向，以及基于所述方向确定车辆的航向。
[0046]技术方案23:如技术方案19所述的系统，其中所述一个或多个处理器配置成:
[0047]识别所述图像中所述路线的感兴趣的至少一个特征；
[0048]确定感兴趣的至少一个特征在图像之间已经移动的总的像素距离；
[0049]基于所述总的像素距离以及摄像机捕捉所述图像的帧速率确定像素的变化率；以及
[0050]基于所述像素的变化率以及总的像素距离与路线距离之间的相关性确定车辆的速度。
[0051 ]技术方案24:如技术方案19所述的系统，进一步包括可操作地车载设置在车辆上的车辆控制系统，其中所述车辆控制系统配置成:基于确定的所述一个或多个所述航向或所述速度自动控制所述车辆，控制对操作者显示确定的所述一个或多个所述航向或所述速度，控制确定的所述一个或多个所述航向或所述速度的信息在所述车辆上的车载存储，或确定的所述一个或多个所述航向或所述速度的信息在所述车辆外的通讯中的至少一个。
【附图说明】
[0052]参照附图，其中如在下面的描述中更详细地描述的那样图示本发明技术方案的特定实施例和进一步的益处，其中:
[0053]图1是根据本发明主题的一个实施例的车辆速度确定系统的示意图；
[0054]图2是根据本发明主题的另一个实施例的车辆速度确定系统的示意图；
[0055]图3是根据本发明主题的另一个实施例的车辆速度确定系统的示意图；
[0056]图4是根据本发明主题的一个实施例的图像数据分析的示意图；
[0057 ]图5图示根据一个示例由图1至图3中所示的相机所获取的单个帧或图像；
[0058]图6图示图5中所示的一部分帧或图像；
[0059]图7图示根据一个示例在第一时间由图1所示相机获得的图像或帧；
[0060]图8图示在随后的第二时间由图1所示相机获得的另一个图像或帧；
[0061 ]图9图示图7所示的一部分图像和图8所示的一部分图像的重叠图像；
[0062]图10图示根据一个示例在第一时间由图1所示相机获得的图像或帧；
[0063]图11图示在随后的第二时间由图1所示相机获得的另一个图像或帧；
[0064]图12图示图1O所示的一部分图像和图11所示的一部分图像的重叠图像；以及
[0065 ]图13图示用于确定车辆速度和/或航向(head i ng)的方法的一个实施例的流程图。
【具体实施方式】
[0066]本发明主题的实施例涉及车辆速度确定系统和方法。该系统能够车载所置在沿路线进行的车辆上。在沿路线移动期间，车辆上的车载相机能够产生路线的图像数据(例如，车辆行进的路线表面或车辆外部的路线周围区域的图像数据)。在车辆上车载检查图像数据以确定车辆的速度。如果该相机是车辆上车载的用于其他目的的现有相机(例如，作为安全相关的视频数据记录器)，则该系统和方法可以提供用于确定车辆速度的冗余机构，在一些情况下，需要这种功能，以比基于冗余传感器系统更少的成本，并且具有比(例如)基于GPS的系统更精确。该图像数据可以包括静态图像(例如，静止图像)和/或视频(例如，运动图像)。
[0067]参照图1和2，在一个或多个实施例中，系统100A、100B(例如，车辆速度确定系统)包括一个或多个分析处理器102，其配置成可操作地车载设置在车辆104上，并且配置成可操作地车载设置在车辆上相机110的视场108的图像数据106。通过直接或间接与车辆或与车辆一起移动的另一个对象连接，相机110可以可操作地车载设置在车辆上。相机110可以设置在车辆内，如内部相机，或设置在车辆外部。至少一部分相机视场包括车辆外部车辆的路线112(即图像数据具有视场，至少部分在车辆外部)。一个或多个分析处理器102进一步配置成至少部分基于图像数据106确定车辆的速度114(例如，车辆移动时的非零速度；图2中的V’指示移动)。确定的速度是车辆实际速度的近似测量值。在一个或多个实施例中，在没有操作者干涉的情况下，系统100A、100B配置成自动确定速度114。处理器102能够包括或表示一个或多个硬件电路，或者包括和/或与一个或多个计算机处理器(例如，微处理器、控制器、现场可编程门阵列、集成电路或其他基于电子逻辑的装置)耦合的线路。
[0068]在图2所示的系统100B的实施例中，相机110可操作地车载设置在车辆104上，并且被定向，使得相机的视场108包括路线112，即视场包括车辆104行进的路面或导轨。导轨指的是单个轨道(如单轨)、一组平行轨道(比如用于列车，包括机车和用于运输乘客和/或货物的非推进式轨道车)、将车辆保持在指定区域内的路旁导轨、车辆沿其行进的电缆等。
[0069]在另一个实施例中，参照图3，系统116(例如，车辆速度确定系统)通常类似于图1和图2所示的系统，并且进一步包括配置成可操作地车载设置在车辆104上的车辆控制系统118。车辆控制系统118包括或表示硬件电路，包括和/或与一个或多个计算机处理器(例如，微处理器、控制器、场可编程门阵列、集成电路或其他基于电子逻辑的装置)耦合。车辆控制系统118可以产生传递给推进式系统(例如，马达、交流发电机、发电机等)的电子信号和/或制动系统以控制车辆的移动、传递给输出装置(例如，显示器、扬声器等)的信号以报告车辆速度的信号，传递给板外位置(例如，经由控制系统的收发电路)的信号以监测车辆速度等。车辆控制系统118配置成基于确定的速度114自动控制车辆，控制将确定的速度显示给操作者，控制车辆上确定的速度信息的车载存储，和/或控制车辆外确定的速度的信息的通讯。例如，车辆控制系统118可以配置成基于确定的速度114自动控制车辆。如果车辆控制系统118确定车辆速度快于指定的速度，则车辆控制系统118可以自动操作以减慢或停止车辆的移动。
[0070]作为另一个示例，如果车辆控制系统118确定车辆速度慢于指定的速度，则车辆控制系统118可以自动操作以加速车辆的移动。可选地，如果车辆控制系统118确定车辆速度快于指定的速度，则车辆控制系统118可以自动产生信号，以通知车辆的操作者减慢或停止车辆的移动。作为另一个示例，如果车辆控制系统118确定车辆速度慢于指定的速度，则车辆控制系统118可以自动产生信号，以通知操作者加速车辆的移动。指定的速度可以是路线的限速，由行程计划指定的速度，该行程计划根据时间、沿路线的距离和/或沿路线的位置或另一个速度指定车辆速度。
[0071]在另一个实施例中，参照图4，一个或多个分析处理器102配置成通过下面的过程确定(例如，自动地)速度114: (i)识别图形数据106中的路线的至少一个图像特征120，其跨图像数据的多个帧122a、122b、122c等(tl、t2和t3表示不同的连续的时间点)及时移动；
(ii)确定至少一个图像特征已经移动的总的像素距离124(在图4的底部中，以合成或重叠视图示出三个帧122a、122b、122c，以便为了说明的目的图形化表示总的像素距离124);
(iii)基于总的像素距离124和捕捉图像数据的帧速率确定像素变化速率；以及(iv)基于像素变化速率和单位像素距离与单位路线距离的相关性确定速度114。例如，可以将像素变化速率乘以单位路线距离与单位像素距离的比，从而产生路线距离与时间的比，其等同于车辆速度。
[0072]图像特征能够是感兴趣的特征，例如轨道枕木、绝缘接头、符号、树、道路条纹、十字路口等，其相对于行进的路线是静止不动的。能够检查在不同时间获得的图像或帧，以便确定感兴趣的特征已经移动的总的像素距离。总的像素距离表示图像特征在图像数据中变化的距离(例如，在像素尺寸、像素数等方面)。像素变化速率能够表示图像特征的位置在图像中已变化的速度。例如，如果以间隔一秒的时间获取两个图像(例如，帧速率是每秒一帧)并且图像特征在图像之间已经移动五十像素，则像素变化速率可以是每秒五十像素。能够基于像素变化速率和单位像素距离与单位路线距离的相关因子确定车辆速度。例如，可以将像素变化速率乘以单位路线距离与单位像素距离的比，从而产生路线距离与时间的比，其等同于车辆速度。
[0073]为了识别图像数据106中路线的至少一个跨图像数据多个帧122a、122b、122c等及时移动的图像特征120，一个或多个分析处理器可以配置成转换图像数据或产生图像数据作为线帧(wireframe)模型数据，如在2015年10月15日申请的、名称为“Route DamagePredict1n System And Method”( “’294申请”)的美国公开文件Νο.2015_0294153Α1 中描述的，该申请的整个公开通过引用全部地被合并。线帧模型数据能够用于识别与多个帧共有的图像特征。
[0074]帧122a、122b、122c等可以各是由改变颜色和/或强度的多个像素形成的相应的数字图像。具有更大强度的像素可以是颜色中更亮的(例如，更白)，而具有更小的强度的像素可以是颜色中更深的。一个方面中，一个或多个图像分析处理器配置成检查像素的强度，以确定哪些一个或多个特征是与多个帧共有的。例如，一个或多个处理器可以选择具有特征的特定组合的像素(例如，更强像素的线与较小强度像素的线相邻接，在视场中通常水平布置，比如可以表示例如轨道枕木)，并且在随后的帧中寻找匹配。在一个实施例中，一个或多个分析处理器仅使用像素强度识别图像或帧中感兴趣的特征，然后将其用于确定车辆速度，如本文所描述的。备选地，一个或多个分析处理器可以使用图像的其他特性检测感兴趣的特征，例如色度或其他特性。
[0075]为了进一步解释，在车辆104沿线路112移动期间，相机110能够获得线路112的即将到来的段的时间上的若干图像/帧122a、122b、122c。一个或多个分析处理器102可以控制相机110以相对快的帧速率例如至少通过每个相机每秒获得300图像、每个相机每秒120图像、每个相机每秒72图像、每个相机每秒48图像、每个相机每秒30图像、每个相机每秒24图像或者其他速率获取图像/帧。
[0076]一个或多个分析处理器然后比较由相机获得的图像以识别图像中的差异。这些差异能够表示图像特征，其是在车辆向其行进的路线段上或附近的对象。根据本文所描述的本发明主题的一个示例，图4包括由相机获取并且彼此重叠的三个图像/帧的重叠表示。重叠表示表示在不同时间由相机取得并且彼此组合的相同路线段的三个图像。当检查对象的图像时一个或多个分析处理器可以或可以不产生这种重叠表示。
[0077]如在表示中所示，路线是不变的对象，原因在于不同时间获得的图像/帧中路线保持相同或基本上相同的位置。这是因为，随着车辆沿该路线行进，路线相对于车辆的行进方向(如图2所示)没有侧向移动。一个或多个分析处理器能够如上所述，通过检查图像中像素的强度，或使用另一种技术识别路线。
[0078]而且如重叠表示中所示，图像特征出现在帧中。一个或多个分析处理器能够通过检查图像/帧中像素的强度(或使用另一种技术)，并且确定具有相同或类似(例如，在指定范围内)的强度的一组或多组像素出现在彼此靠近的图像位置来识别图像特征。
[0079]图5图示根据一个示例由图1至图3中所示的相机110获取的单个帧或图像500。图6表示图5所示的一部分帧或图像500。图5和图6中所示的图像500包括感兴趣的若干特征502。感兴趣的特征502可以是出现在不同时间获取的两个或多个图像中的对象。例如，感兴趣的特征502可以是铁路枕木的边缘、树、符号、轨道中的绝缘接头、电话线杆、电线、人行道上的条纹(例如，道路的相邻小路之间)等。感兴趣的特征502相对于路线可以是固定的，使得能够将不同时间获取的图像或帧中感兴趣的特征502的位置变化用于确定车辆的速度。
[0080]分析处理器可以识别在不同时间获取的两个或多个图像中感兴趣的一个或多个特征502，并且检查图像500，以确定感兴趣的特征502位于图像500中的位置中的差异。基于该差异，分析处理器能够确定车辆移动的有多快，和/或车辆移动的方向(或航向)。
[0081]在一个实施例中，一个或多个分析处理器可以使用一个或多个卷积滤波器识别感兴趣的特征。卷积滤波器可以应用于图像或视频帧，以便锐化图像或帧，检测图像或帧中的边缘等。作为一个示例，将图像或帧中的像素强度或像素的其他值转换为二维矩阵或作为二维矩阵检查。这导致将图像作为表示像素强度或其他像素值的矩阵数值(称作图像矩阵)检查。更小的矩阵(例如，具有比表示图像或帧的矩阵更少的行和/或列的矩阵)是指定值，并且将其应用于图像矩阵。通过将更小的矩阵重叠在图像矩阵上，并且将更小的矩阵和图像矩阵的值相乘，可以将更小的矩阵应用于图像矩阵。例如，如果图像矩阵中左上的值具有数值20，并且更小的矩阵中左上的值具有数值-1，则将更小的矩阵应用于图像矩阵导致具有数值-20的组合矩阵中左上的值。将组合矩阵的值组合，这能够通过将值求和实现。例如，如果矩阵组合导致具有数值为-20、15、-25、120、88、111、-77、-25的矩阵，则矩阵组合能够是187。可选地，这种求和能够除以除数值，和/或可以增加偏差值。矩阵组合(具有或不具有除数和/或偏差)提供了新的像素值。再次检查图像矩阵，以确定图像矩阵中的一个或多个值是否大于或小于组合矩阵的值。例如，如果更小的矩阵是3乘3矩阵，则将与更小的矩阵组合的图像矩阵中心部分的值与组合矩阵的值比较。如果该像素值大于或等于组合矩阵的值，则将图像中的像素值变化到组合矩阵的值。但是，如果像素值小于组合矩阵的值，则将图像中像素的值变成零或另一个指定值。例如，如果与更小的矩阵组合的图像矩阵中3乘3部分中的中心像素值是190，则将该图像中的像素值变成187。但是，如果中心像素值是65，则将该图像中的像素值变成O。可以将更小的矩阵与图像矩阵的其他部分组合，以将更小的矩阵与图像矩阵的不同部分组合，并且如上所述地修改图像的像素值。能够变化图像的值，以使边缘或其他对象更显而易见，或者容易由一个或多个分析处理器识别。然后，一个或多个分析处理器可以将边缘或其他部分检测为感兴趣的特征。
[0082]轨迹线504图示感兴趣的不同特征502在图像500之间已经移动多远。更长的轨迹线504指示对应的感兴趣特征502的位置在图像500之间比更短的轨迹线504变化更多。轨迹线504表示感兴趣的特征502中的差异，其能够由分析处理器使用确定车辆的速度和/或航向。分析处理器可以使用图像500中的距离与沿路线的距离之间的相关因子或比率被校准或编程。相关因子或比率能够是指示图像中的距离表示沿路线有多远的数值。例如，图像500中的一百个像素能够表示沿路线的二十厘米。相关因子或比率能够由分析处理器使用确定车辆正在移动的有多远。
[0083]例如，如果感兴趣的特征502的位置在图像500之间移动294个像素并且图像500中的一百个像素表示沿路线的十厘米，则图像500之间感兴趣的特征502的位置变化能够指示车辆在获得图像500的时间之间已经移动了29.4厘米。如果图像500是以每秒钟三十帧的速率顺序获得，则分析处理器可以确定车辆已经在三十分之一秒钟移动了 29.4厘米，或者每小时31.7公里。
[0084]—个方面中，相关因子在图像的不同位置处图像距离的变化是不同的。例如，如果感兴趣的特征在图像的顶部或区域中移动100个像素，则这可以表示沿路线移动0.5米。但是，如果感兴趣的相同特征在图像的底部移动100个像素(其中在顶部和底部中的像素是相同的尺寸)，则这可以表示沿路线移动0.3米。由于相机相对于路线定向的角度，相关因子对图像或帧的不同区域或部分是不同的。因此，在图像的不同区域中感兴趣的特征位置的相同变化可以表示沿路线位置的不同变化。不同的相关因子可以用于提供对车辆移动速度更精确的确定。
[0085]—个或多个分析处理器能够追踪多个图像或帧中的感兴趣的多个特征以确定车辆的速度。一个方面中，一个或多个分析处理器可以使用由一个或多个分析处理器在至少指定的非零阈值数量的图像或帧例如十个图像或帧(或另一个值)中检测的那些感兴趣的特征。如果感兴趣的特征出现在小于该阈值数量的图像或帧中，则该感兴趣的特征可不用于确定车辆的速度。能够将在至少该阈值数量的图像或帧中出现的那些感兴趣的特征用于确定车辆的速度。
[0086]在一些实施例中，在收集和分析图像数据之前，感兴趣的特征对系统(例如，对一个或多个分析处理器)不提前指定或以其他方式已知。也就是说，感兴趣的特征能够是任何合格的特征(例如，特征持续跨多个连续的图像帧和/或具有强度特性或其他适于评估像素距离的特性，如本文所描述的)，并且未沿路线布置或分布，为了使用视频分析确定车辆的速度的目的。这不排除下面的可能性:这类预先确定或预先建立的路线特征(例如，指定的路线标记，和/或特别编码或标记的路线标记)能够是一个偶然观点(i n c i d e n t a Istandpoint)的感兴趣的特征。而是，这意味着这类预先确定或预先建立的路线特征在这里不需要系统的操作。
[0087]图7图示根据一个示例在第一时间由相机110获得的图像或帧700。图8图示在随后的第二时间由相机110获得的另一个图像或帧800。图像或帧700、800能够获取路线的一部分，例如道路。分析处理器能够识别一个或多个感兴趣的特征502，例如在所图示的示例中描绘在道路上的条纹702、704、706。备选地，感兴趣的特征502可以包括轨道枕木、符号等。感兴趣的特征502能够是完整的条纹或一部分条纹，例如条纹的边缘。如图7和图8所示，条纹702、704、706的位置在图像700和图像800之间变化，其中条纹706在随后的图像800中不再可见，并且附加的条纹802在图像800中可见。
[0088]图9图示在图7所示的一部分图像700和图8所示的一部分图像800的重叠图像900。重叠图像900图示条纹702在图像700和图像800之间位置的变化。其他条纹704、706、802未在重叠图像900中示出。分析处理器能够检查图像700、800之间感兴趣的特征502例如条纹702的底部边缘的位置变化，以识别感兴趣的特征502中的差异902。在重叠图像900中，感兴趣的特征502中的差异902示为向量，其具有与车辆行进方向相反的方向，以及与车辆的速度成比例的幅度。如上所述，分析处理器能够检查差异902的幅度来比如通过以相关因子缩放差异902的幅度确定车辆移动的有多快，该相关因子将图像中的像素尺寸或其他距离与沿路线的距离相关。分析处理器可选地能够检查差异902的定位或方向，以确定车辆移动的方向或航向。例如，分析处理器可以将车辆移动的方向或航向识别为与图9中所示的差异902相反。
[0089]图10图示根据一个示例在第一时间由相机110获得的图像或帧1000。图11图示在随后的第二时间由相机110获得的另一个图像或帧1100。图像或帧1000、1100能够获取路线的一部分，例如道路。分析处理器能够识别一个或多个感兴趣的特征502，例如在所图示的示例中描绘在道路上的条纹1002、1004、1006。备选地，感兴趣的特征502可以包括轨道枕木、符号等。感兴趣的特征502能够是整个条纹或一部分条纹，例如条纹的边缘。如图10和图11所示，条纹1002、1004、1006的位置在图像1000和1100之间变化，其中条纹1106在随后的图像1100中不再可见，并且附加的条纹1102在图像1100中可见。
[0090]图12图示图10所示的一部分图像1000和图11所示的一部分图像1100的重叠图像1200。重叠图像1200图示条纹1002在图像1000和图像1100之间的位置变化。其他条纹1004、1006、1102未在重叠图像1200中示出。分析处理器能够检查图像1000、1100之间感兴趣的特征502例如条纹1002的底部边缘的位置变化，以识别感兴趣的特征502中的差异1202。在重叠图像1200中，将感兴趣的特征502中的差异1202示为向量，其具有与车辆的行进方向相反的方向，以及与车辆的速度成比例的幅度。如上所述，分析处理器能够检查差异1202的大小来例如通过以相关因子缩放差异1202的幅度确定车辆移动的有多快，该相关因子将图像中的像素尺寸或其他距离与沿路线的距离相关。
[0091]分析处理器可选地能够检查差异1202的定位或方向，以确定车辆的移动方向或航向。例如，图像1000、1100中条纹的位置变化指示车辆转向或以其他方式改变航向。分析处理器可以将车辆的移动方向或航向识别为与图12中所示的差异1202相反。
[0092]图13图示用于确定车辆的速度的方法1300的一个实施例的流程图。该方法1300由本文所描述的车辆速度确定系统的一个或多个实施例执行。在1302处，视频的图像或帧由与车辆一起移动的相机获得。相机可以附连到车辆，或以其他方式与车辆一起移动。在1304处，在随后的时间由相机获得视频的另一个图像或帧。例如，该图像或帧可以表示不同时间相机的视场。在1306处，确定图像或帧中一个或多个感兴趣的特征的一个或多个位置差异。例如，可以识别图像中的轨道枕木、绝缘接头、符号、十字路口、建筑物、道路条纹等的位置，并且可以确定图像之间识别的感兴趣的特征的位置差异。一个方面中，可以确定感兴趣的若干特征的位置差异。在1308处，从一个或多个感兴趣的特征的位置差异确定车辆的速度和/或航向。如上所述，图像或帧之间一个或多个感兴趣的特征的位置变化的幅度与车辆的速度成比例，并且图像或帧之间一个或多个感兴趣的特征的位置变化的方向可以与车辆的航向方向相反。可以使用感兴趣的若干不同特征的位置变化，并且平均、中值或其他统计计算可以由该变化构成，以确定车辆的速度和/或航向。确定的速度和/或航向可以用于实现一个或多个控制动作。例如，响应于确定从图像确定的车辆速度快于指定速度或速度限制，车辆的控制系统可以自动减慢或停止车辆的移动。响应于确定从图像确定的车辆速度慢于指定的速度或速度限制，车辆的控制系统可以自动增加车辆的速度或者指令操作者能够增加车辆的速度。
[0093]本发明主题的实施例涉及分析由安装在面向路线的车辆(例如，面向轨道的机车)上的车载视频摄相机收集的视频数据。使用该路线视频，将图像分析技术应用于视频的一个或多个帧，并且能够实时处理帧。使用单独帧中的特征检测以及使用每秒钟的视频帧有助于计算像素的变化速率的想法。将像素距离映射于实际轨道距离，将该像素速率转换成速度。因此，仅通过视频分析获得了车辆速度的测量。
[0094]在一个实施例中，帧对帧地分析由面向轨道或其他路线的机车或其他车辆上的相机收集的视频。使用图像处理，识别了路线，并且识别了路线上的显著特征。在视频中的帧上跟踪路线上的这些显著特征。由于这些特征及时移动，帧变化，并且在随后的帧中被追踪。使用该帧速率及特征已移动的像素距离，计算像素的变化速率。使用像素和实际轨道距离的映射比例，将该像素变化速率转换成每小时米表示的地面速度或以其他方式。
[0095]在一个实施例中，系统(例如，车辆速度确定系统)包括一个或多个分析处理器，将其配置成可操作地车载设置在车辆上，并且配置成接收可操作地车载设置在车辆上的相机视场的图像数据。将一个或多个分析处理器进一步配置成随着车辆正在移动，至少部分基于图像数据中的一个或多个差异确定车辆的一个或多个速度或航向。
[0096]—个方面中，相机的至少一部分视场包括车辆外部的车辆的路线。
[0097]—个方面中，系统还包括可操作地车载设置在车辆上并且定向的相机，使得相机的视场包括路线。该路线能够是车辆行进的路面或导轨之一。
[0098]—个方面中，系统还包括配置成可操作地车载设置在车辆上的车辆控制系统。车辆控制系统能够配置成下面至少之一:基于确定的速度自动控制车辆，控制对操作者显示确定的速度，控制确定的速度信息在车辆上的车载存储，和/或控制确定的速度信息在车辆外的通讯。
[0099]—个方面中，该系统还包括配置成可操作地车载设置在车辆上的车辆控制系统。该车辆控制系统能够配置成基于确定的速度自动控制车辆。
[0100]—个方面中，一个或多个分析处理器配置成在跨图像数据的多个帧及时移动的图像数据中识别路线的至少一个感兴趣的特征，确定至少一个感兴趣的特征已经移动经过的总的像素距离，基于总的像素距离以及图像数据的捕捉帧速率确定像素的变化速率，以及基于像素的变化速率以及单位像素距离与单位路线距离的相关性确定速度。
[0101]—个方面中，，一个或多个分析处理器配置成通过确定图像数据中一个或多个感兴趣的特征已经变化的方向以及基于该方向确定车辆的航向来确定车辆的航向。
[0102]—个方面中，一个或多个分析处理器配置成通过识别图像数据中感兴趣的一个或多个特征以及监测图像数据中感兴趣的一个或多个特征的移动来确定车辆的一个或多个速度或航向，其中一个或多个分析处理器配置成基于图像数据中的像素强度识别感兴趣的一个或多个特征。
[0103]一个方面中，一个或多个分析处理器配置成将一个或多个卷积滤波器应用于图像数据，以识别感兴趣的一个或多个特征。
[0104]在一个实施例中，方法(例如，用于确定车辆的速度)包括由可操作地车载设置在车辆上的相机接收视场的图像数据，并且当车辆移动时，至少部分基于图像数据中的一个或多个差异确定车辆的速度。
[0105]—个方面中，至少一部分视场包括车辆外部的车辆的路线。
[0106]—个方面中，定向相机，使得相机的视场包括路线。该路线能够是车辆行进的路面或导轨之一。
[0107]—个方面中，该方法还包括基于确定的速度控制车辆、控制对操作者显示确定的速度、控制确定的速度信息在车辆上的朝向存储，和/或控制确定的速度信息在车辆外的通讯中的一个或多个。
[0108]—个方面中，该方法还包括基于确定的速度自动控制车辆。
[0109]—个方面中，通过在跨图像数据的多个帧及时移动的图像数据中识别线路的至少一个图像特征确定速度，确定至少一个图像特征已经移动通过的总的像素距离，基于总的像素距离和图像数据的捕捉帧速率确定像素的变化速率，以及基于像素的变化速率和单位像素距离与单位路线距离之间的相关性确定速度。
[0110]—个方面中，通过车辆上的一个或多个朝向处理器自动地执行接收图像数据和确定车辆的速度。
[0111]一个方面中，基于图像数据中的像素强度识别图像数据中感兴趣的一个或多个特征，并且监测图像数据中感兴趣的一个或多个特征的移动。能够基于被检测的移动确定速度。
[0112]—个方面中，识别感兴趣的一个或多个特征包括将一个或多个卷积滤波器应用于图像数据。
[0113]在一个实施例中，系统(例如车辆速度确定系统)包括一个或多个处理器，其配置成接收在不同的时间从沿路线行进的车辆上的车载相机获得的图像。一个或多个处理器还配置成确定图像之间的差异，并且基于图像之间的差异确定沿路线的车辆的一个或多个航向或速度。
[0114]—个方面中，一个或多个处理器配置成将图像中感兴趣的一个或多个特征的位置变化确定为差异。
[0115]—个方面中，一个或多个处理器配置成确定感兴趣的特征的位置在图像之间变化有多远，以及基于位置变化得有多远确定车辆的速度。
[0116]—个方面中，一个或多个处理器配置成确定感兴趣的特征位置在图像之间变化的方向，以及基于该方向确定车辆的航向。
[0117]—个方面中，一个或多个处理器配置成识别图像中路线的感兴趣的至少一个特征，确定感兴趣的至少一个特征在图像之间已经移动经过的总的像素距离，基于总的像素距离和由相机捕捉图像的帧速率确定像素的变化速率，以及基于像素的变化速率和总的像素距离与路线距离之间的相关性确定车辆的速度。
[0118]—个方面中，系统还包括配置成可操作地车载设置在车辆上的车辆控制系统。车辆控制系统配置成基于确定的一个或多个航向或速度自动控制车辆，控制对操作者显示确定的一个或多个航向或速度，控制确定的一个或多个航向或速度信息在车辆上的车载存储，和/或控制确定的一个或多个航向或速度信息在车辆外的通讯。
[0119]本文所描述的系统组件可以包括或表示硬件电路或线路，其包括和/或与一个或多个处理器例如一个或多个计算机微处理器连接。本文所描述的方法的操作和系统能够是足够复杂的，使得在商业上合理的时限内，该操作不能由普通人或本领域技术人员智力上执行。例如，图像数据的检查可以考虑大量信息，可以依赖于相对复杂的计算等，使得在商业上合理的时限内这种人不能完成图像数据的检查，以基于图像数据的检查控制车辆。本文所描述的系统的硬件电路和/或处理器可以用于显著减少需要获得和检查图像数据的时间，使得在安全和/或商业上合理的时限内能够检查图像数据，以及能够识别路线的损坏部分。
[0120]如本文所使用的，以对应于任务或操作的方式特别在结构上形成、构成、编程或适应“配置成”执行任务或操作的结构、限制或元件。为了清楚并且避免疑惑的目的，没有将仅能够修改成执行任务或操作的对象“配置成”执行如本文所使用的任务或操作。而是，如本文所使用的“配置成”的使用表示结构适应或特性，对结构或元件编程来以与未编程成执行任务或操作的“现成”结构或元件不同的方式执行对应的任务或操作，和/或表示描述成“配置成”执行任务或操作的任何结构、限制或元件的结构上需要。
[0121]要理解，上面描述意图是说明性的，而不是限制性的。例如，上述实施例(和/或其方面)可以彼此组合使用。另外，在不脱离其范围的情况下可以进行许多修改以使特定情形或材料适应于本发明主题的教导。虽然本文所描述的材料的尺寸和类型意图限定本发明主题的参数，但其绝不是限制性的，而是示范性的实施例。在回顾上说说明书时，许多其他的实施例对本领域技术人员来说是显而易见的。因此，应当参照所附的条款确定本发明主题的范围以及这类条款赋予的等价物的整个范围。在所附的条款中，术语“包含”和“其中”用作与相应的术语“包括”和“其中”在简明英语上等价物。而且，在下面的条款中，术语“第一”、“第二”和“第三”等仅仅是用作标记，而不是意图强加于其对象的数量要求。此外，下面的条款的限制没有以方法加功能形式来书写并且不意图基于35U.S.C.§112，第6段来解释，除非并且直到这类条款限制确切地使用后面是缺乏进一步结构的功能陈述的短语“用于…的部件”。
[0122]本书面描述使用示例来公开本发明主题的的若干实施例，并且还使本领域的普通技术人员中的一个能够实施本发明主题的实施例，包含制作和使用任何装置或系统以及执行任何包含的方法。本发明主题的可取得专利的范围可包含本领域的普通技术人员中的那些想到的其他示例。如果这类其他示例具有没有不同于条款的文字语言的结构元件，或者如果它们包括具有与条款的文字语言的无实质差异的等效结构元件，则预期它们处于条款的范围之内。
[0123]当结合图阅读时，前面对本发明主题某些实施例的描述将更好地被理解。在图图示各种实施例的功能块框图的程度上，功能块不必指示硬件线路之间的划分。因此，例如，一个或多个功能块(例如，处理器或存储器)可以以单件硬件(例如，通用信号处理器、微控制器、随机存取存储器、硬盘等)来实现。类似地，该程序可以是独立的程序，可以合并为操作系统中的子程序，可以是安装的软件包中的功能等。各种的实施例不限于在图中所示的布置和工具。
[0124]如本文所使用的，以单数所陈述并且使用词“一”或“一个”所进行的元件或步骤应当理解为没有排除元件或步骤的复数，除非这种排除被明确规定。此外，本发明主题的“实施例”或“一个实施例”的提及不意图解释为排除了也包含所陈述的特征的附加实施例的存在。而且，除非明确相反地规定，“包括”、“包含”或“具有”具有特定性质的一个元件或多个元件的实施例可包含不具有那个性质的附加这类元件。
[0125]由于在不脱离本文所涉及的本发明技术方案的精神和范围的情况下，可以在上述系统和方法中进行某些变化，意图上面描述或附图中所示的所有主题应当仅解释为图示本文中的本发明概念的示例，并且不应当理解为限制本发明的主题。
【主权项】
1.一种系统，包括: 一个或多个分析处理器，所述分析处理器配置成可操作地车载设置在车辆上，并且配置成接收可操作地车载设置在所述车辆上的相机的视场的图像数据， 其中所述一个或多个分析处理器进一步配置成当所述车辆移动时至少部分基于所述图像数据中的一个或多个差异确定所述车辆的速度或航向中的一个或多个。2.如权利要求1所述的系统，其中所述相机的所述视场的至少一部分包含所述车辆外部的所述车辆的路线。3.如权利要求2所述的系统，进一步包括可操作地车载设置在所述车辆上并且定向的所述相机，使得所述相机的所述视场包含所述路线，所述路线是所述车辆将行进的路面或导轨之一。4.如权利要求1所述的系统，进一步包括配置成可操作地车载设置在所述车辆上的车辆控制系统，其中所述车辆控制系统配置成基于所确定的所述速度自动控制所述车辆、控制对操作者显示所确定的所述速度、控制所确定的所述速度的信息在所述车辆上的车载存储、或控制所确定的所述速度的所述信息在所述车辆外的通讯中的至少一个。5.如权利要求1所述的系统，进一步包括配置成可操作地车载设置在所述车辆上的车辆控制系统，其中所述车辆控制系统配置成基于所确定的所述速度自动控制所述车辆。6.如权利要求1所述的系统，其中所述一个或多个分析处理器配置成: 识别跨所述图像数据的多个帧及时移动的、所述图像数据中所述路线的感兴趣的至少一个特征； 确定感兴趣的所述至少一个特征已经移动的总的像素距离； 基于所述总的像素距离及捕捉所述图像数据的帧速率确定像素变化速率；以及 基于所述像素变化速率及单位像素距离与单位路线距离的相关性确定所述速度。7.如权利要求1所述的系统，其中所述一个或多个分析处理器配置成通过确定所述图像数据中感兴趣的一个或多个特征已经变化的方向以及基于所述方向确定所述车辆的所述航向来确定所述车辆的所述航向。8.如权利要求1所述的系统，其中所述一个或多个分析处理器配置成通过识别所述图像数据中感兴趣的一个或多个特征以及监测所述图像数据中感兴趣的所述一个或多个特征的移动来确定所述车辆的所述速度或所述航向的所述一个或多个，其中所述一个或多个分析处理器配置成基于所述图像数据中的像素强度识别感兴趣的所述一个或多个特征。9.如权利要求8所述的系统，其中所述一个或多个分析处理器配置成将一个或多个卷积滤波器应用于所述图像数据，以便识别感兴趣的所述一个或多个特征。10.一种方法，包括: 接收可操作地车载设置在车辆上的相机的视场的图像数据；以及 当所述车辆移动时至少部分基于所述图像数据中的一个或多个差异确定所述车辆的速度。
【文档编号】G06T7/00GK105929190SQ201511036322
【公开日】2016年9月7日
【申请日】2015年12月29日
【发明人】D·J·劳, S·D·纳尔逊, N·奈塔尼, N·U·纳法德
【申请人】通用电气公司