具有交通状态检测机制的导航系统及其操作方法与流程

1.本发明的实施例通常涉及导航系统，且更具体地涉及具有交通状态检测机制的系统。


背景技术：

2.历史上主要的大城市地区的特征在于它们的交通堵塞。虽然交通堵塞限于工作的开始、午餐和工作日的结束，但现在已经改变。在像首尔、东京、巴黎、伦敦、纽约和洛杉矶这样的城市中，交通堵塞从不结束。这导致由于浪费时间和消耗燃料而造成的资源和生产率的损失。汽车数量的增加已经将交通拥堵传播到远远超过城市限制并进入郊区。当前的交通监控系统基于监控由嵌入在高交通量高速公路中的电磁传感器检测到的车辆的速度，但是没有在城市街道上使用。
3.随着道路上的车辆数目增加，依赖于基于在可即刻改变的高速公路上检测到的速度的路线规划变得不可靠。一些监控交通流量的尝试已经进入了用于速度检测的汽车远程信息处理系统，但是车辆驾驶速度可能不反映实际的交通流量。如果车辆由于发动机故障或轮胎失压而机械受损，则交通流量可能被彻底地曲解。
4.因此，仍然需要一种具有交通状态检测机制的导航系统。鉴于不断增加的商业竞争压力，以及日益增长的消费者期望和市场中有意义的产品差异化的机会逐渐减少，找到这些问题的答案日益关键。另外，降低成本、提高效率和性能以及满足竞争压力的需要给找到这些问题的答案的关键必要性增加了更大的紧迫性。
5.长期以来一直在寻求这些问题的解决方案，但是现有的发展没有教导或建议任何解决方案，因此本领域技术人员长期以来一直困惑这些问题的解决方案。


技术实现要素：

6.本发明的实施例提供一种导航系统的操作方法，包括：通过解析行进区域的一段时间的传感器数据流来生成视频剪辑；分析提交到已经训练的深度学习模型的视频剪辑，包括识别交通流估计；访问位置坐标以用于计算到路口的距离；通过融合经校正的速度、交通流估计和到路口的距离来生成交通流状态；将车辆操纵指令合并到所述交通流状态中以用于操纵通过所述行进区域；以及传送所述交通流状态以用于在设备上显示。
7.本发明的实施例提供了一种导航系统，包括控制电路，该控制电路被配置为：通过解析行进区域的一段时间的传感器数据流来生成视频剪辑；分析提交到已经训练的深度学习模型的视频剪辑，包括识别交通流估计；访问位置坐标以用于计算到路口的距离；通过融合经校正的速度、所述交通流估计和到路口的所述距离来生成交通流状态；将车辆操纵指令合并到所述交通流状态中以用于操纵通过所述行进区域；以及通信电路，其耦合到所述控制电路，所述通信电路被配置为：传送所述交通流状态以用于在设备上显示。
8.本发明的实施例提供了一种包括用于导航系统的指令的非暂时性计算机可读介质，包括：通过解析行进区域的一段时间的传感器数据流来生成视频剪辑；分析提交到已经
训练的深度学习模型的视频剪辑，包括识别车道线和车辆；访问位置坐标以用于计算真实世界坐标；通过融合经校正的速度、交通视图和真实世界坐标生成交通流状态；将车辆操纵指令合并到所述交通流状态中以用于操纵通过所述行进区域；以及传送所述交通流状态以用于在设备上显示。
9.本发明的某些实施例具有除上述步骤或元件之外的其它步骤或元件，或者具有其它步骤或元件来代替上述步骤或元件。当参照附图时通过阅读以下详细描述，这些步骤或元件对于本领域技术人员将变得清楚。
附图说明
10.图1是本发明的实施例中的具有交通状态检测机制的导航系统的框图。
11.图2是在实施例中被配置为提供交通状态检测机制的第一设备的顶视图的示例。
12.图3是由导航系统处理的行进区域的示例性俯视图。
13.图4是导航系统的交通状态检测机制的示例性功能框图。
14.图5是实施例中的导航系统的示例性框图。
15.图6是导航系统的示例性操作流程图。
16.图7为本发明的实施例中导航系统的操作方法的流程图。
具体实施方式
17.以下实施例可以准确地识别车道和物体，这使得能够进行用于操作或控制车辆的物理移动的车辆移动控制。车辆移动控制可以基于驾驶员辅助的或自主的车辆驾驶过程，由于车道和物体检测的准确性，该过程是安全和可靠的。
18.车辆移动控制还可以基于实时准确地识别交通状况，以便确保可以在没有损坏车辆或任何相邻物体或财产的风险的情况下完成驾驶员辅助的或自主的车辆。
19.充分详细地描述以下实施例以使本领域的技术人员能够制作和使用本发明。应了解，基于本公开，其它实施例将是清楚的，且可在不脱离本发明的实施例的范围的情况下做出该系统、处理或机械改变。
20.在以下描述中，给出了许多具体细节以提供对本发明的透彻理解。然而，显然，没有这些具体细节也可以实践本发明将是清楚的。为了避免模糊本发明的实施例，没有详细公开一些公知的电路、系统配置和处理步骤。
21.示出系统的实施例的附图是半图解的，并且不是按比例的，并且特别地，一些尺寸是为了清楚地呈现并且在附图中被夸大地示出。类似地，尽管附图中的视图为了易于描述而通常示出类似的取向，但是附图中的这种描绘对于大部分是任意的。通常，可以在任何取向上操作本发明。各种组件的实施例是为了便于描述，而不是为了具有任何其它意义或提供对本发明实施例的限制。
22.本领域技术人员将理解，表达导航信息的格式对于本发明的一些实施例不是关键的。例如，在一些实施例中，以(x，y，z)的格式呈现导航信息；其中x和y和z是定义地理位置(即车辆的位置)的三个坐标。
23.根据使用术语“模块”的上下文，在本发明中，这里所指的术语“模块”可以包括或被实现为或包括在专用硬件、硬件或其组合上运行的软件。例如，软件可以是机器代码、固
件、嵌入式代码和应用软件。软件还可以包括函数、对函数的调用、代码块或其组合。
24.此外，例如，硬件可以是门、电路、处理器、计算机、集成电路核心、存储器设备、压力传感器、惯性传感器、微机电系统(mems)、无源设备、包括用于执行软件功能、其中的一部分或其组合的指令的物理非暂时性存储器介质，以控制硬件单元或电路中的一个或多个。此外，如果“单元”在下面的系统权利要求部分中被写出，则“单元”被认为包括用于系统权利要求的目的和范围的硬件电路。
25.在实施例的以下描述中的单元可以如所描述或所示的那样彼此耦合或附接。耦合或附接可以是直接的或间接的，在耦合或附接的模块或单元之间没有或具有中间物品。耦合或附接可以通过物理接触或通过模块或单元之间的通信(诸如无线通信)。
26.说明书和权利要求书中使用的术语“融合”作为适于该术语的使用具有组合、连接、合并或整合的含义。
27.还应当理解，实施例中的名词或元素可以被描述为单数实例。应当理解，单数的使用不限于单数，而是单数的使用可以适用于本技术中的任何特定名词或元素的多个实例。许多实例可以相同或相似或者可以不同。
28.现在参考图1，其中显示本发明的实施例中具有交通状态检测机制的导航系统100的框图。导航系统100可包括第一设备102(例如客户端或服务器)，其连接至第二设备106(例如客户端或服务器)。
29.导航系统100可包括用于基于多个源的融合来识别交通状态以协调并快速识别当前交通状态以辅助做出车道改变或路线改变决策的系统。第一设备102可通过网络104(例如，无线或有线网络)与第二设备106通信。
30.例如，该第一设备102可为任何各种计算设备(例如蜂窝电话、个人数字助理、笔记本计算机、可穿戴设备、物联网(iot)设备、汽车远程信息处理导航系统、或其它多功能设备)。此外，例如，该第一设备102可包括设备或子系统、自主或自行操纵车辆或物体、驾驶员辅助车辆、遥控车辆或物体、或其组合。
31.第一设备102可直接或间接地耦合到网络104以与第二设备106通信，或可为独立设备。第一设备102可进一步为独立形式或与车辆(例如，汽车、卡车、公共汽车或摩托车)合并。
32.为了说明的目的，以该第一设备102作为移动计算设备来描述该导航系统100，虽然应了解该第一设备102可为不同类型的设备。例如，该第一设备102也可为非移动计算设备(例如服务器、服务器群、或桌上型计算机)。
33.第二设备106可为任何各种集中或非集中计算设备。例如，第二设备106可为计算机、网格计算资源、虚拟化计算机资源、云计算资源、路由器、交换机、对等分布式计算设备或其组合。
34.第二设备106可集中于单个房间中、跨不同房间分布、跨不同地理位置分布、嵌入于电信网络内。第二设备106可与网络104耦合以与第一设备102通信。第二设备106也可为如针对第一设备102所描述的客户端类型设备。
35.为了说明的目的，以该第二设备106作为移动计算设备来描述该导航系统100，虽然应了解该第二设备106可为不同类型的计算设备。例如，第二设备106也可为移动计算设备(诸如笔记本计算机、另一客户端设备、可穿戴设备或不同类型的客户端设备)。
36.此外，为了说明的目的，以该第二设备106作为计算设备来描述该导航系统100，虽然应了解该第二设备106可为不同类型的设备。此外，为了说明的目的，导航系统100显示为具有第二设备106及第一设备102作为网络104的端点，虽然应了解导航系统100可包括第一设备102、第二设备106及网络104之间的不同划分。例如，第一设备102、第二设备106或其组合也可充当网络104的一部分。
37.网络104可以跨越并表示各种网络。例如，网络104可以包括无线通信、有线通信、光、超声或其组合。卫星通信、蜂窝通信、蓝牙、红外数据协会标准(irda)、无线保真(wifi)和全球微波接入互操作性(wimax)是可以被包括在通信路径中的无线通信的示例。以太网、数字用户线(dsl)、光纤到户(ftth)和普通老式电话服务(pots)是可以被包括在网络104中的有线通信的示例。此外，网络104可以遍历多个网络拓扑和距离。例如，网络104可以包括直接连接、个人区域网(pan)、局域网(lan)、城域网(man)、广域网(wan)或其组合。
38.导航系统100可提供在现有技术导航系统中不可用的附加特征。该第一设备102可耦合至光学传感器110及传感器数据本地存储装置108。光学传感器110为传感器(例如定位于第一设备102上的单眼相机组)，其经配置以监视、观察、记录或其组合第一设备102的周围环境。传感器数据本地存储装置108提供包括视频剪辑单元113的非暂时性存储介质以存储由光学传感器110捕获的数据。视频剪辑单元113可以包括传感器数据本地存储装置108中的两组存储器，其能够连续存储所捕获的视频帧的固定长度(诸如3秒)的剪辑。可以存储和处理剪辑之一，同时将下一剪辑加载到存储器中。一旦被处理，剪辑就可以被串行地添加到传感器数据本地存储装置108。
39.例如，可以以多种方式实现传感器数据本地存储装置108，例如非易失性存储设备(例如硬盘驱动器、固态存储设备(ssd)、闪存存储器卡或其组合)，其能够将传感器数据流解析成有限长度(例如3秒段)的段。
40.第一设备102可耦合到交通估计模块115(例如像素评估模块)，其可实现于专用硬件、全硬件或其组合的软件运行中，其被配置以分析摄影场景以识别第一设备102前方和周围的车辆交通。交通估计模块115可以解析包括视频数据的采样帧的传感器数据流111，以便识别由光学传感器110捕获的场景的所估计的交通状态。在训练过程期间，第一设备102可将传感器数据流111上传至第二设备106以供进一步分析或生成多层神经网络116的经更新的版本以改进用于交通状态检测的所估计的交通状态的检测。
41.交通估计模块115可以包括多层神经网络116、交通分类器模块118和帧采样器模块120，其可以生成交通流状态109的估计。多层神经网络116可以是能够对传感器数据流111内的扫描数据的输入采样帧执行矩阵数学运算以便识别由光学传感器110检测的所估计的交通状态的软件或硬件模块。
42.交通分类器模块118可为软件或硬件模块，其能够基于传递至多层神经网络116的采样帧的分组而确定车辆的存在，其可存储于第一设备102或第二设备106中。交通分类器模块118可以从多层神经网络116接收输入，该多层神经网络具有从采样帧提取复杂特征的强大能力。可以通过将传感器数据流111的扫描数据部分提交到多层神经网络116来分析传感器数据流111。应理解，传感器数据流111的其它部分(包括时间、真实世界位置和光学传感器110的非本征参数)可存储于第一设备102或第二设备106中以用于后续操作。
43.帧采样器模块120可以是能够选择由传感器数据流111呈现的帧的样本的软件或
硬件模块。帧采样器模块120可以包括一组可更新的参数，用于识别多少采样帧以及哪些采样帧被呈现给多层神经网络116。帧采样器模块120的分析结果可存储在第一设备102或第二设备106的存储电路中。应当理解，当在表示不同场景的传感器数据流111中发生一些波动时，帧采样器模块120可以改变采样策略。
44.交通分类器模块118可输出交通流状态109的估计，其包括由第一设备102提供的指示所分析的帧是表示拥堵状态、缓慢状态还是畅通交通状态的参考指示符。交通流状态109可向车辆提供操纵指令以增加速度、降低速度、改变车道或改变车道内的位置。
45.传感器数据本地存储装置108可以耦合到光学传感器110，以便存储在训练时段期间从第二设备106返回的传感器数据流111以及对多层神经网络116的调整。第一设备102可组装用于光学传感器110的帧以生成用于分析的传感器数据流111。传感器数据流111可以提供由光学传感器110捕获并记录在传感器数据本地存储装置108中的信息。第一设备102可通过网络104将交通状态更新121传输到第二设备106。该交通状态更新121可以是在固定的时间段(例如一分钟)内由该第一设备102确定的该交通流状态109的汇编。第二设备106可将交通状态更新121分发给正在接近交通状态更新121中识别的位置的其它用户，以便他们做出调整以避免潜在危险。
46.导航系统100可由用户112操作。用户112可包括访问或利用导航系统100或其中的设备的人或实体。例如，该用户112可包括拥有或操作该第一设备102的人、服务或其组合。此外，例如，用户112可通过第一设备102、服务或其组合访问或利用第二设备106。
47.导航系统100可进一步处理来自用户112的直接用户输入114。直接用户输入114可以包括对导航辅助、兴趣点的位置、停车辅助、餐馆辅助、住宿辅助、加油站的位置、事件预订或其组合的请求。直接用户输入114可由用户112或来自用户112直接提供至第一设备102或直接在其上提供。直接用户输入114可以包括直接用于对应软件、应用、特征或其组合或与之相关的输入或刺激。
48.导航系统100可在没有直接用户输入114的情况下实现一个或多个实施例。导航系统100可进一步使用与其无关的直接用户输入114来实现一个或多个实施例。直接用户输入114可包括如由用户112提示的速度增加、速度降低、车道内的位置改变或改变车道。
49.第二设备106可周期性地从第一设备102接收交通状态更新121，或当请求沿着当前道路的用于路线规划或识别或兴趣点的服务时接收该交通状态更新。第二设备106可将交通状态更新121分发至接近由来自第一设备102的交通状态更新121所识别的位置的其它用户。
50.第二设备106可分析交通状态更新121并生成多层神经网络116的改进以供第一设备102在训练过程期间使用。作为示例，第二设备106可以将交通状态更新121应用于地图活动管理器122。地图活动管理器122可以解析交通状态更新121，以便更新背景地图数据库124、实时交通模型126和危险警告模型128。背景地图数据库124可包括给定区的道路、高速公路和路口的图形显示。实时交通模型126可将从第一设备102接收的交通状态更新121应用于背景地图数据库124，以便将当前道路状况传达给导航系统100的其它用户。危险警告模型128可以将交通状态更新121应用于背景地图数据库124，以指示表示危险状况的区域，所述危险状况包括交通事故、严重拥堵、道路建设、低速交通、超速交通或增加事故风险的情形。
51.已发现导航系统100能可靠地识别交通流状态109，以便提供第一设备102的交通状况的实时更新。可以在固定的时间段上对交通流状态109进行归一化，以便产生交通状态更新121。通过将交通状态更新121发送至第二设备106，可将通信信息分发至该导航系统100的其它用户，以用于路线规划、交通或事故警告、车道选择警告、施工警告等。导航系统100可通过提供实时交通更新、车道建议、替代路线或其组合来改善第一设备102的安全性。
52.现在参考图2，其中显示用于图1的导航系统100的车辆的示例俯视平面图，导航系统100可包括第一设备102或与其交互。
53.第一设备102可以是用于运送人或货物的物体或机器，其能够自动地操纵或操作物体或机器。第一设备102可包括可由图1的用户112访问的车辆，以用于控制、操纵、操作或其组合。例如，第一设备102可包括汽车、卡车、手推车、无人机或其组合。
54.可以在没有与该操纵或移动相对应的图1的直接用户输入114的情况下进一步控制或操纵第一设备102。例如，第一设备102可包括自动驾驶车辆，或具有自动操纵特征(例如智能巡航控制或预防性刹车)的车辆。第一设备102可包括智能巡航控制特征，其能够在没有直接用户输入114的情况下设定及调整第一设备102的行进速度。又例如，第一设备102可由导航系统100控制或操控，包括导航系统100控制或设定该第一设备102的巡航速度、车道位置、或其它物理操控或移动。
55.导航系统100可进一步利用来自一个或多个车辆或设备的交通流状态109。图1的交通状态更新121可包括关于由第一设备102观察到的交通状况的信息。该交通状态更新121可以是由第一设备102行进的地区中的交通的当前状况的指示。
56.交通状态更新121还可以包括描述或表示报告交通状态更新121的设备或车辆的周围环境或环境的信息。例如，交通状态更新121可以包括速度数据、导航数据、交通数据或其组合。
57.与导航系统100接口的第一设备102或其它车辆可包括用于向控制、操纵或操作第一设备102的用户112提供辅助或附加信息的设备、电路、一个或多个特定传感器(例如环境传感器210)或其组合。第一设备102或任何其它车辆可包括车辆通信电路204、车辆控制电路206、车辆存储电路208、其它接口或其组合。
58.车辆存储电路208可包括功能单元或电路，其整合至对应的第一设备102且经配置以存储及再调用信息。车辆存储电路208可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如，车辆存储电路208可以是非易失性存储装置(例如非易失性随机存取存储器(nvram)、闪存存储器、盘存储装置)，或者易失性存储装置(例如静态随机存取存储器(sram))。
59.车辆存储电路208可以存储车辆软件、其他相关数据(例如输入信息、来自传感器的信息、处理结果、由导航系统100或车辆制造商预先确定或预先加载的信息、或其组合)。
60.车辆控制电路206可包括功能单元或电路，其整合至第一设备102且经配置以执行或实现指令。车辆控制电路206可执行或实现车辆软件以提供对应车辆、导航系统100或其组合的智能。
61.可以以多种不同的方式实现车辆控制电路206。例如，车辆控制电路206可以是处理器、专用集成电路(asic)、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(fsm)、数字信号处理器(dsp)或其组合。作为更具体的示例，车辆控制电路206可包括发动
机控制单元、一个或多个中央处理单元或其组合。
62.车辆通信电路204可包括功能单元或电路，其整合至对应车辆(例如，第一设备102、另一车辆或其组合)。车辆通信电路204可以被配置为使得能够进行去往和来自对应车辆的外部通信。例如，车辆通信电路204可以允许第一设备102与图1的第二设备106通信。
63.车辆通信电路204还可以用作通信枢纽，其允许对应的控制车辆作为图1的网络104的一部分，并且不限于作为网络104的端点或终端电路。车辆通信电路204可以包括用于与网络104交互的有源和无源组件(诸如微电子器件或天线)。例如，车辆通信电路204可以包括用于有线通信、无线通信或其组合的调制解调器、发射器、接收器、端口、连接器或其组合。
64.车辆通信电路204可与网络104耦合以在车辆通信电路204与作为通信的端点的第二设备106之间直接发送或接收信息，例如用于直接视线通信或对等通信。车辆通信电路204还可以与网络104耦合以通过服务器或通信的端点之间的另一中间设备发送或接收信息。
65.第一设备102或其它车辆可进一步包括各种接口。第一设备102可包括用于第一设备102的功能单元或电路之间的交互或内部通信的一个或多个接口。例如，该第一设备102可包括用于该车辆存储电路208、该车辆控制电路206或其组合的一个或多个接口(例如驱动器、固件、导线连接或总线、协议或其组合)。
66.第一设备102或其它车辆可进一步包括一个或多个接口，用于与相对于对应车辆的乘员、操作者或驾驶员、乘客或其组合交互。例如，该第一设备102或其它车辆可包括包括输入或输出设备或电路的用户接口212(例如屏幕或触摸屏、扬声器、麦克风、键盘或其它输入设备、仪表板、或其组合)。
67.第一设备102可进一步包括一个或多个接口以及开关或致动器，以用于物理地控制第一设备102的可移动组件。例如，该第一设备102可包括该一个或多个接口以及控制机制，以实体地执行及控制第一设备102的操纵，例如用于自动驾驶、智能巡航控制或操纵特征。
68.第一设备102中的功能单元或电路可单独地且独立于其它功能单元或电路而工作。第一设备102可单独地且独立于网络104、第二设备106、其它设备或车辆或其组合而工作。
69.可以用硬件实现上述功能单元或电路。例如，可以使用门、电路、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微机电系统(mems)、无源器件、包含用于执行软件功能、其中的一部分或其组合的指令的物理非暂时性存储器介质来实现功能单元或电路中的一个或多个。
70.环境传感器210各自是用于检测或识别对应车辆的环境的设备或电路。环境传感器210可以检测、识别、确定(或其组合)诸如对应车辆的状态、周围环境或移动。环境传感器210可以检测、识别、确定(或其组合)对应车辆的车厢内的环境、对应车辆外部和周围的环境或其组合。环境传感器210可被用于第一设备102来实现。
71.例如，环境传感器210可以包括用户接口212、光学传感器214、雷达传感器216、位置-移动传感器218或其组合。用户接口212可以包括投影仪、视频屏幕、触摸屏、扬声器或其任意组合。用户接口212可显示图1的交通流状态109、所规划的路线、车道建议、速度警告、
车辆系统警报及其组合。
72.光学传感器110可以包括用于检测或确定表示对应车辆的外部和周围环境的视觉信息的传感器。光学传感器110可以包括附接到对应车辆或设备或与对应车辆或设备整合的相机。例如，光学传感器110可以包括相机(诸如前向相机、摄像机、后视或倒车相机、侧视或盲点相机、或其组合)。此外，例如，光学传感器110可以包括红外传感器、夜视摄像机或夜视传感器。
73.光学传感器110可进一步包括第一设备102上的相机或连接到车辆且与车辆交互的用户112的另一用户设备。光学传感器110还可以包括用于检测或确定车辆或车辆的车厢内部的视觉信息的车厢相机。
74.雷达传感器216可以包括对象检测系统、设备或电路。雷达传感器216可以确定或识别在对应设备或车辆外部的对象或目标(诸如障碍物或另一车辆)的存在，对象或目标与对应设备或车辆之间的相对位置或距离，或其组合。
75.雷达传感器216可利用无线电波来确定或识别对象或目标的存在、相对于第一设备102或其它对应设备或车辆的相对位置或距离或其组合。例如，雷达传感器216可包括接近传感器或警告系统，诸如用于地理上或物理上相对于第一设备102的前方、后方、邻近或侧方或其组合的区域。
76.位置-移动传感器218可以是用于识别或计算对应车辆或设备的地理位置、确定对应车辆或设备的移动或速度或其组合的传感器。位置-移动传感器218可以包括加速度计、速度计、全球定位系统(gps)接收器或设备、陀螺仪或罗盘或其组合。第一设备102可包括不同于位置-移动传感器218或除了位置-移动传感器之外的环境传感器210。位置-移动传感器218可以提供用于从速度计监视转动和速度的陀螺仪变化率。
77.导航系统100可以使用与一个或多个设备、一个或多个车辆或其组合相对应的光学传感器110中的一个或多个来生成描述或表示关于对应设备或车辆周围的环境的信息的交通流状态109。交通流状态109可以进一步由车辆控制电路206处理、存储在车辆存储电路208中、通过车辆通信电路204被传送到另一设备或车辆、或其组合。
78.作为更具体的示例，车辆通信电路204、车辆控制电路206、车辆存储电路208、光学传感器110、一个或多个接口或其组合可以被包括在第一设备102中或构成第一设备。
79.导航系统100可利用来自设备、车辆或其组合的交通流状态109来动态地确定和映射地理区域中的交通和道路状况以及所述地理区域内的车辆、行人、物体或其组合。导航系统100可进一步利用交通流状态109以提供信息至接近或计划进入第一设备102的区域的其它车辆。作为更具体的示例，导航系统100可以使用交通流状态109来动态地定位和映射道路上的车辆并提供前瞻交通信息。导航系统100可进一步利用交通流状态109来以车道等级粒度控制第一设备102的移动。
80.导航系统100可提供车辆移动控制228作为给用户112以操纵或操作第一设备102的建议。下面讨论关于交通流状态109的利用和处理的细节。
81.导航系统100可处理并生成用于控制或操纵该第一设备102的车辆移动控制228。车辆移动控制228为指引或控制第一设备102的实体移动或行进的指令、信号、程序、方法、机制或其组合。
82.导航系统100可在固定间隔(例如，一分钟间隔)上将交通状态更新121从第一设备
102传送到第二设备106。对于说明性示例，导航系统100支持第二设备106将交通状态更新121从第一设备102传达至接近或计划进入由第一设备102所报告的区域的其它车辆。
83.继续该示例，导航系统100可使用从第一设备102生成或提供的交通流状态109而无需用户输入114。导航系统100可利用交通流状态109来为第一设备102附近的其它车辆提供信息、辅助操纵、控制操纵或其组合。
84.继续该示例，导航系统100可通过第二设备106将交通状态更新121传送至其它设备或车辆，或直接传送至其它设备或车辆，诸如用于对等通信系统。该导航系统100可传送该交通状态更新121，以通知其它设备或车辆该第一设备102本身的位置或状态、关于在该第一设备102周围所检测及识别的其它车辆或其组合。
85.作为更具体的示例，导航系统100可以使用交通流状态109来生成车辆移动控制228，诸如用于转向、制动、设置或调整行进速度、辅助控制或其组合。下面讨论关于车辆移动控制228的处理的细节。
86.现在参考图3，其中显示由导航系统100处理的行进区域301的示例俯视图。行进区域301可包括行车道，包括1号车道302、2号车道304、3号车道306及4号车道308。举例而言，第一设备102可位于1号车道302中且接近1号车道302中的第一其他车辆310(例如较慢的车辆)。第一设备102可检测交通流状态为拥堵交通状态316，但第一其他车辆310正前方的路口311的存在可将交通流状态109的检测改变为缓慢交通状态321，因为第一其他车辆310正在进入路口311的转弯状态319，所以交通流状态109可基于路口311的存在而改变。如果第一设备102的所规划的路线不打算在短距离内离开该高速公路且在附近没有路口，则此情形可报告为分类为拥堵交通的交通流状态109。
87.继续该示例，如果第一其他车辆310和第二其他车辆312在相邻的行车道313中接近或完全停止，则在2号车道304中靠近车道线314的第二其他车辆312的存在可被解释为交通流状态109是拥堵交通状态316。对拥堵交通状态316的检测可使第一设备102将车道向左改变到3号车道306，这将提供畅通交通状态317的交通流状态109，因为在3号车道306中在100米内不存在其它车辆。应理解，相邻行车道313仅作为示例展示为1号车道302及2号车道304，且由车道线314划分的1号车道302、2号车道304、3号车道306及4号车道308中的任何数目或组合被视为相邻车道313。还应理解，导航系统100不需要识别或区分1号车道302、2号车道304、3号车道306和4号车道308，并且它们仅为了描述的方便而被识别。
88.在另一示例中，第一设备102可能在4号车道308中遭遇交通事故318，其将使交通流状态109被解释为拥堵交通状态316。当陷于交通事故318后面的其它车辆320从该4号车道308合并至该3号车道306时，对于其它车辆320的交通流状态109可被解释为转弯状态319。当其他车辆320通过交通事故318时，它们可以减速到小于由背景地图数据库124提供的标示速度限制的一半，以便查看损坏，这可以创建缓慢交通状态321。应当理解，因为预期交通流状态109的其他分类，所提供的示例是为了便于解释而不是要在限制性的基础上使用。
89.已经发现，该交通流状态109的检测可使第一设备102响应以调整第一设备102的图1的用户112的控制或显示指令，以维持在该车道中的安全位置或改变该位置至不同的车道。第一设备102可降低速度、增加速度、改变车道或其组合，以便安全地前进通过该行进区域301。通过将交通状态更新121报告给图1的该第二设备106，可将准备警告发送给进入或
计划进入第一设备102的行进区域301的其他用户。本领域技术人员应了解，拥堵交通状态316或交通事故318的早期警告可改进第一设备102及行进通过行进区域301的其它车辆320的安全性。
90.现在参考图4，其中显示图1的导航系统100的多信息融合机制401的示例框图，该多信息融合机制401的示例框图描绘可融合经校正的速度404、交通状态估计406、及至路口的距离408的多信息融合模型402。多信息融合模型402可以是在专用硬件或专用硬件设备上运行的软件，其能够在三秒间隔中组合经校正的速度404、交通状态估计406和至路口的距离408以提供交通流状态109。
91.由滤波器校正单元410提供经校正的速度404，其监视图1的第一设备102的速度传感器412以及由图2的位置-移动传感器218提供的陀螺仪角速率传感器414。滤波器校正单元410可为在专用硬件或专用硬件电路上运行的软件。滤波器校正单元410可检测第一设备102何时在图3的路口311处或在高速公路上转弯。由于第一设备102的速度传感器412的输出因转弯而降低，可被解释为图3的拥堵交通状态316，滤波器校正单元410监视陀螺仪角速率传感器414。如果陀螺仪角速率传感器414超过每秒五度，则滤波器校正单元410识别图3的转弯状态319，其警告多信息融合模型402在转弯状态319的持续时间内忽略交通状态估计406。
92.可由交通分类器单元416提供交通状态估计406，其可为在特定硬件或专用硬件电路上运行的软件。交通分类器单元416可以接收基于由视频剪辑单元113提交的一系列帧的深度学习模型418的分析。交通分类器单元416可以基于对视频剪辑420中捕获的多个帧进行采样来记录深度学习模型418的发现，以提供交通状态估计406。
93.深度学习模型418可以是在特定硬件或专用硬件电路上运行的软件。深度学习模型418是加权互连和决策节点的神经网络，其可以分析从缓冲来自光学传感器110的数据的视频剪辑单元113接收的视频剪辑420的采样帧。在深度学习模型418的训练过程期间，可以调整决策节点之间的加权互连，以允许识别在视频剪辑420中找到的所估计的交通。光学传感器110可以将传感器数据流111提供给视频剪辑单元113以进行分割和缓冲，这产生固定持续时间(例如三秒)的视频剪辑420。深度学习模型418可以被训练或更新以更高效地从视频剪辑420识别交通状态。
94.多信息融合模型402可以从位置-移动传感器218接收第一设备102的至路口的距离408。位置坐标单元424可将背景地图数据库124与来自位置-移动传感器218的位置以短间隔(诸如一秒间隔)进行比较，作为第一设备102的至路口的距离408。多信息融合模型402可基于至路口的距离408和交通状态估计406执行分析以识别接近于图3的路口311的图3的缓慢交通状态321。
95.举例而言，当第一设备102接近路口311时，交通流状态109可轻易地被误认为拥堵交通状态316。为了评估路口311的影响，背景地图数据库124和位置坐标424可以被利用以限定交通流状态109。至路口的距离408可提供在该第一设备102在正在行进的方向上至路口311的距离。假设交通流状态109被识别为拥堵交通状态316，但是从第一设备102到路口311的距离满足特定阈值(诸如100米)，则交通流状态109可被重置为图3的缓慢交通状态321。
96.交通流分析单元426可在固定时间段(诸如一分钟)内监视交通流状态109，以便生
成交通状态更新121。交通状态更新121可以是呈现为交通流状态109的固定间隔的汇编。交通流分析单元426可确定特定状态或状况是否在被发送到图1的第二设备106以供进一步分发的交通状态更新121的更新之间的固定时间间隔内占优势。交通流分析单元426可通过将固定时间间隔的后半部分加权为大于前半部分来执行趋势分析，或者其可对拥堵交通状态321、图3的缓慢交通状态316和图3的畅通交通状态317的出现的数量进行计数。举例来说，固定时间间隔内的交通流状态109的过程(诸如分装)可以报告具有最高计数的拥堵交通状态316、畅通交通状态317或缓慢交通状态321。交通流状态109可包括拥堵交通状态316、畅通交通状态317或缓慢交通状态321作为多数计数或作为加权平均。
97.已经发现，导航系统100的多信息融合机制401可提供第一设备102的图3的行进区域301的准确且及时的更新。该固定时间间隔的短持续时间(诸如一分钟)允许交通状态更新121提供由第一设备102和其它车辆320所经历的交通状况的实时分析。交通状态更新121可以识别背景地图数据库124上的临时或中期堵塞(分别例如图3的交通事故318或道路建设(未示出))。通过将交通状态更新121发送到第二设备106，可更新并核实背景地图数据库124。第二设备106可将交通状态更新121转送至与导航系统100通信的其它车辆320。该通信可提供通过由第一设备102获取的行进区域301的更安全且更高效的行进路径。
98.现在参照图5，其中示出在实施例中的导航系统100的示例框图。导航系统100可包括第一设备102、网络104、及第二设备106。第一设备102可在第一设备传输508中通过网络104将信息发送到第二设备106。第二设备106可在第二设备传输510中通过网络104将信息发送到第一设备102或图3的其它车辆320。
99.为了说明的目的，导航系统100显示为具有第一设备102作为客户端设备，虽然应了解导航系统100可包括第一设备102作为不同类型的设备。例如，第一设备102可为包含耦合至用户接口212的第一显示接口530的服务器。
100.此外，为了说明的目的，导航系统100显示为具有第二设备106作为服务器，虽然应了解导航系统100可包括第二设备106作为不同类型的设备。例如，第二设备106可为客户端设备。举例而言，导航系统100可被完全实现于第一设备102上。第二设备106可以提供图1的多层神经网络116的训练和增强。
101.此外，为了说明的目的，导航系统100显示为具有第一设备102与第二设备106之间的交互。然而，应理解，第一设备102可为自主车辆、智能车辆或其组合的一部分或全部。类似地，第二设备106可以类似地与表示自主车辆、智能车辆或其组合的第一设备102交互。
102.为了本发明的此实施例中的描述的简洁性，第一设备102将被描述为客户端设备，而第二设备106将被描述为服务器设备。本发明的实施例不限于对设备的类型的这种选择。该选择是本发明的实施例的示例。
103.第一设备102可包括第一控制电路512、第一存储电路514、第一通信电路516、第一接口电路518和第一定位电路520。第一控制电路512可以包括第一控制接口522。第一控制电路512可执行第一软件526以提供导航系统100的智能。
104.可以以许多不同的方式实现第一控制电路512。例如，第一控制电路512可以是处理器、专用集成电路(asic)、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(fsm)、数字信号处理器(dsp)或其组合。第一控制接口522可用于第一控制电路512与第一设备102中的其它功能单元或电路之间的通信。第一控制接口522也可用于第一设备102外
部的通信。
105.第一控制接口522可接收来自其它功能单元/电路或来自外部源的信息，或可将信息传输至其它功能单元/电路或外部目的地。该外部源及该外部目的地是指在该第一设备102外部源及目的地。
106.第一控制接口522可以不同方式被实现且可包括不同实现，其取决于哪些功能单元/电路或外部单元/电路正与第一控制接口522交互。例如，可以用压力传感器、惯性传感器、微机电系统(mems)、光学电路、波导、无线电路、有线电路或其组合来实现第一控制接口522。
107.第一存储电路514可以存储第一软件526。第一存储电路514也可以存储相关信息(例如表示输入图像的数据、表示先前呈现的图像的数据、声音文件或其组合)。
108.第一存储电路514可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如，第一存储电路514可以是非易失性存储装置(例如非易失性随机存取存储器(nvram)、闪存存储器、盘存储装置)，或者易失性存储装置(例如静态随机存取存储器(sram))。
109.第一存储电路514可以包括第一存储接口524。第一存储接口524可用于第一存储电路514与第一设备102中的其它功能单元或电路(例如图1的传感器数据本地存储装置108)之间的通信。第一存储接口524也可用于第一设备102外部的通信。
110.第一存储接口524可以从其它功能单元/电路或从外部源接收信息，或者可以将信息传输到其它功能单元/电路或外部目的地。该外部源及该外部目的地是指在该第一设备102外部源及目的地。第一存储接口524可以从交通估计模块115接收输入和接收源数据。
111.第一存储接口524可以包括不同的实现，这取决于哪些功能单元/电路或外部单元/电路正与第一存储电路514接口。可以用与第一控制接口522的实现方式类似的技术和工艺来实现第一存储接口524。
112.第一通信电路516可以实现去往和来自第一设备102的外部通信。例如，第一通信电路516可允许第一设备102与第二设备106及网络104通信。
113.第一通信电路516也可以用作通信枢纽，其允许第一设备102用作网络104的一部分，并且不限于作为网络104的端点或终端电路。第一通信电路516可以包括用于与网络104交互的有源和无源组件(诸如微电子器件或天线)。
114.第一通信电路516可以包括第一通信接口528。第一通信接口528可用于第一通信电路516与第一设备102中的其它功能单元或电路之间的通信。第一通信接口528可接收来自第二设备106的信息以分发至其它功能单元/电路，或可将信息传输至其它功能单元或电路。
115.第一通信接口528可以包括不同的实现，这取决于哪些功能单元或电路正与第一通信电路516接口。可以用与第一控制接口522的实现方式类似的技术和工艺来实现第一通信接口528。
116.第一接口电路518允许图1的用户112与第一设备102接口并交互。第一接口电路518可以包括输入设备和输出设备。第一接口电路518的输入设备的示例可包括小键盘、触摸板、软键、键盘、麦克风、用于接收远程信号的红外传感器、光学传感器110或其任何组合以提供数据和通信输入。作为示例，光学传感器110可以通过有线或无线连接连接到第一接
口电路518。第一接口电路518可以将来自光学传感器110的输入传递到第一控制电路512以用于处理和存储。在交通估计模块115的训练期间，第一通信接口528可将来自光学传感器110的输入、光学传感器110的位置、以及光学传感器110的外部参数传递至第二设备106以增强图1的多层神经网络116、图1的对象识别器118、以及图1的帧采样器模块120的准确性和可靠性。
117.第一接口电路518可以包括第一显示接口530。第一显示接口530可以包括输出设备。第一显示接口530可以耦合用户接口212，包括投影仪、视频屏幕、触摸屏、扬声器、麦克风、键盘及其组合。
118.第一控制电路512可操作第一接口电路518以显示由导航系统100所生成的信息，并接收来自图1的用户112的输入。第一控制电路512也可执行第一软件526以用于导航系统100的其它功能，包括接收来自第一定位电路520的定位信息。第一控制电路512还可以执行第一软件526，以用于经由第一通信电路516与网络104交互。第一控制单元512可以操作图4的多信息融合模型402。
119.第一控制电路512可以操作第一接口电路518以从光学传感器110收集数据。第一控制电路512还可以从第一定位电路520接收定位信息。第一控制电路512可操作交通估计模块115以便递送交通流状态109以供显示在用户接口212上，并且生成控制引导指令和操纵指令554以自主地驾驶或辅助驾驶第一设备102。操纵指令554可包括增加速度、降低速度、车道改变建议、车道边界警告和交通回避警报。可基于其它车辆320的位置、交通流状态109的内容和邻近车道313的占用而生成操纵指令554。
120.举例而言，第一定位电路520可通过将背景地图数据库124与第一设备102的当前航向、当前加速度、以及当前速度进行比较，而生成在图4的至路口的距离408中的定位信息。可以以许多方式实现第一定位电路520。例如，第一定位电路520可以用作全球定位系统、惯性导航系统、蜂窝塔定位系统、陀螺仪或其任何组合的至少一部分。此外，例如，第一定位电路520可以利用组件(诸如加速度计、陀螺仪或全球定位系统(gps)接收器)。
121.第一定位电路520可以包括第一定位接口532。第一定位接口532可用于第一定位电路520与第一设备102中的其它功能单元或电路(包括光学传感器110)之间的通信。
122.第一定位接口532可从其它功能单元/电路或从外部源接收信息，或可将信息传输到其它功能单元/电路或外部目的地。该外部源及该外部目的地是指在该第一设备102外部源及目的地。
123.第一定位接口532可以包括不同的实现，这取决于哪些功能单元/电路或外部单元/电路正与第一定位电路520接口。可以用与第一控制电路512的实现方式类似的技术和工艺来实现第一定位接口532。
124.第二设备106可以被优化以用于在具有第一设备102的多设备实施例中实现本发明的实施例。第二设备106可提供相较于第一设备102附加或更高性能的处理能力。第二设备106可包括第二控制电路534、第二通信电路536、第二用户接口538和第二存储电路546。
125.第二用户接口538允许操作者(未示出)与第二设备106接口和交互。第二用户接口538可以包括输入设备和输出设备。第二用户接口538的输入设备的示例可以包括小键盘、触摸板、软键、键盘、麦克风或其任意组合，以提供数据和通信输入。第二用户接口538的输出设备的示例可以包括第二显示接口540。第二显示接口540可以包括显示器、投影仪、视频
屏幕、扬声器或其任何组合。
126.在训练过程期间，第二控制电路534可以通过第二通信电路536接收交通状态更新121。第二控制电路536可通过检查图4的交通状态估计406、光学传感器110的至路口的距离408以及光学传感器110的外部参数来核实交通状态更新121的内容确实表示由第一设备102的位置识别的交通流。一旦交通状态更新121已被核实，第二控制电路534就可通过第二存储电路546将交通状态更新121传递到地图活动管理器122以供处理和进一步分发。
127.第二控制电路534可执行第二软件542以提供导航系统100的第二设备106的智能。第二软件542可与第一软件526结合操作。与第一控制电路512相比，第二控制电路534可以提供附加性能。
128.第二控制电路534可以操作第二用户接口538以显示信息。第二控制电路534也可执行第二软件542，以用于导航系统100的其它功能，包括操作第二通信电路536以通过网络104与第一设备102通信。
129.可以以许多不同的方式实现第二控制电路534。例如，第二控制电路534可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(fsm)、数字信号处理器(dsp)或其组合。
130.第二控制电路534可以包括第二控制接口544。第二控制接口544可用于第二控制电路534与第二设备106中的其它功能单元或电路之间的通信。第二控制接口544也可用于第二设备106外部的通信。
131.第二控制接口544可以从其它功能单元/电路或从外部源接收信息，或者可以将信息传输到其它功能单元/电路或外部目的地。该外部源及该外部目的地是指在该第二设备106外部源及目的地。
132.可以以不同的方式实现第二控制接口544，并且可以包括不同的实现，这取决于哪些功能单元/电路或外部单元/电路正与第二控制接口544接口。例如，可以用压力传感器、惯性传感器、微机电系统(mems)、光学电路、波导、无线电路、有线电路或其组合来实现第二控制接口544。
133.第二存储电路546可以存储第二软件542。第二存储电路546也可存储信息(例如表示输入图像的数据、表示先前呈现的图像的数据、声音文件或其组合)。第二存储电路546的尺寸可设置为提供附加的存储容量以补充第一存储电路514。在训练过程期间，该第二存储电路546可接收该第一设备102的行进区域301的交通状态更新121。第二存储电路546可传递交通状态更新121以将更新并入到由第一设备102实时发送的背景地图数据库124、实时交通模型126及危险警告模型128。然后可以通过第二通信电路536传递交通状态更新121，以用于传输到图3的其它车辆320，以辅助车道选择、路线规划或替代路线规划。
134.为了说明的目的，第二存储电路546被示出为单个元件，但是应当理解，第二存储电路546可以是存储元件的分布。此外，为了说明的目的，导航系统100显示为具有第二存储电路546作为单个层级存储系统，虽然应了解导航系统100可包括以不同配置的第二存储电路546。例如，第二存储电路546可以用形成存储器分层系统的不同存储技术形成，该存储器分层系统包括不同级别的高速缓存、主存储器、旋转介质或离线存储。
135.第二存储电路546可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合的控制器。例如，第二存储电路546可以是非易失性存储装置(诸如非易失性随
机存取存储器(nvram)、闪存存储器、盘存储装置)或易失性存储装置(诸如静态随机存取存储器(sram))的控制器。
136.第二存储接口548可以从其它功能单元/电路或从外部源接收信息，或者可以将信息传输到其它功能单元/电路或外部目的地。该外部源及该外部目的地是指在该第二设备106外部源及目的地。
137.第二存储接口548可以包括不同的实现，这取决于哪些功能单元/电路或外部单元/电路正与第二存储电路546接口。可以用与第二控制接口544的实现类似的技术和工艺来实现第二存储接口548。第二存储电路546可从接收来自第一设备102中的交通估计模块115的交通状态更新121接收背景地图数据库124的真实世界更新。
138.第二通信电路536可以实现去往和来自第二设备106的外部通信。例如，第二通信电路536可允许第二设备106通过网络104与第一设备102通信。举例而言，该第二设备106可提供该交通状态更新121给在该第一设备102的行进区域301中或附近的其它车辆320。
139.第二通信电路536也可以用作通信枢纽，其允许第二设备106用作网络104的一部分，并且不限于是网络104的端点或终端单元或电路。第二通信电路536可包括用于与网络104交互的有源和无源组件(例如微电子器件或天线)。
140.第二通信电路536可包括第二通信接口550。第二通信接口550可用于第二通信电路536与第二设备106中的其它功能单元或电路之间的通信。第二通信接口550可以从其它功能单元/电路接收信息，或者可以将信息传输到其它功能单元或电路。
141.第二通信接口550可以包括不同的实现，这取决于哪些功能单元或电路正与第二通信电路536接口。可以用与第二控制接口544的实现方式类似的技术和工艺来实现第二通信接口550。
142.在训练过程期间，第一通信电路516可与网络104耦合以在第一设备传输508中将交通状态更新121发送到第二设备106。第二设备106可在第二通信电路536中从网络104的第一设备传输508接收信息。
143.第二通信电路536可与网络104耦合以向第一设备102发送信息，包括在第二设备传输510中对交通估计模块115的更新。第一设备102可在第一通信电路516中从网络104的第二设备传输510接收信息。导航系统100可由第一控制电路512、第二控制电路534或其组合来执行。为了说明的目的，第二设备106显示为具有包含第二用户接口538、第二存储电路546、第二控制电路534、以及第二通信电路536的划分，但是应理解，第二设备106可包括不同的划分。例如，第二软件542可以被不同地划分，使得其功能中的一些或全部可以在第二控制电路534和第二通信电路536中。此外，第二设备106可包括其它功能单元或电路，为了清楚起见，未显示于图5中。
144.第一设备102中的功能单元或电路可个别地且独立于其它功能单元或电路而工作。第一设备102可个别地且独立于第二设备106及网络104而工作。
145.第二设备106中的功能单元或电路可单独地且独立于其它功能单元或电路而工作。第二设备106可单独地且独立于第一设备102及网络104而工作。
146.可以用硬件实现上述功能单元或电路。例如，可以使用门阵列、专用集成电路(asic)、电路、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微机电系统(mems)、无源设备、包含用于执行软件功能、其中的一部分或其组合的的指令的物理非
暂时性存储器介质实现功能单元或电路中的一个或多个。
147.为了说明的目的，该导航系统100是由该第一设备102及该第二设备106的操作来描述。应了解，该第一设备102及该第二设备106可操作该导航系统100的任何模块及功能。
148.通过进一步的示例，第一设备102可以是自主车辆或驾驶员辅助车辆。第一接口电路518可从图1的光学传感器110接收输入，以用于编译交通状态更新121。交通状态更新121可以由第一控制电路512根据光学传感器110和第一定位电路520生成。交通状态更新121可通过第一通信电路516和网络104发送到第二设备106以供第二控制电路534和地图活动管理器122处理。
149.已经发现，第二设备106可以从第一设备102接收交通状态更新121，其为地图活动管理器122提供更新。作为示例，第二控制电路534可以核实交通状态更新121，并且将信息传递到地图活动管理器122以用于分析。当地图活动管理器122已经分析该数据并且更新背景地图数据库124、实时交通模型126和危险警告模型128时，第二控制单元534可为在第一设备102的行进区域301中行进的其他车辆320生成安全警告和车道建议。交通警告和车道建议的实时分发可通过最小化备份并绘制围绕图3的交通事故318的替代路线来改进安全性、减少延迟并节约能量。
150.现在参考图6，其中显示本发明的实施例中图1的导航系统100的示例操作流程图601。导航系统100的示例操作流程图601描绘开始框602，其指示图1的第一设备102已访问图3的行进区域301。该流程进行到记录图像框604，其中第一设备102的图1的光学传感器110记录行进区域301。图5的第一控制电路512可通过访问图2的第一定位电路520以并入图1的传感器数据流111中来识别当前全球定位。应了解，当前全球定位可指示第一设备102的光学传感器110的实际定位。第一控制电路512可以生成光学传感器110的外部参数，以便促进对传感器数据流111的分析。
151.该流程进行到提供分析的图像框606，其中传感器数据流111被分割成图4的视频剪辑420并且由第一设备102的图4的深度学习模型418分析。应了解，第二设备106可具有比第一设备102更多的数据处理能力及速度，因此为了训练目的，传感器数据流111的处理可由第二设备106执行，且在深度学习模型418已被训练之后，分析可由第一设备102执行。
152.流程进行到识别交通流估计框608。这里，深度学习模型418可以分析来自图4的视频剪辑420的图像，并且从采样的视频剪辑420识别交通流估计406。作为示例，交通流估计406可以被确定为拥堵交通状态316、畅通交通状态317或缓慢交通状态321。深度学习模型418可以处理从视频剪辑420获取的图像以向图2的多信息融合模型402提供交通流估计。
153.流程然后进行到生成交通流状态框610。多信息融合模型402可以用图4的至路口的距离408和图4的经校正的速度404来限定交通流估计406。如果经校正的速度404检测到图3的转弯状态319，则在转弯状态319的持续时间内忽略交通流估计406。如果没有检测到转弯状态319，但是至路口的距离408指示图3的路口311非常接近，则可以将交通流估计406从拥堵交通状态316修改为缓慢交通状态321。
154.流程然后进行到生成交通状态更新框612。交通流分析单元426能够监视拥堵交通状态316、畅通交通状态317、或缓慢交通状态321的发生以确定显著状态。交通流分析单元426可以对拥堵交通状态316、畅通交通状态317或缓慢交通状态321的发生进行计数，以确定在固定时段(例如一分钟)期间哪些状态提供了更多数量的事件。表示最大数量的拥堵交
通状态316、畅通交通状态317或缓慢交通状态321将在整个周期内被反映为交通状态更新121。
155.然后，该流程可以进行到分发交通状态更新框614。第一控制电路512可组装交通流状态109且生成图5的一组操纵指令554以供第一设备102前进通过图3的行进区域301。第一控制电路512可合并交通流状态109并且该组操纵指令554用于显示在用户界面212上。第一控制电路512可将交通流状态109和操纵指令554发送到图5的第一显示接口530用于呈现在用户接口212上。第一控制电路512也可通过图1的网络104将交通流状态109传递到图1的第二设备106作为交通状态更新212，以用于分发给图3的其它车辆320。
156.该流程进行至结束616，其中第一设备102可生成交通状态更新121，将其呈现在图2的用户接口212上。应了解，用户接口212可显示行进区域301的传感器数据流111，且交通状态更新121可呈现为突出显示的覆盖，或交通状态更新121可单独呈现在用户接口212上。第一设备102可从交通流状态109提取操纵指令554，以便使第一设备102的驾驶员辅助或自主驾驶特征能够安全地前进通过行进区域301。
157.现在参照图7，其中显示本发明的实施例中图1的导航系统100的操作的方法700的流程图。方法700包括：在框702中，通过解析行进区域的一段时间的传感器数据流来生成视频剪辑；在框704中，分析提交到已经训练的深度学习模型的视频剪辑，包括识别交通流估计；在框706中，访问用于计算到路口的距离的位置坐标；在框708中，通过融合经校正的速度、交通流估计和到路口的距离来生成交通流状态；在框710中，将车辆操纵指令合并到交通流状态中，以用于操纵通过行进区域；以及在框712中，传送该交通流状态以供在设备上显示。
158.所得到的方法、过程、装置、设备、产品和/或系统是直接的、成本有效的、不复杂的、高度通用的、准确的、灵敏的和有效的，并且可以通过使已知组件适于现成的、高效的和经济的制造、应用和利用来实现。本发明的实施例的另一重要方面是它有价值地支持和服务于降低成本、简化系统和提高性能的历史趋势。
159.因此，本发明的实施例的这些和其它有价值的方面将技术状态推进到至少下一水平。
160.虽然已经结合具体的最佳模式描述了本发明，但是应当理解，根据前面的描述，许多替换、修改和变化对于本领域技术人员来说是清楚的。因此，本发明旨在包括落入所包括的权利要求的范围内的所有这样的替换、修改和变化。这里阐述的或附图中示出的所有内容都应被解释为说明性的而非限制性的。