车载装置及其提供交通信号灯信息的方法与流程

车载装置及其提供交通信号灯信息的方法
[0001]
相关申请的交叉引用
[0002]
本申请要求于2019年8月6日提交的申请号为10-2019-0095373的韩国专利申请的优先权的权益，该韩国专利申请的全部内容通过引用并入本文。
技术领域
[0003]
本公开涉及一种车载装置及其提供交通信号灯信息的方法。


背景技术：

[0004]
车辆到所有事物(v2x)系统是一种用于在车辆行驶期间在与道路基础设施或其它车辆始终保持通信的同时交换并共享诸如交通状况、交通信号灯状态等各种有用信息的技术。特别地，v2x是指诸如车辆到车辆(v2v)和/或车辆到基础设施(v2i)的使用有线/无线通信交换信息的车辆与事物之间的通信。
[0005]
然而，v2x系统需要将附加终端应用于车辆，因此导致材料成本增加。此外，由于对基础设施的高度依赖性，当诸如交通信号灯的基础设施不具有v2x通信功能时，v2x系统不能交换并共享信息，因此难以提供准确的信息。


技术实现要素：

[0006]
本公开提供一种车载装置及车载装置提供交通信号灯信息的方法，车载装置使用安装在车辆内的摄像机来收集并累积存储关于行驶路线上的交通信号灯的信息并基于累积的信息来提供交通信号灯信息。
[0007]
本公开要解决的技术问题不限于前述问题，并且本公开所属领域的技术人员从以下描述中将清楚地理解本文中未提及的任何其它技术问题。
[0008]
根据本公开的一方面，一种车载装置可以包括：摄像机，被配置为拍摄车辆的前方；以及处理器，被配置为通过识别由摄像机拍摄的影像中的交通信号灯来检测交通信号灯信息，累积存储检测到的交通信号灯信息，并基于累积的交通信号灯信息来提供交通信号灯的交通信号灯预测信息。
[0009]
交通信号灯信息可以包括交通信号灯的当前信号、信号类型和信号保持时间中的至少一个。处理器可以被配置为基于与交通信号灯匹配的累积数据的数量是否超过阈值来确定是否能够提供交通信号灯预测信息。处理器可以被配置为当与交通信号灯匹配的累积数据的数量小于阈值时，基于直到当前累积的数据来执行简化测试，并且处理器可以被配置为当简化测试结果表明预测信息连续预定次数以上准确时，确定能够提供交通信号灯预测信息。
[0010]
另外，处理器可以被配置为基于与交通信号灯匹配的累积数据来估计交通信号灯的信号改变时间点。处理器可以被配置为根据统计分析方法基于累积数据来计算参数，计算累积数据的置信水平和置信区间，并将置信区间的下限确定为信号改变时间点。处理器可以被配置为当交通信号灯预测信息有误时，删除与交通信号灯匹配的所有累积数据。
[0011]
根据本公开的另一方面，一种车载装置提供交通信号灯信息的方法可以包括：通过安装在车辆内的摄像机获得影像；通过检测影像中的交通信号灯来检测交通信号灯信息；以及累积存储交通信号灯信息，并基于累积的交通信号灯信息提供交通信号灯的交通信号灯预测信息。
[0012]
检测交通信号灯信息可以包括：检测交通信号灯的当前信号、信号类型和信号保持时间中的至少一个。该方法可以进一步包括：在提供交通信号灯预测信息之前，基于与交通信号灯匹配的累积数据来确定是否能够提供交通信号灯预测信息。确定是否能够提供交通信号灯预测信息可以包括：基于与交通信号灯匹配的累积数据的数量是否超过阈值来确定是否能够提供交通信号灯预测信息。
[0013]
该方法可以进一步包括：当与交通信号灯匹配的累积数据的数量不超过阈值时，基于直到当前累积的数据来执行简化测试；以及当简化测试结果表明预测信息连续预定次数以上准确时，确定能够提供交通信号灯预测信息。提供交通信号灯预测信息可以包括：响应于确定能够提供交通信号灯预测信息，输出交通信号灯的当前信号、信号改变时间点和下一信号中的至少一个。
[0014]
提供交通信号灯预测信息可以进一步包括：通过根据统计分析方法基于累积数据计算参数，设置累积数据的置信水平和置信区间；以及将设置的置信区间的下限确定为信号改变时间点。确定是否能够提供交通信号灯预测信息可以进一步包括：响应于确定不能提供交通信号灯预测信息，将检测到的交通信号灯信息累积存储在与交通信号灯匹配的存储空间中。另外，该方法可以包括：当交通信号灯预测信息有误时，删除与交通信号灯匹配的所有累积数据。
附图说明
[0015]
根据结合附图进行的以下详细描述，本公开的上述和其它目的、特征及优点将更加明显：
[0016]
图1是根据本公开的示例性实施例的车载装置的框图；
[0017]
图2和图3是示出根据本公开的示例性实施例的数据分类方法的视图；
[0018]
图4是示出根据本公开的示例性实施例的车载装置提供交通信号灯信息的方法的流程图；以及
[0019]
图5是示出根据本公开的示例性实施例的提供交通信号灯信息的示例的示例性视图。
具体实施方式
[0020]
理解的是，如本文所使用的术语“车辆”或“车辆的”或其它类似术语通常包括机动车辆，例如包括运动型多用途车(suv)、巴士、卡车、各种商用车的乘用车，包括各种轮船和船舰的水运工具，航空器等，并且包括混合动力车辆、电动车辆、内燃机车辆、插电式混合动力车辆、氢动力车辆以及其它替代燃料(例如，除石油以外的资源衍生的燃料)车辆。
[0021]
尽管将示例性实施例描述为使用多个单元来执行示例性过程，但是理解的是，示例性过程也可以由一个或多个模块来执行。另外，理解的是，术语“控制器”/“控制单元”是指包括存储器和处理器的硬件装置。存储器被配置为存储模块，并且处理器被具体配置为
执行所述模块以执行下面进一步描述的一个或多个过程。
[0022]
此外，本公开的控制逻辑可以实施为包含由处理器、控制器/控制单元等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。计算机可读介质的示例包括但不限于rom、ram、光盘(cd)-rom、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读记录介质也可以分布在联接网络的计算机系统中，使得计算机可读介质以分布式方式，例如由远程信息处理服务器或控制器局域网(can)存储并执行。
[0023]
本文使用的术语仅用于描述特定实施例，而不旨在限制本公开。除非上下文另有明确说明，否则如本文使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式。将进一步理解的是，术语“包括”和/或“包含”在本说明书中使用时，说明所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。如本文使用的，术语“和/或”包括一个或多个相关所列项目的任何一个和所有组合。
[0024]
除非特别说明或从上下文中显而易见，否则如本文使用的，术语“约”被理解为在本领域的正常公差范围内，例如在平均值的2个标准偏差内。“约”可以被理解为规定值的10％、9％、8％、7％、6％、5％、4％、3％、2％、1％、0.5％、0.1％、0.05％或0.01％内。除非上下文另有明确说明，否则本文提供的所有数值均由术语“约”修饰。
[0025]
在下文中，将参照示例性附图详细描述本公开的一些示例性形式。在将附图标记添加到每个附图的组件时，应注意的是，即使相同或等同的组件显示在其它附图上，也由相同的附图标记表示。此外，在描述本公开的示例性实施例时，将排除对公知特征或功能的详细描述，以免不必要地使本公开的主旨不清楚。
[0026]
在描述根据本公开的示例性实施例的组件时，可以使用诸如“第一”、“第二”、“a”、“b”、“(a)”、“(b)”等术语。这些术语仅旨在将一个组件与另一组件区分开，并且这些术语不限制组件的性质、顺序或次序。除非另有定义，否则本文中使用的包括技术术语或科学术语的所有术语具有与本公开所属领域的技术人员通常理解的含义相同的含义。诸如在通用词典中定义的那些术语的术语将被解释为具有与相关领域中的上下文含义相同的含义，并且除非在本申请中明确定义为具有理想或过于形式化的含义，否则将不被解释为具有这种理想或过于形式化的含义。
[0027]
图1是根据本公开的示例性实施例的车载装置的框图，图2和图3是示出根据本公开的示例性实施例的数据分类方法的视图。参照图1，车载装置100可以包括摄像机110或其它成像装置、定位装置120、存储装置130、显示器140和处理器150。车载装置100可以是音频视频导航(avn)或远程信息处理终端。处理器150可以是被编程为操作车载装置100的其它组件的控制器的一部分。
[0028]
摄像机110可以安装在车辆内以拍摄或捕获车辆的前方。另外，摄像机110可以被配置为将拍摄的影像输出到处理器150。摄像机110可以利用诸如电荷耦合器件(ccd)影像传感器、互补金属氧化物半导体(cmos)影像传感器、电荷引发器件(cpd)影像传感器和电荷注入器件(cid)影像传感器的影像传感器中的至少一个影像传感器来实现。摄像机110可以包括影像处理器，该影像处理器被配置为对使用影像传感器获得的影像执行影像处理，例如噪声去除、颜色再现、文件压缩、画质调节和颜色饱和度调节。定位装置120可以被配置为测量或检测车辆的当前位置，即车辆位置。定位装置120可以被具体配置为使用诸如全球定
位系统(gps)、航位推算(dr)、差分gps(dgps)和载波相位差分gps(cdgps)的定位技术中的至少一种来测量车辆位置。
[0029]
存储装置130可以被配置为存储地图信息并存储用于操作处理器150的程序。存储装置130可以被配置为存储交通信号灯索引信息和每个交通信号灯的累积数据。存储装置130具有可以累积存储每个交通信号灯的数据的存储空间。另外，存储装置130可以利用诸如闪存、硬盘、安全数字(sd)卡、随机存取存储器(ram)、静态随机存取存储器(sram)、只读存储器(rom)、可编程只读存储器(prom)、电可擦除可编程rom(eeprom)、可擦除可编程rom(eprom)、寄存器、可移除磁盘和网络存储装置的存储介质中的至少一种存储介质(记录介质)来实现。
[0030]
此外，显示器140可以被配置为输出基于处理器150的操作的进度状态和/或结果。显示器140还可以被配置为输出交通信号灯预测信息，例如信号改变时间点和下一信号。显示器140可以包括液晶显示器(lcd)、薄膜晶体管-液晶显示器(tft lcd)、有机发光二极管(oled)显示器、柔性显示器、三维(3d)显示器、透明显示器、平视显示器(hud)、触摸屏和组合仪表中的至少一种。
[0031]
显示器140可以包括输出音频数据的音频输出装置，例如扬声器。例如，显示器140可以被配置为显示位于车辆前方的交通信号灯的信号改变时间点和下一信号，并且可以被配置为通过扬声器输出声音信号。此外，显示器140可以利用与触摸传感器结合的触摸屏来实现，并且可以用作输入装置以及输出装置。触摸膜或触摸板可以用作触摸传感器。
[0032]
处理器150可以被配置为控制车载装置100的整体操作。处理器150可以利用专用集成电路(asic)、数字信号处理器(dsp)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、中央处理单元(cpu)、微控制器和微处理器来实现。当设定目的地时，处理器150可以被配置为搜索从车辆的当前位置到目的地的路线(例如，行驶路线)，并且沿着搜索到的路线执行路线引导。当没有设定目的地时，处理器150可以被配置为测量车辆的当前位置并且在显示器140上输出映射了所测量的车辆的当前位置的地图信息。
[0033]
当车辆正在行驶时，处理器150可以被配置为通过使用摄像机110拍摄前方来获得影像。处理器150可以被配置为识别或检测由摄像机110拍摄的影像中的交通信号灯。特别地，处理器150可以被配置为使用公知的影像处理技术来检测拍摄的影像中的交通信号灯。处理器150可以被配置为通过定位装置120来识别车辆的位置，将所识别的车辆的位置映射到地图信息上，并且辨别(例如，检测或识别)检测到的交通信号灯。
[0034]
处理器150可以被配置为从拍摄的影像中提取交通信号灯区域(例如，交通信号灯影像)，并通过分析提取的交通信号灯影像来检测交通信号灯信息，例如信号类型和当前信号。其中，信号类型是指交通信号灯能够显示的信号，即构成交通信号灯的信号显示灯的类型。信号类型包括：绿灯亮时的“行进”信号，黄灯亮时的“警告”信号，绿箭头灯(例如，绿转向信号灯)亮时的“转向”信号，红灯亮时的“停止”信号等。
[0035]
处理器150可以被配置为将检测到的交通信号灯信息累积存储在存储装置130中。此时，处理器150可以被配置为将检测到的交通信号灯信息累积存储在与识别出的交通信号灯匹配的存储空间中。处理器150可以被配置为在地图上索引交通信号灯并累积存储与每个索引的交通信号灯对应的交通信号灯信息。交通信号灯信息可以包括交通信号灯的位置、信号类型、每个信号的保持时间(例如，每个信号灯亮的持续时间)、信号周期改变的时
间点(例如，信号周期改变时间点)、以及信号的顺序(循环、转变)等中的至少一个。
[0036]
此外，处理器150可以被配置为基于每个交通信号灯的24小时的时间表累积存储每个信号的信息。处理器150可以被配置为基于信号的累积信息来计算交通信号灯的信号周期改变时间点。然后，处理器150可以被配置为使用公知的数据分类技术来估计交通信号灯的信号周期改变时间点。例如，当使用利用卷积(convolution)的二分分类技术时，处理器150可以被配置为利用预定的卷积掩码(convolution mask)大小计算整个时间上的值，并且将具有最高值的区域确定为一个簇(cluster)，而将其余区域确定为另一簇。
[0037]
参照图2，处理器150可以被配置为扫描(sweep)卷积矩阵(convolution matrix)并且识别具有输入到卷积矩阵的数据的平均值中的最大平均值的区域。另外，处理器150可以将具有最大平均值的区域假定为第一簇c1，而将其余区域假定为第二簇c2。因此，处理器150可以被配置为将第一簇c1和第二簇c2之间的时间点确定为信号周期改变时间点。
[0038]
在另一示例中，当使用利用回归方程和频率分析的分类技术时，处理器150可以被配置为基于累积数据通过回归分析生成回归方程。当回归方程图s1如图3所示时，处理器150可以被配置为将回归方程图s1转换为频域图s2，通过分析转换后的频域图s2来检测高频的位置，即峰值点，并确定检测到的点为信号周期改变时间点t1和t2。
[0039]
处理器150可以被配置为识别所识别的交通信号灯的累积数据的数量。另外，处理器150可以被配置为基于累积数据的数量是否超过预设阈值来确定是否能够提供交通信号灯预测信息。例如，当累积数据的数量为100或更小时，处理器150可以被配置为确定不能提供交通信号灯预测信息。同时，当累积数据的数量大于100时，处理器150可以被配置为确定能够提供交通信号灯预测信息。换言之，可以将针对交通信号灯累积的数据的数量与阈值进行比较，以确定是否能够提供交通信号灯预测信息。
[0040]
在该示例性实施例中，例示了处理器150基于累积数据的数量来确定是否能够提供交通信号灯预测信息。然而，处理器150可以被配置为考虑是否识别出信号的顺序(循环或转变)来确定是否能够提供交通信号灯预测信息。例如，当基于累积数据识别出相对于前方交通信号灯上显示的当前信号的前一信号和下一信号时，处理器150可以被配置为确定能够提供交通信号灯预测信息。
[0041]
此外，在该示例性实施例中，例示了当与交通信号灯匹配的累积数据的数量不超过(小于)阈值时，处理器150确定不能提供交通信号灯预测信息。然而，不限于此，当与交通信号灯匹配的累积数据的数量小于或等于阈值时，处理器150可以被配置为通过基于直到当前(例如，当前时间)累积的数据执行简化测试，来确定是否能够提供交通信号灯预测信息。例如，当与交通信号灯匹配的累积数据的数量小于阈值时，处理器150可以被配置为基于直到当前累积的数据执行简化测试，并且当简化测试结果表明预测信息连续预定次数以上正确或准确时，确定能够提供交通信号灯预测信息。
[0042]
处理器150可以被配置为计算识别出的交通信号灯的累积数据的参数，并基于所计算的参数来更新置信水平和置信区间。处理器150还可以被配置为根据常规统计分析方法来设置置信水平和置信区间。处理器150可以被配置为基于置信水平和置信区间确定信号改变时间点。例如，处理器150可以被配置为将累积数据的置信水平设置为约99％，并且当确定99％的置信区间在白天为从约7.5秒到8.5秒的区间或在夜间为从约9.5秒到10.5秒的区间时，处理器150可以被配置为将置信区间的下限(最小值)确定为信号改变时间点
(即，信号保持时间)。
[0043]
当确定信号改变时间点时，处理器150可以被配置为基于所确定的信号改变时间点来输出交通信号灯预测信息。例如，当确定信号改变时间点为约8秒时，处理器150可以被配置为在绿灯亮后在显示器140上输出提供绿灯亮的通知的信息约7.5秒，并且处理器150可以被配置为从绿灯亮后约7.5秒到8秒在显示器140上输出诸如“信号将很快改变”的通知。
[0044]
此外，当确定信号改变时间点时，处理器150可以被配置为引导下一信号以及信号改变时间点。例如，在当前信号是“行进”信号并且下一信号是“警告”信号时，处理器150可以被配置为在约8秒后引导从“行进”信号到“警告”信号的改变。当交通信号灯预测信息有误时，处理器150可以被配置为使用摄像机110识别交通信号灯信息，并且立即将交通信号灯信息提供给驾驶员。然后，处理器150可以被配置为删除交通信号灯预测信息有误的相应交通信号灯的所有累积数据，并再次累积数据。另外，处理器150可以被配置为不提供相应交通信号灯的交通信号灯预测信息。
[0045]
图4是示出根据本公开的示例性实施例的车载装置提供交通信号灯信息的方法的流程图。处理器150可以被配置为使用摄像机110获得影像(s110)。在车辆行驶期间，摄像机110可以被配置为拍摄车辆的前方，并且将拍摄的影像传送到处理器150。
[0046]
处理器150可以被配置为从拍摄的影像中检测交通信号灯信息(s120)。另外，处理器150可以被配置为基于车辆的当前位置来识别所拍摄的影像中的交通信号灯。处理器150可以被配置为使用公知的影像处理技术从拍摄的影像中检测交通信号灯的当前信号、信号类型以及信号保持时间等。处理器150还可以被配置为基于与识别出的交通信号灯对应的累积数据来确定是否可以提供(例如，能够提供)交通信号灯预测信息(s130)。处理器150可以被配置为识别累积数据的数量并且基于累积数据的数量是否超过预设阈值来确定是否能够提供交通信号灯预测信息。
[0047]
响应于确定可以提供交通信号灯预测信息，处理器150可以被配置为向驾驶员提供交通信号灯预测信息(s140)。处理器150可以进一步被配置为基于与识别出的交通信号灯匹配的累积数据来确定识别出的交通信号灯的信号改变时间点，并确定改变的下一信号。然后，处理器150可以被配置为使用累积数据来计算参数，并且基于所计算的参数来设置置信水平(例如，可靠性)和置信区间。另外，处理器150可以被配置为将置信区间的下限确定为信号改变时间点并且基于信号改变时间点来引导预测信号。同时，响应于在s130中确定不能提供交通信号灯预测信息，处理器150可以被配置为累积存储检测到的交通信号灯信息(s150)。换言之，处理器150可以被配置为将检测到的交通信号灯信息累积存储在与识别出的交通信号灯匹配的存储空间中。
[0048]
图5是示出根据本公开的示例性实施例的提供交通信号灯信息的示例的示例性视图。参照图5，当交通信号灯tl1和tl2存在于车辆的行驶路线上时，车载装置100的处理器150可以被配置为使用摄像机110(例如，使用成像装置拍摄的影像)来识别或检测位于车辆前方的交通信号灯tl1。当处理器150在点p1处识别出交通信号灯tl1的信号从“警告”信号改变为“停止”信号时，处理器150可以被配置为在显示器140上输出影像和消息，以通知驾驶员交通信号灯tl1的当前信号是“停止”信号。此后，当车辆到达点p2处时，处理器150可以被配置为输出交通信号灯tl1的信号将在n秒后从“停止”信号改变为“行进”信号的通知。此
外，由于行驶信号的累积数据的置信水平为80％，因此处理器150可以被配置为计算行驶信号的80％置信区间，并且输出所计算的置信区间的下限作为行驶信号保持时间，如下表1所示。
[0049]
表1
[0050][0051]
根据本公开，车载装置可以被配置为使用安装在车辆中的摄像机来收集并累积存储关于行驶路线上的交通信号灯的信息，并基于累积信息来提供交通信号灯信息，从而防止材料成本增加并消除对基础设施的依赖。因此，车载装置可以用于未应用v2x通信的车辆或应用v2x通信但通信中断或不能通信的车辆。
[0052]
上文中，尽管参照示例性实施例和附图描述了本公开，但是本公开不限于此，本公开所属领域的技术人员可以在不脱离所附权利要求书要求保护的本公开的宗旨和范围的情况下，对本公开进行各种修改和改变。因此，提供本公开的示例性实施例是为了解释本公开的宗旨和范围，而不是限制本公开的宗旨和范围，从而本公开的宗旨和范围不受实施例的限制。本公开的范围应基于所附权利要求书来解释，并且在等同于权利要求书的范围内的所有技术思想都应包括在本公开的范围内。