检测车辆和拖车的损害角度的制作方法

检测车辆和拖车的损害角度
1.本申请要求2018年10月19日提交的美国临时专利申请no.62/747,955的优先权，该临时专利申请的全部内容通过引用整体地并入本文。
技术领域
2.实施例涉及用于检测车辆和拖车的损害（damage）角度的系统和方法。


背景技术：

3.了解附接到车辆的拖车的大小和结构对于安全地使拖车机动（maneuver）是必要的。这对于其中计算机或其他电子控制器控制车辆和拖车组合的转向的自动化驾驶系统而言尤其如此。需要了解车辆的大小和结构，以避免车辆与拖车或者拖车与驾驶环境中的其他对象之间的碰撞。


技术实现要素：

4.例如，在带着拖车进行倒车时，拖车可能会朝向车辆旋转。当车辆与拖车之间的角度（相对于地面在水平面上）超过某个大小时，拖车的部分可能会撞击并且损害该车辆。可能对车辆发生损害的角度被认为是“损害角度（damage angle）”。
5.因此，当拖车附接到车辆，并且存在拖车相对于车辆的相对角度运动时，需要一种系统来使用车辆后部的后视相机来评估拖车结构的尺寸（例如，确定其尺寸）。在确定拖车的结构之后，该系统计算损害角度，并且然后通知车辆的用户（或车辆的自动化控制系统）以调整车辆的移动来避免损害角度（并且避免拖车或拖车结构与车辆之间的碰撞）。
6.一个实施例提供了一种用于检测车辆与拖车之间的损害角度的系统。该系统包括：后视相机，其定位在车辆的后部部分并且被配置成获得拖车的视频；以及电子控制器。电子控制器被配置成：从后视相机接收拖车的视频；基于拖车的视频来确定损害点；确定拖车的旋转角度的改变；基于拖车的旋转角度的改变来确定拖车的损害点的经改变的位置；基于损害点相对于车辆的经改变的位置来确定损害角度；以及基于所述损害角度来确定用以避免损害点与车辆之间的碰撞的至少一个机动。
7.另一个实施例提供了一种用于检测车辆与拖车之间的损害角度的方法。该方法包括：利用电子控制器，从定位在车辆的后部部分上的后视相机接收拖车的视频；利用电子控制器，基于拖车的视频来确定损害点；利用电子控制器，确定拖车的旋转角度的改变；利用电子控制器，基于拖车的旋转角度的改变来确定拖车的损害点的经改变的位置；利用电子控制器，基于损害点相对于车辆的经改变的位置来确定损害角度；以及利用电子控制器，基于所述损害角度来确定用以避免损害点与车辆之间的碰撞的至少一个机动。
附图说明
8.图1图示了根据一个实施例的用于检测车辆与拖车之间的损害角度的系统。
9.图2图示了根据一个实施例的电子控制器。
10.图3图示了根据一个实施例的用于检测车辆与拖车之间的损害角度的方法。
11.图4是图示了根据一个实施例的如何确定损害点的经改变的位置的示图。
12.图5是图示了根据一个实施例的示例性损害角度的示图。
具体实施方式
13.在详细解释任何实施例之前，要理解的是，本公开并不意图将其应用限制于在以下描述中阐述的、或在以下附图中图示的组件的构造和布置的细节。实施例能够具有其他配置，并且能够以各种方式来实践或执行。
14.多个基于硬件和软件的设备以及多个不同的结构组件可以被用来实现各种实施例。此外，实施例可以包括硬件、软件和电子组件或模块，出于讨论的目的，它们可以被图示和描述为好像大部分组件仅在硬件中实现。然而，本领域普通技术人员基于对该详细描述的阅读将意识到：在至少一个实施例中，本发明的基于电子的方面可以在可由一个或多个处理器执行的软件（例如，其被存储在非暂时性计算机可读介质上）中实现。例如，本说明书中描述的“控制单元”和“控制器”可以包括一个或多个电子处理器、包括非暂时性计算机可读介质的一个或多个存储器模块、一个或多个输入/输出接口、一个或多个专用集成电路（asic）、以及连接各种组件的各种连接（例如，系统总线）。
15.此外，本文中被描述为由一个组件实行的功能可以由多个组件以分布式方式实行。同样地，由多个组件实行的功能可以被合并，并且由单个组件实行。类似地，被描述为实行特定功能的组件也可以实行本文中没有进行描述的附加功能。例如，以某种方式“配置”的设备或结构至少是以这种方式配置的，但是也可以以未列出的方式来配置。另外，本文中描述的一些实施例可以包括：一个或多个电子处理器，其被配置成通过执行存储在非暂时性计算机可读介质中的指令来实行所描述的功能。类似地，本文中描述的实施例可以被实现为存储可由一个或多个电子处理器执行以实行所述功能的指令的非暂时性计算机可读介质。如本申请中所使用的，“非暂时性计算机可读介质”包括所有计算机可读介质，但是不由暂时性的传播信号组成。因此，非暂时性计算机可读介质可以包括例如硬盘、闪速存储器、光学存储设备、磁存储设备、rom（只读存储器）、ram（随机存取存储器）、寄存器存储器、处理器高速缓存、或其任何组合。
16.图1图示了根据一个实施例的用于检测车辆105与拖车110之间的损害角度的系统100。拖车110在联接点115（例如，采用球的形式的拖车挂接物（hitch））处联接到车辆105。该系统还包括：定位在车辆105的后部部分上的后视相机120。后视相机120收集拖车110、联接点115、以及车辆105和拖车110的驾驶环境的图像（例如，图示了方位改变的拖车的视频或一系列顺序图像）。
17.车辆105可以是汽车、卡车、牵引车
‑
拖车、摩托车等等。在所图示的实施例中，车辆105具有四个车轮125、126、127和128。然而，在其他实施例中，车辆105可以具有不同数量的车轮。如上所提及，车辆105还包括：定位在车辆105的后部部分上的后视相机120，该后部部分诸如是后保险杠、行李箱盖、牌照框架、后窗、车辆105车顶的后部部分等等。后视相机120被配置成获得拖车110的视频数据。
18.系统100还包括电子控制器130。图2中图示了电子控制器130的示例。电子控制器130包括：向电子控制器130内的组件和模块提供功率、操作控制和保护的多个电气和电子
组件。在所图示的示例中，电子控制器130包括：电子处理器205（诸如可编程电子微处理器、微控制器或类似设备）、存储器210（例如，非暂时性机器可读存储器）和输入输出接口215。电子处理器205通信地连接到存储器210和输入输出接口215。与存储在存储器210中的软件和输入输出接口215相协调的电子处理器205被配置成：除了其他之外，还实现本文中描述的方法。
19.在一些实施例中，电子控制器130可以在几个独立的控制器（例如，可编程电子控制单元）中实现，每个独立的控制器被配置成实行特定的功能或子功能。附加地，电子控制器130可以包含子模块，这些子模块包括附加的电子处理器、存储器或专用集成电路（asic），以用于处理输入输出功能、处理信号、以及应用下面列出的方法。在其他实施例中，电子控制器130包括附加的、更少的或不同的组件。
20.返回图1，后视相机120电连接到电子控制器130，并且被配置成向电子控制器130发送视频。车辆105还可以包括电连接到电子控制器130并且被配置成向电子控制器130发送各种信号的多个传感器。
21.拖车110包括：通过拖车轴145连接的至少两个拖车车轮140和141。在一些实施例中，拖车110可以包括通过同一拖车轴145或单独的拖车轴连接的多个车轮。拖车110还包括拖车舌状物150，该拖车舌状物150将拖车110联接到车辆105的联接点115。
22.图3图示了根据一个实施例的用于检测车辆105与拖车110之间的损害角度的方法300。
23.在一个示例中，方法300包括：利用电子控制器130，从后视相机120接收视频（在框305处）。由后视相机120捕获的视频包括：拖车110的视频，并且在一个示例中，包括拖车110的结构（诸如拖车舌状物150、或拖车110上可能对车辆105造成碰撞威胁的其他突出物）的视频。
24.在一个示例中，方法300还包括：利用电子控制器130，确定拖车110上的损害点（在框310处）。在一个实施例中，电子控制器130对从后视相机120接收到的视频实行图像处理，以标识可能对车辆105造成损害的突出物或其他对象。例如，电子控制器130可以利用光流（optical flow）、拐角发现、光学跟踪、或其他特征检测方法来确定拖车110上的损害点，例如突出物、拖车舌状物150等等。在一些实施例中，电子控制器130将所确定的损害点（例如，包含损害点的相机帧、损害点的轮廓、或损害点的一些其他指示）保存在存储器210中。
25.方法300还包括：利用电子控制器130，确定拖车110的旋转角度的改变（在框315处）。在一个实施例中，系统100包括：角度传感器，其感测拖车110相对于车辆105的旋转角度，并且将该角度（或者更精确地，指示感测到的角度的信号）发送到电子控制器130。在另一个实施例中，电子控制器130被配置成通过如下方式来确定拖车110与车辆105之间的角度的改变：比较由后视相机120发送的视频的不同相机帧，并且利用图像处理来确定拖车110相对于车辆105的旋转角度的改变。
26.在一个示例中，方法300还包括：利用电子控制器130，基于拖车110的旋转角度来确定损害点的经改变的位置（在框320处）。例如，图4是示出了如何确定损害点的经改变的位置的示图400。
27.在一个示例中，从后视相机120接收到的视频包括：在第一相机帧中的第一位置（pt0）处的损害点、以及在该视频中的第一相机帧之后出现的第二相机帧中的第二位置
（pt1）处的损害点。电子控制器130基于已知的旋转角度δ以及后视相机120与联接点115之间的已知向量l来确定向量c0、c1、t0和t1。基于损害点从pt0到pt1的移动、以及所得到的所确定的向量，电子控制器130确定损害点相对于车辆105的经改变的现实世界方位。
28.例如，通过使用向量加法将已知向量l加到c0来确定t0，并且通过使用向量加法将已知向量l加到c1来确定t1。如果电子控制器130仅使用来自后视相机120所收集的视频的数据来确定损害点相对于车辆105的经改变的现实世界方位，则仅可以确定单位向量cu0和cu1。这些向量在下面的等式1和2中定义。
29.等式1：c0= cu
0 * d0等式2：c1= cu
1 * d1在等式1和等式2中，d0和d1分别是pt0和pt1与后视相机120之间的未知距离。在世界坐标系（诸如xyz坐标系）中使用这些等式，获得以下等式3
‑
8。
30.等式3：t
x0
= d
0 * cu
x0 –ꢀ
l
x
等式4：t
y0 = d
0 * cu
y0 –ꢀ
l
y
等式5：t
z0
= d
0 * cu
z0 –ꢀ
l
z
等式6：t
x1
= d
1 * cu
x1 –ꢀ
l
x
等式7：t
y1 = d
1 * cu
y1 –ꢀ
l
y
等式8：t
z1 = d
1 * cu
z1 –ꢀ
l
z
因为损害点保持在恒定高度、或恒定z值，所以t
z0
的值和t
z1
的值相同，并且可以用t
z
来表示。针对t
z0
和t
z1
两者使用相同的高度值允许由等式9来表示d1。
31.等式9：替换d1，可以从等式3
‑
8来确定以下等式10
‑
14。
32.等式10：t
x0 = d0cu
x0 –ꢀ
l
x
等式11：t
y0 = d0cu
y0 –ꢀ
l
y
等式12：t
x1 = d0cu
xl –ꢀ
l
x
等式13：t
y0 = d0cu
yl –ꢀ
l
y
等式14：t
z = d0cu
z0 –ꢀ
l
z
旋转角度δ是已知的，并且旋转角度δ被约束到关于联接点115的z轴的旋转平面。因此，等式15中的以下矩阵是已知的。
33.等式15：因为矩阵rot是已知的，所以已知等式16是正确的。
34.等式16：t1= rot * t0因为等式16，所以等式17也是已知的。
35.等式17：这些等式导致了等式18
‑
21的系统。
36.等式18：等式19：等式20：x = a\b等式21：矩阵x求解出损害点相对于车辆105的经改变的现实世界方位。
37.在一个示例中，方法300还包括：利用电子控制器130，基于损害点相对于车辆105的经改变的现实世界方位来确定损害角度（在框325处）。例如，图5图示了示出损害角度的示图500。损害角度指示：在损害点处于与车辆105发生碰撞的危险中之前，拖车110从当前拖车角度可以转动的最大角度。损害角度是基于当前拖车角度以及损害点的经改变的位置来确定的。
38.在一个示例中，方法300还包括：利用电子控制器130，确定车辆105的机动以避免损害点与车辆105之间的碰撞（在框330处）。例如，如果车辆105是自主或半自主车辆，则电子控制器130可以确定转弯的特定角度和速度，并且向车辆105的转向系统发送信号，从而以特定角度和速度进行转弯，以避免与损害点发生碰撞。在其他实施例中，车辆105由操作者驾驶，并且电子控制器130被配置成：确定供操作者转动车辆105的转向设备以避免碰撞的特定角度，并且将该角度发送到显示设备以显示给车辆105的操作者。
39.因此，本文中描述的实施例除了其他之外还提供了用于检测车辆与拖车之间的损害角度的系统和方法。
40.以下示例说明了本文中描述的示例系统和方法。
41.示例1：一种用于检测车辆与拖车之间的损害角度的系统，该系统包括：后视相机，其定位在车辆的后部部分并且被配置成获得拖车的视频；以及电子控制器，其被配置成：从后视相机接收拖车的视频；基于拖车的视频来确定损害点；确定拖车的旋转角度的改变；基于拖车的旋转角度的改变来确定拖车的损害点的经改变的位置；基于损害点相对于车辆的经改变的位置来确定损害角度；以及基于所述损害角度来确定用以避免损害点与车辆之间的碰撞的至少一个机动。
42.示例2：示例1的系统，其中，电子控制器进一步被配置成将损害点保存在非暂时性计算机可读存储器中。
43.示例3：示例1的系统，进一步包括角度传感器。
44.示例4：示例3的系统，其中，角度传感器检测拖车的旋转角度并且发送指示旋转角度的信号。
45.示例5：示例1的系统，其中，通过比较视频的不同帧来检测旋转角度的改变。
46.示例6：示例1的系统，其中，至少一个机动包括转弯的特定角度和速度，用以避免损害点与车辆之间的碰撞。
47.示例7：示例6的系统，其中，电子控制器进一步被配置成将转弯的特定角度和速度
发送到车辆的转向系统。
48.示例8：示例6的系统，其中，电子控制器进一步被配置成将转弯的特定角度和速度发送到显示器。
49.示例9：示例1的系统，其中，损害角度是：在损害点处于与车辆发生碰撞的危险中之前，拖车从当前拖车角度可以转动的最大角度。
50.示例10：示例1的系统，其中，确定损害点的经改变的位置包括：基于旋转角度以及后视相机与拖车的联接点之间的已知向量来确定至少一个向量。
51.示例11：一种用于检测车辆与拖车之间的损害角度的方法，该方法包括：利用电子控制器，从定位在车辆的后部部分上的后视相机接收拖车的视频；利用电子控制器，基于拖车的视频来确定损害点；利用电子控制器，确定拖车的旋转角度的改变；利用电子控制器，基于拖车的旋转角度的改变来确定拖车的损害点的经改变的位置；利用电子控制器，基于损害点相对于车辆的经改变的位置来确定损害角度；以及利用电子控制器，基于所述损害角度来确定用以避免损害点与车辆之间的碰撞的至少一个机动。
52.示例12：示例11的方法，进一步包括：利用电子控制器，将损害点保存在非暂时性计算机可读存储器中。
53.示例13：示例11的方法，进一步包括：利用电子控制器，接收来自角度传感器的信号。
54.示例14：示例13的方法，其中，角度传感器检测拖车的旋转角度，并且所述信号指示旋转角度。
55.示例15：示例11的方法，其中，通过利用电子控制器比较视频的不同帧来检测旋转角度的改变。
56.示例16：示例11的方法，其中，至少一个机动包括转弯的特定角度和速度，用以避免损害点与车辆之间的碰撞。
57.示例17：示例16的方法，进一步包括：利用电子控制器将转弯的特定角度和速度发送到车辆的转向系统。
58.示例18：示例16的方法，进一步包括：利用电子控制器，将转弯的特定角度和速度发送到显示器。
59.示例19：示例11的方法，其中，损害角度是：在损害点处于与车辆发生碰撞的危险中之前，拖车从当前拖车角度可以转动的最大角度。
60.示例20：示例11的方法，其中，确定损害点的经改变的位置包括：利用电子控制器，基于旋转角度以及后视相机与拖车的联接点之间的已知向量来确定至少一个向量。