用于自动化车辆的人性化转向模型的制作方法

本公开大体涉及用于自动化车辆的人性化转向(steering)系统，并且更具体地涉及使用深度学习技术来开发转向模型，该模型以与操作者如何手动转向(steer)车辆相似的方式转向车辆。

背景技术：

已经提出了在没有来自车辆的操作者的任何手动输入的情况下转向车辆的完全自动化的(即，自主)车辆。然而，控制车辆的转向的算法具有性能调整变量，该变量使得调整客户舒适度的算法复杂化。即使当考虑乘客舒适度时，算法的性能也仅在用于调整算法的特定转向场景期间提供优异的舒适性。需要的是模仿操作车辆的人的转向特性的算法或转向模型。

技术实现要素：

根据一个实施例，提供一种用于自动化车辆的人性化转向系统。该系统包括可操作以转向车辆的一个或多个转向轮。该系统还包括被配置成确定转向轮的转向角的角度传感器。该系统还包括由车辆的操作者使用来影响转向角并由此手动转向车辆的手轮(hand-wheel)。该系统还包括转向致动器，该转向致动器可操作以影响转向角，从而在操作者不手动转向车辆时转向车辆。该系统还包括可操作以指示接近车辆的物体的相对位置的位置传感器。该系统还包括被配置成接收转向角和相对位置的控制器。控制器被进一步配置成使用深度学习技术，基于转向角和相对位置确定转向模型，并当操作者不手动转向车辆时操作转向致动器以根据转向模型转向车辆，由此以与操作者如何手动转向车辆相似的方式转向车辆。

阅读优选实施例的下列详细描述并参考各个附图，进一步的特征和优点将更加显而易见，优选实施例只是作为非限制性示例给出的。

附图说明

现在将参考各个附图通过示例的方式来描述本发明，其中：

图1是根据一个实施例的用于自动化车辆的人性化转向系统的图；

图2是根据一个实施例的系统中的数据表；

图3是根据一个实施例的图1的系统中的数据的图；以及

图4是根据一个实施例的由图1的系统所执行的过程的数据的逻辑图。

具体实施方式

图1示出了人性化转向系统(下文称为系统10)的非限制性示例。尽管本文中呈现的系统10的描述通常针对完全自动化(即，自主)车辆(下文称为车辆12)，构想到本文呈现的教导适用于部分自动化车辆，部分自动化车辆可以瞬间地接管对车辆12的控制或瞬间地辅助操作者14手动地转向车辆12以例如避开另一车辆。

系统10，或更具体地车辆12，配备有一个或多个转向轮，下文称为转向轮16。转向轮16通常可以被表征为可操作以转向车辆12。虽然预期车辆12通常是四轮汽车，但构想到，本文呈现的教导也将适用于配备有单个转向轮的两轮或三轮车辆，通过改变车辆的前部和后部之间的相对角度转向的铰接式车辆、以及可能配备有多于四个车轮和/或多于两个转向轮的其他轮式车辆。

为了系统10确定转向轮16的角度或方向，系统包括角度传感器20，该角度传感器20被配置为确定和/或指示转向轮16的转向角18。角度传感器可以使用各种技术(诸如，可变电阻、可变磁阻或数字位置编码器)中的一种，来输出或提供指示转向角18的信号。

如稍后将更详细解释的，本文描述的系统10通常被配置成以模仿人类(即，操作者14)手动转向车辆12的方式操作或转向车辆12。通常，系统通过观察/记录影响操作者14可如何转向车辆12的各种方面来“学习”操作员14手动转向车辆12的方式，然后建立数学模型以力图复制观察到的行为。

为了使操作员14能够手动转向车辆12，系统10(或车辆12)配备有由车辆12的操作员14使用或可操作的手轮22以影响转向角18，从而手动转向车辆12。虽然术语手轮通常被解释为典型地在汽车中发现的相对圆形的手轮，但其他替代的转向手段例如操纵杆、手柄、缰绳、脚踏板、按钮、旋钮或滑动旋钮等也被构想并且被包括在手轮22的定义中。

系统10还包括转向致动器24，转向致动器24可用于或可操作为影响转向角18，因此当操作员14不手动转向车辆12时，系统10能够转向车辆12。在一个实施例中，转向致动器24可以导致手轮22随着转向角18变化而移动，这对于辅助转向式转向机构通常是这种情况。替代地，转向机构可以被表征为手轮22和转向致动器24之间不存在机械连接的线控转向式转向机构。即，在线控转向式系统中，可能只有电连接，因此当系统10而不是操作员14正在转向车辆12时，手轮22可能不响应于转向角18的变化而移动。

系统10还包括可操作以指示接近车辆12的物体30的相对位置28的位置传感器26。物体30的非限制性示例包括车辆12行驶的道路或行车道的表面上的车道标记、道路边缘、标志、标志杆、诸如护栏之类的屏障、建筑桶、行人、动物、和诸如汽车、摩托车、自行车等的其他车辆。位置传感器26可以包括但不限于相机26A，雷达单元26B和激光雷达单元26C中的一个或任意组合。

系统10还包括控制器32，其被配置为接收例如转向角18、相对位置28、和/或手动控制信号38以用于观察/学习当操作者14正在手动操作车辆12时操作者14操作(例如，转向)车辆12的方式。控制器32还被配置为当操作者14不在手动操作或转向车辆12时以与操作者14如何手动转向车辆12类似的方式操作或转向车辆12。

控制器32可包括诸如微处理器的处理器(未具体示出)或其它控制电路，诸如模拟和/或数字控制电路，包括如对本领域技术人员应显而易见的用于处理数据的专用集成电路(ASIC)。控制器32可包括用以存储一个或多个例程、阈值和所捕捉的数据的存储器(未具体示出)，包括非易失性存储器，诸如电可擦除可编程只读存储器(EEPROM)。如本文所述，该一个或多个例程可以由处理器执行以执行用于确定操作者14手动操作或转向车辆12的方式以及以类似方式自主操作车辆12的步骤。

给定例如来自角度传感器20的转向角18、来自位置传感器26的关于物体30的相对位置28和其他信息(例如，尺寸、形状、运动、分类等)中存在的信息，控制器被配置为通过使用深度学习技术基于至少转向角18和相对位置28来确定转向模型34。使用深度学习技术相对基于控制理论的技术是有利的，因为深度学习放松了基于控制理论的模型构建技术所必需的预想概念或假设中的一些。深度学习技术容易包括实时条件的影响，诸如例如温度可以如何影响轮胎刚度和/或转向操纵如何影响乘客舒适度。可以使用递归神经网络(RNN)来构建或训练转向模型34，该递归神经网络(RNN)是可以在动态系统中实施的基于时间的深度学习方法。

转向模型34具有输入数据结构，其可以被表征为二进制向量36，其包括诸如天气，障碍物，车辆状态和/或车道中的车辆位置的多种输入。二进制向量中的每个比特或比特组合表示输入的元素。一旦确定了转向模型34，当操作员14不手动转向车辆12时，系统10能够操作转向致动器24以根据转向模型34转向车辆12。这提供了一种手段，藉此车辆12以类似于操作者14如何手动转向车辆12的方式被转向。作为示例而非限制，当操作者14不手动转向车辆12时，转向模型34可以输出转向轮16的期望角度40以转向车辆12。如本领域技术人员将认识到的，响应于期望角度40的变化值的转向致动器24的控制可以通过比例—积分—微分(PID)位置控制算法。替代地，转向致动器24的响应时间特性可以被包括在转向模型34中。在替代的非限制性实施例中，期望角度40可以替代地是期望转矩值，其由控制器32输出并且用于确定例如向转向致动器24施加多少电流以便转向致动器24产生或输出以改变转向轮16的转向角18。

图2示出了二进制向量36或其一部分的非限制性示例。如上所述，转向模型34可以由二进制向量36表征，二进制向量36可以由指示转向模型34的参数42的多个比特组成。二进制向量36的每个比特可以对应于输入的一个元素。例如，形成二进制向量36的比特可以指示各种天气条件并且使用1和0来指示那些天气条件。图2是可以如何指示一个愉快的晴天的合适的示例。对于所指示的天气条件42A，转向模型34模型将假定物体30容易或更自信地被相机26A检测/分类，并且牵引是好的。相反，当天气条件42A指示显示下雨或下雪时，操作者14可以以更谨慎的方式手动转向车辆12，因此可以调整转向模型34以在指示下雨或下雪条件时较不积极地转向车辆12。

尽管在图2中未示出，但天气条件42A可以包括温度44。温度44可以在二进制向量36中由八比特数字(000000000至11111111)指示，其中零(0)对应于小于或等于-65℃，并且11111111对应于大于或等于190℃。转向模型34可以使用温度44来帮助确定例如冰是否可能已经在道路上形成，或者估计车辆12的轮胎的刚度并且调整二进制向量36的参数42诸如车辆规格42C的转向响应时间46。

二进制向量36可以包括指示车辆状态42B的一个或多个参数42，诸如但不限于横向加速度48A和/或纵向加速度48B(图1中的横向/纵向加速度)、车辆速度50、偏航率52、和转向角18。因此，系统10可以包括或配备有加速度计54和/或速度传感器56。这些变量可以由输入到二进制向量36中的二进制数来指示。例如，车辆速度50可以由七比特二进制数指示，因此从零(0000000)到大于或等于一百二十七(1111111)英里每小时的速度可以被指示。

二进制向量36可以包括指示车辆规格42C的一个或多个参数42，诸如但不限于车辆尺寸58A(例如轮距和/或车身长度)、车辆质量58B、转向响应时间58D、和/或发动机功率58C。如果系统10识别出需要转向绕过(即避开)的物体30的实例，则所有这些变量都可以影响车辆12如何响应于转向角18的变化并由此影响操作者14关于舒适性和系统10的类似人类的转向行为感测到什么。

二进制向量36可以包括指示物体特性42D的一个或多个参数42，诸如但不限于物体位置60A、物体向量60B、物体分类60C、和车道位置60D。如上所述，物体30可以是存在于道路上或道路附近的任何物体。物体30可以是由系统10用来将车辆转向到车道位置60D的特定偏差(biased)值的某物。即，车道位置60D可能不是所选的行驶车道的中心。替代地，物体30可以在车辆12的向前行驶路径内，或者沿着将与向前行驶路径相交的方向(物体向量60B)移动。

作为进一步的示例，物体位置60A可以在二进制向量中通过物体30占据的关于车辆12的八个位置或方向中的哪个指示。八比特可以对应于图3中所示的方向，其可以在二进制向量36中分别被标记为<Dir_LF>、<Dir_F>、<Dir_RF>、<Dir_L>、<Dir_R>、<Dir_LB>、<Dir_B>、<Dir_RB>。如果物体30较大，诸如可能占据右前方，右方和右后方向或位置的半挂车/拖车，则二进制的物体位置60A可以是00101001。

物体分类60C可以由比特的组合来指示，以指示包括分类、距离和/或速度(如果物体30正在移动的话)的关于障碍物的各种信息。作为示例，0000表示没有障碍物，0001表示小汽车，0010表示人，0011表示动物，0100表示路障。距离和速度也可以在二进制向量36中以二进制形式指示。类似地，关于车道位置60D，000指示“在中间”，101指示“路的左侧”，001指示“路的右侧”，110指示“左侧的双车道”，且011指示“右侧的双车道”。

转向模型34可以被实施为具有例如ΔT＝0.1秒的采样/更新速率的离散时间模型。如果数据收集频率不同，则可以修改采样/更新速率。在时间T[i]，二进制向量36(即，用于转向模型34的输入)可以被表达为X_T[i]。转向模型34包括变换函数H_T[i]，其有时被称为隐藏层并且被表征为由神经元组成。即，这里的H_T[i]是具有新输入X_T[i]的时间T[i]处的隐藏层。作为进一步的解释，隐藏层中的神经元就像人脑中的神经元一样，从输入中“抓取”数据并从输入中提取特征或参数，使得大脑将学习如何识别/分类信息并对情况作出反应。隐藏层基本上是不可见的，但是非常重要，因为学习过程在这里发生。

时间T[i]处的转向模型34的输出可以被表达为Y_T[i]。输入(二进制向量36)，隐藏层H_T[i]和输出Y_T[i]可以通过权重矩阵WI、WH和WO彼此连接或相关。隐藏层H_T[i]可能已经“抓取”了将影响期望角度40的未来值的一些特征。因此，当在时间T_[i+1]处计算新的隐藏层时考虑H_T[i]。给定时间T[i+1]处的输入X_T[i+1]，则H_T[i+1]＝f(WI*X_T[i+1]+WH*H_T[i])，其中f是激活函数。通常，f(x)＝tanh，或f(x)＝1/(1+exp(-x))。因此，在T[i+1]的输出是：Y_T[i+1]＝fo(WO*(H_T[i+1]))，其中fo是激活函数并且通常fo＝tanh或fo是S形函数(sigmoid function)。

RNN被表征为监督学习算法，这意味着形成二进制向量36的输入数据被标记。被标记的数据意味着给定输入，给出所需的输出，因此将促使学习过程朝着可接受的解决方案。在这个示例中，在时间T[i]有真实的输出Yd_T[i]。然而，对于无监督学习，数据是未标记的，即，没有提供响应。系统10或者更具体地控制器32需要自己分类数据。一旦分类，系统10就使用“定时后向传播(backpropagation through time)”方法来调整权重矩阵WI、WH和WO。后向传播方法被用于通过梯度下降来最小化误差函数。

在时间T[i]，步差(step error)被表达为E_T[i]＝sum[(Yd_T[m]-Y_T[m])^2]，m＝1,2，...L，其中L是输出层中的神经元数。在时间T[n]处，将累积误差定义为在之前的时间的步差之和E_a＝sum(E_T[i])，i＝1,2,3，...n。方程式1-3说明了使用链规则应用定时后向传播来计算推导：

以及

使用梯度下降来更新WI、WH和WO提供方程式4-6。

新

新以及

新

其中η是学习速率。

RNN的问题是由Yoshua Bengio，Patrice Simard和Paolo Frasconi在由Bengio、Smiard和Frasconi在IEEE神经网络汇刊(IEEE transactions on Neural Networks)，卷5，第2号,1994年3月中出版的题为“利用梯度下降的学习长期依赖性是困难的(Learning Long-Term Dependencies with Gradient Descent is Difficult)”的出版物中提及的消失梯度问题。如果在训练过程中发生这个问题，则可以使用长短期记忆(LSTM)来避免它。下面给出的LSTM方法是从牛津大学计算机科学系出版的在线讲座笔记(第12讲)中采用的，其是2014-2015学年机器学习的课程教材。

图4示出了用于说明由控制器32执行的过程的逻辑图400的非限制性示例。逻辑图400中的操作对应于方程式7-12。

i_T[i+1]＝f(Wxi*x_T[i+1]+Whi*h_T[i]), 方程式7,

f_T[i+1]＝f(Wxf*x_T[i+1]+Whf*h_T[i]), 方程式8,

o_T[i+1]＝f(Wxo*x_T[i+1]+Who*h_T[i]), 方程式9,

g_T[i+1]＝g(Wxg*x_T[i+1]+Whg*h_T[i]), 方程式10,

c_T[i+1]＝i_T[i+1]●g_T[i+1]+f_T[i+1]●c_T[i] 方程式11,

h_T[i+1]＝o_T[i+1]●h(c_T[i+1]) 方程式12,

其中函数f、g、h是激活函数，其可以是S形(sigmoid)函数、tanh，并且●表示按元素(element-wise)乘法。

对于新的h_T[i+1]，重复上述过程。这里使用Wxi、Whi、Wxf、Whf、Wxo、Who、Wxg和Whg代替WI、WH。使用定时后向传播来调整权重矩阵。在实践中，有几种方法可以影响学习性能。隐藏层中的神经元数量是不确定的，并且它影响训练结果。为了达到最佳结果，将数据分为两部分：训练集和测试集。使用训练集来应用上述算法来获得权重并使用测试集来获得误差。调整神经元数量并重复学习过程，直到误差达到最小。改善结果的另一种方法可以是添加偏差并在后向传播期间调整偏差。在该算法中添加更多隐藏层是提高性能的另一种方法。添加更多隐藏层意味着将为下一步考虑更多先前的时间步骤。

系统10学习以类似于人类(例如，操作者14)的方式转向车辆12。为了避免学习不良驾驶习惯，有两种选择：一种是应用过滤器以忽略不良驾驶时间并保持良好的驾驶时间来学习；另一种是记录好的驾驶员的数据。或者将两种方法结合在一起以达到最佳结果。

本文描述的转向模型提供了可以以模仿操作者的方式转向车辆12的系统10。对系统10的进一步理解由下面描述的几个“使用情况”的描述提供。对于每个使用情况，输入可以不同，但并非每个情况都需要考虑所有输入。

最简单的情况是车道保持。在这种情况下，输入可以被定义为如下简单：到车道边界的距离(车道位置60D)，转向角18的当前值以及车辆速度50的当前值。通常，知道控制算法倾向于朝向行驶车道的中心转向车辆。然而，不同的人有不同的驾驶习惯。转向模型34的输出不需要将车辆保持在中心。它与其数据用于训练的操作者14更相似。

车道变换也很常见。除了用于车道保持的输入之外；还可能需要考虑用于障碍物分类，障碍物尺寸和到物体30的距离的输入。注意到不同的人以不同的方式处理驾驶情况；一些驾驶员可能希望尽可能早地避开障碍物，而一些驾驶员倾向于在靠近障碍物时快速变换车道。通常，只要对他们自己和他人安全，没有固定的标准来评判操作者14的驾驶习惯。通过使用不同的训练数据，可以更好地调整经训练的模型以满足不同人的习惯。

另一种情况与高速公路上存在的情况类似：恒定的非零曲率路径，并且还包括车辆从高速公路到斜坡过渡时具有不连续曲率的点。在这种情况下，除了车道保持之外，舒适度更重要。一直停留在车道中心可能不是好的选择。大多数人在右转的斜坡上时将靠近右侧车道边界驾驶并且在左转的斜坡上时靠近左侧车道边界驾驶，使得半径比只是沿着中心行驶大，并且对驾驶员/乘客施加的力被减小。如果这种场景在训练数据库中，那么经训练的模型应该能够提供更接近人的扭矩曲线。

因此，提供了用于自动化车辆的人性化转向系统(系统10)和用于系统10的控制器32。系统10使用深度学习技术因此转向模型34能够更好地模仿人类(例如，操作者14)的转向行为。

尽管已经根据本发明的优选实施例描述了本发明，但是并不旨在受限于此，而是仅受随后的权利要求书中所阐述的范围限制。

权利要求书(按照条约第19条的修改)

1.一种用于自动化车辆的人性化转向系统，所述系统包括：

一个或多个转向轮，所述一个或多个转向轮可操作为转向车辆；

角度传感器，所述角度传感器被配置成确定所述转向轮的转向角；

手轮，所述手轮由所述车辆的操作者用来影响所述转向角并由此手动转向所述车辆；

转向致动器，所述转向致动器可操作为影响所述转向角由此当所述操作者不手动转向所述车辆时转向所述车辆；

位置传感器，所述位置传感器可操作为指示接近所述车辆的物体的相对位置；以及

控制器，所述控制器被配置为：

接收所述转向角和所述相对位置，

使用深度学习技术，当所述操作者确实手动转向所述车辆时基于所述转向角和所述相对位置确定转向模型，并且

当所述操作者不手动转向所述车辆时操作所述转向致动器以根据所述转向模型转向所述车辆，由此以与所述操作者如何手动转向所述车辆相似的方式转向所述车辆。

2.根据权利要求1所述的系统，其中，当所述操作者不手动转向所述车辆时，所述转向模型输出转向轮的期望角度以转向所述车辆。

3.根据权利要求1所述的系统，其中，所述转向模型通过由指示所述转向模型的参数的多个比特组成的二进制向量表征。

4.根据权利要求3所述的系统，其中，所述二进制向量包括指示天气条件的参数。

5.根据权利要求4所述的系统，其中，所述天气条件包括晴、多云、有雾、下雨、下雪、有风、和温度。

6.根据权利要求3所述的系统，其中，所述二进制向量包括指示车辆状态的参数。

7.根据权利要求6所述的系统，其中，所述车辆状态包括车道位置、横向加速度、纵向加速度、车辆速度、和所述转向角。

8.根据权利要求3所述的系统，其中，所述二进制向量包括指示车辆规格的参数。

9.根据权利要求8所述的系统，其中，所述车辆规格包括车辆尺寸、车辆质量、转向响应时间、和发动机功率。

10.根据权利要求3所述的系统，其中，所述二进制向量包括指示物体特性的参数。

11.根据权利要求10所述的系统，其中，所述物体特性包括物体位置、物体向量、物体分类、和车道位置。

12.根据权利要求3所述的系统，其中，所述二进制向量包括指示天气条件、车辆状态、车辆分类、和物体特性的参数。