车道标记检测的制作方法

车道标记检测
1.相关申请的交叉引用
2.本技术要求于2021年3月12日提交的美国专利申请no.17/200,592的优先权，该美国专利申请要求于2020年3月12日提交的临时专利申请no.62/988,795的权益和优先权，这些申请中的每件申请的全部内容通过援引纳入于此。
3.引言
4.本公开的各方面涉及用于快速和稳健的车道检测的系统和方法。
5.现代交通工具越来越多地装备有先进驾驶员辅助系统，先进驾驶员辅助系统可尤其包括用于辅助和自主驾驶功能的车道检测。用于车道检测的现有技术是缓慢的，需要大量的手动配置，并且跨许多驾驶场景缺乏稳健性。由此，用于车道检测的现有系统不适用于现代交通工具。
6.相应地，需要的是提供快速和稳健的车道检测的系统和方法。
7.简要概述
8.某些方面提供了一种用于车道标记检测的方法，该方法包括：接收输入图像；将该输入图像提供给车道标记检测模型；使用该车道标记检测模型的共享车道标记部分来处理该输入图像；使用该车道标记检测模型的多个车道标记特定表示层来处理该车道标记检测模型的该共享车道标记部分的输出以生成多个车道标记表示；以及基于该多个车道标记表示来输出多个车道标记。
9.其他方面提供了：处理系统，其被配置成执行前述方法以及本文中所描述的那些方法；非瞬态计算机可读介质，其包括在由处理系统的一个或多个处理器执行时使该处理系统执行前述方法以及本文中所描述的方法的指令；计算机程序产品，其被实施在计算机可读存储介质上，该计算机可读存储介质包括用于执行前述方法以及本文中进一步描述的那些方法的代码；以及处理系统，其包括用于执行前述方法以及本文中进一步描述的那些方法的装置。
10.附图简述
11.附图描绘了该一个或多个方面中的某些方面，并且因此不被认为限制本公开的范围。
12.图1描绘了道路上的车道标记的示例。
13.图2描绘了示例先进驾驶员辅助系统或自动驾驶系统的各方面。
14.图3描绘了示例车道标记检测模型架构的各方面。
15.图4描绘了可被用于车道标记检测模型中的压缩(或“挤压”)层的示例水平缩减模块。
16.图5描绘了用于检测车道标记的示例方法。
17.图6描绘了可被配置成如本文中所描述地检测车道标记的示例处理系统。
18.为了促成理解，在可能之处使用了相同的附图标记来指定各附图共有的相同要素。构想一个方面的要素和特征可有益地被纳入到其他方面中而无需进一步引述。
19.详细描述
20.本文中所公开的系统和方法在各种应用中实现快速和稳健的车道检测。例如，本文中所公开的系统和方法可在具有辅助和自主驾驶功能的交通工具中实时地实现对车道标记的准确和稳健定位。
21.一般地，车道标记是路面上的传达信息(诸如道路上何处存在车道)的装置或材料。车道标记的示例包括绘制的交通线、绘制的人行横道、绘制的停车位、残疾人停车位、反射标记、路缘、排水沟、波茨点(botts’dots)和隆起带，仅列举几个示例。
22.车道标记可被用于自主交通工具导航。例如，交通工具可包括先进驾驶员辅助系统(adas)或高级自动驾驶系统(sds)。此类系统在很大程度上基于计算机视觉技术的并发改进而被广泛地采用。
23.尽管存在与adas和sds系统相关的数个组件(诸如车道标记检测、交通工具检测跟踪、障碍物检测、场景理解和语义分割)，但是车道检测是用于摄像机感知和定位的关键组件。例如，车道检测对于将交通工具保持在自我车道(该交通工具所处的车道，也可被称为主车道)内以及辅助交通工具变道至自我车道的左侧或右侧是必须的。
24.大多数常规车道标记检测方法基于两阶段语义分割办法。在此类办法的第一阶段，网络被设计成执行像素级分类，其将图像中的每个像素指派给二元标签：车道或非车道。然而，在每个像素分类中，不考虑像素之间的依赖性或结构，并且由此在第二阶段中执行附加的后处理以显式地施加约束，诸如检测到的线的唯一性和直线性。后处理可使用例如条件随机场、附加网络、或复杂的计算机视觉技术(如随机抽样一致性(ransac))来应用，但是这些后处理技术需要高计算复杂度，并且通常需要仔细和手动地集成到车道标记检测系统中。如此，两阶段语义分割办法难以部署在各种应用中。
25.当前车道标记检测方法的另一问题是功耗。处理图像流中的每个图像可能需要大量的算力，这在汽车环境中并不总是可获得或可行的。具体而言，对于电动交通工具，车载系统的功耗是一个重要考虑。
26.相比之下，本文中所描述的各方面涉及一种高效的端到端架构，这种架构直接预测车道标记顶点，而无需任何成本高昂的后处理步骤。更具体地，在本文中所描述的各方面，车道标记检测问题被视为逐行的分类任务，其中在图像中从左到右扩展的车道标记的结构形状被建模为单个模型中的两个层子集。第一模型层子集被配置成对所有车道的共享表示的水平分量进行压缩和建模，而第二模型层子集被配置成基于该共享表示对每个车道进行建模以直接输出车道标记顶点。在一些方面，目标车道标记位置在运行时通过argmax函数高效地获得。
27.由此，本文中所描述的各方面有益地对用于车道检测的常规办法进行了改进，无需进行复杂的后处理，这减少了使用时的算力、计算时间和功率使用。如此，本文中所描述的各方面可有益地部署在更多应用和环境中。
28.道路上的示例车道标记
29.图1描绘了道路104上的车道标记102的示例。在该示例中，车道标记102是在道路104上绘制的条带，但是在其他示例中，车道标记可以是任何种类的可识别的车道划分。车道标记102可由车道标记检测系统检测并且被用于为交通工具中的先进驾驶员辅助系统以及半自动和自动驾驶系统确定车道。
30.示例电子车道标记检测系统
31.图2描绘了示例先进驾驶员辅助系统或自动驾驶系统200的各方面。系统200可被配置成与本地传感器以及边缘处理能力(诸如由映射算法218提供)一起工作。
32.在该方面，系统200包括一个或多个摄像机202、全球定位系统(gps)204、惯性测量单元(imu)206、传感器同步板208和一个或多个处理器220。在该示例中，处理器220包括传感器驱动器模块210、定位引擎212、感知引擎214以及数据聚集和连通性模块216。处理器220通常可在无线或有线网络上与一个或多个设备进行通信。
33.在一些方面，前端传感器(诸如摄像机202、gps接收机204和imu 206)可以是消费级传感器。传感器同步板208可包括控制所有传感器的时间戳的嵌入式微控制器。在一些方面，传感器同步板208可生成定时误差小于10微秒的时间戳。
34.摄像机202、gps 204和imu 206的输出可被馈送到定位引擎212和感知引擎214两者。感知引擎214被配置成检测传入视频流中的关键地标(例如，车道标记)并在图像帧中准确地定位它们。定位引擎212被配置成通过将gps信号、惯性传感器读数与摄像机视频输入进行相关来提供对摄像机姿态的准确估计(例如，在六自由度中)。
35.定位引擎212和感知引擎214的输出可经由数据聚集和连通性模块216来聚集并发送到边缘处理服务，诸如云处理系统。在一些方面，映射算法218可生成对全局帧中的地标的位置估计，其中该全局帧包括整个地图或大部分地图。
36.车道标记检测模型架构
37.与常规的基于分割的车道检测技术不同，本文中所描述的各方面直接识别图像输入数据中的车道标记位置。更具体地，给定输入图像x∈rh×w×c，其中h是图像数据的高度(例如，以像素为单位)，w是图像数据的宽度(例如，像素为单位)，而c是图像中的通道数目，目标是找到车道标记li(i＝1,
…
,n
车道
)顶点集{vl
ij
}＝{(x
ij
,y
ij
)}(j＝1,
…
,k)，其中n
车道
是图像中的车道数目(通常是预定义的)，而k是顶点总数。
38.本文中所描述的方法通过在图像中找到车道标记的水平位置集来降低上述目标的复杂度。具体地，车道标记的逐行表示可通过以下方式来确定：将图像划分成行，并使用卷积神经网络取决于所选损失函数将车道标记检测任务作为逐行位置分类问题或回归问题来解决。注意到，对于逐行表示，可能的顶点总数k被限为图像高度h。在一些方面，网络可执行逐行回归以标识车道位置，如下文更详细地描述的。
39.本文中所讨论的车道标记检测模型(例如，卷积神经网络模型)输出三个预测：(1)车道顶点的水平位置x
ij
；(2)逐顶点的存在置信度vc
ij
；以及(3)逐车道标记的存在置信度l
ci
。根据这些模型输出，每个车道标记li可通过以下表达式来获得：
[0040][0041]
其中vl
ij
是与车道标记相关联的顶点集{(x
ij
,y
ij
)}，并且t
vc
和t
lc
分别是逐顶点的存在置信度以及逐车道的存在置信度的阈值。
[0042]
图3描绘了示例车道标记检测模型架构的各方面，诸如可由图2中的感知引擎214来实现。车道标记检测模型可被配置为深度神经网络，该深度神经网络被训练成预测输入图像数据(例如，图像301)中的车道标记的位置，该位置随后可被用来预测车道表示(例如，输出图像321中的322)。
[0043]
在以下讨论中，车道表示通常可指道路上的行车道的边界。例如，交通工具正在行驶的当前或自我车道可包括在左侧和右侧界定该车道的两个表示边界。类似地，当前车道左侧的车道可包括其自身的两个表示边界，在一些情形中，这两个表示边界可包括共享边界表示。例如，当前车道的左边界表示可表示当前车道左侧的车道的右边界表示。
[0044]
在该示例中，模型架构300包括三个模型内阶段302a-c。第一阶段302a包括被配置成对图像中的车道标记的信息进行编码的编码器-解码器方式的分割网络304。与常规的图像分割不同，在该示例中，编码器-解码器方式的分割网络304被配置成恢复输入图像301的一半空间分辨率以有益地降低计算复杂度。换言之，在该示例中，输入图像301包括128高x512宽x3通道(例如，红、绿、蓝)的输入分辨率，而编码器-解码器方式的分割网络304的输出是128高x256宽x3通道。值得注意的是，这些分辨率以及图3中所描绘的其他分辨率仅仅是示例，并且其他分辨率也是可能的。此外，其他方面可略去编码器-解码器网络，以支持其他图像数据压缩技术，包括其他种类的神经网络块。
[0045]
第二阶段302b包括由所有潜在车道标记表示共享的层，并且可被称为共享缩减层，在该示例中包括三个层306、308和310。在第二阶段302b中，共享车道标记表示的水平(h)维度在每个相继层中使用水平缩减模块(hrm)逐渐被压缩(或“挤压”)，而不改变垂直维度。示例hrm参照图4来描述。这种形式的压缩运算以自然的方式导致逐行表示，因为hrm连续挤压空间宽度分量，以使得例如在每个车道的最终特征处在每列(每个宽度)中仅存在一个车道顶点。
[0046]
第三阶段302c包括车道特定缩减层，在该示例中包括层314、316、318和320。在第三阶段303c中，车道特定缩减层进一步使用车道特定hrm来压缩车道标记表示以生成单个矢量车道标记表示(诸如316)。
[0047]
值得注意的是，阶段302b中的共享表示以及阶段302c中的车道特定表示允许调谐整个模型的性能。为了计算效率，在阶段302b中跨车道共享第一缩减层子集，继之以在阶段302c中的第二逐车道缩减层子集。在阶段302c中为每个车道标记表示使用专用缩减层改进了整个模型的性能，因为每个车道标记表示具有不同的固有空间和形状特性。在使用更多共享层的情况下，可节省附加计算成本，但是每个车道的准确度可能被降级。如此，可针对应用来调谐性能。
[0048]
阶段302c包括用于每个车道特定表示li的两个分支(其中作为示例在图3中表示出六个车道特定表示)：逐行的顶点位置分支320和逐顶点的置信度分支318，这两个分支被配置成对最终压缩层316执行分类和置信度回归。在该方面，最终(和完全)压缩层316具有仅垂直维度上的空间分辨率以及根据目标水平分辨率h
′
(例如，h
′
＝h/2)的数个通道。分类分支320预测车道标记li的水平位置x
ij
，其可将所预测的顶点设为(x
ij
,y
ij
),y
ij
∈h
′
。置信度318分支预测顶点置信度vc
ij
，该置信度与车道标记的每个顶点vl
ij
是否存在相关。
[0049]
最终，车道标记存在置信度层312在共享hrm之后产生置信度l
ci
。车道标记存在与是否在图像数据中检测到语义车道标记(例如，当前车道的左标记、当前车道的右标记、左一车道的左标记、左一车道的右标记、右一车道的左标记、右一车道的右标记等)相关。
[0050]
图4描绘了可被用于如图3中所讨论的压缩(或“挤压”)层的示例性水平缩减模块400。
[0051]
为了高效地压缩水平车道标记表示，在水平缩减模型400中使用残差层。具体地，
将具有1
×
1卷积的水平平均池化层添加到跳跃连接402以对水平分量进行下采样。尽管池运算让较深层收集更多的空间上下文(以改进分类)并减少运算型计算，但是它们仍具有降低像素精度的缺点。因此，为了高效地保持和增强c
×h×
w元素的水平表示，输入张量(x)在残差分支404中被重新排列成形状为rc
×h×
w/r的张量。该运算可被称为水平像素反移层。通过重新排列输入张量的表示，空间信息可被高效地移动到通道维度。
[0052]
在重新排列输入张量之后，可应用框406处的卷积(conv)运算以将增加的通道维度rc减小回到原始通道维度c，这不仅减少了计算负担，而且还有助于高效地压缩来自像素反移层的车道标记空间信息。
[0053]
随后在410，将残差分支404的输出与跳跃连接402组合，其中经组合的结果随后被提供给激活函数(诸如在该示例中为relu(412))。
[0054]
为了进一步改善车道标记之间的区别，可通过挤压和激励(se)块408的方式来添加注意机制。se块通过聚集整个感受野中的信息来帮助在决策过程中包括全局信息，并重新校准具有由像素反移层编码的空间信息的逐通道的特征响应。
[0055]
由此，水平缩减模块400有益地压缩空间车道标记信息以生成经压缩的水平表示输出
[0056]
用于车道标记检测模型的示例训练方法
[0057]
在一个示例中，训练目标是优化总损失l，l由下式给出：
[0058]
l＝l
vl
+λ1l
vc
+λ2l
lc
,
[0059]
其中，l
vl
、l
vc
和l
lc
分别是车道标记顶点位置、车道标记顶点置信度以及逐车道标记的置信度的损失，以及λ1和λ2是后两个损失的权重，这允许对训练进行精细调谐。
[0060]
关于车道标记顶点位置损失(l
vl
)，因为车道标记检测被编制对车道标记的水平位置的逐行分类，因此用于分类的任何损失函数都可被用来训练车道标记顶点分支，包括交叉熵、kullback
–
leibler(kl)散度、以及分段线性概率(pl)损失，仅列举几个示例。
[0061]
车道标记li在垂直位置y
ij
处的交叉熵损失可使用真值位置以及具有w＝2个通道的所预测对数f
ij
来计算。
[0062]
为了使用kl散度损失来训练车道标记顶点位置分支，车道标记位置的尖峰目标分布可作为拉普拉斯(laplace)分布laplace
gt
(μ,b)，其中且b＝1，并且随后与所估计的分布laplace
预测
(μ,b)进行比较，其中：
[0063][0064]
并且
[0065]
在pl损失的情形中，车道标记位置概率可被建模为分段线性概率分布。对于输入图像，总车道标记顶点位置损失由下式给出：图像，总车道标记顶点位置损失由下式给出：其中e
ij
通过以下方式来表示是否存在真值：若存在具有y
ij
处的顶点的车道标记li，则设为1，若不存在，则设为0。
[0066]
对于车道标记顶点置信度损失，车道标记顶点存在是二元分类问题，由此使用车
道标记li的每个y
ij
位置处的单个标量值预测与真值存在e
ij
之间的二元交叉熵损失进行训练。整个图像的损失则被计算为：
[0067][0068]
对于车道标记的标志丢失，可添加二元交叉熵损失来训练车道标记级存在预测。损失使用所预测的n
车道
维向量和每个车道li的真值的存在来计算。
[0069]
总损失随后被计算为
[0070]
使用车道标记检测模型的推断
[0071]
在推断时，可基于所选损失函数(例如，选自如上所述的那些损失函数)来预测所估计的顶点位置。具体地，若使用交叉熵或pl损失，则可通过使用argmax函数来选择车道标记顶点。若取而代之地使用kl散度损失，则可通过使用softargmax来提取所估计的顶点。为了考虑每个车道标记顶点的存在，可根据上式1，使用顶点和逐车道的存在分支的sigmoid输出来拒绝低置信度位置。
[0072]
用于检测车道标记的示例方法
[0073]
图5描绘了用于检测车道标记的示例方法500。
[0074]
方法500在步骤502始于接收输入图像。在一些示例中，该输入图像包括h个垂直像素、w个水平像素和c个通道，诸如举例而言关于图3所描述的。该输入图像通常可以是静止图像、视频流中的图像流的图像或帧等。
[0075]
方法500随后行进到步骤504，其中将该输入图像提供给车道标记检测模型，诸如以上关于图3所描述的模型。
[0076]
方法500随后行进到步骤506，其中使用该车道标记检测模型的共享车道标记部分来处理该输入图像，诸如以上关于图3中的302b所描述的。在一些情形中，使用该车道标记检测模型的该共享车道标记部分来处理该输入图像包括：通过该车道标记检测模型的多个共享车道标记表示层来处理该输入图像。
[0077]
方法500随后行进到步骤508，其中使用该车道标记检测模型的多个车道标记特定表示层来处理该车道标记检测模型的该共享车道标记部分的输出以生成多个车道标记表示，诸如以上关于图3中的302c所描述的。在一些方面，每个车道标记特定表示层与多个车道标记表示中的一个车道标记表示相关联，并且每个车道标记表示可与该多个车道标记特定表示层的子集相关联。
[0078]
方法500随后行进到步骤510，其中基于该多个车道标记表示来输出多个车道标记。
[0079]
在方法500的一些方面，输出该多个车道标记(例如，li)包括，对于该多个车道标记中的每个车道标记：使用该车道标记检测模型的第一输出层来预测车道顶点(例如，x
ij
)的水平位置；使用该车道标记检测模型的第二输出层来预测逐顶点的存在置信度(例如，vc
ij
)；以及使用该车道标记检测模型的第三输出层来预测逐车道标记的存在置信度(例如，l
ci
)。
[0080]
在方面500的一些方面，输出该多个车道标记进一步包括：使用以下表达式来预测
每个车道标记li：
[0081][0082]
其中vl
ij
是与每个车道标记li相关联的顶点集{(x
ij
,y
ij
)}。
[0083]
在一些方面，方法500进一步包括：使用编码器-解码器分割网络来压缩该输入图像。
[0084]
在方法500的一些方面，用于每个相应车道标记特定表示的最后车道标记特定表示层包括h个垂直像素、1个水平像素和c个通道的大小。
[0085]
在一些方面，方法500进一步包括：使用一个或多个水平缩减模块来在该车道标记检测模型的该共享车道标记部分中压缩输入数据，诸如以上关于图3和4所描述的。
[0086]
在一些方面，方法500进一步包括：使用一个或多个附加水平缩减模块来在该车道标记检测模型的该多个车道标记特定表示层中压缩输入数据，诸如以上关于图3和4所描述的。
[0087]
在一些方面，方法500进一步包括：在输出图像上显示多个车道表示，诸如在图3中所描绘的(例如，322)。
[0088]
注意到，方法500是一个示例方法，并且其他方法也是可能的。具体而言，与本文中所描述的各个方面一致的方法500相比，其他示例可包括更少、附加和/或替代步骤。
[0089]
示例处理系统
[0090]
图6描绘了可被配置成如在本文中关于图5的方法500所描述的那样检测车道标记的示例处理系统600。
[0091]
处理系统600包括中央处理单元(cpu)602，cpu 602在一些示例中可以是多核cpu。在cpu 602处执行的指令可例如从与cpu 602相关联的程序存储器加载或可从存储器分区624加载。
[0092]
处理系统600还包括为特定功能定制的附加处理组件，诸如图形处理单元(gpu)604、数字信号处理器(dsp)606、神经处理单元(npu)608、多媒体处理单元610和无线连通性组件612。在一些示例中，cpu 602、gpu 604、dsp 606和npu 608中的一者或多者可充当图2的处理器202。
[0093]
npu(诸如608)一般是被配置成用于实现用于执行机器学习算法(诸如用于处理人工神经网络(ann)、深度神经网络(dnn)、随机森林(rf)等的算法)的所有必要的控制和算术逻辑的专用电路。npu有时可被替换地称为神经信号处理器(nsp)、张量处理单元(tpu)、神经网络处理器(nnp)、智能处理单元(ipu)、视觉处理单元(vpu)或图形处理单元。
[0094]
npu(诸如608)被配置成加速常见机器学习任务(诸如图像分类、机器翻译、对象检测以及各种其他预测模型)的执行。在一些示例中，多个npu可被实例化在单个芯片(诸如片上系统(soc))上，而在其他示例中，多个npu可以是专用神经网络加速器的一部分。
[0095]
npu可被优化以用于训练或推断，或者在一些情形中可被配置成平衡训练与推断之间的性能。对于能够执行训练和推断两者的npu，这两个任务可能通常仍然是独立执行的。
[0096]
被设计成加速训练的npu一般被配置成加速对新模型的优化，这是涉及输入现有
数据集(常常是被标记的或含标签的)、在数据集上进行迭代、以及接着调节模型参数(诸如权重和偏置)以便改进模型性能的高度计算密集的操作。一般而言，基于错误预测进行优化涉及往回传递通过模型的各个层并确定梯度以减少预测误差。在一些实施例中，npu 608可被配置成训练图3的模型架构300的各个方面。
[0097]
被设计成加速推断的npu一般被配置成在完整模型上操作。此类npu因而可被配置成输入新的数据片段以及通过已经训练好的模型来快速处理该数据片段以生成模型输出(例如推断)。在一些实施例中，npu 608可被配置成处理图3的模型架构300的各个方面。
[0098]
在一种实现中，npu 608是cpu 602、gpu 604和/或dsp 606中的一者或多者的一部分。
[0099]
在一些示例中，无线连通性组件612可包括例如用于第三代(3g)连通性、第四代(4g)连通性(例如，4g lte)、第五代连通性(例如，5g或nr)、wi-fi连通性、蓝牙连通性、以及其他无线数据传输标准的子组件。无线连通性处理组件612进一步连接到一个或多个天线614。
[0100]
处理系统600还可包括与任何方式的传感器相关联的一个或多个传感器处理单元616、与任何方式的图像传感器相关联的一个或多个图像信号处理器(isp)618、和/或可包括基于卫星的定位系统组件(例如，gps或glonass)以及惯性定位系统组件的导航处理器620。在一些示例中，传感器616可包括图2的摄像机202和imu 206。在一些示例中，导航处理器620可包括图2中的gps 204。
[0101]
处理系统600还可包括一个或多个输入和/或输出设备622，诸如屏幕、触敏表面(包括触敏显示器)、物理按钮、扬声器、话筒等等。
[0102]
在一些示例中，处理系统600的一个或多个处理器可基于arm或risc-v指令集。
[0103]
处理系统600还包括存储器624，该存储器624代表一个或多个静态和/或动态存储器，诸如动态随机存取存储器、基于闪存的静态存储器等。在该示例中，存储器624包括计算机可执行组件，其可由处理系统600的前述处理器中的一个或多个处理器执行。
[0104]
在该示例中，存储器624包括接收组件624a(例如，用于接收要由车道标记检测模型处理的输入数据)、处理组件624b(例如，用于处理本文中所描述的车道标记检测模型的各个方面)、压缩组件624c(例如，用于压缩数据，诸如通过水平缩减模块)、预测(或输出)组件624d(诸如举例而言本文中所描述的车道标记检测模型的各种输出)、训练组件624e(例如，用于训练车道标记检测模型)、推断组件624f、编码组件624g(例如，用于编码输入数据)、解码组件624h(例如，用于解码经编码的数据)、显示组件624i(例如，用于显示车道标记和其他信息)、以及模型参数624j(例如，包括用于诸如本文中所描述的车道标记检测模型的参数)。所描绘的组件以及未描绘的其他组件可被配置成执行本文中所描述的方法的各方面。
[0105]
例如，接收组件624a可被配置成接收输入数据，诸如输入图像数据。
[0106]
值得注意的是，在其他实施例中，处理系统600的各方面可被略去，诸如在处理系统600是服务器计算机等的情况下。例如，在其他实施例中，多媒体组件610、无线连通性612、传感器616、isp 618和/或导航组件620可被略去。此外，处理系统600的各方面可以是分布式的。
[0107]
注意到图6仅仅是一个示例，并且在其他示例中可使用具有更少、附加和/或替代
组件的替代处理系统。
[0108]
示例条款
[0109]
在以下经编号条款中描述了各实现示例。
[0110]
条款1：一种方法，包括：接收输入图像；将该输入图像提供给车道标记检测模型；使用该车道标记检测模型的共享车道标记部分来处理该输入图像；使用该车道标记检测模型的多个车道标记特定表示层来处理该车道标记检测模型的该共享车道标记部分的输出以生成多个车道标记表示；以及基于该多个车道标记表示来输出多个车道标记。
[0111]
条款2：如条款1的方法，其中使用该车道标记检测模型的该共享车道标记部分来处理该输入图像包括：通过该车道标记检测模型的多个共享车道标记表示层来处理该输入图像。
[0112]
条款3：如条款1-2中任一者的方法，其中输出该多个车道标记包括，对于该多个车道标记中的每个车道标记：使用该车道标记检测模型的第一输出层来预测车道顶点的水平位置；使用该车道标记检测模型的第二输出层来预测逐顶点的存在置信度；以及使用该车道标记检测模型的第三输出层来预测逐车道标记的存在置信度。
[0113]
条款4：如条款3的方法，其中预测该多个车道标记li进一步包括：根据下式来预测每个车道标记li：其中vl
ij
是与每个车道标记li相关联的顶点集{(x
ij
,y
ij
)}，t
vc
是逐顶点的存在置信度，而t
lc
是逐车道的存在置信度阈值。
[0114]
条款5：如条款1-4中任一者的方法，进一步包括：使用编码器-解码器分割网络来压缩该输入图像。
[0115]
条款6：如条款1-5中任一者的方法，其中用于每个相应车道标记特定表示的最后车道标记特定表示层包括h个垂直像素、1个水平像素和c个通道的大小。
[0116]
条款7：如条款1-6中任一者的方法，进一步包括：使用一个或多个水平缩减模块来在该车道标记检测模型的该共享车道标记部分中压缩输入数据。
[0117]
条款8：如条款7的方法，进一步包括：使用一个或多个附加水平缩减模块来在该车道标记检测模型的该多个车道标记特定表示层中压缩输入数据。
[0118]
条款9：如条款1-7中任一者的方法，进一步包括：在输出图像上显示多个车道表示。
[0119]
条款10：一种训练车道标记检测模型的方法，包括最小化由l＝l
vl
+λ1l
vc
+λ2l
lc
给出的总损失l，其中l
vl
是车道标记顶点位置损失分量，l
vc
是车道标记顶点置信度损失分量，l
lc
是逐车道标记的置信度损失分量，λ1是第一损失调谐参数，且λ2是第二损失调谐参数。
[0120]
条款11：一种处理系统，包括：包括计算机可执行指令的存储器；一个或多个处理器，该一个或多个处理器被配置成执行计算机可执行指令并使该处理系统执行根据条款1-10中任一者的方法。
[0121]
条款12：一种处理系统，包括用于执行根据条款1-10中任一者的方法的装置。
[0122]
条款13：一种包括计算机可执行指令的非瞬态计算机可读介质，这些计算机可执行指令在由处理系统的一个或多个处理器执行时使该处理系统执行根据条款1-10中任一
者的方法。
[0123]
条款14：一种实现在计算机可读存储介质上的计算机程序产品，该计算机可读存储介质包括用于执行根据条款1-10中任一者的方法的代码。
[0124]
附加考虑
[0125]
提供先前描述是为了使本领域任何技术人员均能够实践本文中所描述的各种方面。本文中所讨论的示例并非是对权利要求中阐述的范围、适用性或者方面的限定。对这些方面的各种修改将容易为本领域技术人员所明白，并且在本文中所定义的普适原理可被应用于其他方面。例如，可以对所讨论的要素的功能和布置作出改变而不会脱离本公开的范围。各种示例可恰适地省略、替代、或添加各种规程或组件。例如，可以按与所描述的次序不同的次序来执行所描述的方法，并且可添加、省略、或组合各种步骤。而且，参照一些示例所描述的特征可在一些其他示例中被组合。例如，可使用本文中所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各个方面的补充或者不同于本文中所阐述的本公开的各个方面的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
[0126]
如本文中所使用的，术语“示例性”意指“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
[0127]
如本文中所使用的，引述一列项目“中的至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多重相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。
[0128]
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、查明及诸如此类。而且，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)及诸如此类。而且，“确定”可包括解析、选择、选取、建立及诸如此类。
[0129]
本文中所公开的各方法包括用于实现方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。此外，上述方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(asic)、或处理器。一般地，在存在附图中解说的操作的场合，这些操作可具有带相似编号的相应配对装置加功能组件。
[0130]
以下权利要求并非旨在被限定于本文中示出的各方面，而是应被授予与权利要求的语言相一致的全部范围。在权利要求内，对单数元素的引用不旨在意指“有且只有一个”(除非专门如此声明)，而是“一个或多个”。除非特别另外声明，否则术语“一些/某个”指的是一个或多个。权利要求的任何要素都不应当在35 u.s.c.
§
112(f)的规定下来解释，除非该要素是使用短语“用于
……
的装置”来明确叙述的或者在方法权利要求情形中该要素是使用短语“用于
……
的步骤”来叙述的。本公开通篇描述的各个方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且旨
在被权利要求所涵盖。此外，本文中所公开的任何内容都不旨在捐献于公众，无论此类公开内容是否明确记载在权利要求书中。