使用车道掩码检测包含于输入图像的车道线的方法及装置与流程

本发明涉及使用车道掩码检测车道线的方法及装置、以及利用其的测试方法及测试装置。更具体来讲，涉及的学习方法及装置、利用其的测试方法及测试装置中，所述学习方法为使用车道掩码(lanemask)检测包含于输入图像的一个以上的车道线的方法，其特征在于，包括：(a)(i)第一cnn(convolutionneuralnetwork:卷积神经网络)对所述输入图像适用至少一个第一卷积运算生成最终特征图，(ii)使用所述最终特征图生成了分割得分图(segmentationscoremap)及嵌入特征图(embeddedfeaturemap)的状态下，学习装置使第二cnn获取所述最终特征图、所述分割得分图及所述嵌入特征图的步骤；(b)所述学习装置使所述第二cnn的车道掩蔽层(i)参照所述分割得分图及所述嵌入特征图从所述最终特征图上识别对应于包含在所述输入图像的所述车道线的一个以上的车道线后补，(ii)对与所述车道线后补对应的一个以上的区域赋予一个以上的加权值以在所述最终特征图上生成所述车道掩码，(iii)参照所述最终特征图及所述车道掩码生成掩蔽的特征图(maskedfeaturemap)的步骤；(c)所述学习装置使所述第二cnn的卷积层对掩蔽的所述特征图适用至少一个第二卷积运算生成车道特征图(lanefeaturemap)的步骤；(d)所述学习装置使所述第二cnn的第一fc层参照所述车道特征图生成柔性最大值得分图(softmaxscoremap)，使所述第二cnn的第二fc层参照所述车道特征图生成一个以上的车道参数的步骤；(e)所述学习装置(i)使所述第二cnn的多项逻辑斯蒂损失层(multinomiallogisticlosslayer)参照所述柔性最大值得分图及与其对应的第一gt生成柔性最大值损失值，(ii)使所述第二cnn的直线拟合损失层参照所述车道参数及与其对应的第二gt生成直线拟合损失值，(iii)反向传播所述柔性最大值损失值及所述直线拟合损失值以学习包含于所述第二cnn的所述第一fc层、所述第二fc层及所述卷积层中至少一部分的参数的步骤。

背景技术：

深度卷积神经网络(deepconvolutionneuralnetworkordeepcnn)是深度学习领域发生的惊人发展的核心。cnn为了解决文字识别问题在90年代便已有使用，而近来才开始广泛用于机器学习(machinelearning)领域。例如，cnn在2012年在图像识别挑战赛(imagenetlargescalevisualrecognitionchallenge)打败对手获胜。之后，cnn在机器学习领域作为非常有用的工具使用。

另外，图像分割是接收输入的图像(训练图像或测试图像)并作为输出生成标签图像的方法。随着近来深度学习(deeplearning)技术受到关注，具有分割方面也越来越多地使用深度学习的趋势。

近来，在汽车自动巡航系统中广泛使用深度学习。对自动巡航系统而言，从表示自动巡航状况的图像中识别车道线是非常重要的。因此自动巡航系统(i)利用分割图像的结果检测出所有车道线后补，(ii)利用像素嵌入结果分类各车道线以识别各车道线。

然而，这种现有的车道线识别方法具有需要在自动巡航系统的输出适用(i)用于过滤错误地被识别为车道线的非车道线区域的作业与(ii)作为拟合车道线的作业的后处理作业的问题。

技术实现要素：

技术问题

本发明的目的是解决上述问题。

本发明的另一目的是提供包括(i)从表示道路行驶状况的输入影像中识别车道线的主过程、(ii)筛除非车道线区域并进行直线拟合的后处理过程的综合过程。

并且，又一目的是提供使用车道线部分得到强化的特征图过滤非车道线区域的方法。

技术方案

用于达成如上所述的本发明的目的、实现下述本发明的特征性效果的本发明的技术特征如下。

根据本发明的一个方面，提供一种学习方法，是使用车道掩码(lanemask)检测包含于输入图像的一个以上的检测车道线的方法，其特征在于，包括：(a)(i)第一cnn对所述输入图像适用至少一个第一卷积运算生成最终特征图，(ii)使用所述最终特征图生成了分割得分图(segmentationscoremap)及嵌入特征图(embeddedfeaturemap)的状态下，学习装置使第二cnn获取所述最终特征图、所述分割得分图及所述嵌入特征图的步骤；(b)所述学习装置使所述第二cnn的车道掩蔽层(i)参照所述分割得分图及所述嵌入特征图在所述最终特征图上识别对应于包含在所述输入图像的所述车道线的一个以上的车道线后补，(ii)在所述最终特征图上生成对与所述车道线后补对应的一个以上的区域赋予一个以上的加权值的所述车道掩码，(iii)参照所述最终特征图及所述车道掩码生成掩蔽的特征图(maskedfeaturemap)的步骤；(c)所述学习装置使所述第二cnn的卷积层对所述掩蔽的特征图适用至少一个第二卷积运算生成车道特征图(lanefeaturemap)的步骤；(d)所述学习装置使所述第二cnn的第一fc层参照所述车道特征图生成柔性最大值得分图(softmaxscoremap)，使所述第二cnn的第二fc层参照所述车道特征图生成一个以上的车道参数的步骤；以及(e)所述学习装置(i)使所述第二cnn的多项逻辑斯蒂损失层参照所述柔性最大值得分图及与其对应的第一gt生成柔性最大值损失值，(ii)使所述第二cnn的直线拟合损失层参照所述车道参数及与其对应的第二gt生成直线拟合损失值，(iii)反向传播所述柔性最大值损失值及所述直线拟合损失值学习包含于所述第二cnn的所述第一fc层、所述第二fc层及所述卷积层中至少一部分的参数的步骤。

根据一个实施例，提供一种学习方法，其特征在于：在所述(c)步骤中，所述学习装置使所述第二cnn的所述卷积层对所述掩蔽的特征图适用所述第二卷积运算后进一步地对所述掩蔽的特征图适用至少一个全局池化运算以生成所述车道特征图。

根据一个实施例，提供一种学习方法，其特征在于：在所述(b)步骤中，通过按要素相乘(i)对应于包含在所述输入图像的各像素的所述最终特征图上所含的各值及(ii)对应于包含在所述车道掩码的与其对应的值生成所述掩蔽的特征图，对与所述车道线后补对应的所述掩蔽的特征图的值赋予一个以上的特定加权值。

根据一个实施例，提供一种学习方法，其特征在于：在所述(a)步骤中，所述第一cnn为通过(i)增大对应于包含在所述输入图像的各所述车道线中所含的像素的，包含于所述最终特征图的所述值的平均中各个不同类之间的差异(inter-classdifferences)的方式或(ii)减小对应于包含在所述输入图像的各所述车道线中所含的像素的，包含于所述最终特征图的各所述值的相同类内部的方差(intra-classvariances)的方式，变换所述最终特征图的值以生成了所述嵌入特征图的状态。

根据一个实施例，提供一种学习方法，其特征在于：在所述(b)步骤中，所述学习装置使所述第二cnn的所述车道掩蔽层(i)参照所述分割得分图检测所述车道线后补，(ii)参照所述嵌入特征图对所述车道线后补进行分类以识别所述车道线后补。

根据一个实施例，提供一种学习方法，其特征在于：在所述(b)步骤中，所述学习装置使所述第二cnn的所述车道掩蔽层生成对包括与所述车道线后补的分界的距离小于第三临界值的像素的所述区域赋予所述加权值的所述车道掩码。

根据一个实施例，提供一种学习方法，其特征在于：在所述(e)步骤中，通过以上数学式算出所述柔性最大值损失值，所述数学式中s是包含于所述输入图像中的所述像素的个数，i是1以上且s以下的整数，li是表示第i个像素在与其对应的第一gt上属于哪个聚类的独热编码向量(one-hot-encodingvector)，p(i)表示对应于与所述i个像素对应的柔性最大值得分图中所含的值的向量。

根据一个实施例，提供一种学习方法，其特征在于：在所述(d)步骤中，所述车道参数是表示位于包含在所述输入图像的特定车道线的各中心的各中心像素的坐标中包含的各第一成分及第二成分之间的关系的多项式。

根据一个实施例，提供一种学习方法，其特征在于：在所述(e)步骤中，参照(i)向所述多项式输入所述第一成分获得的各所述第二成分的值及(ii)与所述第一成分对应的各所述第二gt的值的差异生成所述直线拟合损失值。

根据本发明的另一方面，提供一种测试方法，是使用车道掩码(lanemask)检测包含于输入图像的一个以上的车道线的测试方法，其特征在于，包括：在(a)第一cnn对所述输入图像适用至少一个第一卷积运算生成训练用最终特征图，使用所述训练用最终特征图生成了训练用分割得分图(segmentationscoremap)及训练用嵌入特征图(embeddedfeaturemap)的状态下，经过(1)学习装置使第二cnn获取所述训练用最终特征图、所述训练用分割得分图及所述训练用嵌入特征图的步骤；(2)所述学习装置使所述第二cnn的车道掩蔽层(i)参照所述训练用分割得分图及所述训练用嵌入特征图在所述训练用最终特征图上识别对应于包含在所述训练图像的所述训练用车道线的一个以上的训练用车道线后补，(ii)在所述训练用最终特征图上生成对与所述训练用车道线后补对应的一个以上的训练用区域赋予一个以上的训练用加权值的所述训练用车道掩码，(iii)参照所述训练用最终特征图及所述训练用车道掩码生成掩蔽的训练用特征图(maskedfeaturemap)的步骤；(3)所述学习装置使所述第二cnn的卷积层对所述掩蔽的训练用特征图适用至少一个第二卷积运算生成训练用车道特征图(lanefeaturemap)的步骤；(4)所述学习装置使所述第二cnn的第一fc层参照所述训练用车道特征图生成训练用柔性最大值得分图(softmaxscoremap)，使所述第二cnn的第二fc层参照所述训练用车道特征图生成一个以上的训练用车道参数的步骤；(5)所述学习装置(i)使所述第二cnn的多项逻辑斯蒂损失层参照所述训练用柔性最大值得分图及与其对应的第一gt生成柔性最大值损失值，(ii)使所述第二cnn的直线拟合损失层参照所述训练用车道参数及与其对应的第二gt生成直线拟合损失值，(iii)反向传播所述柔性最大值损失值及所述直线拟合损失值学习包含于所述第二cnn的所述第一fc层、所述第二fc层及所述卷积层中至少一部分的参数的步骤；完成了学习的状态下，测试装置在所述第一cnn对所述测试图像适用至少一个第一卷积运算生成测试用最终特征图，使用所述测试用最终特征图生成测试用分割得分图(segmentationscoremap)及测试用嵌入特征图(embeddedfeaturemap)后，使所述第二cnn获取所述测试用最终特征图、所述测试用分割得分图及所述测试用嵌入特征图的步骤；

(b)所述测试装置使所述第二cnn的车道掩蔽层(i)参照所述测试用分割得分图及所述测试用嵌入特征图，在所述测试用最终特征图上识别对应于包含在所述测试图像的所述测试用车道线的一个以上的测试用车道线后补，(ii)对与所述测试用车道线后补对应的一个以上的测试用区域赋予一个以上的测试用加权值以在所述测试用最终特征图生成所述测试用车道掩码，(iii)参照所述测试用最终特征图及所述测试用车道掩码生成掩蔽的测试用特征图(maskedfeaturemap)的步骤；(c)所述测试装置使所述第二cnn的卷积层对所述掩蔽的测试用特征图适用至少一个第二卷积运算生成测试用车道特征图(lanefeaturemap)的步骤；以及(d)所述测试装置使所述第二cnn的第一fc层参照所述测试用车道特征图生成测试用柔性最大值得分图(softmaxscoremap)，使所述第二cnn的第二fc层参照所述测试用车道特征图生成一个以上的测试用车道参数的步骤。

根据一个实施例，提供一种测试方法，其特征在于：在所述(b)步骤中，通过按要素相乘(i)对应于包含在所述输入图像的各像素的所述测试用最终特征图上所含的各值及(ii)对应于包含在所述测试用车道掩码的与其对应的值生成所述掩蔽的测试用特征图，对与所述测试用车道线后补对应的所述掩蔽的测试用特征图的值赋予一个以上的测试用特定加权值。

根据一个实施例，提供一种测试方法，其特征在于：在所述(d)步骤中，所述测试用车道参数是表示位于包含在所述输入图像的特定车道线的各中心的各中心像素的坐标中包含的各第一成分及第二成分之间的关系的多项式。

根据本发明的又一方面，提供一种学习装置，是使用车道掩码(lanemask)检测包含于输入图像的一个以上的车道线的学习装置，其特征在于，包括：存储指令的至少一个存储器；以及构成为(i)第一cnn对所述输入图像适用至少一个第一卷积运算生成最终特征图，(ii)使用所述最终特征图生成分割得分图(segmentationscoremap)及嵌入特征图(embeddedfeaturemap)后，使第二cnn获取了所述最终特征图、所述分割得分图及所述嵌入特征图的状态下，运行用于执行(i)使所述第二cnn的车道掩蔽层(i)参照所述分割得分图及所述嵌入特征图在所述最终特征图上识别对应于包含在所述输入图像的所述车道线的一个以上的车道线后补，(ii)在所述最终特征图上生成对与所述车道线后补对应的一个以上的区域赋予一个以上的加权值的所述车道掩码，(iii)参照所述最终特征图及所述车道掩码生成掩蔽的特征图(maskedfeaturemap)的过程；(ii)使所述第二cnn的卷积层对所述掩蔽的特征图适用至少一个第二卷积运算生成车道特征图(lanefeaturemap)的过程；(iii)使所述第二cnn的第一fc层参照所述车道特征图生成柔性最大值得分图(softmaxscoremap)，使所述第二cnn的第二fc层参照所述车道特征图生成一个以上的车道参数的过程；(iv)(i)使所述第二cnn的多项逻辑斯蒂损失层参照所述柔性最大值得分图及与其对应的第一gt生成柔性最大值损失值，(ii)使所述第二cnn的直线拟合损失层参照所述车道参数及与其对应的第二gt生成直线拟合损失值，(iii)反向传播所述柔性最大值损失值及所述直线拟合损失值以学习包含于所述第二cnn的所述第一fc层、所述第二fc层及所述卷积层中至少一部分的参数的过程；的所述指令的至少一个处理器。

根据一个实施例，提供一种学习方法，其特征在于：在所述(ii)过程中，所述处理器使所述第二cnn的所述卷积层对所述掩蔽的特征图适用所述第二卷积运算后进一步地对所述掩蔽的特征图适用至少一个全局池化运算以生成所述车道特征图。

根据一个实施例，提供一种学习方法，其特征在于：在所述(i)过程中，通过按要素相乘(i)对应于包含在所述输入图像的各像素的所述最终特征图上所含的各值及(ii)对应于包含在所述车道掩码的与其对应的值生成所述掩蔽的特征图，对与所述车道线后补对应的所述掩蔽的特征图的值赋予一个以上的特定加权值。

根据一个实施例，提供一种学习方法，其特征在于：所述第一cnn为通过(i)增大对应于包含在所述输入图像的各所述车道线中所含的像素的，包含于所述最终特征图的所述值的平均中各个不同类之间的差异(inter-classdifferences)的方式或(ii)减小对应于包含在所述输入图像的各所述车道线中所含的像素的，包含于所述最终特征图的各所述值的相同类内部的方差(intra-classvariances)的方式，变换所述最终特征图的值以生成了所述嵌入特征图的状态。

根据一个实施例，提供一种学习方法，其特征在于：在所述(i)过程中，

使所述第二cnn的所述车道掩蔽层(i)参照所述分割得分图检测所述车道线后补，(ii)参照所述嵌入特征图对所述车道线后补进行分类以识别所述车道线后补。

根据一个实施例，提供一种学习方法，其特征在于：在所述(i)过程中，

所述处理器使所述第二cnn的所述车道掩蔽层生成对包括与所述车道线后补的分界的距离小于第三临界值的像素的所述区域赋予所述加权值的所述车道掩码。

根据一个实施例，提供一种学习方法，其特征在于：在所述(iv)过程中，通过以上数学式算出所述柔性最大值损失值，所述数学式中s是包含于所述输入图像中的所述像素的个数，i是1以上且s以下的整数，li是表示第i个像素在与其对应的第一gt上属于哪个聚类的独热编码向量(one-hot-encodingvector)，p(i)表示对应于与所述i个像素对应的柔性最大值得分图中所含的值的向量。

根据一个实施例，提供一种学习方法，其特征在于：在所述(iii)过程中，所述车道参数是表示位于包含在所述输入图像的特定车道线的各中心的各中心像素的坐标中包含的各第一成分及第二成分之间的关系的多项式。

根据一个实施例，提供一种学习方法，其特征在于：在所述(iv)过程中，参照(i)向所述多项式输入所述第一成分获得的各所述第二成分的值及(ii)与所述第一成分对应的各所述第二gt的值的差异生成所述直线拟合损失值。

根据本发明的又一方面，提供一种测试装置，是使用车道掩码(lanemask)检测包含于输入图像的一个以上的车道线的测试装置，其特征在于，包括：存储指令的至少一个存储器；以及构成为第一cnn对所述输入图像适用至少一个第一卷积运算生成训练用最终特征图，使用所述训练用最终特征图生成了训练用分割得分图(segmentationscoremap)及训练用嵌入特征图(embeddedfeaturemap)后，1)学习装置使第二cnn获取所述训练用最终特征图、所述训练用分割得分图及所述训练用嵌入特征图的步骤；(2)所述学习装置使所述第二cnn的车道掩蔽层(i)参照所述训练用分割得分图及所述训练用嵌入特征图在所述训练用最终特征图上识别对应于包含在所述训练图像的所述训练用车道线的一个以上的训练用车道线后补，(ii)在所述训练用最终特征图上生成对与所述训练用车道线后补对应的一个以上的训练用区域赋予一个以上的训练用加权值的所述训练用车道掩码，(iii)参照所述训练用最终特征图及所述训练用车道掩码生成掩蔽的训练用特征图(maskedfeaturemap)的步骤；(3)所述学习装置使所述第二cnn的卷积层对所述掩蔽的训练用特征图适用至少一个第二卷积运算生成训练用车道特征图(lanefeaturemap)的步骤；(4)所述学习装置使所述第二cnn的第一fc层参照所述训练用车道特征图生成训练用柔性最大值得分图(softmaxscoremap)，使所述第二cnn的第二fc层参照所述训练用车道特征图生成一个以上的训练用车道参数的步骤；(5)所述学习装置(i)使所述第二cnn的多项逻辑斯蒂损失层参照所述训练用柔性最大值得分图及与其对应的第一gt生成柔性最大值损失值，(ii)使所述第二cnn的直线拟合损失层参照所述训练用车道参数及与其对应的第二gt生成直线拟合损失值，(iii)反向传播所述柔性最大值损失值及所述直线拟合损失值学习包含于所述第二cnn的所述第一fc层、所述第二fc层及所述卷积层中至少一部分的参数的步骤；完成了学习的状态下，第一cnn对所述输入图像适用至少一个第一卷积运算测试用生成最终特征图，使用所述测试用最终特征图生成测试用分割得分图(segmentationscoremap)及测试用嵌入特征图(embeddedfeaturemap)，使第二cnn获取所述测试用最终特征图、所述测试用分割得分图及所述测试用嵌入特征图后，运行用于执行(i)使所述第二cnn的车道掩蔽层(i)参照所述测试用分割得分图及所述测试用嵌入特征图，在所述测试用最终特征图上识别对应于包含在所述测试图像的所述测试用车道线的一个以上的测试用车道线后补，(ii)对与所述测试用车道线后补对应的一个以上的测试用区域赋予一个以上的测试用加权值以在所述测试用最终特征图生成所述测试用车道掩码，(iii)参照所述测试用最终特征图及所述测试用车道掩码生成掩蔽的测试用特征图(maskedfeaturemap)的过程；(ii)使所述第二cnn的卷积层对所述掩蔽的测试用特征图适用至少一个第二卷积运算生成测试用车道特征图(lanefeaturemap)的过程；(iii)使所述第二cnn的第一fc层参照所述测试用车道特征图生成测试用柔性最大值得分图(softmaxscoremap)，使所述第二cnn的第二fc层参照所述测试用车道特征图生成一个以上的测试用车道参数的过程；的所述指令的至少一个处理器。

根据一个实施例，提供一种测试装置，其特征在于：在所述(i)过程中，通过按要素相乘(i)对应于包含在所述输入图像的各像素的所述测试用最终特征图上所含的各值及(ii)对应于包含在所述测试用车道掩码的与其对应的值生成所述掩蔽的测试用特征图，对与所述测试用车道线后补对应的所述掩蔽的测试用特征图的值赋予一个以上的测试用特定加权值。

根据一个实施例，提供一种测试装置，其特征在于：在所述(iii)过程中，所述测试用车道参数是表示位于包含在所述输入图像的特定车道线的各中心的各中心像素的坐标中包含的各第一成分及第二成分之间的关系的多项式。

技术效果

根据本发明，提供包括(i)从表示道路行驶状况的输入影像中识别车道线的主过程、(ii)筛除非车道线区域并进行直线拟合的后处理过程的综合过程。能够通过这种过程无后处理地执行基于注意(attention-based)的车道线检测，因此能够在道路上更准确地感测道路。

附图说明

为了用于说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分而已，本发明所属技术领域的一般技术人员(以下“普通技术人员”)在未经过创造性劳动的情况下可基于这些附图得到其他附图。

图1为示出用于执行检测出包含于输入图像的车道线，使用车道掩码拟合车道线区域的过程的学习装置的构成的示意图；

图2是示出第一cnn与第二cnn的关系、第二cnn的构成的示意图；

图3a是示出第一cnn生成的最终特征图的例的示意图；

图3b是示出参照车道掩码与最终特征图生成的掩蔽的特征图的例的示意图；

图4是示出由第一fc层生成的分割得分图的例示图；

图5是示出由第二fc层生成的车道参数的例示图。

具体实施方式

参见例示能够实施本发明的特定实施例的附图对本发明进行如下详细说明。通过详细说明这些实施例使得本领域普通技术人员足以实施本发明。应理解本发明的多种实施例虽各不相同，但无需相互排斥。例如，在此记载的特定形状、结构及特性在一个实施例中不超出本发明的技术思想及范围的前提下可以通过其他实施例实现。另外，应理解在不超出本发明的技术思想及范围的前提下，公开的各实施例内的个别构成要素的位置或配置是可以变更的。因此以下具体说明并非以限定为目的，确切来讲，本发明的范围为权利要求所记载的范围及与之等同的所有范围。在附图中类似的附图标记在各方面表示相同或类似的功能。

并且，在本发明的具体说明及权利要求中，“包括”这一术语及其变形并非将其他技术特征、附加物、构成要素或步骤除外。普通技术人员能够从本说明获知本发明的其他目的、优点及特性中的一部分，并且一部分可从本发明的实施获知。以下例示及附图作为实例提供，目的并非限定本发明。

本发明所述的各种图像可包括铺装或非铺装道路相关图像，该情况下可想到道路环境中可能出现的物体(例如，汽车、人、动物、植物、物件、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此，本发明所述的各种图像还可以是与道路无关的图像(例如，非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内相关的图像)，该情况下，可想到非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内环境中可能出现的物体(例如汽车、人、动物、植物、物件、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此。

以下，为了使得本发明所属技术领域的普通技术人员能够轻易地实施本发明，参见关于本发明的优选实施例的附图进行具体说明。

图1为示出用于执行检测出包含于输入图像的车道线，使用车道掩码拟合车道线区域的过程的学习装置的构成的示意图。

参见图1，学习装置100可包括第一cnn200及第二cnn300。所述第一cnn200及第二cnn300的多种数据输入及输出功能与多种数据运算功能可分别通过通信部110及处理器120实现。但图1省略了关于通信部110及处理器120如何连接的具体连接关系。并且，学习装置可包括能够存储用于执行以下过程的计算机可读指令的存储器115。作为一例，处理器、存储器、介质(medium)等可以和集成处理器集成在一起。

图2是示出第一cnn与第二cnn的关系、第二cnn的构成的示意图。

参见图2，第一cnn200可生成最终特征图、分割得分图及嵌入特征图，可将其传递到第二cnn300。第二cnn300可包括车道掩蔽层310、卷积层320、第一fc层330、第二fc层340、多项逻辑斯蒂损失层350及直线拟合损失层360。

具体来讲，第一cnn200可包括(i)执行至少一个第一卷积运算的编码层、(ii)执行至少一个第一去卷积运算的解码层、(iii)执行柔性最大值运算的柔性最大值层及(iv)执行嵌入运算的嵌入层。通过通信部110获取到输入图像的情况下，第一cnn200(i)使所述编码层及解码层对输入图像适用第一卷积运算及第一去卷积运算生成最终特征图，(ii)使柔性最大值层对最终特征图适用柔性最大值运算生成分割得分图，(iii)使嵌入层对最终特征图适用嵌入运算生成嵌入特征图。之后可以将最终特征图、分割得分图及嵌入特征图传递到第二cnn300。

之后，第二cnn300可以执行使车道掩蔽层310(i)参照所述分割得分图及所述嵌入特征图在所述最终特征图上识别对应于包含在所述输入图像的所述车道线的一个以上的车道线后补，(ii)对与所述车道线后补对应的一个以上的区域赋予一个以上的加权值以在所述最终特征图生成所述车道掩码，(iii)参照所述最终特征图及所述车道掩码生成掩蔽的特征图的过程。

并且，可以执行使第二cnn300的卷积层320对所述掩蔽的特征图适用至少一个第二卷积运算生成车道特征图的过程。之后可以执行使第二cnn300的第一fc层(fullyconnectedoperation，完全连接)330及第二fc层340参照所述车道特征图分别生成柔性最大值得分图及一个以上的车道参数的过程。通过多项逻辑斯蒂损失层350获得柔性最大值得分图，通过直线拟合损失层360获得车道参数后，第二cnn300可以执行使多项逻辑斯蒂损失层350及直线拟合损失层360分别参照对应于柔性最大值得分图的第一gt(groundtruth:地面实况)及对应于车道参数的第二gt分别生成柔性最大值损失值及直线拟合损失值的过程。为了学习包含于第二cnn300的所述第一fc层、所述第二fc层及所述卷积层中至少一部分的参数而可以反向传播所述柔性最大值损失值及直线拟合损失值。

以上对第一cnn与第二cnn的关系及第二cnn的构成概括性地进行了说明，以下参见图3a、图3b、图4及图5对本发明的一个实施例的非车道线区域检测及直线拟合学习过程进行具体说明。

首先，第一cnn200对输入图像适用第一卷积运算后，可对通过通信部110获得的输入图像适用第一去卷积运算生成最终特征图，参照最终特征图生成嵌入特征图及分割得分图。

在此，可通过(i)增大对应于包含在所述输入图像的所述各车道线中所含的像素的，包含于所述最终特征图的所述值的平均中各个不同类之间的差异(inter-classdifferences)的方式或(ii)减小对应于包含在所述输入图像的所述各车道线中所含的像素的，包含于所述最终特征图的各所述值的相同类内部的方差(intra-classvariances)的方式，变换所述最终特征图的值生成嵌入特征图。

并且，分割得分图是对最终特征图适用柔性最大值运算生成的。柔性最大值运算是将最终特征图的值规范化使得值以0到1之间的概率映射。在此，各规范化的各最终特征图的值表示相应的各像素所属的聚类。因此，分割得分图表示输入图像内的各像素表示的特征值的组属于多个车道线区域中哪个车道线区域或是否属于背景区域(假设，山坡区域或天空区域等)。

如上通过第一cnn200生成最终特征图、分割得分图及嵌入特征图，第二cnn300可获取这些特征图，可以使车道掩蔽层310执行生成车道掩码的过程。

在此，第二cnn可以使车道掩蔽层310参照分割得分图及嵌入特征图识别车道线后补群。车道掩蔽层310可参照分割得分图和包含于输入图像的非车道线区域的背景区域分开检测出车道线后补，参照嵌入特征图按车道线分类车道线后补群。如以上所述，是增大对应于包含在输入图像的所述各车道线中所含的像素的，包含于所述最终特征图的所述值的平均中各个不同类之间的差异(inter-classdifferences)，或减小对应于包含在所述输入图像的所述各车道线中所含的像素的，包含于所述最终特征图的各所述值的相同类内部的方差(intra-classvariances)。

在该步骤，识别车道线后补群时将是车道线的概率低的区域也宽松地判断为车道线。这是因为要在后续步骤筛除被判断为车道线的概率为预先设定的临界值以下的部分(非车道线区域)。

识别到车道线后补群的情况下，在输入图像上生成对与车道线后补群对应的一个以上的区域赋予一个以上的加权值的车道掩码。车道掩码是一种加权值矩阵(weightmatrix)，因此以像素单位乘以最终特征图与车道掩码对相应区域赋予加权值。

与所述车道线后补对应的区域可包括与所述车道线后补的侧点(sidepoint)的距离小于第三临界值的像素。在此，车道线后补的侧点可以是车道线后补的水平线(horizontalline)与分界(boundaries)的交叉点(intersectionpoint)。由于所述相应区域包括车道线后补周边的像素，因此加权值分配到车道线后补的周边，因此能够更加准确地识别车道线。

通过如上所述的方法生成车道掩码后，第二cnn300能够使车道掩蔽层310参照最终特征图及车道掩码生成掩蔽的特征图。结合图3b说明掩蔽的特征图的一例，因此可比较图3a所示的最终特征图与图3b所示的掩蔽的特征图。

图3a是第一cnn200生成的最终特征图的例示图。

参见图3a，可以确认对应于包含在输入图像的区域，例如天空区域、山坡区域、车道线区域、非车道线的道路区域等各区域的最终特征图的值没有很大差异。

图3b是第二cnn300的车道掩蔽层310生成的掩蔽的特征图的例示图。

参见图3b可知与车道线区域对应的最终特征图的值比图3a增大。如以上所述，这是因为相乘了车道掩码与最终特征图。由于作为加权值矩阵的一种的车道掩码，能够通过所述乘法对与车道线后补对应的最终特征图的值赋予加权值。

之后第二cnn300可以使卷积层320(i)对所述掩蔽的特征图适用一回以上的所述第二卷积运算，或(ii)对所述掩蔽的特征图适用所述第二卷积运算后进一步适用至少一个全局池化运算以生成所述车道特征图。车道特征图传递到第一fc层330及第二fc层340可用于(i)识别非车道线区域，(ii)生成车道线参数。以下分别说明由第一fc层330及第二fc层340执行的过程。

首先，说明生成用于非车道线区域识别学习的柔性最大值损失值的过程。

车道特征图传递到第一fc层330后，第一fc层330对车道特征图适用分类运算生成输出值，对该输出值适用柔性最大值运算生成柔性最大值得分图。

所述柔性最大值运算和第一cnn200执行的柔性最大值运算相同，因此省略对此进行说明。

在学习过程中，柔性最大值得分图传递到多项逻辑斯蒂损失层350。之后为了生成柔性最大值损失值而参照传递的柔性最大值得分图及与其对应的第一gt。

第二cnn300可以使多项逻辑斯蒂损失层350对柔性最大值得分图适用上式的运算生成柔性最大值损失值。在此，s是包含于所述输入图像的所述像素的个数，i是1以上且s以下的整数，li是表示第i个像素在与其对应的第一gt上属于哪个类的独热编码向量(one-hot-encodingvector)，p(i)表示对应于与所述第i个像素对应的柔性最大值得分图中所含的值的向量。

图4是根据本发明的一例示生成的生成的柔性最大值得分图的例示图。

参见图4具体说明关于柔性最大值损失值的所述数学式具体表示什么。在图4中，可知与左侧车道线的特定像素对应的柔性最大值得分用(0.01，0.1，0.89，0，0，0，0)表示，与其对应的lⁱ向量用(0，0，1，0，0，0，0)表示，因此算出的与特定像素对应的柔性最大值损失值为-1×log(0.89)。可以相加通过这种方式计算的各像素的损失值后除以像素个数导出柔性最大值损失值。可通过所述数学式运算本发明的柔性最大值损失值，但不限于此。

之后说明生成用于学习拟合车道线区域的方法的直线拟合损失值的过程。

车道特征图传递到第二fc层340后，第二fc层340生成作为表示各自的第一成分及各自的第二成分的关系的多项式的车道参数。所述第一成分及第二成分是位于各车道线后补的中央的像素的各坐标中所含的x坐标(第一成分)及y坐标(第二成分)。

图5示出由第二fc层生成的车道参数的一例示。

在学习过程中，车道参数传递到直线拟合损失层360。之后，为了生成直线拟合损失值而参照传递的车道参数及与其对应的第二gt。

参照(i)向所述多项式输入所述第一成分获得的各所述第二成分的值及(ii)与所述第一成分对应的各所述第二gt的值的各个差异生成直线拟合损失值。

假设与特定车道参数对应的特定多项式为y＝3x，与其对应的第二gt的中心坐标为(1，3.5)的情况下，算出的误差将是3.5–(1*3)即0.5。可参照这种误差值按各像素生成各直线拟合损失值。

根据上述方式生成柔性最大值损失值及直线拟合损失值后，反向传播所述损失以用于学习包含于第二cnn300的第一fc层、第二fc层及卷积层中至少一部分的参数。

以上说明了本发明的一个实施例的学习装置100的学习过程，以下说明(i)本发明起到测试装置的功能时的构成及(ii)学习装置100与测试装置的区别。

作为参考，为了防止在以下说明中发生混淆，对与学习过程相关的术语添加术语“学习用”，对与测试过程相关的术语添加术语“测试用”。

首先，第一cnn200对所述输入图像适用至少一个第一卷积运算生成训练用最终特征图，使用所述训练用最终特征图生成了训练用分割得分图(segmentationscoremap)及训练用嵌入特征图(embeddedfeaturemap)的状态下，经过(1)学习装置100使第二cnn300获取所述训练用最终特征图、所述训练用分割得分图及所述训练用嵌入特征图的步骤；(2)所述学习装置100使所述第二cnn300的车道掩蔽层310(i)参照所述训练用分割得分图及所述训练用嵌入特征图，在所述训练用最终特征图上识别对应于包含在所述训练图像的所述训练用车道线的一个以上的训练用车道线后补，(ii)对与所述训练用车道线后补对应的一个以上的训练用区域赋予一个以上的训练用加权值以在所述训练用最终特征图生成所述训练用车道掩码，(iii)参照所述训练用最终特征图及所述训练用车道掩码生成掩蔽的训练用特征图(maskedfeaturemap)的步骤；(3)所述学习装置100使所述第二cnn300的卷积层320对所述掩蔽的训练用特征图适用至少一个第二卷积运算生成训练用车道特征图(lanefeaturemap)的步骤；(4)所述学习装置100使所述第二cnn300的第一fc层330参照所述训练用车道特征图生成训练用柔性最大值得分图(softmaxscoremap)，使所述第二cnn的第二fc层340参照所述训练用车道特征图生成一个以上的训练用车道参数的步骤；(5)所述学习装置100(i)使所述第二cnn300的多项逻辑斯蒂损失层350参照所述训练用柔性最大值得分图及与其对应的第一gt生成柔性最大值损失值，(ii)使所述第二cnn300的直线拟合损失层360参照所述训练用车道参数及与其对应的第二gt生成直线拟合损失值，(iii)反向传播所述柔性最大值损失值及所述直线拟合损失值学习包含于所述第二cnn300的所述第一fc层330、所述第二fc层340及所述卷积层320中至少一部分的参数的步骤；完成了学习的状态下，测试装置可以在(i)所述第一cnn200对所述测试图像适用至少一个以上的第一卷积运算生成测试用最终特征图，(ii)使用所述测试用最终特征图生成测试用分割得分图(segmentationscoremap)及测试用嵌入特征图(embeddedfeaturemap)后，使所述第二cnn300获取所述测试用最终特征图、所述测试用分割得分图及所述测试用嵌入特征图。

第二，所述测试装置可以使所述第二cnn的车道掩蔽层310(i)参照所述测试用分割得分图及所述测试用嵌入特征图，在所述测试用最终特征图上识别对应于包含在所述测试图像的所述测试用车道线的一个以上的测试用车道线后补，(ii)对与所述测试用车道线后补对应的一个以上的测试用区域赋予一个以上的测试用加权值，在所述测试用最终特征图生成所述测试用车道掩码，(iii)参照所述测试用最终特征图及所述测试用车道掩码生成掩蔽的测试用特征图(maskedfeaturemap)。

第三，所述测试装置可以使所述第二cnn300的卷积层320对所述掩蔽的测试用特征图适用至少一个第二卷积运算生成测试用车道特征图(lanefeaturemap)。

最后，所述测试装置可以使所述第二cnn300的第一fc层330参照所述测试用车道特征图生成测试用柔性最大值得分图(softmaxscoremap)，使所述第二cnn300的第二fc层340参照所述测试用车道特征图生成一个以上的测试用车道参数。

第一fc层330、第二fc层340及卷积层320的参数是测试时均已学习的状态，因此省略求出损失值的过程与反向传播的过程。即，本发明起到测试装置的功能时的构成除了起到学习装置的功能时的构成中求出损失值的构成以外均与学习装置100的构成相同。

本发明所属技术领域的普通技术人员能够理解，以上说明的图像、例如原始图像、原始标签及附加标签之类的图像数据的收发可通过学习装置及测试装置的通信部实现，用于与特征图执行运算的数据可通过学习装置及测试装置的处理器(及/或存储器)存储/维护，卷积运算、深度卷积运算、损失值运算过程主要可以通过学习装置及测试装置的处理器执行，但本发明不限于此。

以上说明的本发明的实施例可实现为能够通过多种计算机构成要素执行的程序命令的形态存储在计算机可读存储介质中。所述计算机可读存储介质可包括程序指令、数据文件、数据结构等或其组合。存储在所述计算机可读存储介质中的程序指令可以是为本发明而专门设计和构成的，但也可以是计算机软件领域的技术人员公知使用的。计算机可读存储介质例如可以是硬盘、软盘及磁带之类的磁介质、cd-rom、dvd之类的光存储介质、软光盘(flopticaldisk)之类的磁-光介质(magneto-opticalmedia)及rom、ram、闪速存储器等为了存储和执行程序命令而专门构成的硬件装置。并且，程序命令不仅包括通过编译器得到的机器代码，还包括能够通过解释器由计算机运行的高级语言代码。所述硬件装置可构成为为了执行本发明的处理而作为一个以上的软件模块工作，反之相同。

以上通过本发明的具体构成要素等特定事项与限定的实施例及附图进行了说明，但是其目的只是用于帮助更全面的理解，本发明并不限定于上述实施例，本发明所属领域的普通技术人员可根据以上记载想到多种修改及变更。

因此本发明的思想不应局限于以上说明的实施例，应理解所述权利要求范围及与该权利要求范围等同或等价变形的所有一切都属于本发明思想的范畴。