基于深度语义网络的语义标注方法、装置及系统与流程

本发明涉及语义标注技术领域，具体地，涉及一种基于深度语义网络的语义标注方法、装置及系统。

背景技术：

最近几年，以深度学习为核心的语义分割技术凭借优异的性能近年来在智能辅助驾驶等领域迅速发展。而语义分割本身的性能在很大程度上取决于标注数据的数量。语义分割的感知技术变得越来越成熟，传统的语义标注多为全人工标注，标注效率低，已经很难满足技术本身对数据量的需求。因此，提高标注效率就显得极为必要。

经过专利检索，在2018年4月20日公布的公开号为cn107944428a的发明专利“一种基于超像素集的室内场景语义标注方法”基于超像素分割技术进行图像标注。

但是，这种方法和基于深度学习的方法相比对非线性函数的拟合能力较差，因此用超像素拟合边界的能力也会较差，从而降低标注精度。此外，该方法在超像素无法很好拟合边界的时候，无法进行修改，缺乏自动标注和手动修改的交互过程，导致标注的精度不高。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于深度语义网络的语义标注方法、装置及系统。

第一方面，本发明提供一种基于深度语义网络的语义标注方法，包括：

根据当前的深度语义网络对待标注图像进行预分割，得到至少一个预分割图块；

提取所述预分割图块的分割边界；

判断所述预分割图块的分割边界是否符合预设的标注要求；若符合，则对所述预分割图块进行自动标注，获得自动标注结果；若不符合，则对所述预分割图块进行手动标注，获得手动标注结果；

根据所述自动标注结果和手动标注结果，确定最终的图像语义标注结果。

可选地，所述预分割图块是指在所述待标注图像中根据语义所划分的图像范围；其中，不同的预分割图块对应不同的语义标签；所述预分割图块的分割边界为根据所述预分割图块的边界线所生成的逻辑矩阵。

可选地，所述对所述预分割图块进行自动标注，获得自动标注结果，包括：

获取所述预分割图块的语义标签；

根据所述语义标签，查找对应的参考边界；

根据所述参考边界，生成所述预分割图块的多边形轮廓，将所述多边形轮廓作为自动标注结果。

可选地，所述对所述预分割图块进行手动标注，获得手动标注结果，包括：

获得用户输入的初始边界；其中，初始边界包括：点、直线、曲线、圆弧、多边形中的任一或任多组合；

确定与所述初始边界匹配的所有预分割图块的集合；

生成所述预分割图块的集合中各个预分割图块的多边形轮廓，将所述多边形轮廓作为手动标注结果。

可选地，根据所述自动标注结果和手动标注结果，确定最终的图像语义标注结果，包括：

将所述自动标注结果和所述手动标注结果结合，确定最终的图像语义标注结果。

可选地，在根据所述自动标注结果和手动标注结果，确定最终的图像语义标注结果之后，还包括：

根据用户输入的目标曲线，对所述最终的图像语义标注结果进行修改。

可选地，还包括：

将所述最终的图像语义标注结果作为训练数据，对所述当前的深度语义网络进行训练，得到更新后的深度语义网络。

第二方面，本发明提供一种基于深度语义网络的语义标注装置，包括：

预分割模块，用于根据当前的深度语义网络对待标注图像进行预分割，得到至少一个预分割图块；

提取模块，用于提取所述预分割图块的分割边界；

标注模块，用于判断所述预分割图块的分割边界是否符合预设的标注要求；若符合，则对所述预分割图块进行自动标注，获得自动标注结果；若不符合，则对所述预分割图块进行手动标注，获得手动标注结果；

处理模块，用于根据所述自动标注结果和手动标注结果，确定最终的图像语义标注结果。

可选地，所述预分割图块是指在所述待标注图像中根据语义所划分的图像范围；其中，不同的预分割图块对应不同的语义标签；所述预分割图块的分割边界为根据所述预分割图块的边界线所生成的逻辑矩阵。

可选地，所述标注模块，具体用于：

获取所述预分割图块的语义标签；

根据所述语义标签，查找对应的参考边界；

根据所述参考边界，生成所述预分割图块的多边形轮廓，将所述多边形轮廓作为自动标注结果。

可选地，所述标注模块，还用于：

获得用户输入的初始边界；其中，初始边界包括：点、直线、曲线、圆弧、多边形中的任一或任多组合；

确定与所述初始边界匹配的所有预分割图块的集合；

生成所述预分割图块的集合中各个预分割图块的多边形轮廓，将所述多边形轮廓作为手动标注结果。

可选地，所述处理模块，具体用于：

将所述自动标注结果和所述手动标注结果结合，确定最终的图像语义标注结果。

可选地，还包括：

修改模块，用于在根据所述自动标注结果和手动标注结果，确定最终的图像语义标注结果之后，根据用户输入的目标曲线，对所述最终的图像语义标注结果进行修改。

可选地，还包括：

训练模块，用于将所述最终的图像语义标注结果作为训练数据，对所述当前的深度语义网络进行训练，得到更新后的深度语义网络。

第三方面，本发明提供一种基于深度语义网络的语义标注系统，包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器用于调取所述程序程序指令以执行第一方面中任一项所述的基于深度语义网络的语义标注方法。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过建立一种分割边界图和辅助标注的框架，使得用户可以利用符合标注精度要求的分割边界进行自动标注，提高了标注效率。并且可以通过手动标注和对标注结果进行修改，提升标注的精度。

2、本发明通过使用深度语义网络来产生分割边界图，深度语义网络的预分割效果越好，辅助标注的效率就越高，获得的标注数据使得深度语义网络得到更充分的训练，从而进一步提高语义网络的预分割效果。整个标注过程与网络分割过程形成良性闭环。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的基于深度语义网络的语义标注方法的流程图；

图2为本发明实施例提供的基于深度语义网络的语义标注方法的效果示意图；

图3为本发明实施例提供的基于深度语义网络的语义标注装置的结构示意图。

图中：1-操作功能列表，2-预分割模块产生的分割边界，3-通过标注生成的多边形标注结果。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明实施例提供的基于深度语义网络的语义标注方法的流程图，如图1所示，该方法可以包括：

s101、根据当前的深度语义网络对待标注图像进行预分割，得到至少一个预分割图块。

本实施例中，根据当前的深度语义网络对所有待标注图像进行预分割，在标注图像时加载预分割图，根据不同语义区块的边界产生一个逻辑矩阵，并对不同区块赋予不同的标签，产生与原图对应的分割边界图用于后续的辅助标注。

s102、提取预分割图块的分割边界。

本实施例中，提取出预分割图块的分割边界。

s103、判断预分割图块的分割边界是否符合预设的标注要求；若符合，则对预分割图块进行自动标注，获得自动标注结果；若不符合，则对预分割图块进行手动标注，获得手动标注结果。

本实施例中，对于s102中得到的分割边界图，如果分割效果已基本满足标注要求，使用自动标注进行快速标注。鼠标点击待标注区域，模块首先获取鼠标点击的位置所对应的标签，之后检索出标签所对应的参考边界，最后将边界近似为多边形输出为自动标注结果。对于s102中得到的分割边界图，如果分割效果不能完全满足标注要求，使用手动标注。手动标注由用户鼠标点击确定自动标注的起点、终点以及标注的初始边界，将根据初始边界进行遍历搜索，找到分割边界图上对应的区块集合，之后将区块集合的边界近似为多边形输出为精确边界输出为手动标注结果。其中，初始边界包括：点、直线、曲线、圆弧、多边形中的任一或任多组合；例如，用多边形形成一个闭环空间。图2为本发明实施例提供的基于深度语义网络的语义标注方法的效果示意图，如图2所示，1为操作功能列表，白色实线2为预分割模块产生的分割边界，白色虚线3为通过标注生成的多边形标注结果。

s104、根据自动标注结果和手动标注结果，确定最终的图像语义标注结果。

本实施例中个，当自动标注和手动标注均完成时，将根据几何关系进行逻辑判断，统一将所有自动标注下的大致边界替换成精确边界，并把两类标注的结果自动结合在一起。

在执行s104之后，还可以包括：

如果s104中得到的标注结果不完全满足标注要求，使用修改模块对标注结果进行修改。用户通过鼠标点击形成要形成的新的区段，修改模块将分别计算待替换曲线、待替换曲线的互补曲线与目标曲线的hausdoff距离来度量相似度。最后目标曲线将替换掉hausdoff距离更小即相似度更大的曲线，也就是待替换曲线。至此单个物体的标注已完成。

重复上述操作，完成图像的所有预分割图块的标注。

在执行s104之后，还可以包括：

将最终的图像语义标注结果作为训练数据，对当前的深度语义网络进行训练，得到更新后的深度语义网络。

本发明通过深度语义分割、图像处理技术等的综合运用来辅助标注语义数据，大大提高了标注效率，同时不降低标注精度。通过本发明可以对待标注图像进行预分割，产生与原图像对应的分割变截图；本发明能够根据分割边界图与标注要求误差的不同分别使用自动标注或手动标注；可以对标注后的结果进行进一步修改，提高标注精度。

图3为本发明实施例提供的基于深度语义网络的语义标注装置的结构示意图，如图3所示，本实施例提供的基于深度语义网络的语义标注装置可以包括：

预分割模块21，用于根据当前的深度语义网络对待标注图像进行预分割，得到至少一个预分割图块；

提取模块22，用于提取预分割图块的分割边界；

标注模块23，用于判断预分割图块的分割边界是否符合预设的标注要求；若符合，则对预分割图块进行自动标注，获得自动标注结果；若不符合，则对预分割图块进行手动标注，获得手动标注结果；

处理模块24，用于根据自动标注结果和手动标注结果，确定最终的图像语义标注结果。

可选地，预分割图块是指在待标注图像中根据语义所划分的图像范围；其中，不同的预分割图块对应不同的语义标签；预分割图块的分割边界为根据预分割图块的边界线所生成的逻辑矩阵。

可选地，标注模块23，具体用于：

获取预分割图块的语义标签；

根据语义标签，查找对应的参考边界；

根据参考边界，生成预分割图块的多边形轮廓，将多边形轮廓作为自动标注结果。

可选地，标注模块23，还用于：

获得用户输入的初始边界；其中，初始边界包括：点、直线、曲线、圆弧、多边形中的任一或任多组合；

确定与初始边界匹配的所有预分割图块的集合；

生成预分割图块的集合中各个预分割图块的多边形轮廓，将多边形轮廓作为手动标注结果。

可选地，处理模块24，具体用于：

将自动标注结果和手动标注结果结合，确定最终的图像语义标注结果。

可选地，还包括：

修改模块25，用于在根据自动标注结果和手动标注结果，确定最终的图像语义标注结果之后，根据用户输入的目标曲线，对最终的图像语义标注结果进行修改。

可选地，还包括：

训练模块26，用于将最终的图像语义标注结果作为训练数据，对当前的深度语义网络进行训练，得到更新后的深度语义网络。

本实施例的基于深度语义网络的语义标注装置，可以执行图1所示方法中的技术方案，其具体实现过程和技术原理参见图1所示方法中的相关描述，此处不再赘述。

需要说明的是，本发明提供的基于深度语义网络的语义标注方法中的步骤，可以利用基于深度语义网络的语义标注系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。