识别交通标志牌的方法、装置和电子设备与流程

1.本技术涉及人工智能技术领域，尤其涉及一种识别交通标志牌的方法、装置和电子设备。


背景技术：

2.随着计算机技术和人工智能技术的快速发展，人工智能技术被应用到越来越多的场景中，如识别交通标志牌等。
3.然而，申请人发现相关技术用于识别交通标志牌的模型体量过大，并且识别效率有待提升。


技术实现要素：

4.为解决或部分解决相关技术中存在的问题，本技术提供一种识别交通标志牌的方法、装置和电子设备，能够在有效减小模型体量的基础上提升识别交通标志牌的效率。
5.本技术的第一个方面提供了一种识别交通标志牌的方法，包括：获得图像信息，图像信息包括交通标志牌的图像；利用经训练的标志牌识别模型处理图像信息，确定并且输出交通标志牌的顶点坐标信息；其中，标志牌识别模型包括至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支，分别用于提取具有高分辨率的特征图和低分辨率的特征图，高分辨率特征提取分支中的特征提取模块包括的模型参数数量，大于低分辨率特征提取分支中的特征提取模块包括的模型参数数量。
6.根据本技术的某些实施例，低分辨率特征提取分支中的特征提取模块包括串联的多级瓶颈结构，多级瓶颈结构的级数与低分辨率特征提取分支提取的特征图的分辨率之间负相关。
7.根据本技术的某些实施例，至少一个高分辨率特征提取分支包括：第一分支和第二分支，第一分支和第二分支提取的特征图的分辨率依次降低，和/或，至少一个低分辨率特征提取分支包括：第三分支和第四分支，第三分支和第四分支提取的特征图的分辨率依次降低。
8.根据本技术的某些实施例，第二分支中的特征提取模块包括的残差结构的数量大于第一分支中的特征提取模块包括的残差结构的数量。
9.根据本技术的某些实施例，利用经训练的标志牌识别模型处理图像信息，确定并且输出交通标志牌的顶点坐标信息，包括：通过输入层输入图像信息；通过至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支分别处理图像信息，得到多尺度融合的交通标志牌特征；通过输出层处理多尺度融合的交通标志牌特征，确定并且输出交通标志牌的顶点坐标信息。
10.根据本技术的某些实施例，至少一个高分辨率特征提取分支中的至少部分分支与输入层相连，至少一个高分辨率特征提取分支中的至少部分分支与输出层相连，低分辨率特征提取分支各自包括串联的多级特征提取模块，不同特征提取分支中相同级的特征提取
模块与下一相同级的特征提取模块之间分别相连。
11.根据本技术的某些实施例，至少一个高分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支分别与输入层相连，至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支各自包括的特征提取模块的级数相同；或者至少一个高分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支各自包括的特征提取模块的级数，大于至少一个高分辨率特征提取分支各自包括的特征提取模块的级数。
12.根据本技术的某些实施例，上述方法还包括：基于交通标志牌的顶点坐标信息从图像信息中获取交通标志牌图像；对交通标志牌图像进行识别，得到交通标志信息。
13.本技术的第二方面提供了一种识别交通标志牌的装置，包括：图像信息获得模块和顶点坐标信息输出模块。其中，图像信息获得模块用于获得图像信息，图像信息包括交通标志牌的图像；顶点坐标信息输出模块用于利用经训练的标志牌识别模型处理图像信息，确定并且输出交通标志牌的顶点坐标信息；其中，标志牌识别模型包括至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支，分别用于提取具有高分辨率的特征图和低分辨率的特征图，高分辨率特征提取分支中的特征提取模块包括的模型参数数量，大于低分辨率特征提取分支中的特征提取模块包括的模型参数数量。
14.本技术的第三方面提供了一种电子设备，包括：处理器；存储器，其上存储有可执行代码，当上述可执行代码被处理器执行时，使得处理器执行上述方法。
15.本技术的第四方面还提供了一种计算机可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行上述方法。
16.本技术的第五方面还提供了一种计算机程序产品，包括可执行代码，可执行代码被处理器执行时实现上述方法。
17.本技术提供的识别交通标志牌的方法、装置和电子设备，通过高分辨率特征提取分支提取具有高分辨率的特征图，通过低分辨率特征提取分支提取具有低分辨率的特征图，使得能够从图像信息中分别提取具有不同尺寸的交通标志牌的顶点坐标，提升识别准确度。此外，在低分辨率特征提取分支中的特征提取模块包括较少的模型参数数量，有效降低了标志牌识别模型的体量，并且有助于提升交通标志牌识别速度。
18.本技术提供的识别交通标志牌的方法、装置和电子设备，低分辨率特征提取分支中的特征提取模块包括串联的多级瓶颈结构，有效减少了模型参数的数量，并且提升了通过特征提取模块得到的特征图的感受野大小。本技术能够有效提升图像中交通标志牌的识别效果，尤其对于由搭载于移动终端的拍摄装置拍摄得到的图像，识别效果更加明显。
19.本技术提供的识别交通标志牌的方法、装置和电子设备，通过使用瓶颈结构来构建低分辨率特征提取分支中的特征提取模块，在有效减少模型参数数量的同时，还可以有效减少因为梯度弥散或者梯度爆炸导致的：模型识别准确度随着网络深度过深而下降的问题。
20.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
21.通过结合附图对本技术示例性实施方式进行更详细地描述，本技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本技术示例性实施方式中，相同的参考标号通常代表相同部件。
22.图1示意性示出了根据本技术实施例的可以应用识别交通标志牌的方法、装置和电子设备的一种示例性系统架构；
23.图2示意性示出了根据本技术实施例的识别交通标志牌的应用场景示意图；
24.图3示意性示出了根据本技术实施例的识别交通标志牌的方法的流程图；
25.图4示意性示出了根据本技术实施例的特征提取模块的一种结构示意图；
26.图5示意性示出了根据本技术实施例的特征提取模块的另一种结构示意图；
27.图6示意性示出了根据本技术实施例的标志牌识别模型的一种结构示意图；
28.图7示意性示出了根据本技术实施例的标志牌识别模型的另一种结构示意图；
29.图8示意性示出了根据本技术实施例的标志牌识别模型的另一种结构示意图；
30.图9示意性示出了根据本技术实施例的识别交通标志牌的装置的方框图；
31.图10示意性示出了根据本技术实施例的一种电子设备的方框图。
具体实施方式
32.下面将参照附图更详细地描述本技术的实施方式。虽然附图中显示了本技术的实施方式，然而应该理解，可以以各种形式实现本技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本技术更加透彻和完整，并且能够将本技术的范围完整地传达给本领域的技术人员。
33.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
34.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
35.应当理解，尽管在本技术可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
36.交通标志牌的顶点识别在现阶段是一个研究火热的问题。相关技术中分为两大类：基于传统算法识别和基于神经网络识别。相关技术基于神经网络识别交通标志牌的顶点时，识别速度慢，模型参数多，对需要更小模型体量的场景不适用。
37.本技术实施例中，通过高分辨率特征提取分支提取具有高分辨率的特征图，通过低分辨率特征提取分支提取具有低分辨率的特征图。这样使得能够从图像信息中分别提取具有不同尺寸的交通标志牌的顶点坐标，提升识别准确度。此外，在低分辨率特征提取分支
中的特征提取模块包括较少的模型参数数量，有效降低了标志牌识别模型的体量，并且有助于提升交通标志牌识别速度。
38.以下将通过图1至图10对本技术实施例的一种识别交通标志牌的方法、装置和电子设备进行详细描述。
39.图1示意性示出了根据本技术实施例的可以应用识别交通标志牌的方法、装置和电子设备的一种示例性系统架构。需要注意的是，图1所示仅为可以应用本技术实施例的系统架构的示例，以帮助本领域技术人员理解本技术的技术内容，但并不意味着本技术实施例不可以用于其他设备、系统、环境或场景。
40.参见图1，根据该实施例的系统架构100可以包括移动设备101、102、103，网络104和云端105。网络104用以在移动设备101、102、103和云端105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
41.用户可以使用移动设备101、102、103通过网络104与其他可移动设备和云端105进行交互，以接收或发送信息等，如发送模型训练请求、交通标志牌识别请求和接收经训练的模型参数、交通标志信息等。移动设备101、102、103可以安装有各种通讯客户端应用，例如，车机应用、网页浏览器应用、数据库类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等应用等。
42.移动设备101、102、103包括但不限于汽车、机器人、平板电脑、膝上型便携计算机等等可以支持上网、人机交互等功能的电子设备。
43.云端105可以接收模型训练请求、交通标志牌识别请求等，调整模型参数进行模型训练、下发模型拓扑结构、下发经训练的模型参数、下发识别得到的交通标志信息等，还可以发送实时交通标志信息给移动设备101、102、103。例如，云端105可以为后台管理服务器、服务器集群、车联网等。
44.需要说明的是，移动设备、网络和云端的服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的可移动设备、网络和云端。
45.图2示意性示出了根据本技术实施例的识别交通标志牌的应用场景示意图。
46.参见图2，以具有辅助驾驶或者自动驾驶功能的车辆的拍摄装置，在车辆行驶过程中拍摄的图像为例，需要拍摄多帧图像。同一个交通标志牌的图像在拍摄的图像中的占比可能不断变化，如随着车辆距离交通标志牌的距离越近，上述占比越高。由于需要对拍摄的多帧图像进行交通标识识别以实现辅助驾驶或者实现自动驾驶，对识别速度要求较高。此外，如果由设置在车辆上的计算设备进行交通标识识别，受限于计算设备的计算性能有限，对标志牌识别模型的体量、处理速度和离线处理性能提出了更高的要求。
47.参见图2，对拍摄的图像进行处理后，输出了三个顶点，如图2中使用三个圆圈分别表示三个顶点。第一个顶点的顶点坐标可以表示为(x1，y1)。通过识别出的交通标识便于规划或修整辅助/自动驾驶策略，如加减速、避障、路径规划等。
48.图3示意性示出了根据本技术实施例的识别交通标志牌的方法的流程图。
49.参见图3，该实施例提供了一种识别交通标志牌的方法，该方法包括操作s310～操作s320，具体如下。
50.在操作s310中，获得图像信息，图像信息包括交通标志牌的图像。
51.具体地，可以由设置在车辆上的拍摄装置进行拍摄，得到图像信息。拍摄装置可以
是单目拍摄装置。此外，也可以使用双目拍摄装置等，可以对双目拍摄装置拍摄的两个图像进行图像融合后，再进行交通标志识别。
52.图像可以是车载摄像头所拍摄的照片。图像携带有交通标志牌信息。交通标志牌是安装在道路上方或位于道路侧边的指示牌，交通标志牌的形状包括三角形、矩形、多边形等。例如，对于矩形交通标志牌而言，其具有4个顶点。拍摄的图像中的交通标志牌的数量并不局限一个，也可能是多个。此外，图像也可以是手机或者具有拍照功能的装置所拍摄的照片。
53.需要说明的是，本技术的技术方案能很好地适用于车辆在移动过程中由拍摄装置拍摄的图像：该场景下车辆可能在高速移动，拍摄的图像的帧率较高，需要能够快速地从图像帧中识别出交通标志牌的顶点。此外，不同时刻拍摄的图像中同一个交通标志牌的图像大小的变化幅度较大，如从占据图像面积的0.1％(如交通标志牌距离拍摄装置较远)～30％(或更大，如交通标志牌距离拍摄装置较近)等，在该场景下需要使得计算能力有限的移动终端设备，快速地从图像中识别出交通标志牌的顶点坐标。
54.在操作s320中，利用经训练的标志牌识别模型处理图像信息，确定并且输出交通标志牌的顶点坐标信息。
55.其中，标志牌识别模型可以采用神经网络。标志牌识别模型包括至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支，分别用于提取具有高分辨率的特征图和低分辨率的特征图，高分辨率特征提取分支中的特征提取模块包括的模型参数数量，大于低分辨率特征提取分支中的特征提取模块包括的模型参数数量。
56.例如，神经网络可以包括至少两个特征提取分支，每个特征提取分支分别用于提取具有不同分辨率的特征图。
57.在某些实施例中，特征提取模块可以由至少一层卷积层构成。
58.例如，特征提取分支有多条，每一条特征提取分支对图像进行至少两次卷积计算。例如，每一条特征提取分支对图像进行n次卷积计算(n≥2，且n为正整数)，第1次对图像进行卷积计算称为首次卷积计算，第n次对图像进行卷积计算称为末次卷积计算。
59.卷积计算过程可以如下所示：首先，初始化卷积核n*n，其中n为[1,7]区间内的正奇数。然后，设定卷积通道数。接着，根据卷积核n*n和卷积通道数对图像进行卷积计算。
[0060]
由于图像一般包含多个交通标志牌，按照尺寸划分可以将交通标志牌划分成小型交通标志牌、中型交通标志牌以及大型交通标志牌等。此外，随着车辆与交通标志牌之间的距离发生改变，也会导致采集的图像中的交通标志牌的大小发生改变。为了能够给予多种尺寸的交通标志牌(如小型、中型以及大型交通标志牌)以及不同图像占比的交通标志牌图像各自足够的关注。各特征提取分支的首次卷积计算的卷积核n*n和卷积通道数之间可以互不相同。
[0061]
例如，假设有3条特征提取分支，第1条特征提取分支对图像进行首次卷积计算时，采用卷积核5*5、卷积通道数channels＝128来对图像进行卷积计算，其中卷积核5*5重点关注的是图像中的大型交通标志牌。第2条特征提取分支对图像进行首次卷积计算时，采用卷积核3*3、卷积通道数channels＝256来对图像进行卷积计算，其中卷积核3*3重点关注的是图像中的中型交通标志牌。第3条特征提取分支对图像进行首次卷积计算时，采用卷积核1*1、卷积通道数channels＝512来对图像进行卷积计算，其中卷积核1*1重点关注的是图像中
的小型交通标志牌。通过设置不同大小的卷积核n*n(如上述的卷积核5*5、卷积核3*3卷积核1*1)，以此提高对不同大小交通标志牌的识别效果。
[0062]
获取携带有交通标志牌元素的图像(img)，沿第1条特征提取分支、第2条特征提取分支以及第3条特征提取分支分别对图像依次进行卷积计算。例如，沿第1条特征提取分支的卷积采用卷积核1*1、卷积通道数channels＝512对图像进行卷积计算。沿第2条特征提取分支的卷积采用卷积核3*3、卷积通道数channels＝256对图像进行卷积计算。沿第3条特征提取分支的首次卷积采用卷积核5*5、卷积通道数channels＝128对图像进行卷积计算。
[0063]
此外，为了降低梯度弥散或者梯度爆炸等导致模型精度无法满足需求的情形，可以使用残差结构等构成特征提取模块。
[0064]
图4示意性示出了根据本技术实施例的特征提取模块的一种结构示意图。
[0065]
参见图4，高分辨率特征提取分支可以包括至少一个特征提取模块(如图4中的虚线框所示)，多个特征提取模块之间串联。特征提取模块可以由残差结构构成。
[0066]
残差结构是一个结构块。残差结构不是让网络直接拟合原先的映射，而是拟合残差映射。比如用h(x)来表示最优解映射，但是让堆叠的非线性层去拟合另一个映射f(x)＝h(x)-x，原始映射被重新转换为f(x)+x。
[0067]
实际上，把残差逼近至0和把此映射逼近另一个非线性层相比要容易的多。使用残差的解法收敛速度要比不用残差的普通解法要快得多。
[0068]
f(x)+x的公式可以通过具有快捷连接的前馈神经网络来实现，快捷连接跳过一个或多个层。且不增加参数和复杂性。
[0069]
参见图4，输入图像是256维(dimensions，简称d)，依次经过两次卷积操作，每次卷积操作的卷积核是3*3，步长可以为2。在经过卷积操作之后需要通过激活函数(如relu函数)进行激活。图像信息经过残差结构处理后，输出信息的维度仍然是256维。
[0070]
残差结构的参数数量：经过两次3*3*256的卷积操作，对应的参数数量为：3*3*256*256*2＝1179648个。
[0071]
需要说明的是，残差结构最后用的是相加(add，
⊕
)，而非拼接(concat，通道数会增加)。使用add是为了实现特征图相加，并且维持通道数不变。
[0072]
在某些实施例中，低分辨率特征提取分支中的特征提取模块包括串联的多级瓶颈(bottleneck)结构，多级瓶颈结构的级数与低分辨率特征提取分支提取的特征图的分辨率之间负相关。
[0073]
图5示意性示出了根据本技术实施例的特征提取模块的另一种结构示意图。
[0074]
参见图5，多个瓶颈结构串联构成特征提取模块。瓶颈结构采用的原理可以如下所示：n*n卷积操作可以转换为n*1+1*n卷积操作。n可以为2、3、4、5或6等。
[0075]
瓶颈结构的首端的1*1卷积用于削减维度，末端的1*1卷积用于恢复维度。相比于普通的残差结构(如图4所示的残差结构)，中间3*3卷积成为瓶颈部分。具体地，首端的1*1卷积主要目的是为了减少参数的数量，从而减少计算量，且在进行降维操作之后，可以更加有效、直观地进行模型训练和特征提取。执行该降维操作能够降低图片的厚度(通道数)，保持图片的宽高不变，所以模型参数的数量也降低了。最后再用1*1卷积恢复维度。
[0076]
参见图5，输入图像信息：256维度(256-d)。
[0077]
第一层1*1卷积：64d，即进行了降维(上边大下边小)。
[0078]
第二层3*3卷积：64d。
[0079]
第三层1*1卷积：256d，即进行了升维(上边小下边大)。
[0080]
残差瓶颈结构：1*1卷积
→
3*3卷积
→
1*1卷积。
[0081]
瓶颈结构的参数数量为：
[0082]
1*1*256*64+3*3*64*64+1*1*64*256＝69632个。
[0083]
瓶颈结构的参数数量：69632个，相对于普通的残差结构的参数数量：1179648个，有效降低了参数数量。这样便于有效减小标志牌识别模型的体量，减少模型占用的存储空间，并且提升识别交通标志牌的效率。
[0084]
在某些实施例中，利用经训练的标志牌识别模型处理图像信息，确定并且输出交通标志牌的顶点坐标信息，可以包括如下操作。
[0085]
首先，通过输入层输入图像信息。
[0086]
然后，通过至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支分别处理图像信息，得到多尺度融合的交通标志牌特征。
[0087]
接着，通过输出层处理多尺度融合的交通标志牌特征，确定并且输出交通标志牌的顶点坐标信息。
[0088]
在某些实施例中，至少一个高分辨率特征提取分支中的至少部分分支与输入层相连，至少一个高分辨率特征提取分支中的至少部分分支与输出层相连，低分辨率特征提取分支各自包括串联的多级特征提取模块，不同特征提取分支中相同级的特征提取模块与下一相同级的特征提取模块之间分别相连。
[0089]
图6示意性示出了根据本技术实施例的标志牌识别模型的一种结构示意图。
[0090]
参见图6，以标志牌识别模型包括至少三条特征提取分支进行示例性说明，其中，至少三条特征提取分支各自提取的特征图的分辨率由高到低，如前一条或前两条特征提取分支为高分辨率特征提取分支，其余特征提取分支为低分辨率特征提取分支。
[0091]
例如，至少一个高分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支分别与输入层相连，至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支各自包括的特征提取模块的级数相同。
[0092]
图6中的每个方框表示一个特征提取模块。至少部分特征提取模块各自可以由一个或多个残差结构构成。至少部分特征提取模块各自可以由一个或多个瓶颈结构构成。图6中输入的图像信息(img)下降到至少三个分支后，分别传播若干个特征提取模块，将不同分支的相同级的特征提取模块提取的特征图进行融合。上述融合过程进行多次，如图6中第n级是第8级，共进行了8次融合过程，最后将融合的特征图传输到第一个分支(如高分辨率的特征提取分支)，以便从融合后的特征图中确定交通标志牌的顶点坐标。
[0093]
图7示意性示出了根据本技术实施例的标志牌识别模型的另一种结构示意图。
[0094]
参见图7，至少一个高分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支各自包括的特征提取模块的级数，大于至少一个高分辨率特征提取分支各自包括的特征提取模块的级数。
[0095]
通过该结构可以有效减少特征提取模块的数量，进一步减小标志牌识别模型的体量，减少模型占用的存储空间。
[0096]
在某些实施例中，标志牌识别模型可以包括四个特征提取分支。其中，至少一个高
分辨率特征提取分支包括：第一分支和第二分支，第一分支和第二分支提取的特征图的分辨率依次降低。至少一个低分辨率特征提取分支包括：第三分支和第四分支，第三分支和第四分支提取的特征图的分辨率依次降低。
[0097]
其中，第二分支中的特征提取模块包括的残差结构的数量大于第一分支中的特征提取模块包括的残差结构的数量。
[0098]
图8示意性示出了根据本技术实施例的标志牌识别模型的另一种结构示意图。
[0099]
参见图8，从分支角度来分，标志牌识别模型有四个特征提取分支。从级别角度来分，标志牌识别模型有多个重复的基础单元，如8个重复的基础单元(可以具有更多或更少的基础单元)。图像分别输入至各特征提取分支之后，各特征提取分支分别对图像进行特征提取。
[0100]
图8中每个特征提取分支包括多个串联的特征提取模块。第四分支的特征提取模块与下一级特征提取模块之间的连接关系没有全部展示出来，如没有示出其与第一特征提取分支和第二特征提取分支的特征提取模块之间的连接关系。
[0101]
图8中不同特征提取分支的特征提取模块各自包括的残差结构的数量或瓶颈结构的数量不同。例如，第一特征提取分支的特征提取模块包括1个残差结构。第二特征提取分支的特征提取模块包括串联的2个残差结构。第三特征提取分支的特征提取模块包括串联的4个瓶颈结构。第四特征提取分支的特征提取模块包括串联的8个瓶颈结构。其中，多个串联的残差结构或者瓶颈结构有助于提升感受野，使得模型更加适合于从多帧图像信息中识别交通标志牌的顶点的场景。
[0102]
图8中的4个特征提取分支提取的特征图的分辨率逐渐减小，可以分别用于识别具有不同尺寸的交通标志牌。例如，大分辨率识别小尺寸的交通标志牌。低分辨率识别大尺寸的交通标志牌。4个特征提取分支可以将输入降低到足够小的分辨率。
[0103]
在具有多分支的拓扑结构中，针对低分辨率分支采用瓶颈结构，可以将网络变为轻量级模型，使得标志牌识别模型的模型参数量少、速度更快，更适合用在需要快速识别交通标志牌的顶点坐标的场景。
[0104]
图8所示的标志牌识别模型的测试结果如表1所示。
[0105][0106]
需要说明的是，当低分辨率特征提取分支的特征提取模块由瓶颈结构构成时，模型参数的数量显著下降，计算速度变快，识别效果能满足应用需求。例如，不使用瓶颈结构，模型大小为152兆(mb)，使用瓶颈结构后，模型大小变为31兆(mb)。
[0107]
在某些实施例中，上述方法还可以包括如下操作。
[0108]
首先，基于交通标志牌的顶点坐标信息从图像信息中获取交通标志牌图像。
[0109]
然后，对交通标志牌图像进行识别，得到交通标志信息。
[0110]
这样便于基于交通标志信息进行辅助/自动驾驶规划，如识别的交通标志信息是限速60km/h，则可以控制车速不超过60km/h。
[0111]
需要说明的是，标志牌识别模型的模型训练过程可以是离线训练或者在线训练，
可以在云端进行模型训练。移动设备可以从云端下载经训练的交通标志牌识别模型的模型拓扑和模型参数，以便实现在移动设备识别交通标志牌信息。移动设备也可以将交通状态信息上报给云端，以便云端利用经训练的交通标志牌识别模型识别交通标志牌信息，并且由云端将识别的交通标志信息发送(或广播)给一个或多个移动设备。
[0112]
本技术的另一方面还提供了一种识别交通标志牌的装置。
[0113]
图9示意性示出了根据本技术实施例的识别交通标志牌的装置的方框图。
[0114]
参见图9，该识别交通标志牌的装置900可以包括：图像信息获得模块910、顶点坐标信息输出模块920。
[0115]
图像信息获得模块910用于获得图像信息，图像信息包括交通标志牌的图像。
[0116]
顶点坐标信息输出模块920用于利用经训练的标志牌识别模型处理图像信息，确定并且输出交通标志牌的顶点坐标信息；其中，标志牌识别模型包括至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支，分别用于提取具有高分辨率的特征图和低分辨率的特征图，高分辨率特征提取分支中的特征提取模块包括的模型参数数量，大于低分辨率特征提取分支中的特征提取模块包括的模型参数数量。
[0117]
在某些实施例中，低分辨率特征提取分支中的特征提取模块包括串联的多级瓶颈结构，多级瓶颈结构的级数与低分辨率特征提取分支提取的特征图的分辨率之间负相关。
[0118]
在某些实施例中，至少一个高分辨率特征提取分支包括：第一分支和第二分支，第一分支和第二分支提取的特征图的分辨率依次降低，和/或，至少一个低分辨率特征提取分支包括：第三分支和第四分支，第三分支和第四分支提取的特征图的分辨率依次降低。
[0119]
在某些实施例中，第二分支中的特征提取模块包括的残差结构的数量大于第一分支中的特征提取模块包括的残差结构的数量。
[0120]
在某些实施例中，顶点坐标信息输出模块920包括：信息输入单元、特征提取单元和顶点坐标确定单元。
[0121]
其中，信息输入单元用于通过输入层输入图像信息。
[0122]
特征提取单元用于通过至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支分别处理图像信息，得到多尺度融合的交通标志牌特征。
[0123]
顶点坐标确定单元用于通过输出层处理多尺度融合的交通标志牌特征，确定并且输出交通标志牌的顶点坐标信息。
[0124]
在某些实施例中，至少一个高分辨率特征提取分支中的至少部分分支与输入层相连，至少一个高分辨率特征提取分支中的至少部分分支与输出层相连，低分辨率特征提取分支各自包括串联的多级特征提取模块，不同特征提取分支中相同级的特征提取模块与下一相同级的特征提取模块之间分别相连。
[0125]
在某些实施例中，至少一个高分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支分别与输入层相连，至少一个高分辨率特征提取分支和至少一个低分辨率特征提取分支各自包括的特征提取模块的级数相同。
[0126]
在某些实施例中，至少一个高分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支分别与输入层相连，至少一个低分辨率特征提取分支各自包括的特征提取模块的级数，大于至少一个高分辨率特征提取分支各自包括的特征提取模块的级数。
[0127]
在某些实施例中，上述装置900还包括：交通标志牌图像获取模块和交通标志信息获取模块。
[0128]
交通标志牌图像获取模块用于基于交通标志牌的顶点坐标信息从图像信息中获取交通标志牌图像。
[0129]
交通标志信息获取模块用于对交通标志牌图像进行识别，得到交通标志信息。
[0130]
关于上述实施例中的装置900，其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
[0131]
本技术的另一方面还提供了一种电子设备。
[0132]
图10示意性示出了根据本技术实施例的一种电子设备的方框图。
[0133]
参见图10，电子设备1000包括存储器1010和处理器1020。
[0134]
处理器1020可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0135]
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)和永久存储装置。其中，rom可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或可写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
[0136]
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
[0137]
此外，根据本技术的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本技术的上述方法中部分或全部步骤的计算机程序代码指令。
[0138]
或者，本技术还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本技术的上述方法的各个步骤的部分或全部。
[0139]
以上已经描述了本技术的各实施例，上述说明是示例性的，并非穷尽性的，并且也
不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。