模型生成方法、物体检测方法、控制器以及电子设备与流程

本发明涉及图像处理，具体涉及一种模型生成方法、物体检测方法、控制器以及电子设备。

背景技术：

1、随着计算机硬件技术的进步，深度学习(deep learning)模型可以在最新的32位的微控制器上运行。目前常用的微控制器(mcu)的功耗只有几毫瓦，基于微控制器低功耗的特性，使得使用微控制器的设备可以使用纽扣电池或一些太阳能电池来供电。微控制器是物联网发展的重要组成部分，实时操作系统(rtos)已经广泛地运用在意法半导体stm32平台，乐鑫科技esp32平台和arduino平台上；实时操作系统使得微控制器支持多处理器(cpu)、多线程的应用。

2、目标检测(object detection)是给定一张图片，从背景中分离出感兴趣的目标，并确定这一目标的类别和位置；即对于给定一张图像，判断图像里面包含目标的类别和位置。基于深度学习的图像分类卷积神经网络(convolutional neural network，cnn)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络模型架构为多层结构，图像在第一输入层之后，按各种顺序排布有若干个卷积层、批量标准化层、降采样层，最后由输出层输出图像中目标的类别和位置。

3、卷积神经网络模型的卷积层越多，其表示能力越高。但是卷积神经网络模型的层数越多，其中所涉及的参数也就越多，比如可以用在手机中的图像分类模型mobilenetv2大约有3.5m的参数，但目前的微控制器大约只有256kb到512kb的片内存储器，无法适用于在微控制器中，因此微控制器上只能运行层数较少的图像分类卷积神经网络。

技术实现思路

1、本发明的目的是提供一种模型生成方法、物体检测方法、控制器以及电子设备，能够在无需大量标注训练数据的条件下得到了高精度的卷积神经网络模型，同时节约了训练数据标注所需的人力和时间。

2、为实现上述目的，本发明提供了一种模型生成方法，构建用于进行多尺度物体检测的卷积神经网络模型，并将所述卷积神经网络模型划分为多个模块，所述多个模块包括：特征提取模块与若干个不同尺度的检测头模块；利用未标注的训练数据对所述特征提取模块进行预训练，得到所述特征提取模块的参数与模型；将训练后的所述特征提取模块分别与多个所述检测头模块进行连接，并利用已标注的训练数据对连接后的多个所述模块进行训练，得到各所述模块的参数与模型。

3、本发明还提供了一种物体检测方法，应用于控制器，所述方法包括：获取用于对待检测图像进行多尺度物体检测的卷积神经网络模型，所述卷积神经网络模型为基于上述的模型生成方法所生成；利用所述卷积神经网络模型对所述待检测图像进行物体检测。

4、本发明还提供了一种控制器，用于执行上述的模型生成方法和/或上述的物体检测方法。

5、本发明还提供了一种电子设备，包括：上述的控制器以及与所述控制器通信连接的存储器。

6、本实施例提供了一种模型生成方法，先构建用于进行多尺度物体检测的卷积神经网络模型，并将所述卷积神经网络模型划分为多个模块，所述多个模块包括：特征提取模块与若干个不同尺度的检测头模块；随后再利用未标注的训练数据对所述特征提取模块进行预训练，得到所述特征提取模块的参数与模型，使得特征提取模块预先学习到了未标注的训练数据的特征，继而再将训练后的特征提取模块与多个不同尺度的检测头模块组合得到卷积神经网络模型，并利用已标注的训练数据对组合得到的包括多个所述模块(包括特征求模块与检测头模块)的卷积神经网络模型进行训练，得到各所述模块(包括特征求模块与检测头模块)的参数与模型，由于特征提取模块已经预先学习到了未标注的训练数据的特征，此时可以仅使用少量的已标注的训练数据对组合得到的卷积神经网络模型进行有监督学习训练，得到最终的卷积神经网络模型，在无需大量标注训练数据的条件下得到了高精度的卷积神经网络模型，同时节约了训练数据标注所需的人力和时间。

7、在一个实施例中，所述利用未标注的训练数据对所述特征提取模块进行预训练，得到所述特征提取模块的参数与模型，包括：以所述特征提取模块作为自编码器的编码模块设计所述自编码器的解码模块，并利用未标注的训练数据对所述自编码器进行训练得到所述特征提取模块的参数与模型。

8、在一个实施例中，对于每个所述模块，所述模块对应多层结构模型的参数所占内存小于运行所述卷积神经网络模型的控制器的片内存储。

9、在一个实施例中，在所述将训练后的所述特征提取模块分别与多个所述检测头模块进行连接，并利用已标注的训练数据对连接后的多个所述模块进行训练，得到各所述模块的参数与模型之后，还包括：分别将各所述模块的参数和模型转换为用于在控制器上进行运行的格式。

10、在一个实施例中，所述构建用于进行物体检测的卷积神经网络模型，包括：基于待检测图像的属性与控制器的系统参数，生成用于对所述待检测图像进行物体检测的卷积神经网络模型。

11、在一个实施例中，在获取的所述卷积神经网络模型中，每个所述模块对应多层结构模型的参数所占内存小于所述控制器的片内存储；所述利用所述卷积神经网络模型对所述待检测图像进行物体检测，包括：将所述卷积神经网络模型包含的多个模块并行运行在所述控制器的多个线程中，对所述待检测图像进行物体检测。

12、在一个实施例中，在获取的所述卷积神经网络模型中，每个所述模块对应多层结构模型的参数所占内存小于所述控制器的片内存储；所述利用所述卷积神经网络模型对所述待检测图像进行物体检测，包括：将所述卷积神经网络模型包含的多个模块并行运行在所述控制器的多个处理器中，对所述待检测图像进行物体检测。

技术特征：

1.一种模型生成方法，其特征在于，包括：

2.根据权利要求1所述的模型生成方法，其特征在于，所述利用未标注的训练数据对所述特征提取模块进行预训练，得到所述特征提取模块的参数与模型，包括：

3.根据权利要求1所述的模型生成方法，其特征在于，对于每个所述模块，所述模块对应多层结构模型的参数所占内存小于运行所述卷积神经网络模型的控制器的片内存储。

4.根据权利要求1所述的模型生成方法，其特征在于，在所述将训练后的所述特征提取模块分别与多个所述检测头模块进行连接，并利用已标注的训练数据对连接后的多个所述模块进行训练，得到各所述模块的参数与模型之后，还包括：

5.根据权利要求1所述的模型生成方法，其特征在于，所述构建用于进行物体检测的卷积神经网络模型，包括：

6.一种物体检测方法，其特征在于，应用于控制器，所述方法包括：

7.根据权利要求6所述的物体检测方法，其特征在于，在获取的所述卷积神经网络模型中，每个所述模块对应多层结构模型的参数所占内存小于所述控制器的片内存储；所述利用所述卷积神经网络模型对所述待检测图像进行物体检测，包括：

8.根据权利要求6所述的物体检测方法，其特征在于，在获取的所述卷积神经网络模型中，每个所述模块对应多层结构模型的参数所占内存小于所述控制器的片内存储；所述利用所述卷积神经网络模型对所述待检测图像进行物体检测，包括：

9.一种控制器，其特征在于，用于执行权利要求1至5中任一项所述的模型生成方法和/或权利要求6至8中任一项所述的物体检测方法。

10.一种电子设备，其特征在于，包括：权利要求9所述的控制器以及与所述控制器通信连接的存储器。

技术总结
一种模型生成方法、物体检测方法、控制器以及电子设备，模型生成方法包括：构建用于进行多尺度物体检测的卷积神经网络模型，并将卷积神经网络模型划分为多个模块，多个模块包括：特征提取模块与若干个不同尺度的检测头模块(101)；利用未标注的训练数据对特征提取模块进行预训练，得到特征提取模块的参数与模型(102)；将训练后的特征提取模块分别与多个检测头模块进行连接，并利用已标注的训练数据对连接后的多个模块进行训练，得到各模块的参数与模型(103)，能够在无需大量标注训练数据的条件下得到了高精度的卷积神经网络模型，同时节约了训练数据标注所需的人力和时间。

技术研发人员：董学章,于春生
受保护的技术使用者：江苏树实科技有限公司
技术研发日：
技术公布日：2024/1/13