基于边缘设备的目标物识别方法、装置、设备及存储介质与流程

文档序号:25904504发布日期:2021-07-16 21:05阅读:133来源:国知局
基于边缘设备的目标物识别方法、装置、设备及存储介质与流程

1.本发明涉及智能决策技术领域,尤其涉及一种基于边缘设备的目标物识别方法、装置、设备及计算机可读存储介质。


背景技术:

2.随着计算机视觉、人工智能技术的发展,目标识别不仅在工业领域得到广泛应用,在环境领域中也得到了很多应用。目标物识别是指在图像中定位出目标物位置的过程,其中在环境领域中通常需要对河流或者山丘上的目标物进行识别,如识别河流中漂浮物等,根据识别到的目标物判断所处环境的具体情况,进而制定更加详细的环境保护方案。
3.现有的检测方法通常是基于云端或者本地服务器与深度学习模型进行结合,这种方法对硬件资源要求高,且本地服务器昂贵,同时检测的准确率较低。


技术实现要素:

4.本发明提供一种基于边缘设备的目标物识别方法、装置及计算机可读存储介质,其主要目的在于解决目标物识别准确性较低的问题。
5.为实现上述目的,本发明提供的一种基于边缘设备的目标物识别方法,包括:
6.对训练图片集进行目标物筛选处理,得到存在预设种类目标物的样本图像集;
7.利用所述样本图像集对预构建的目标物识别模型进行训练处理,得到标准目标物识别模型;
8.对所述标准目标物识别模型的模型参数进行参数缩小处理,得到缩小后的标准目标物识别模型;
9.将所述样本图像集输入至所述缩小后的标准目标物识别模型中进行目标物识别处理,提取所述目标物识别处理的过程,并将所述过程编译成动态链接库;
10.将所述动态链接库嵌入至边缘设备中,并建立所述边缘设备和预设的视觉设备的连接,将所述视觉设备接收到的待识别图像传入至所述边缘设备中进行目标物识别,得到识别结果。
11.可选地,所述对所述标准目标物识别模型的模型参数进行参数缩小处理,得到缩小后的标准目标物识别模型,包括:
12.获取所述标准目标物识别模型的模型参数对应的类型;
13.将所述模型参数对应的类型转换为预设类型,得到缩小后的标准目标物识别模型。可选地,所述提取所述目标物识别处理的过程,并将所述过程编译成动态链接库,包括:
14.将所述目标物识别处理中的目标物识别过程转换成对应的识别操作代码;
15.将所述识别操作代码编译成工程文件并写入预获取的模板链接库中,得到动态链接库。
16.可选地,所述将所述动态链接库嵌入至边缘设备中,包括;
17.获取所述边缘设备的固定路径;
18.利用所述动态链接库的调用接口将所述动态链接库通过所述固定路径加载至所述边缘设备中。
19.可选地,所述建立所述边缘设备和预设视觉设备中的连接之后,所述方法还包括:
20.在预设的时间内将所述预设视觉设备获取到的图像数据发送至所述边缘设备中;
21.判断所述边缘设备接受到的图像数据是否完整;
22.若接受到的图像数据不完整则重新建立所述边缘设备和所述视觉设备之间的连接。
23.可选地,所述利用所述样本图像集对预构建的目标物识别模型进行训练处理,得到标准目标物识别模型,包括:
24.将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果;
25.利用预设的损失函数对所述训练结果与预设的标准结果进行损失值计算,得到损失值;
26.当所述损失值大于或等于预设的损失阈值,调整所述目标物识别模型的参数,返回至将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果的步骤;
27.当所述损失值小于所述损失阈值,得到训练好的目标物识别模型;
28.将所述验证图像集输入至所述训练好的目标物识别模型进行验证处理,得到验证结果;
29.当所述验证结果为验证未通过时,返回至将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果的步骤;
30.当所述验证结果为验证通过时,将所述测试图像集输入至验证通过目标物识别模型中进行测试处理;
31.当所述测试处理未通过时,返回至将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果的步骤;
32.当所述测试处理通过时,得到标准目标物识别模型。
33.可选地,所述对训练图片集进行目标物筛选处理,得到存在预设种类目标物的样本图像集,包括:
34.按照预设的图片尺寸对训练图片集进行图像裁剪,得到裁剪图像集;
35.从所述裁剪图像集中筛选出存在预设种类目标物的样本图像集。
36.为了解决上述问题,本发明还提供一种基于边缘设备的目标物识别装置,所述装置包括:
37.目标物筛选模块,用于对训练图片集进行目标物筛选处理,得到存在预设种类目标物的样本图像集;
38.模型训练模块,用于利用所述样本图像集对预构建的目标物识别模型进行训练处理,得到标准目标物识别模型;
39.参数缩小模块,用于对所述标准目标物识别模型的模型参数进行参数缩小处理,得到缩小后的标准目标物识别模型;
40.过程编译模块,用于将所述样本图像集输入至所述缩小后的标准目标物识别模型中进行目标物识别处理,提取所述目标物识别处理的过程,并将所述过程编译成动态链接库;
41.目标物识别模块,用于将所述动态链接库嵌入至边缘设备中,并建立所述边缘设备和预设的视觉设备的连接,将所述视觉设备接收到的待识别图像传入至所述边缘设备中进行目标物识别,得到识别结果。
42.为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
43.存储器,存储至少一个指令;及
44.处理器,执行所述存储器中存储的指令以实现上述所述的基于边缘设备的目标物识别方法。
45.为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于边缘设备的目标物识别方法。
46.本发明实施例利用存在预设种类目标物的样本图像集对预构建的目标物识别模型进行训练处理,得到一个具有较高目标物识别能力的标准目标物识别模型,为了将所述标准目标物识别模型与边缘设备进行结合,对所述标准目标物识别模型的模型参数进行参数缩小处理,进行参数缩小处理可以使得模型占用存储空间减小,同时可以加速计算。提取所述目标物识别处理的过程,并将所述过程编译成动态链接库,将所述动态链接库嵌入至边缘设备中,其中,边缘设备相对云端服务器或者本地服务器大大节约系统传输带宽、大大降低系统成本。因此本发明提出的基于边缘设备的目标物识别方法、装置、电子设备及计算机可读存储介质,可以解决目标物识别准确性较低的问题。
附图说明
47.图1为本发明一实施例提供的基于边缘设备的目标物识别方法的流程示意图;
48.图2为图1所示的基于边缘设备的目标物识别方法中其中一个步骤的流程示意图;
49.图3为本发明一实施例提供的基于边缘设备的目标物识别装置的功能模块图;
50.图4为本发明一实施例提供的实现所述基于边缘设备的目标物识别方法的电子设备的结构示意图。
51.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
52.应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
53.本申请实施例提供一种基于边缘设备的目标物识别方法。所述基于边缘设备的目标物识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述基于边缘设备的目标物识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
54.参照图1所示,为本发明一实施例提供的基于边缘设备的目标物识别方法的流程示意图。在本实施例中,所述基于边缘设备的目标物识别方法包括:
55.s1、对训练图片集进行目标物筛选处理,得到存在预设种类目标物的样本图像集。
56.本发明其中一个实施例中,所述训练图片集可以是包含河流卡口中的图片,所述训练图片集是指从各个河流卡口处设置的图像拍摄设备中收集得到,其中,收集得到的河
流卡口中的图片中不一定都包含目标物,如漂流物,因此需要对河流卡口中的图片进行目标物筛选处理,得到存在目标物的河流图像。
57.具体地,所述对训练图片集进行目标物筛选处理,得到存在预设种类目标物的样本图像集,包括:
58.按照预设的图片尺寸对训练图片集进行图像裁剪,得到裁剪图像集;
59.从所述裁剪图像集中筛选出存在预设种类目标物的样本图像集。
60.详细地,通过所述图像拍摄设备收集得到的训练图片集的尺寸是固定的,依赖于所述图像拍摄设备所调整的参数,但是该尺寸并不一定便于后续进行相关的图像处理,同时训练图片集中的图片并非都包含目标物,故需要进行进一步的目标物筛选处理。
61.其中,本发明实施例中,可以利用photoshop将河流卡口中的图像裁剪成合适的尺寸,便于后续进行筛选,所述图片尺寸可以为24
×
24。
62.s2、利用所述样本图像集对预构建的目标物识别模型进行训练处理,得到标准目标物识别模型。
63.本发明实施例中,所述利用所述样本图像集对预构建的目标物识别模型进行训练处理之前,包括:
64.按照预设的比例将所述样本图像集划分为训练图像集、验证图像集和测试图像集。
65.其中,所述预设的比例为8:1:1。
66.详细地,所述训练图像集用于后续对模型的训练,是用于模型进行拟合的样本,所述验证图像集是模型训练过程中单独留出的样本集,可以用于调整模型的超参数和用于对模型的能力进行初步评估,所述测试图像集用于对模型进行测试处理,用来评估模型的泛化能力。
67.具体地,所述利用所述样本图像集对预构建的目标物识别模型进行训练处理,得到标准目标物识别模型,包括:
68.将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果;
69.利用预设的损失函数对所述训练结果与预设的标准结果进行损失值计算,得到损失值;
70.当所述损失值大于或等于预设的损失阈值,调整所述目标物识别模型的参数,返回至将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果的步骤;
71.当所述损失值小于所述损失阈值,得到训练好的目标物识别模型;
72.将所述验证图像集输入至所述训练好的目标物识别模型进行验证处理,得到验证结果;
73.当所述验证结果为验证未通过时,返回至将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果的步骤;
74.当所述验证结果为验证通过时,将所述测试图像集输入至验证通过目标物识别模型中进行测试处理;
75.当所述测试处理未通过时,返回至将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果的步骤;
76.当所述测试处理通过时,得到标准目标物识别模型。
77.详细地,所述训练结果为将所述训练图像输入至所述目标物识别模型中进行目标物识别后的结果,所述标准结果为预先判断各个河流卡口收集到的图片中是否检测出目标物的准确结果,所述目标物识别模型可以为efficientnet深度学习网络,所述预设的损失函数可以为交叉熵损失函数、铰链损失函数或者指数损失函数。
78.具体地,所述利用预设的损失函数对所述训练结果与预设的标准结果进行损失值计算,包括:
79.利用如下计算公式对所述训练结果与预设的标准结果进行损失值计算:
[0080][0081]
其中,为损失值,为所述训练结果,y为所述标准结果,α表示误差因子,为预设常数。
[0082]
进一步地,所述将所述验证图像集输入至所述训练好的目标物识别模型进行验证处理是将所述验证图像集输入至训练好的目标物识别模型中,得到验证识别结果,判读所述验证识别结果与预设的真实识别结果是否一致,若不一致则调整所述目标物识别模型中的内部参数,直至所述验证识别结果与所述真实识别结果一致,则所述验证处理通过。
[0083]
其中,所述内部参数可以是训练好的目标物识别模型的梯度参数或者权重参数。
[0084]
当所述验证结果为验证通过时,将所述测试图像集输入至验证通过目标物识别模型中进行测试处理,得到测试识别结果,判断所述测试识别结果与预设的真实测试结果是否一致,若所述测试识别结果与所述真实测试结果不一致,返回至对所述目标物识别模型进行训练直至所述测试识别结果与所述真实测试结果一致,输出标准目标物识别模型。
[0085]
其中,本发明实施例中,利用所述测试图像集对所述目标物识别模型进行测试处理,并根据得到的测试结果判断是否需要对所述目标物识别模型进行再一次的训练,可以更好地评估模型的泛化能力。
[0086]
s3、对所述标准目标物识别模型的模型参数进行参数缩小处理,得到缩小后的标准目标物识别模型。
[0087]
本发明实施例中,为了将所述标准目标物识别模型与边缘设备进行结合,需要对所述标准目标物识别模型进行压缩处理,由于标准目标物识别模型中的模型参数是浮点数类型,利用普通的压缩算法很难压缩模型的空间,则对模型进行参数转换处理,让32浮点数近似地用8位整数存储和计算,参数转换后的模型占用存储空间会减小75%,因为存储由4字节变为1字节。
[0088]
详细地,本发明实施例中,所述对所述标准目标物识别模型的模型参数进行参数缩小处理,得到缩小后的标准目标物识别模型,包括:
[0089]
获取所述标准目标物识别模型的模型参数对应的类型;
[0090]
将所述模型参数对应的类型转换为预设类型,得到缩小后的标准目标物识别模型。
[0091]
其中,所述模型参数的类型包括整数型、浮点型、字符型、无值型等,本方案中所述标准目标物识别模型的模型参数对应的类型通常为由32位浮点数,所述预设类型为8位整
数。
[0092]
本发明实施例中,进行参数缩小处理后可以使得模型占用存储空间减小,同时可以加速计算。
[0093]
s4、将所述样本图像集输入至所述缩小后的标准目标物识别模型中进行目标物识别处理,提取所述目标物识别处理的过程,并将所述过程编译成动态链接库。
[0094]
本发明实施例中,所述目标物识别处理的过程即将所述样本图像集输入至所述缩小后的标准目标物识别模型中给出识别结果的过程。
[0095]
具体地,参阅图2所示,所述提取所述目标物识别处理的过程,并将所述过程编译成动态链接库,包括:
[0096]
s401、将所述目标物识别处理中的目标物识别过程转换成对应的识别操作代码;
[0097]
s402、将所述识别操作代码编译成工程文件并写入预获取的模板链接库中,得到动态链接库。
[0098]
其中,所述动态链接库文件是linux下的程序函数库,所述预获取的模板链接库可以是tensorflow c++动态链接库。
[0099]
s5、将所述动态链接库嵌入至边缘设备中,并建立所述边缘设备和预设的视觉设备的连接,将所述视觉设备接收到的待识别图像传入至所述边缘设备中进行目标物识别,得到识别结果。
[0100]
本发明实施例中,所述边缘设备指的是一台小型带ai芯片的服务器,所述视觉设备指的是前端摄像头,所述边缘设备中包含有一个整体工程代码,所述整体工程代码中包含所述动态链接库。
[0101]
具体地,所述将所述动态链接库嵌入至边缘设备中,包括;
[0102]
获取所述边缘设备的固定路径;
[0103]
利用所述动态链接库的调用接口将所述动态链接库通过所述固定路径加载至所述边缘设备中。
[0104]
详细地,在所述边缘设备中存在固定路径,所述动态链接库中存在多个数据接口,每个数据接口对应不同的职能,选择所述动态链接库中的调用接口对将所述动态链接库按照所述固定路径加载至所述边缘设备中,提高了将所述动态链接库嵌入至边缘设备中的嵌入效率。
[0105]
进一步地,所述建立所述边缘设备和预设视觉设备中的连接之后,所述方法还包括:
[0106]
在预设的时间内将所述预设视觉设备获取到的图像数据发送至所述边缘设备中;
[0107]
判断所述边缘设备接受到的图像数据是否完整;
[0108]
若接受到的图像数据不完整则重新建立所述边缘设备和所述视觉设备之间的连接。
[0109]
详细地,所述图像数据为采用16路摄像头采集到的数据,判断所述边缘设备接收到的图像数据是否完整即判定是否接受到完整的16路摄像头的采集到的数据,只有在采集的图像数据是完整的情况下,将所述视觉设备接收到的待识别图像传入至所述边缘设备中进行目标物识别,得到识别结果。
[0110]
本发明相对传统图像处理建模方法,深度学习提取特征更加鲁棒,准确率更高,边
缘设备相对云端服务器或者本地服务器大大节约系统传输带宽、大大降低系统成本。
[0111]
本发明利用存在预设种类目标物的样本图像集对预构建的目标物识别模型进行训练处理,得到一个具有较高目标物识别能力的标准目标物识别模型,为了将所述标准目标物识别模型与边缘设备进行结合,对所述标准目标物识别模型的模型参数进行参数缩小处理,进行参数缩小处理可以使得模型占用存储空间减小,同时可以加速计算。提取所述目标物识别处理的过程,并将所述过程编译成动态链接库,将所述动态链接库嵌入至边缘设备中,其中,边缘设备相对云端服务器或者本地服务器大大节约系统传输带宽、大大降低系统成本。因此本发明提出的基于边缘设备的目标物识别方法可以解决目标物识别准确性较低的问题。
[0112]
如图3所示,是本发明一实施例提供的基于边缘设备的目标物识别装置的功能模块图。
[0113]
本发明所述基于边缘设备的目标物识别装置100可以安装于电子设备中。根据实现的功能,所述基于边缘设备的目标物识别装置100可以包括目标物筛选模块101、模型训练模块102、参数缩小模块103、过程编译模块104及目标物识别模块105。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
[0114]
在本实施例中,关于各模块/单元的功能如下:
[0115]
所述目标物筛选模块101,用于对训练图片集进行目标物筛选处理,得到存在预设种类目标物的样本图像集;
[0116]
所述模型训练模块102,用于利用所述样本图像集对预构建的目标物识别模型进行训练处理,得到标准目标物识别模型;
[0117]
所述参数缩小模块103,用于对所述标准目标物识别模型的模型参数进行参数缩小处理,得到缩小后的标准目标物识别模型;
[0118]
所述过程编译模块104,用于将所述样本图像集输入至所述缩小后的标准目标物识别模型中进行目标物识别处理,提取所述目标物识别处理的过程,并将所述过程编译成动态链接库;
[0119]
所述目标物识别模块105,用于将所述动态链接库嵌入至边缘设备中,并建立所述边缘设备和预设的视觉设备的连接,将所述视觉设备接收到的待识别图像传入至所述边缘设备中进行目标物识别,得到识别结果。
[0120]
详细地,所述基于边缘设备的目标物识别装置100各模块的具体实施方式如下:
[0121]
步骤一、所述目标物筛选模块101对训练图片集进行目标物筛选处理,得到存在预设种类目标物的样本图像集。
[0122]
本发明实施例中,所述训练图片集包含河流卡口中的图片,所述训练图片集是指从各个河流卡口处设置的图像拍摄设备中收集得到,其中,收集得到的河流卡口中的图片中不一定都包含目标物,因此需要对河流卡口中的图片进行目标物筛选处理,得到存在目标物的河流图像。
[0123]
具体地,所述目标物筛选模块101对训练图片集进行目标物筛选处理,得到存在预设种类目标物的样本图像集,包括:
[0124]
按照预设的图片尺寸对训练图片集进行图像裁剪,得到裁剪图像集;
[0125]
从所述裁剪图像集中筛选出存在预设种类目标物的样本图像集。
[0126]
详细地,通过所述图像拍摄设备收集得到的训练图片集的尺寸是固定的,依赖于所述图像拍摄设备所调整的参数,但是该尺寸并不一定便于后续进行相关的图像处理,同时训练图片集中的图片并非都包含目标物,故需要进行进一步的目标物筛选处理。
[0127]
其中,本发明实施例中,可以利用photoshop将河流卡口中的图像裁剪成合适的尺寸,便于后续进行筛选,所述图片尺寸可以为24
×
24。
[0128]
步骤二、所述模型训练模块102利用所述样本图像集对预构建的目标物识别模型进行训练处理,得到标准目标物识别模型。
[0129]
本发明实施例中,所述利用所述样本图像集对预构建的目标物识别模型进行训练处理之前,包括:
[0130]
按照预设的比例将所述样本图像集划分为训练图像集、验证图像集和测试图像集。
[0131]
其中,所述预设的比例为8:1:1。
[0132]
详细地,所述训练图像集用于后续对模型的训练,是用于模型进行拟合的样本,所述验证图像集是模型训练过程中单独留出的样本集,可以用于调整模型的超参数和用于对模型的能力进行初步评估,所述测试图像集用于对模型进行测试处理,用来评估模型的泛化能力。
[0133]
具体地,所述模型训练模块102利用所述样本图像集对预构建的目标物识别模型进行训练处理,得到标准目标物识别模型,包括:
[0134]
将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果;
[0135]
利用预设的损失函数对所述训练结果与预设的标准结果进行损失值计算,得到损失值;
[0136]
当所述损失值大于或等于预设的损失阈值,调整所述目标物识别模型的参数,返回至将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果的步骤;
[0137]
当所述损失值小于所述损失阈值,得到训练好的目标物识别模型;
[0138]
将所述验证图像集输入至所述训练好的目标物识别模型进行验证处理,得到验证结果;
[0139]
当所述验证结果为验证未通过时,返回至将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果的步骤;
[0140]
当所述验证结果为验证通过时,将所述测试图像集输入至验证通过目标物识别模型中进行测试处理;
[0141]
当所述测试处理未通过时,返回至将所述训练图像集输入至所述目标物识别模型进行特征提取,得到训练结果的步骤;
[0142]
当所述测试处理通过时,得到标准目标物识别模型。
[0143]
详细地,所述训练结果为将所述训练图像输入至所述目标物识别模型中进行目标物识别后的结果,所述标准结果为预先判断各个河流卡口收集到的图片中是否检测出目标物的准确结果,所述目标物识别模型可以为efficientnet深度学习网络,所述预设的损失函数可以为交叉熵损失函数、铰链损失函数或者指数损失函数。
[0144]
具体地,所述利用预设的损失函数对所述训练结果与预设的标准结果进行损失值
计算,包括:
[0145]
利用如下计算公式对所述训练结果与预设的标准结果进行损失值计算:
[0146][0147]
其中,为损失值,为所述训练结果,y为所述标准结果,α表示误差因子,为预设常数。
[0148]
进一步地,所述将所述验证图像集输入至所述训练好的目标物识别模型进行验证处理是将所述验证图像集输入至训练好的目标物识别模型中,得到验证识别结果,判读所述验证识别结果与预设的真实识别结果是否一致,若不一致则调整所述目标物识别模型中的内部参数,直至所述验证识别结果与所述真实识别结果一致,则所述验证处理通过。
[0149]
其中,所述内部参数可以是训练好的目标物识别模型的梯度参数或者权重参数。
[0150]
当所述验证结果为验证通过时,将所述测试图像集输入至验证通过目标物识别模型中进行测试处理,得到测试识别结果,判断所述测试识别结果与预设的真实测试结果是否一致,若所述测试识别结果与所述真实测试结果不一致,返回至对所述目标物识别模型进行训练直至所述测试识别结果与所述真实测试结果一致,输出标准目标物识别模型。
[0151]
其中,本发明实施例中,利用所述测试图像集对所述目标物识别模型进行测试处理,并根据得到的测试结果判断是否需要对所述目标物识别模型进行再一次的训练,可以更好地评估模型的泛化能力。
[0152]
步骤三、所述参数缩小模块103对所述标准目标物识别模型的模型参数进行参数缩小处理,得到缩小后的标准目标物识别模型。
[0153]
本发明实施例中,为了将所述标准目标物识别模型与边缘设备进行结合,需要对所述标准目标物识别模型进行压缩处理,由于标准目标物识别模型中的模型参数是浮点数类型,利用普通的压缩算法很难压缩模型的空间,则对模型进行参数转换处理,让32浮点数近似地用8位整数存储和计算,参数转换后的模型占用存储空间会减小75%,因为存储由4字节变为1字节。
[0154]
详细地,本发明实施例中,所述参数缩小模块103对所述标准目标物识别模型的模型参数进行参数缩小处理,得到缩小后的标准目标物识别模型,包括:
[0155]
获取所述标准目标物识别模型的模型参数对应的类型;
[0156]
将所述模型参数对应的类型转换为预设类型,得到缩小后的标准目标物识别模型。
[0157]
其中,所述模型参数的类型包括整数型、浮点型、字符型、无值型等,本方案中所述标准目标物识别模型的模型参数对应的类型通常为由32位浮点数,所述预设类型为8位整数。
[0158]
本发明实施例中,进行参数缩小处理后可以使得模型占用存储空间减小,同时可以加速计算。
[0159]
步骤四、所述过程编译模块104将所述样本图像集输入至所述缩小后的标准目标物识别模型中进行目标物识别处理,提取所述目标物识别处理的过程,并将所述过程编译
成动态链接库。
[0160]
本发明实施例中,所述目标物识别处理的过程即将所述样本图像集输入至所述缩小后的标准目标物识别模型中给出识别结果的过程。
[0161]
具体地,所述提取所述目标物识别处理的过程,并将所述过程编译成动态链接库,包括:
[0162]
将所述目标物识别处理中的目标物识别过程转换成对应的识别操作代码;
[0163]
将所述识别操作代码编译成工程文件并写入预获取的模板链接库中,得到动态链接库。
[0164]
其中,所述动态链接库文件是linux下的程序函数库,所述预获取的模板链接库可以是tensorflow c++动态链接库。
[0165]
步骤五、所述目标物识别模块105将所述动态链接库嵌入至边缘设备中,并建立所述边缘设备和预设的视觉设备的连接,将所述视觉设备接收到的待识别图像传入至所述边缘设备中进行目标物识别,得到识别结果。
[0166]
本发明实施例中,所述边缘设备指的是一台小型带ai芯片的服务器,所述视觉设备指的是前端摄像头,所述边缘设备中包含有一个整体工程代码,所述整体工程代码中包含所述动态链接库。
[0167]
具体地,所述将所述动态链接库嵌入至边缘设备中,包括;
[0168]
获取所述边缘设备的固定路径;
[0169]
利用所述动态链接库的调用接口将所述动态链接库通过所述固定路径加载至所述边缘设备中。
[0170]
详细地,在所述边缘设备中存在固定路径,所述动态链接库中存在多个数据接口,每个数据接口对应不同的职能,选择所述动态链接库中的调用接口对将所述动态链接库按照所述固定路径加载至所述边缘设备中,提高了将所述动态链接库嵌入至边缘设备中的嵌入效率。
[0171]
进一步地,所述建立所述边缘设备和预设视觉设备中的连接之后,所述方法还包括:
[0172]
在预设的时间内将所述预设视觉设备获取到的图像数据发送至所述边缘设备中;
[0173]
判断所述边缘设备接受到的图像数据是否完整;
[0174]
若接受到的图像数据不完整则重新建立所述边缘设备和所述视觉设备之间的连接。
[0175]
详细地,所述图像数据为采用16路摄像头采集到的数据,判断所述边缘设备接收到的图像数据是否完整即判定是否接受到完整的16路摄像头的采集到的数据,只有在采集的图像数据是完整的情况下,将所述视觉设备接收到的待识别图像传入至所述边缘设备中进行目标物识别,得到识别结果。
[0176]
本发明相对传统图像处理建模方法,深度学习提取特征更加鲁棒,准确率更高,边缘设备相对云端服务器或者本地服务器大大节约系统传输带宽、大大降低系统成本。
[0177]
本发明利用存在预设种类目标物的样本图像集对预构建的目标物识别模型进行训练处理,得到一个具有较高目标物识别能力的标准目标物识别模型,为了将所述标准目标物识别模型与边缘设备进行结合,对所述标准目标物识别模型的模型参数进行参数缩小
处理,进行参数缩小处理可以使得模型占用存储空间减小,同时可以加速计算。提取所述目标物识别处理的过程,并将所述过程编译成动态链接库,将所述动态链接库嵌入至边缘设备中,其中,边缘设备相对云端服务器或者本地服务器大大节约系统传输带宽、大大降低系统成本。因此本发明提出的基于边缘设备的目标物识别装置可以解决目标物识别准确性较低的问题。
[0178]
如图4所示,是本发明一实施例提供的实现基于边缘设备的目标物识别方法的电子设备的结构示意图。
[0179]
所述电子设备1可以包括处理器10、存储器11、通信接口12和总线13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如基于边缘设备的目标物识别程序。
[0180]
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card,smc)、安全数字(secure digital,sd)卡、闪存卡(flash card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如基于边缘设备的目标物识别程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
[0181]
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(central processing unit,cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如基于边缘设备的目标物识别程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
[0182]
所述总线13可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0183]
图4仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图4示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
[0184]
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi

fi模块等,在此不再赘述。
[0185]
进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如wi

fi接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
[0186]
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(display)、输入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light

emitting diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
[0187]
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
[0188]
所述电子设备1中的所述存储器11存储的基于边缘设备的目标物识别程序是多个指令的组合,在所述处理器10中运行时,可以实现:
[0189]
对训练图片集进行目标物筛选处理,得到存在预设种类目标物的样本图像集;
[0190]
利用所述样本图像集对预构建的目标物识别模型进行训练处理,得到标准目标物识别模型;
[0191]
对所述标准目标物识别模型的模型参数进行参数缩小处理,得到缩小后的标准目标物识别模型;
[0192]
将所述样本图像集输入至所述缩小后的标准目标物识别模型中进行目标物识别处理,提取所述目标物识别处理的过程,并将所述过程编译成动态链接库;
[0193]
将所述动态链接库嵌入至边缘设备中,并建立所述边缘设备和预设的视觉设备的连接,将所述视觉设备接收到的待识别图像传入至所述边缘设备中进行目标物识别,得到识别结果。
[0194]
具体地,所述处理器10对上述指令的具体实现方法可参考图1至图2对应实施例中相关步骤的描述,在此不赘述。
[0195]
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read

only memory)。
[0196]
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
[0197]
对训练图片集进行目标物筛选处理,得到存在预设种类目标物的样本图像集;
[0198]
利用所述样本图像集对预构建的目标物识别模型进行训练处理,得到标准目标物识别模型;
[0199]
对所述标准目标物识别模型的模型参数进行参数缩小处理,得到缩小后的标准目标物识别模型;
[0200]
将所述样本图像集输入至所述缩小后的标准目标物识别模型中进行目标物识别处理,提取所述目标物识别处理的过程,并将所述过程编译成动态链接库;
[0201]
将所述动态链接库嵌入至边缘设备中,并建立所述边缘设备和预设的视觉设备的
连接,将所述视觉设备接收到的待识别图像传入至所述边缘设备中进行目标物识别,得到识别结果。
[0202]
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0203]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0204]
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
[0205]
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
[0206]
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0207]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0208]
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
[0209]
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1