基于人工智能图像识别的消防AR头盔、警用AR眼镜及应用的制作方法

文档序号:15297061发布日期:2018-08-31 19:32阅读:483来源:国知局

本发明涉及ar设备领域,尤指一种基于人工智能图像识别的消防ar头盔、警用ar眼镜及应用。



背景技术:

增强现实技术(augmentedreality,简称ar),是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3d模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术1990年提出,随着随身电子产品cpu运算能力的提升,预期增强现实的用途将会越来越广。

目前国内的有具备一定图像识别的ar头盔,但由于没有采用人工智能图像识别算法,均需要把图像通过wifi或者4g回传到服务器进行图像识别,并把图像识别结果回传到ar头盔,由于采用传统的图像识别算法,需要强大服务器才能支持,处理速度慢,并且受限于4g网络质量,有时延时十分大,无法满足实际应用需求。

对于消防领域,消防官兵在现场灭火的情况为团队作战,其中只有指挥员双手拿着笨重红外温度检测仪,通过温度检测仪看到火源或者现场需救助的伤员,指挥救援人员救援或者灭火人员灭火,且由于现场烟雾浓密几乎看不到,消防人员只能猫步手脚并用探摸着缓慢行走,延误宝贵救援和灭火时间。

对于警用领域,目前交警,巡警均配备有手持终端,通过手持终端手动录入车牌号码便可查询车辆违规记录,也已经有部分城市开始尝试用手持终端拍照将人脸图像上传,与数据库做对比。但整体操作流程相对复杂,效率较低,而且有时拍照会与被拍者引起争执。



技术实现要素:

为解决上述问题之一,本发明提供一种基于人工智能图像识别的消防ar头盔及应用,把3d图像建模算法,深度学习人工智能图像识别算法整合到消防头盔里,无需把大容量的照片视频上传到服务器进行处理,实现设备端本地的3d建模和图像高效、快速、低功耗识别,有助于消防员在烟雾浓密的火灾现场快速找到火源和伤者,无需手持摄像设备设备,解放双手来灭火或营救,节省宝贵时间,大大提高救人灭火效率,也提高消防员自身的安全系数。

为实现上述目的,本发明采用的技术方案是:提供一种基于人工智能图像识别的消防ar头盔,包括消防头盔,其中还包括:

用于获取红外成像,并把红外成像数据发送至主控电路板的红外摄像头;

用于获取3d成像,并将3d成像数据发送至fpga芯片的超声波发射/接收模组;

用于对3d成像数据进行3d建模成像算法处理,并将3d建模数据发送至主控电路板的fpga芯片;

用于接收、处理红外成像数据和3d建模数据,并将红外成像数据和3d建模数据输出至ar微显示模组以及储存器,并驱动ar微显示模组运行的主控电路板;

用于显示红外成像、3d成像的ar微显示模组;

所述超声波发射/接收模组的输出端与fpga芯片的输入端连接,fpga芯片及红外摄像头的输出端均与主控电路板的输入端连接,主控电路板的输出端与ar微显示模组的输入端连接,所述主控电路板内集成主控芯片、储存器、pmu;所述ar微显示模组、fpga芯片、主控电路板均设置在消防头盔内,其中ar微显示模组设置在消防头盔的视窗处,红外摄像头、超声波发射/接收模组均设置在防头盔本体外且位于视窗的一侧。

具体地,主控电路板还包括网络通讯模块,所述网络通讯模块连接有pa天线。

具体地,所述3d成像在25米内的分辨率为0.5mm。

此外,本发明还提供一种基于人工智能图像识别的消防ar头盔的应用,包括以下步骤:

a.红外摄像头获取红外成像,并把红外成像数据发送至主控电路板;

b.超声波发射/接收模组获取3d成像,并将3d成像数据发送至fpga芯片;

c.fpga芯片对3d成像数据进行3d建模成像算法处理,并将3d建模数据发送至主控电路板;

d.主控电路板接收、处理红外成像数据和3d建模数据,将红外成像数据和3d建模数据输出至ar微显示模组,并驱动ar微显示模组运行显示,同时输出至储存器储存。

为解决上述问题之二,本发明提供一种基于人工智能图像识别的警用ar眼镜及应用,把深度学习人工智能图像识别算法整合到眼镜里,无需把大容量的照片视频上传到服务器进行处理,实现设备端本地的图像高效、快速、低功耗识别,警员在巡逻时通过深度学习人工智能图像识别算法直接识别车牌号码或者人脸,无需手动录入或者拍照,实现快速鉴定问题车辆和可疑人物。

为实现上述目的,本发明采用的技术方案是:提供一种基于人工智能图像识别的警用ar眼镜,包括眼镜本体,其中还包括:

用于拍摄图像,并把图像发送至主控电路板以及fpga芯片的摄像头;

用于对图像通过内建cnn卷积神经网络来运行深度学习人工智能图像识别算法进行处理,并将处理数据与本地数据进行识别比对,并将识别比对结果发送至主控电路板的fpga芯片;

用于接收图像,并将fpga芯片识别比对结果叠加至原图像输出至ar微显示模组,并驱动ar微显示模组运行的主控电路板;

用于在原图显示比对识别结果的ar微显示模组;

所述摄像头的输出端与fpga芯片和主控电路板的输入端连接,fpga芯片的输出端与主控电路板的输入端连接,主控电路板的输出端与ar微显示模组输入端连接;所述主控电路板内集成主控芯片、储存器、pmu;所述ar微显示模组、fpga芯片、主控电路板均设置在眼镜本体的镜框内,ar微显示模组设置在眼镜本体的镜片处。

具体地,处理数据与本地数据进行识别比对速度在30ms以内,fpga芯片运行功耗低于500mw。

具体地,还包括用于与云数据库进行网络通讯连接的网络通讯模块,所述网络通讯模块连接有pa天线。

具体地,图像经fpga芯片进行处理后的处理数据格式为文本格式或数学模型。

此外,本发明还提供一种根据权利要求5所述基于人工智能图像识别的警用ar眼镜的应用,包括以下步骤:

a.摄像头获取图像,并把图像分别发送至fpga芯片和主控电路板;

b.fpga芯片对图像通过内建cnn卷积神经网络来运行深度学习人工智能图像识别算法进行处理,将处理数据与本地数据进行识别比对,并将识别比对结果发送至主控电路板;

d.接收图像,并将fpga芯片识别比对结果叠加至原图像输出至ar微显示模组,并驱动ar微显示模组运行显示,同时输出至储存器储存;

e.网络通讯模块与云数据库进行网络通讯连接的,处理数据经主控电路板通过通讯模块与云端数据库的数据进行识别比对,并将识别比对结果发送至主控电路板。

本发明的有益效果在于:

本发明通过把3d图像建模算法,深度学习人工智能图像识别算法整合到ar领域的消防头盔和眼镜里,无需把大容量的照片视频上传到服务器进行处理,实现设备端本地的图像高效、快速、低功耗识别,对于消防领域,有助于消防员在烟雾浓密的火灾现场快速找到火源和伤者,避开障碍物和找到逃生出口,无需手持摄像设备设备,解放双手来灭火或营救,节省宝贵时间,大大提高救人灭火效率,也提高消防员自身的安全系数;对于警用领域,警员在巡逻时通过深度学习人工智能图像识别算法直接识别车牌号码或者人脸,无需手动录入或者拍照,实现快速鉴定问题车辆和可疑人物。

附图说明

图1是消防ar头盔的电路模块结构示意图。

图2是警用ar眼镜的电路模块结构示意图。

具体实施方式

下面结合具体实施例和说明书附图对本发明予以详细说明。

实施例一

如图1所示,本实施例是消防ar头盔的具体应用说明,包括消防头盔,还包括

用于获取红外成像,并把红外成像数据发送至主控电路板的红外摄像头;

用于获取3d成像,并将3d成像数据发送至fpga芯片的超声波发射/接收模组;

用于对3d成像数据进行3d建模成像算法处理,并将3d建模数据发送至主控电路板的fpga芯片;

用于接收、处理红外成像数据和3d建模数据,并将红外成像数据和3d建模数据输出至ar微显示模组以及储存器,并驱动ar微显示模组运行的主控电路板;

用于显示红外成像、3d成像的ar微显示模组;

所述超声波发射/接收模组的输出端与fpga芯片的输入端连接,fpga芯片及红外摄像头的输出端均与主控电路板的输入端连接,主控电路板的输出端与ar微显示模组的输入端连接,所述主控电路板内集成主控芯片、储存器、pmu;所述ar微显示模组、fpga芯片、主控电路板均设置在消防头盔内,其中ar微显示模组设置在消防头盔的视窗处,红外摄像头、超声波发射/接收模组均设置在防头盔本体外且位于视窗的一侧。

实现电路原理为红外成像部分通过红外摄像头拍摄的数据回传主控电路板,如cvbs接口或rgb接口等,3d成像部分通过超声波发射/接收模组送至fpga,并通过fpga内建的3d建模算法进行处理,生成3d图像通过rgb接口回传主控电路板,再由主控电路板传输至储存器储存,由主控电路板来驱动ar微显示模组,并可在红外图像或者3d成像之间进行显示切换。

作为较优的实施方式,主控电路板还包括网络通讯模块,且网络通讯模块连接有pa天线,主控电路板通过网络通讯模块可与云端服务器建立网络连接,进行数据的传输,同时云端服务器也可调取主控电路板上的数据,实时查看救援的实况。

本实施例中,超声波3d建模算法可以实现25米以内,分辨率高达0.5mm的三维图像重建,并且借助于算法的优化,可以直接在低功耗的fpga直接运行,使其可以应用在像ar头盔这种轻量化,低功耗的设备上。消防ar头盔可以让消防员在烟雾浓密的火灾现场,通过红外摄像头快速找到火源和伤者,也可以通过3d建模图像来避开障碍物或者找到通道,无需手持摄像设备设备,解放双手来灭火或营救,节省宝贵时间,大大提高救人灭火效率,也提高消防员自身的安全系数。本实施例的消防ar头盔具备红外摄像和超声波3d建模,让消防员在浓烟雾现场可以看到火源,伤者和周边环境。消防员通过佩戴消防ar头盔,通过红外图像找到火源伤者,通过3d建模图像看到周围环境和障碍物,便可解放双手的同时快速机动反应,节省宝贵的救援时间。

实施例二

如图2所示,本实施例是警用ar眼镜的具体应用说明,包括眼镜本体,还包括用于拍摄图像,并把图像发送至主控电路板以及fpga芯片的摄像头;

用于对图像通过内建cnn卷积神经网络来运行深度学习人工智能图像识别算法进行处理,并将处理数据与本地数据进行识别比对,并将识别比对结果发送至主控电路板的fpga芯片;

用于接收图像,并将fpga芯片识别比对结果叠加至原图像输出至ar微显示模组,并驱动ar微显示模组运行的主控电路板;

用于在原图显示比对识别结果的ar微显示模组;

所述摄像头的输出端与fpga芯片和主控电路板的输入端连接,fpga芯片的输出端与主控电路板的输入端连接,主控电路板的输出端与ar微显示模组输入端连接;所述主控电路板内集成主控芯片、储存器、pmu;所述ar微显示模组、fpga芯片、主控电路板均设置在眼镜本体的镜框内,ar微显示模组设置在眼镜本体的镜片处。

实现的电路原理为通过普通摄像头拍摄图像送至fpga,并通过fpga内建的cnn卷积神经网络来运行深度学习人工智能图像识别算法,从而识别车牌或者人脸,并把运算识别结果回传给主控电路板,主控电路板把识别结果叠加到原有图像上,从而驱动ar微显示模组显示出来。

通过在fpga芯片构建cnn卷积神经网络加速器,直接在fpga芯片上面运行深度学习人工智能图像识别算法,从而实现设备端的图像识别技术,且进过处理后的数据格式为文本格式或数学模型,无需上传原始图像,并把识别结果(如车牌文本文件,或者图像数学模型)跟云端数据库做对比,真正实现快速高效本地识别。

本实施例可采取两种工作模式,具体如下:

工作模式一

此工作模式针对警方提供具体数量的嫌疑犯信息,这些信息储存在主控电路板的储存器里面,警员佩戴本ar眼镜执行任务时,通过深度学习人工智能图像识别算法识别之后,跟本地的嫌疑犯信息做对比,整个流程下来,大约只需要30ms,也就是每秒识别30次,若识别到嫌疑犯,识别信息会通过ar微显示模组显示。

工作模式二:

此工作模式针对机密性较高的任务,事先不能提供嫌疑犯信息,警员佩戴本ar眼镜执行任务时,通过深度学习人工智能图像识别算法识别之后,产生了这被识别者的数学模型,数学模型的文件大小为低于1kb,将数学模型通过网络通讯模块直接与云端数据库的数据进行识别比对。

传统做法把原始图像上传的,文件大小约为2mb,整个文件的差别差不多有2000倍,会极大的节省网络带宽和提高跟云端对比的速度。可以应用在ar眼镜这种小电池容量的设备上,佩戴这种ar眼镜的警察将可以直接快速鉴定问题车辆和可疑人物,特别是在一些反恐需求强烈的地区,可将嫌疑人的资料储存在本地设备,无需网络支持的设备端快速识别,大大提升了执法的效率和执法人的安全系数。

以上实施方式仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通工程技术人员对本发明的技术方案作出的各种变形和改进,均应落入本发明的权利要求书确定的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1