基于目标检测的实时双光谱融合视频流显示方法及系统与流程

文档序号:36392219发布日期:2023-12-15 11:05阅读:来源:国知局

技术特征:

1.基于目标检测的实时双光谱融合视频流显示方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于目标检测的实时双光谱融合视频流显示方法,其特征在于:分别采用可见光相机、红外相机捕捉可见光视频和红外视频以及通过网络传输对应的视频流。

3.根据权利要求1所述的基于目标检测的实时双光谱融合视频流显示方法,其特征在于:利用python构建用于读取视频流的两条pipeline流水线管道,使用ffmpeg和nvidia联合推出的cuvid库的硬解码功能,在nvidia gpu上分别读取这两路视频流数据,并逐帧编码为一系列bgr视频帧图片。

4.根据权利要求3所述的基于目标检测的实时双光谱融合视频流显示方法,其特征在于:使用python从两条流水线管道的输出缓冲区中读取每一帧图像的b/g/r三个颜色分量的信息,并用python的numpy库处理为能被opencv直接读取的nparray格式数据。

5.根据权利要求4所述的基于目标检测的实时双光谱融合视频流显示方法,其特征在于:使用yolov5算法接收nparray格式的图片数据,提取图像关键特征,然后利用神经网络结构识别待检测目标,并预测检测到的每一个目标的类别,选择概率最高的类别作为预测类别,利用非极大值抑制nms来去除重复检测框,最后并为每一帧图像输出一组检测到的目标检测框的位置,其中,检测框位置信息包括了目标的上下左右坐标以及这个目标的预测类别和预测分数,这些位置信息被暂存在一个自定义的缓冲区数据池中。

6.根据权利要求5所述的基于目标检测的实时双光谱融合视频流显示方法,其特征在于:采用opencv从缓冲区数据池中读取yolov5输入的检测框位置,每读到一帧的检测框信息,就依据检测框的上下左右坐标信息,将流a当前帧对应位置的检测目标的颜色数组信息拷贝下来,再用拷贝下来的信息将流b当前帧的对应位置的颜色数组信息替换,从而完成单帧图片的合成。

7.根据权利要求6所述的基于目标检测的实时双光谱融合视频流显示方法,其特征在于:opencv将合成后的单帧图片数组信息转换为jpg格式的图片,逐帧输出到内存缓冲队列中,当内存缓冲队列满时,使用python构建一条用于接收jpg格式帧图片的pipeline流水线管道,下达系统指令,使ffmpeg接收队列中的图片,并使用cuvid库的硬编码功能在nvidiagpu中合成为h264视频流,封装为flv格式的rtmp视频流,推送到对应端口。

8.根据权利要求7所述的基于目标检测的实时双光谱融合视频流显示方法,其特征在于:使用nginx从视频流推送端口中接收视频流,并代理和转发视频流,将其在前端显示设备中播放,从而实现了基于目标检测的实时双光谱融合视频流的显示。

9.根据权利要求7所述的基于目标检测的实时双光谱融合视频流显示方法,其特征在于:yolov5算法接收了nparray格式的每一帧图片,开始进行目标识别,包括如下步骤:首先利用卷积神经网络模型来提取图像的关键特征;在特征提取的基础上,yolov5使用darknet神经网络结构进行目标检测,darknet神经网络结构会将输入的图像分割为多个小的区域,并为每个区域生成一系列的候选框,预测每个候选框中是否包含一个目标,以及这个目标的位置和大小;对于检测到的每个目标,yolov5采用多分类器预测它的类别,多分类器会输出每个类别的概率,最后选择概率最高的类别作为这个目标的预测类别;yolov5采用非极大值抑制算法来去除重复的检测框,非极大值抑制算法会比较所有检测框的预测分数,并保留分数最高的检测框,同时去除与这个检测框重叠度过高的其他检测框;yolov5算法会为每一帧图像生成一组检测框的位置,每个检测框的位置包括了目标的上下左右坐标,以及这个目标的预测类别和预测分数,这些位置信息可以被用来定位待检测目标,从而完成目标识别任务。

10.用于实现权利要求1所述的基于目标检测的实时双光谱融合视频流显示方法的系统,其特征在于,包括:


技术总结
本发明属于目标检测技术领域,具体涉及基于目标检测的实时双光谱融合视频流显示方法及系统,通过捕捉可见光和红外视频,构建流水线管道对两路视频解码编码为BGR帧图像,并应用目标检测算法提取位置信息;根据目标位置,将可见光视频流中的颜色数组信息替换红外视频流中对应位置的颜色数组信息,完成单帧图片的双光融合;将合成图像逐帧输出至内存缓冲,当缓冲满时,构建管道合成视频流,推送至端口;在前端显示设备中播放,实现双光谱目标信息的实时显示。本发明能够在单光谱视频的基础上,实时追踪并在对应位置上显示另一路光谱视频中的目标信息。

技术研发人员:闵济海,刘爽,张兆珩
受保护的技术使用者:南京天创电子技术有限公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1