一种野生动物信息采集的方法及系统与流程

1.本发明属于自动跟踪监测采集领域，特别涉及一种野生动物信息采集的方法及系统。


背景技术：

2.在野生动物研究过程中，须要对野生动物的生活情况进行音视频记录。通常情况下的音视频记录方式都是通过由相关专家根据经验在野外特定位置布置录像设备，对特定位置进行长时间的记录，最后通过后期回放来筛选出有价值的音视频片段。但这个过程存在三个较大的难点，一是录像设备的安装位置要有专家经验指导，随意放置是无法录制到野生动物的；二是录像设备往往监控范围有限，动物行踪的不确定性很难捕捉到高清质量的素材；三是录像的后期清理筛选费时费力，往往大部分时间的录像都是空白无意义的。


技术实现要素：

3.本发明提供一种野生动物信息采集的方法及系统，通过全景摄像机和可变焦摄像机的结合，利用目标检测、分类识别算法实现大范围、大场景下的野生动物自动发现和自动追踪，从而实现利用大数据平台对野生动物信息进行采集、分析、整理，最后为野生动物研究提供更方便的数据获取渠道野生动物研究提供便利。
4.为了实现上述目的，本发明提供以下技术方案：
5.本发明提供一种野生动物信息采集的方法，所述方法包括：
6.(1)将具备智能音视频分析能力的算法服务部署在联通摄像机的网络环境中；
7.优选的，将算法服务部署在网络中可以采用python服务接口、java直接加载模型或docker+tf-serving部署模型。
8.摄像机可以为网络ip数字摄像机，通过交换机网关等可实现远距离调用；
9.也可以为经过网络录像机转码后的模拟信号摄像机；
10.摄像机包含两种功能摄像机，一种为具有较大覆盖能力的全景摄像机或广角摄像机，另一种为具有变焦能力以及云台能力且可控制的摄像机；两种功能的摄像机具备相互标定能力，即用户可以通过在全景或广角相机中指定目标后令变焦相机通过云台对准指定目标。
11.(2)算法服务对摄像机的采集视频图像进行预处理；
12.(3)算法服务对预处理后的视频图像进行智能分析；
13.(4)算法服务根据视频图像分析结果反馈给联动摄像机进行跟踪动作；
14.(5)算法服务同时告知流媒体服务进行短视频录制；
15.(6)算法服务上传影像信息到云服务器、并记录日志；
16.上传的信息包括：摄像头ip位置、包含目标的图像、目标在图像中的位置坐标、目标类别、记录时间戳、视频文件等
17.云服务器还将在本地记录日志，方便运维人员跟踪调试
18.(7)流媒体服务录制视频的同时提供直播服务；
19.流媒体服务可以将原始视频流进行广播推流，推流协议可以包含rtsp协议、rtmp协议、hls协议。
20.进一步的，步骤(1)中，所述算法服务具有人工智能野生动物检测识别功能以及多摄像机定位跟踪功能。
21.进一步的，所述预处理包括解码，所述解码方式包括cpu软件解码或gpu硬件解码，实时逐帧解码或仅关键帧解码。
22.进一步的，所述预处理包括取流，所述取流通过rtsp协议进行或rtmp协议与各个摄像机建立取流通道。
23.其中，摄像机的原始视频流通过流媒体服务进行分发，流媒体服务可以提高原始摄像机视频流的服务路数。摄像机的原始视频流也可以通过网络录像机进行桥接；视频流也可以通过推流本地视频文件进行模拟推流进行测试或者回放。
24.进一步的，所述步骤(3)中，所述智能分析是基于深度学习框架下的目标检测算法以及分类识别算法，通过输入视频流解码后的图像，输出目标的外包围框坐标或者是目标的中心坐标，也可附加输出目标物体的具体类别；以图像左上角为坐标原点建立坐标系，设定从左到右为x轴，从上到下为y轴，外包围框坐标定义为中心坐标(x，y)以及框的长宽(w，h)构成，也就是(x，y，w，h)。
25.进一步的，所述步骤(4)中的所述跟踪动作的具体实现过程为：
26.信息采集过程中，摄像机a和摄像机b进行拍摄，其中摄像机a和摄像机b是两种不同类型的摄像机，摄像机a具有较大的视野覆盖范围、摄像机b具备云台以及变焦能力、并可通过网络协议进行程序化控制；
27.摄像机a得到野生动物在该摄像机图像中的外包围矩形坐标corda为(x1，y1，w1，h1)；
28.根据摄像机b与摄像机a标定的相对位置关系，相对位置关系用3x3的矩阵表示，以及摄像机b的云台的水平方向的朝向角θ
h_b
和竖直方向的俯仰角θ
v_b
，映射推算得到野生动物在摄像机b中处于图像中心情况下的新云台角度以及野生动物在摄像机b的视野覆盖率为c时对应的镜头焦距d；其中视野覆盖率可以根据实际情况设定；
29.其中，映射关系为：
[0030][0031]
ia,ib分别为相机摄像机a摄像机b的内参，由相机本身硬件决定，反应了相机镜头焦距与分辨率等之间的关系，一般由一个3维矩阵表达；
[0032]
f为为相机a到相机b的云台角度映射关系；
[0033]
g为相机b视野覆盖与镜头焦距的映射关系；
[0034]
θ’h_b
为摄像机a映射得到摄像机b的云台的水平方向的朝向角；
[0035]
θ’v_b
为摄像机a映射得到摄像机b云台的竖直方向的俯仰角；
[0036]
算法服务的算法模块通过对θ
h_b
、θ
v_b
、ia、ib以及corda映射得到参数θ’h_b
、θ’v_b
以及d的结果，并发送至摄像机b，由摄像机b对野生动物进行跟踪。
[0037]
摄像机在捕获到目标后，利用算法进行同步目标发现，并且根据自身标定结果自我控制并跟踪目标物体。
[0038]
进一步的，步骤(4)中的联动摄像机的频率是可调的；
[0039]
在高频率的控制下，摄像机对目标的连续实时追踪，对奔跑运动的目标进行持续跟随，但可能会带来视频抖动。
[0040]
在较低频率的控制下，摄像机保持相对稳定的视角，用于采集相对静止的目标物体。
[0041]
进一步的，步骤(5)中，所述流媒体服务的短片录制由服务器进行控制，服务器通过网络以http协议进行控制，控制命令包括发现野生动物时启动和野生动物消失在视野可达范围后停止或固定录制时间后停止。
[0042]
本发明还提供一种野生动物信息采集的系统，所述系统包括：
[0043]
音视频采集模块，通过摄像机采集野生动物的视频数据，视频数据可以为h264格式、h265格式，所述摄像机包括一种为具有较大覆盖能力的全景摄像机或广角摄像机，以及另一种为具有变焦能力以及云台能力且可控制的摄像机；两种功能的摄像机具备相互标定能力，即用户通过在全景或广角相机中指定目标后令变焦相机通过云台对准指定目标；
[0044]
信息传输模块，以rtsp协议用于传输视频图像；
[0045]
人工智能算法服务器模块，用于对采集的视频图像预处理以及智能分析；
[0046]
音视频流媒体转播服务模块，用于短视频录制以及直播服务；
[0047]
网络存储模块和显示控制展示模块，用于将影像信息上传到云服务器、并记录日志；上传的信息包括摄像头ip位置、包含目标的图像、目标在图像中的位置坐标、目标类别、记录时间戳和视频文件；
[0048]
通过将人工智能算法服务模块中的算法服务部署在联通摄像机的网络环境中，视频采集模块对野生动物的进行视频数据采集，所述人工智能算法服务模块对采集的视频图像预处理以及智能分析，人工智能算法服务模块通过信息传输模块以rtsp协议将视频图像同步到流媒体服务，通过网络存储模块和显示控制展示模块进行短视频录制网络云存储、并记录日志，同时流媒体服务提供直播服务。
[0049]
本发明具有以下有益效果：
[0050]
(1)本发明通过摄像机b与摄像机a标定的相对位置关系以及摄像机b的云台角度参数，映射推算得到野生动物在摄像机b中处于图像中心情况下的新云台角度以及野生动物在摄像机b视野占c面积下对应的镜头焦距，相较于传统的采集方式拥有更大的覆盖视角，可以监控更大范围的场景，从传统10平方左右拓展到数千平方米。
[0051]
(2)本发明通过全景相机和可变焦相机的结合，利用人工智能算法实现大范围、大场景下的野生动物自动发现和自动追踪，通过自动跟踪采集到的动物影像拥有更高清和更好的持续性。
[0052]
(3)本发明通过和数据中台打通可以实现更好的数据服务，为野生动物研究、景区展示提供更多支持。
附图说明
[0053]
图1是实施例1的采集的方法流程图。
[0054]
图2是实施例1的跟踪动作的具体实现流程图。
[0055]
图3是实施例2的系统示意图。
具体实施方式
[0056]
以下结合附图对本发明的具体实施方式做详细描述，应当指出的是，实施例只是对发明的具体阐述，不应视为对发明的限定，实施例的目的是为了让本领域技术人员更好地理解和再现本发明的技术方案，本发明的保护范围仍应当以权利要求书所限定的范围为准。
[0057]
实施例1
[0058]
如图1所示，本发明提供一种野生动物信息采集的方法，所述方法包括：
[0059]
s1，将具备智能音视频分析能力的算法服务部署在联通摄像机的网络环境中；
[0060]
优选的，将算法服务部署在网络中可以采用python服务接口、java直接加载模型或docker+tf-serving部署模型。所述算法服务具有人工智能野生动物检测识别功能以及多摄像机定位跟踪功能。
[0061]
摄像机可以为网络ip数字摄像机，通过交换机网关等可实现远距离调用；
[0062]
也可以为经过网络录像机转码后的模拟信号摄像机；
[0063]
摄像机包含两种功能摄像机，一种为具有较大覆盖能力的全景摄像机或广角摄像机，另一种为具有变焦能力以及云台能力且可控制的摄像机；两种功能的摄像机具备相互标定能力，即用户可以通过在全景或广角相机中指定目标后令变焦相机通过云台对准指定目标。
[0064]
s2，算法服务对摄像机的采集视频图像进行预处理；
[0065]
所述预处理包括解码，所述解码方式包括cpu软件解码或gpu硬件解码，实时逐帧解码或仅关键帧解码。
[0066]
所述预处理包括取流，所述取流通过rtsp协议进行或rtmp协议与各个摄像机建立取流通道。
[0067]
其中，摄像机的原始视频流通过流媒体服务进行分发，流媒体服务可以提高原始摄像机视频流的服务路数。摄像机的原始视频流也可以通过网络录像机进行桥接；视频流也可以通过推流本地视频文件进行模拟推流进行测试或者回放。
[0068]
s3，算法服务对预处理后的视频图像进行智能分析；
[0069]
所述智能分析是基于深度学习框架下的目标检测算法以及分类识别算法，通过输入视频流解码后的图像，输出目标的外包围框坐标或者是目标的中心坐标，也可附加输出目标物体的具体类别；以图像左上角为坐标原点建立坐标系，设定从左到右为x轴，从上到下为y轴，外包围框坐标定义为中心坐标(x，y)以及框的长宽(w，h)构成，也就是(x，y，w，h)。
[0070]
s4，算法服务根据视频图像分析结果反馈给联动摄像机进行跟踪动作；
[0071]
信息采集过程中，摄像机a和摄像机b进行拍摄，其中摄像机a和摄像机b是两种不同类型的摄像机，摄像机a具有较大的视野覆盖范围、摄像机b具备云台以及变焦能力、并可通过网络协议进行程序化控制；
[0072]
如图2所示，所述跟踪动作的具体实现过程为：
[0073]
s41，摄像机a得到野生动物在该摄像机图像中的外包围矩形坐标corda为(x1，y1，
w1，h1)；
[0074]
s42，根据摄像机b与摄像机a标定的相对位置关系，相对位置关系用3x3的矩阵表示，以及摄像机b的云台的水平方向的朝向角θ
h_b
和竖直方向的俯仰角θ
v_b
，映射推算得到野生动物在摄像机b中处于图像中心情况下的新云台角度以及野生动物在摄像机b的视野覆盖率为c时对应的镜头焦距d，其中视野覆盖率可以根据实际情况设定；其中，映射关系为：
[0075][0076]
ia,ib分别为相机摄像机a摄像机b的内参，由相机本身硬件决定，反应了相机镜头焦距与分辨率等之间的关系，一般由一个3维矩阵表达；
[0077]
f为摄像机a到摄像机b的云台角度映射关系；
[0078]
g为相机b视野覆盖与镜头焦距的映射关系；
[0079]
θ’h_b
为摄像机a映射得到摄像机b的云台的水平方向的朝向角；
[0080]
θ’v_b
为摄像机a映射得到摄像机b云台的竖直方向的俯仰角；
[0081]
s43，算法服务的算法模块通过对θ
h_b
、θ
v_b
、ia、ib以及corda映射得到参数θ’h_b
、θ’v_b
以及d的结果，并发送至摄像机b，由摄像机b对野生动物进行跟踪。当摄像机在捕获到目标后，利用算法进行同步目标发现，并且根据自身标定结果自我控制并跟踪目标物体。
[0082]
s5，算法服务同时告知流媒体服务进行短视频录制；
[0083]
所述流媒体服务的短片录制由服务器进行控制，服务器通过网络以http协议进行控制，控制命令包括发现野生动物时启动和野生动物消失在视野可达范围后停止或固定录制时间后停止。
[0084]
s6，算法服务上传影像信息到云服务器、并记录日志；
[0085]
上传的信息包括：摄像头ip位置、包含目标的图像、目标在图像中的位置坐标、目标类别、记录时间戳、视频文件等；云服务器还将在本地记录日志，方便运维人员跟踪调试
[0086]
s7，流媒体服务录制视频的同时提供直播服务。
[0087]
流媒体服务可以将原始视频流进行广播推流，推流协议可以包含rtsp协议、rtmp协议、hls协议。
[0088]
算法服务包括以音视频分析算法为核心的计算机程序，以及提供与硬件交互的服务程序。
[0089]
实施例2
[0090]
本发明还提供一种野生动物信息采集的系统，所述系统包括：
[0091]
如图3所示，音视频采集模块1，通过摄像机11采集野生动物的视频数据，视频数据可以为h264格式、h265格式，所述摄像机11包括一种为具有较大覆盖能力的全景摄像机或广角摄像机，以及另一种为具有变焦能力以及云台能力且可控制的摄像机；两种功能的摄像机具备相互标定能力，即用户通过在全景或广角相机中指定目标后令变焦相机通过云台对准指定目标；
[0092]
信息传输模块2，以rtsp协议用于传输视频图像；
[0093]
人工智能算法服务器模块3，用于对采集的视频图像预处理以及智能分析；
[0094]
音视频流媒体转播服务模块4，用于短视频录制以及直播服务；
[0095]
网络存储模块和显示控制展示模块5，用于将影像信息上传到云服务器、并记录日志；上传的信息包括摄像头ip位置、包含目标的图像、目标在图像中的位置坐标、目标类别、记录时间戳和视频文件；
[0096]
通过将人工智能算法服务模块3中的算法服务部署在联通摄像机11的网络环境中，视频采集模块1对野生动物的进行视频数据采集，所述人工智能算法服务模块3对采集的视频图像预处理以及智能分析，人工智能算法服务模块3通过信息传输模块以rtsp协议将视频图像同步到流媒体服务，通过网络存储模块和显示控制展示模块5进行短视频录制网络云存储、并记录日志，同时流媒体服务提供直播服务。
[0097]
本发明通过全景相机和可变焦相机的结合，利用人工智能算法实现大范围、大场景下的野生动物自动发现和自动追踪，通过自动跟踪采集到的动物影像拥有更高清和更好的持续性。
[0098]
本发明通过和数据中台打通可以实现更好的数据服务，为野生动物研究、景区展示提供更多支持。
[0099]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。