网络视频监控系统的制作方法

1.本发明涉及视频数据处理技术领域，特别涉及一种网络视频监控系统。


背景技术：

2.相关技术中，视频监控是安全防范系统的重要组成部分，视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合；近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展；目前的视频监控领域广泛采用网络视频录像机(network video recorder，nvr)存储以及处理监控视频，但是，采用该方式由于需要购置nvr设备、安装完成后需要定期维护、使用硬盘存储且缺乏合理冗余配置所以导致其存在投入大、运维成本高、存储可靠性低以及功能单一整合性差的问题。


技术实现要素：

3.本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种网络视频监控系统，通过在视频监控云平台传输、存储和管理监控摄像头的视频流，以低成本、高可靠性实现多功能视频监控，从而大大提高了用户体验。
4.为达到上述目的，本发明实施例提出了一种网络视频监控系统，包括：多个监控移动端、视频监控云平台和多个前端设备，所述视频监控云平台分别与所述多个监控移动端和所述多个前端设备相连接，所述视频监控云平台包括视频流接收模块、视频流实时预览模块、视频流回放录制模块、统一存储模块、视频流处理模块和视频流分发模块；其中，所述视频流接收模块用于接收所述多个前端设备推送的对应多个视频流数据，并对所述多个视频流数据进行传输；所述视频流实时预览模块用于将接收的所述多个视频流数据发送给所述多个监控移动端，以便所述多个监控移动端对所述多个视频流数据进行实时预览；所述视频流回放录制模块用于对接收的所述多个视频流数据进行处理以得到录像文件以便所述多个监控移动端对所述录像文件进行回放；所述统一存储模块用于对接收的所述录制文件进行备份存储以便所述多个监控移动端调取所述备份的录像文件；所述视频流处理模块用于对所述多个视频流数据进行缩略图生成、动作侦测和物体识别，并将得到的识别结果进行存储，以便所述多个监控移动端进行调取；所述视频流分发模块用于通过实时消息传输协议将所述多个视频流数据传输至内容分发网络以便所述多个监控移动端进行在线观看。
5.根据本发明实施例的网络视频监控系统，通过设置视频流接收模块用于接收多个前端设备推送的对应多个视频流数据，并对多个视频流数据进行传输；视频流实时预览模块用于将接收的多个视频流数据发送给多个监控移动端，以便多个监控移动端对多个视频流数据进行实时预览；视频流回放录制模块用于对接收的多个视频流数据进行处理以得到录像文件以便多个监控移动端对录像文件进行回放；统一存储模块用于对接收的录制文件进行备份存储以便多个监控移动端调取备份的录像文件；视频流处理模块用于对多个视频流数据进行缩略图生成、动作侦测和物体识别，并将得到的识别结果进行存储，以便多个监
控移动端进行调取；视频流分发模块用于通过实时消息传输协议将多个视频流数据传输至内容分发网络以便多个监控移动端进行在线观看；由此，通过在视频监控云平台传输、存储和管理监控摄像头的视频流，以低成本、高可靠性实现多功能视频监控，从而大大提高了用户体验。
6.另外，根据本发明上述实施例提出的网络视频监控系统还可以具有如下附加的技术特征：
7.可选地，所述多个前端设备为支持不同格式的摄像头。
8.可选地，所述视频流接收模块包括rtmp模块、srt模块和gb28181模块，多个所述摄像头发送自身的设备编号、支持的视频格式、编码信息到信令服务以完成设备注册后所述视频流接收模块返回rtmp/srt端点地址，对于gb28181协议返回sip注册信息给对应的多个所述摄像头，以便多个所述摄像头将各自的视频流数据推送给所述视频流接收模块对应的模块。
9.可选地，所述视频流实时预览模块包括hls模块、webrtc模块和dash模块，其中，所述hls模块用于为所述多个监控移动端提供良好兼容性，所述webrtc模块用于提供超低延迟监控实时查看，所述dash模块用于将所述多个视频流数据中的每个视频流数据分割成多种比特率的多个文件片段，以便所述多个监控移动端中的每个监控移动端根据当前网络条件自动选择下载和播放对应的某个文件片段。
10.可选地，所述视频流回放录制模块包括实时回放模块、历史回放模块和回放导出模块，其中，所述实时回放模块采用长窗口hls直播以提供近线回放，所述历史回放模块根据需要动态生成hls索引文件以提供历史回放，所述回放导出模块提供封装好的flv格式录像文件以导出回放。
11.可选地，所述统一存储模块包括分层存储模块、配额判断模块和定期沉降模块，所述分层存储模块采用s3或s3-compatible对所述录像文件进行分层存储，所述配额判断模块用于根据预设条件限制分层存储模块的可用容量，或者按照配置限制某个监控移动端的可用存储总量，在写满/超出限制时提供报警或覆写两种可选模式，所述定期沉降模块用于根据设置定期将所述录像文件备份从热存储沉降为低频/归档访问类型，以及在接收到监控移动端调取所述备份的录像文件时进行归档存储解冻。
12.可选地，所述视频流处理模块包括运动侦测模块、生成缩略图模块和物体识别模块，其中，所述运动侦测模块用于对所述多个视频流数据中的每个视频流数据进行抽帧处理以及通过帧差法或者背景拆分法根据图像判断画面运动情况以得到运动侦测结果，所述生成缩略图模块用于根据固定间隔对每个视频流数据进行抽帧以生成缩略图并写入存储，所述物体识别模块用于通过google tensorflow&deepstack人工智能套件实现物体识别以得到识别结果。
13.可选地，所述监控移动端可为手机、电脑或者平板中的任意一种。
14.可选地，所述网络视频监控系统还包括通知与报警模块，所述通知与报警模块用于接收各个模块产生的通知信息，并按所述通知信息对应的联系信息、通道配置推送至对应的监控移动端。
15.可选地，所述网络视频监控系统还包括api应用程序接口，以便所述监控移动端调取相关数据。
附图说明
16.图1为根据本发明实施例的网络视频监控系统的方框示意图；
17.图2为根据本发明一个实施例的视频流接收模块的方框示意图；
18.图3为根据本发明一个实施例的视频流实时预览模块的方框示意图；
19.图4为根据本发明一个实施例的视频流回放录制模块的方框示意图；
20.图5为根据本发明一个实施例的统一存储模块的方框示意图；
21.图6为根据本发明一个实施例的视频流处理模块的方框示意图；
22.图7为根据本发明一个实施例的视频流分发模块的方框示意图。
具体实施方式
23.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
24.相关技术中，视频监控领域广泛采用网络视频录像机存储以及处理监控视频，而采用该方式需要购置nvr设备及硬盘需要分析场景并制定购买方案，设备投入高；安装完毕后为保障运行稳定需要专人负责日常维护和更新、异常处理等，增加了人力成本；nvr设备以硬盘作为存储介质，存在多种影响存储可靠性的原因，例如：硬盘突然故障、未配置raid1及以上的带冗余存储阵列、配置有raid但在单盘损坏存储阵列重建时大量读写导致备份盘再次损坏和采购同一问题批次产品同时出现故障等；nvr所提供的功能较为单一，多为视频的备份与回放，限制了视频监控的应用范围，不能和周围系统良好整合。
25.为此，本发明提出了一种网络视频监控系统，通过设置视频流接收模块用于接收多个前端设备推送的对应多个视频流数据，并对多个视频流数据进行传输；视频流实时预览模块用于将接收的多个视频流数据发送给多个监控移动端，以便多个监控移动端对多个视频流数据进行实时预览；视频流回放录制模块用于对接收的多个视频流数据进行处理以得到录像文件以便多个监控移动端对录像文件进行回放；统一存储模块用于对接收的录制文件进行备份存储以便多个监控移动端调取备份的录像文件；视频流处理模块用于对多个视频流数据进行缩略图生成、动作侦测和物体识别，并将得到的识别结果进行存储，以便多个监控移动端进行调取；视频流分发模块用于通过实时消息传输协议将多个视频流数据传输至内容分发网络以便多个监控移动端进行在线观看；由此，通过在视频监控云平台传输、存储和管理监控摄像头的视频流，以低成本、高可靠性实现多功能视频监控，从而大大提高了用户体验。
26.为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
27.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
28.图1为根据本发明实施例的网络视频监控系统的方框示意图；如图1所示，该网络视频监控系统包括多个监控移动端1、视频监控云平台2和多个前端设备3。
29.其中，视频监控云平台2分别与多个监控移动端1和多个前端设备3相连接，视频监控云平台2包括视频流接收模块21、视频流实时预览模块22、视频流回放录制模块23、统一存储模块24、视频流处理模块25和视频流分发模块26。
30.其中，视频流接收模块21用于接收多个前端设备3推送的对应多个视频流数据，并对多个视频流数据进行传输。
31.作为一个实施例，多个前端设备3为支持不同格式的摄像头。
32.作为一个实施例，如图2所示，视频流接收模块21包括rtmp模块211、srt模块212和gb28181模块213，多个摄像头发送自身的设备编号、支持的视频格式、编码信息到信令服务以完成设备注册后视频流接收模块返回rtmp/srt端点地址，对于gb28181协议返回sip(session initialization protocol)注册信息给对应的多个摄像头，以便多个摄像头将各自的视频流数据推送给视频流接收模块21对应的模块。
33.也就是说，视频流接收模块21支持通过rtmp(real-time messaging protocol)、srt(secure reliable transport)和gb28181(国标)传输摄像头视频流；rtmp对大部分设备提供极强的兼容性，对于支持的设备使用srt进一步降低延迟；支持rtmp的摄像头a、支持gb28181的摄像头b和支持srt的摄像头c通过发送自身的设备编号、支持的视频格式、编码等信息到信令服务，完成设备注册；视频流接收模块21返回rtmp的端点地址给摄像头a、返回srt端点地址给摄像头c、返回sip注册信息给摄像头b；以便摄像头a推送视频流给rtmp模块211、摄像头b推送视频流给gb28181模块213、摄像头c推送视频流给srt模块212。
34.其中，视频流实时预览模块22用于将接收的多个视频流数据发送给多个监控移动端1，以便多个监控移动端1对多个视频流数据进行实时预览。
35.作为一个实施例，如图3所示，视频流实时预览模块22包括hls模块221、webrtc模块222和dash模块223，其中，hls模块221用于为多个监控移动端1提供良好兼容性，webrtc模块222用于提供超低延迟监控实时查看，dash模块223用于将多个视频流数据中的每个视频流数据分割成多种比特率的多个文件片段，以便多个监控移动端1中的每个监控移动端根据当前网络条件自动选择下载和播放对应的某个文件片段。
36.也就是说，视频流实时预览模块22支持以flv格式提供低延迟监控查看(延迟2s左右)；同时通过webrtc(web real-time communications)提供超低延迟(延迟500ms左右)监控实时查看；自适应码率dash(dynamic adaptive streaming over http)支持将直播流分割成多种比特率的多个文件片段，监控移动端1将根据当前网络条件自动选择下载和播放哪一个片段；当网络条件发生变化时，例如可用带宽减小、丢包率上升，监控移动端1将下载低码率版本作为下一片段，从而避免卡断影响体验，由此可以无缝适应不断变化的网络条件并提供高质量的播放体验；hls(http live streaming)为移动端设备提供良好兼容性。
37.需要说明的是，视频流实时预览模块22可提供网页版及app多种形式，针对windows&linux&macos等桌面系统提供基于浏览器的用户界面，针对android&ios等移动设备，可以使用基于浏览器的用户界面(自适应网页)，同时提供app可供安装使用，两者提供功能无差异。
38.其中，视频流回放录制模块23用于对接收的多个视频流数据进行处理以得到录像文件以便多个监控移动端1对录像文件进行回放。
39.作为一个实施例，如图4所示，视频流回放录制模块23包括实时回放模块231、历史
回放模块232和回放导出模块233，其中，实时回放模块231采用长窗口hls直播以提供近线回放，历史回放模块232根据需要动态生成hls索引文件以提供历史回放，回放导出模块233提供封装好的flv格式录像文件以导出回放。
40.需要说明的是，利用长窗口hls直播，提供近线回放而不需要等待录像切割；根据需要动态生成hls索引文件，提供历史回放；需要导出回放时，提供封装好的flv格式录像文件；转码、切片为h264通用格式，供短期回看；使用高效编码生成视频片段文件用于归档，其中视频编码算法使用包括但不限于：h.264,h.265(hevc),av1,vp9，音频编码使用包括但不限于：aac,opus。
41.其中，统一存储模块24用于对接收的录制文件进行备份存储以便多个监控移动端1调取备份的录像文件。
42.作为一个实施例，如图5所示，统一存储模块24包括分层存储模块241、配额判断模块242和定期沉降模块243，分层存储模块241采用s3(simple storage service)对象存储或s3-compatible(兼容s3的对象存储)对录像文件进行分层存储，配额判断模块242用于根据预设条件限制分层存储模块的可用容量，或者按照配置限制某个监控移动端1的可用存储总量，在写满/超出限制时提供报警或覆写两种可选模式，定期沉降模块243用于根据设置定期将录像文件备份从热存储沉降为低频/归档访问类型，以及在接收到监控移动端1调取备份的录像文件时进行归档存储解冻。
43.需要说明的是，热存储为标准对象存储；对象存储特性决定了归档存储在调用时需要提前解冻，定期沉降模块243在收到调取请求后自动根据文件大小选择极速(explicit)和普通速度对文件解冻，并提供友好提示，定期沉降模块243在视频回放进度接近归档存储文件块时，进行提前解冻，降低用户感知为解冻文件配置生命周期，定期沉降模块243在指定天数后继续沉降为归档存储。
44.其中，视频流处理模块25用于对多个视频流数据进行缩略图生成、动作侦测和物体识别，并将得到的识别结果进行存储，以便多个监控移动端进行调取。
45.作为一个实施例，如图6所示，视频流处理模块25包括运动侦测模块251、生成缩略图模块252和物体识别模块253，其中，运动侦测模块251用于对多个视频流数据中的每个视频流数据进行抽帧处理以及通过帧差法(temporal difference)或者背景拆分法(background subtraction)根据图像判断画面运动情况以得到运动侦测结果，生成缩略图模块252用于根据固定间隔对每个视频流数据进行抽帧以生成缩略图并写入存储，物体识别模块253用于通过google tensorflow&deepstack等人工智能套件实现物体识别以得到识别结果。
46.也就是说，运动侦测模块251对视频抽帧处理，通过帧差法、背景拆分法等算法根据图像判断画面运动情况(支持设置检测区域遮罩以忽略指定区域变化)；生成缩略图模块252根据固定间隔对视频进行抽帧(可复用运动侦测中抽帧结果)，生成缩略图，写入存储模块，需要注意的是，此步骤同时结合运动侦测结果，当相邻帧存在画面变动时，优先抽取画面有变动的一帧或多帧，以优化缩略图代表性、提升回放效率；物体识别模块253包括对行人、常见物体的识别和分析，通过google tensorflow&deepstack等人工智能套件实现物体识别。
47.其中，视频流分发模块26用于通过实时消息传输协议将多个视频流数据传输至内
容分发网络以便多个监控移动端进行在线观看。
48.作为一个实施例，如图7所示，视频流分发模块26(中心服务器)在大流量场景下，为同时传输多路视频流要求视频流分发模块26具有较大带宽，以一路视频2mbps为例，假设某时刻平台上有100个摄像头正在实时预览，每个摄像头同时有10个监控移动端观看，这要求中心服务器有2*100*10＝2gbps的上行带宽，通过内容分发网络(content delivery network，cdn)可以明显减少中心服务器带宽压力。
49.也就是说，中心服务器通过rtmp将视频流传输至内容分发网络，保证了较低延时；单路视频流无论有多少个监控移动端观看，中心服务器始终只有1路视频流输出，在该结构下，中心服务器带宽消耗为2*100＝200mbps＝0.2gbps，即原方案的10％。
50.作为一个实施例，监控移动端可为手机、电脑或者平板中的任意一种；本发明对此不作具体限定。
51.作为一个实施例，网络视频监控系统还包括通知与报警模块，通知与报警模块用于接收各个模块产生的通知信息，并按通知信息对应的联系信息、通道配置推送至对应的监控移动端。
52.也就是说，网络视频监控系统支持多通道(短信、微信、邮件、telegram和web hook等)的通知服务，接收各个模块产生的信息，按联系信息、通道配置推送至接收者。
53.作为一个实施例，网络视频监控系统还包括api应用程序接口，以便监控移动端通过api应用程序接口调取相关数据。
54.综上所述，根据本发明实施例的网络视频监控系统，通过设置视频流接收模块用于接收多个前端设备推送的对应多个视频流数据，并对多个视频流数据进行传输；视频流实时预览模块用于将接收的多个视频流数据发送给多个监控移动端，以便多个监控移动端对多个视频流数据进行实时预览；视频流回放录制模块用于对接收的多个视频流数据进行处理以得到录像文件以便多个监控移动端对录像文件进行回放；统一存储模块用于对接收的录制文件进行备份存储以便多个监控移动端调取备份的录像文件；视频流处理模块用于对多个视频流数据进行缩略图生成、动作侦测和物体识别，并将得到的识别结果进行存储，以便多个监控移动端进行调取；视频流分发模块用于通过实时消息传输协议将多个视频流数据传输至内容分发网络以便多个监控移动端进行在线观看；由此，通过在视频监控云平台传输、存储和管理监控摄像头的视频流，以低成本、高可靠性实现多功能视频监控，从而大大提高了用户体验。
55.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
56.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
57.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
58.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
59.应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
60.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
61.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
62.在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
63.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
64.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
65.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点
可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
66.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。