专利名称：一种视频监控系统及视频监控方法
技术领域：
本发明涉及网络视频监控技术，具体来说是一种视频监控系统及视频监控方法。
背景技术：
视频监控传统上属于安防(保卫)系统的一部分，其作为安防系统的一项专门业 务，一直以来和IT行业的其他应用保持着一定的距离。传统视频监控以独立的小规模应用 为主，其视频通信采用以同轴电缆为主的模拟通信方式。 目前，随着计算机技术的发展和网络的普及，视频监控已经发展到了网络视频监 控系统，不再局限于简单地完成对视频信号的处理、传输、控制，其核心乃是对基于IP网络 的多媒体信息(视频/音频/数据)提供一个综合、完备的管理控制平台。其中，根据应用 网络环境的不同，可分为专网视频监控系统和Internet视频监控系统，包括宽带互联网、 宽带移动无线网(如CDMA、3G)、卫星通信网等视频监控系统。 Interne视频监控的特点是网络环境复杂、带宽资源有限，从前端不同种类的摄像 头(如DVS/DVR、IP camera等)到后端各种不同的监控设备(如PC、手机、PDA及其它类型 的媒体播放终端等)，中间可能穿过不同种类、介质的网络，包括有线网、无线网等等。因此， 如何有效地执行信令控制、视频流传输，保证后端监控设备能及时、准确地进行视频监控， 是一个必须面对的问题。这要求在实现Internet视频监控过程中，需要针对网络环境合理 规划整个业务流程并定义相关接口及协议，只有这样才能形成一个可用的Internet视频 监控系统。 目前，Internet方面各种应用协议五花八门，其中有不少是与视频相关的，但这 不足以构建一个有效、可用的Internet视频监控系统。 一个有效、可用的Internet视频 监控的概念可以归结为"5W"，即任何一个授权者(whoever)在任何时候(whenever)、任何 地点(wherever)，能通过任何一种手段方式(however)，获取任何一个被控对象(人或物) (whichever)的任何信息(whatever)。因此，实现一个有效、可用的Internet视频监控，需 要全面解决包括监控系统服务端和前端监控设备及后端设备之间的交互、其间控制信令及 视频流的传输、所需的标准及协议等问题。 现有技术中，网络视频监控系统多采用TCP/IP协议为基本通信协议，即针对具体 应用特点，定义相关的应用协议，如常见的HTTP、 FTP、 SMTP/P0P3等，同时对于所需协议选 择合适的控制信令和视频流的方式，最终实现网络视频监控系统。问题在于，现有技术不能 很好地解决不同网络环境与设备的互操作性问题，因而不能满足融合视频监控系统的建设需要。 例如，以手机终端作为客户端接入访问固网视频监控平台，共享固网监控资源的 应用模式中，前端监控设备输出的码流主要服务于固网宽带网络和PC端客户，因只支持单 码流，所支持的设备非常有限。也就是说，视频流的码流格式、帧速等不能直接在移动网络 传输，也不能在手机终端解码播放。 又如，前端监控设备作为流媒体服务器使用，如常见HTTP流媒体服务器、RTSP流媒体服务器等，监控系统需要作为一个客户端去前端监控设备视频流。这可能存在以下问 题(l)网络不可达，如有防火墙阻塞时，就无法使用；(2)网络不稳定时难以使用，例如AD 或移动网络，一旦断开重连后其IP会发生变化，需要通过一个交互过程来获得新的IP，如 DynDNS就需要一个较长的时间才能恢复到可用状态。 再如，前端监控设备自动注册的方法，通常采用DynDNS来实现。如果前端监控设 备掉线或因其它故障失效时，监控系统无法及时获知；只有等到前端监控设备再次注册或 长时间的连接失败后，才能确认前端监控设备的有效性。此外，DynDNS的另一缺点是没有 可供管理的接口。
发明内容
有鉴于此，本发明旨在提供一种视频监控系统及视频监控方法，以解决网络环境
及不同设备之间的互操作性问题，实现有效、可用的融合视频监控系统。 为解决以上技术问题，本发明提供的视频监控系统，包括通过通信链路连接的若
干前端监控设备、系统服务器、流媒体服务器和若干客户端，所述前端监控设备包括视频流 生成模块，设置有多种编码形式，其根据系统服务器的指令，选择相应编码形式进行编码， 并封装成视频流进行发布。 所述视频流生成模块以Motion Jpeg和H264/AVC两种编码形式编码，发布两路视 频流。 所述前端监控设备包括注册请求模块，上电后向系统服务器发起注册请求。
所述注册请求模块采用HTTP/XML方式自动注册。 还包括转码服务器，根据系统服务器指令，向前端监控设备发出视频流请求，对获 取的视频流转码，再由流媒体服务器转发至客户端。 本发明提供的视频监控方法，适用于包括通过通信链路连接的若干前端监控设
备、系统服务器、流媒体服务器和若干客户端组成的监控系统，其特征在于，包括 预先在前端监控设备中设置多种编码形式； 根据系统服务器指令，前端监控设备选择相应的编码形式； 前端监控设备按照所选择编码形式进行编码，并封装成视频流进行发布。 以Motion Jpeg和H264/AVC两种编码形式编码，发布两路视频流。 前端监控设备上电后向系统服务器发起注册请求。 采用HTTP/XML方式自动注册。 预先设置转码服务器，使其根据系统服务器通知，向前端监控设备发出视频流请 求，对获取的视频流转码，再由流媒体服务器转发至客户端 与现有技术相比，本发明充分考虑网络环境及不同设备之间的互操作性问题，可 实现一个有效、可用的5W(whoever、 whenever、 wherever、 however、 whatever)的Internet 视频监控系统，其有益效果包括但不限于以下方面 1、支持多码流，可满足不同网络、不同后端设备的需要，以及不同的个性化监控需 求； 2、前端监控设备按需发布视频流，必要时进行HTTP封装，有效地解决Internet网 络环境下容易遇到的防火墙、NAT代理等问题，保证在目前的AD宽带、3G无线网等类似网络中可用。 3、实时转码，兼容传统监控设备，保护用户投资； 4、基于HTTP/XML的自动注册的方法，解决了设备有效性的问题，全部自动完成， 有利于监控系统对设备的管理。
图1是本发明视频监控系统的网络拓扑图；
图2是本发明视频监控系统的方框图；
图3是本发明视频监控方法的流程图；
图4是图3中视频流转码的流程图；
图5是本发明在视频流转码时的信令图。
具体实施例方式
本发明的基本构思是，以多种编码形式编码，并封装成视频流进行发布；通过支持 多码流，实现不同网络环境间设备的交互，以兼容传统监控设备，最终实现融合视频监控。
本发明视频监控系统适用于Internet网络环境(包括宽带互联网、CDMA、3G宽带 移动无线网、卫星通信网等)，均采用TCP/IP协议为基本通信协议。在实际项目中，还应根 据具体应用特点定义相关的应用协议(如常见的HTTP、 FTP、 SMTP/P0P3等)，其中，所需协 议至少包括控制信令和视频流发布两个方面。本发明中，具体采取以下办法
1、控制信令 采用HTTP/HTTPS协议，所有数据都封装成XML格式，作为参数commandlist的值 附在URL后发送出去；其中登录认证、配置管理采用HTTPS协议以保证数据通讯安全。
2、视频流发布 视频编码可采用Motion Jpeg和H264/AVC两种编码形式，并封装成视频流。根据 需要可封装成HTTP数据包，以穿过防火墙。实际运行中，具体采用何种编码，系统服务器根 据客户端类型决定编码格式，并通知前端监控设备，由前端监控设备向监控系统服务端发 布相应编码方式的视频流。 下面结合附图和实施例对本发明进一步描述。 同时参见图1、图2，本发明监控系统由通过通信链路连接的若干前端监控设备 500、转码服务器100、系统服务器200、流媒体服务器400及若干客户端300构成，其中
前端监控设备500包括IP Cameral (网络摄像机)、球机、DVR (数字视频录像机)、 DVS(网络视频服务器)，ishow(视频互动娱乐平台)等。其中，前端监控设备500包括视频 流生成模块501，多种编码形式，其根据系统服务器200的指令，选择相应编码形式进行编 码，并封装成视频流进行发布。具体地以Motion Jpeg和H264/AVC两种编码形式编码，并 发布两路视频流。另外，前端监控设备500还包括注册请求模块502，在前端监控设备500 上后电后，即采用HTTP/XML方式向系统服务器200发起注册请求以登记注册。以下为注册 请求的XML实例
(1)注册请求 〈？ xml version =〃 1.0〃 encoding = 〃 UTF-8" >
5
〈ha:registerReq deviceldName = 〃 eshore" password = 〃 123456〃
paras = 〃 Something" xmlns:ha=〃 http://www.eshore.cn/" /> [OO47] (2)注册响应 注册响应使用基本格式，param的值为"Register"，表示这是针对注册请求的 响应，value指示请求结果，"l"表示成功"O"表示失败，description指示错误原因。例 如 〈？ xml version =〃 1.0〃 encoding = 〃 UTF-8" > 〈responseMsg param =〃 Register" xmlns =〃 http://www.eshore.cn" >
〈value>0〈/value> 〈description>Unknown error ! 〈/description>
〈/responseMsg> 系统服务器200，主要作为Web服务器或DynDNS，在收到客户端300视频流监控请 求后，根据前端监控设备500的在线情况，指令在线前端监控设备500发布视频流。特别地， 系统服务器200在收到客户端300的监控请求后，将根据客户端300情况，指定前端监控设 备500发布相应视频流。 流媒体服务器400，将前端监控设备500的视频流转发至客户端300。具体是，视 频流由前端监控设备500到流媒体服务器400，再由流媒体服务器400转发到客户端播放。 其中，流媒体服务器400可以单独设置，也可视情况由系统服务器200本身担当。
客户端300包括PC、手机、PDA等各类终端，可向系统服务器200发出实时视频流 监控请求，在获取视频流后可进行实时播放。 转码服务器100，在客户端300与网络环境、前端监控设备500不相适用时，根据系 统服务器200通知，向前端监控设备500发出视频流请求，对获取的视频流转码，由流媒体 服务器400转发至客户端300。 本发明设置了转码服务器100，因此视频监控系包括两种工作模式，即图2中实线 所示的转码模式和虚线所示的常规模式，其中 在转码模式下的工作过程为，客户端300选择前端监控设备500，并向系统服务器 200发出视频流请求；系统服务器200判断是否需要对视频流转码，若是，通知转码服务器 100启动转码任务，同时提交相应的前端监控设备500参数；转码服务器100向前端监控设 备500发出视频流请求，对获取的视频流转码后，发送至流媒体服务器400 ;由流媒体服务 器400将视频流转发至客户端300。 在常规模式下的工作过程为，系统服务器200在收到客户端300视频流监控请求
后，根据前端监控设备500的在线情况，指令在线前端监控设备500发布视频流。该视频流
由前端监控设备500到流媒体服务器400，再由流媒体服务器400转发到客户端300播放。 以下为视频流发布实例 〈？ xml version =〃 1.0〃 ？ > 〈ipcam> 〈operation> 〈method>PlayStart〈/method>
〈codec〉H264〈/codec〉
〈params> 〈Width〉320〈/Width〉 〈Height〉240〈/Height〉 〈fps>15〈/fps> 〈bitrate〉300000〈/bitrate〉 〈/params> 〈/operation> 〈/ipcam> 客户端退出后，系统服务器再通知前端监控设备停止发布。 在上述视频监控系统基础上，下面对本发明视频监控方法详细进行说明。 参见图3，本发明视频监控方法包括但不限于以下步骤 S301、预先在前端监控设备中设置多种编码形式； S302、根据系统服务器指令，前端监控设备选择相应的编码形式； S303、前端服务器按照所选择编码形式进行编码，并封装成视频流进行发布； S304 、视客户端情况，转码服务器对视频流进行转码。 由于前端监控设备以多种编码形式编码并封装成视频流进行发布，系统服务器收 到客户端监控请求后，可根据客户端情况指定前端监控设备发布相应视频流；同时，还预先 设置转码服务器，根据需要对视频流进行转码；由此，可解决不同网络环境和设备之间的互 操作性问题。为便于深入理解，以下对转码模式下的工作过程进一步说明。
参见图4，视频流转码的工作过程具体为 S401 、客户端选择前端监控设备，并向系统服务器发出视频流请求。 客户端从获取的监控系统资源列表中选择前端监控设备，具体通过客户端向系统
服务器发出监控资源下载请求以获取监控资源列表。其中，需要系统服务器对客户端进行
登录认证；若通过，允许客户下载监控资源列表；否则，拒绝客户下载监控资源列表。 S402、系统服务器判断是否需要对视频流转码， 若是，进入步骤S403; 若否，进入步骤S408。 在客户端与网络环境、前端监控设备不相适用时，将视频流转码，再由流媒体服务 器转发至客户端；否则，视频流无需转码，按常规方法处理即可。 S403、系统服务器通知转码服务器启动转码任务，同时提交相应的前端监控设备 参数。 在系统服务器发现需要转码时，就通知转码服务器启动转码任务，并将相关信息， 包括前端监控设备IP等提交给服务器。 S404 、转码服务器向前端监控设备发出视频流请求。
S405 、转码服务器对获取的视频流转码。 转码方式具体是，对视频流解码；分析视频流的参数是否符合客户端的要求，若 是，根据设置的帧率、带宽要求重新编码；若否，调用存储的转码方式，对视频流转码。
S406 、转码服务器向流媒体服务器发布视频流。
S407、流媒体服务器将视频流转发至客户端。
根据步骤S404-S407，转码服务器依照前述信息到前端监控设备请求视频流；在
成功获取后则可按要求重新编码，并将编码后的视频流发送给流媒体服务器，再由流媒体
服务器发送给客户端。 S408、按现有办法处理视频流。 在常规模式下无需转码，按照现有办法处理视频流即可。具体而言，系统服务器在 收到客户端视频流监控请求后，根据前端监控设备的在线情况，指令在线前端监控设备发 布视频流。该视频流由前端监控设备到流媒体服务器，再由流媒体服务器转发到客户端播 放。 参见图5，本发明视频监控方法包括设备注册、用户登录、监控资源下载、监控请 求、停止退出等步骤，具体包括以下信令(1)系统服务器配置任务；(2)系统服务器发出 登录消(包括用户名、密码、登录用户时间有效期等)；(3)转码服务器返回登录响应消 息，获得LoginSession;(4)系统服务器发出下载任务消息(包括发布点的ID、发布名， CameralURL、视频参数等)；(5)转码服务器删除之前的任务，启用新任务；(6)转码服务器 返回下载任务响应消息；(7)客户端(如PC/手机终端)发出获取视频监控资源列表消息， 即获取图像节点列表；(8)客户端选择相应前端监控设备后，请求视频流；(9)系统器请求 视频流发布；(10)转码服务器返回视频流发布响应消息；(ll)若返回状态为无此任务(或 认证失败)，则系统服务器重新(登录)下载任务；(12)转码服务器判断视频流是否已发 布；(13)获取视频流(http或rtsp) ;(14)转码服务器转码，具体包括解码、裁减及编码过 程；(15)转码服务器发布视频流；(16)流媒体服务器将视频流转发至客户端；(17)客户端 播放视频流；(18)客户端发出停止视频流请求；(19)系统服务器发出停止视频流发布消 息；(20)转码服务器判断是否可以停止发布视频流；(21)转码服务器发出停止获取视频流 消息；(22)转码服务器发出停止发布视频流；(23)系统服务器发出登出消息；(24)转码服 务器返回登出响应消息。 上述过程中，用户通过登录认证后，将自动获取监控资源列表，选择其中一个监控 资源后，系统服务器(Web服务器)发现需要转码，就通知转码服务器启动转码任务，并将相 关信息，包括前端监控设备IP等提交给转码服务器；转码服务器根据这些信息到前端监控 设备请求视频流，成功获取后解码，并按要求重新编码，将重新编码后的视频流发送给流媒 体服务器；再由流媒体服务器发送给用户；用户不再监控时就发送停止视频流请求至系统 服务器，由系统服务器发送停止发布视频流请求到转码服务器上，并最终完成停止动作。
以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对 本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的 普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改 进和润饰也应视为本发明的保护范围。
8
权利要求
一种视频监控系统，包括通过通信链路连接的若干前端监控设备、系统服务器、流媒体服务器和若干客户端，其特征在于，所述前端监控设备包括视频流生成模块，设置有多种编码形式，其根据系统服务器的指令，选择相应编码形式进行编码，并封装成视频流进行发布。
2. 如权利要求1所述的视频监控系统，其特征在于，所述视频流生成模块以MotionJpeg和H264/AVC两种编码形式编码，发布两路视频流。
3. 如权利要求1所述的视频监控系统，其特征在于，所述前端监控设备包括注册请求模块，上电后向系统服务器发起注册请求。
4. 如权利要求1所述的视频监控系统，其特征在于，所述注册请求模块采用HTTP/XML方式自动注册。
5. 如权利要求l-4任一项所述的视频监控系统，其特征在于，还包括转码服务器，根据系统服务器指令，向前端监控设备发出视频流请求，对获取的视频流转码，再由流媒体服务器转发至客户端。
6. —种视频监控方法，适用于包括通过通信链路连接的若干前端监控设备、系统服务器、流媒体服务器和若干客户端组成的监控系统，其特征在于，包括预先在前端监控设备中设置多种编码形式；根据系统服务器指令，前端监控设备选择相应的编码形式；前端监控设备按照所选择编码形式进行编码，并封装成视频流进行发布。
7. 如权利要求6所述的视频监控方法，其特征在于，以Motion Jpeg和H264/AVC两种编码形式编码，发布两路视频流。
8. 如权利要求6的视频监控方法，其特征在于，前端监控设备上电后向系统服务器发起注册请求。
9. 如权利要求8的视频监控方法，其特征在于，采用HTTP/XML方式自动注册。
10. 如权利要求6-9任一项所述的视频监控方法，其特征在于，预先设置转码服务器，使其根据系统服务器通知，向前端监控设备发出视频流请求，对获取的视频流转码，再由流媒体服务器转发至客户端。
全文摘要
本发明公开一种视频监控系统，包括通过通信链路连接的若干前端监控设备、系统服务器、流媒体服务器和若干客户端，所述前端监控设备包括视频流生成模块，设置有多种编码形式，其根据系统服务器的指令，选择相应编码形式进行编码，并封装成视频流进行发布。在此基础上，本发明还公开一种视频监控方法，包括预先在前端监控设备中设置多种编码形式；根据系统服务器指令，前端监控设备选择相应的编码形式；前端监控设备按照所选择编码形式进行编码，并封装成视频流进行发布。由于前端监控设备支持多码流，可解决网络环境及不同设备间的互操作性问题，实现有效、可用的融合视频监控系统。
文档编号H04L29/06GK101710975SQ20091019425
公开日2010年5月19日 申请日期2009年11月27日 优先权日2009年11月27日
发明者施祖阳, 曾思伟, 李华卿, 梁智健, 王玲丽, 郑雪青, 金涛, 陈垂华 申请人:广东亿迅科技有限公司