对室内外环境中物体的视频分析检测方法及系统与流程

本发明涉及智能视频分析技术领域，特别涉及一种对室内外环境中物体的视频分析检测方法及系统。

背景技术：

随着我国“平安城市”建设的深入，我国安防市场的需求将进一步提高，成为继美国之后全球第二大安防市场。

技术方面的突飞猛进也为安防产业的发展提供了强大的动力，60年代视频图像技术、70年代计算机数字技术、80年代生物识别技术以及90年代国际互联网技术的应用使安防行业得到快速发展。2008年的北京奥运会和2010年的上海世博会为中国安防市场提供了巨大的商机，而中国持续不断的建设高潮也为安防市场的稳定发展提供了最坚实的基础。

近年来，全程数字化、网络化的视频监控系统优势愈发明显，其高度的开放性、集成性和灵活性，为整个安防产业的发展提供了更加广阔的发展空间，而智能视频监控则是网络化视频监控领域最前沿的应用模式之一。智能视频监控以数字化、网络化视频监控为基础，但又有别于一般的网络化视频监控，它是一种更高端的视频监控应用。

视频发展阶段：

第一阶段：七十年代末到九十年代中期。这个阶段以闭路电视监控系统(CCTV)为主，也就是第一代模拟电视视频监控系统。在2000年左右，已经基本淘汰。

第二阶段：九十年代中期至九十年代末，以基于PC机插卡式的视频监控系统为主，此阶段也被业内人士称为半数字时代。或第二代视频监控系统。

第三阶段：九十年代末至今，以嵌入式技术为依托，以网络、通信技术为平台，以在摄像头中嵌入简单的图像分析算法为特色的网络视频监控系统为主，自此，网络视频监控的发展也进入了数字时代。目前海康，大华，柯达等多数安防厂商提供的都是第三代——网络化视频监视系统，又称为IP监视系统。

第四阶段：二十一世纪初至今，随着用户对智能图像分析的要求越来越高，单纯的在摄像头中嵌入简单的算法对抓拍的图片进行分析已经远远不能满足用户的需求。用户对于监控系统的要求已经从事后取证转向事前预防。监控方式也由以人在监控中心值守转变为电脑智能值守。第四代智能识别监控系统正是应这样的需求而产生的。

传统第三代视频监控系统主要的预警是由人员通过看监控显示大屏实现，需要大量的人力投入，同时对人员的责任心，专注度要求很高，大多数情况下只能起到事后取证的作用，而且事后取证的效率极低。

大多数其他厂商将算法集成在摄像头中,由于受摄像头硬件限制，只能构建简单算法，做基本处理，无法实现真正意义上的智能识别。

技术实现要素：

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种对室内外环境中物体的视频分析检测方法及系统，可以对环境中出现遗留物、疑似危险物品和被盗物品进行检测，从而在发现上述情况时及时发出报警信号，通知监控人员采集措施处理。

为了实现上述目的，本发明一方面的实施例提供一种对室内外环境中物体的视频分析检测方法，包括如下步骤：

步骤S1，由安装在监控区域的视频前端设备采集监控区域的各个位置处的视频图像；

步骤S2，将所述视频图像通过交换机发送至数据库服务器进行存储，并发送至应用服务器进行智能视频分析；

步骤S3，由所述应用服务器对视频图像进行分析，从所述视频图像中分析出物品特征，并自动分析视频图像中的物品特征在预设的关注区域中停留时间是否超过阈值；

步骤S4，当判断物品特征在预设的关注区域中停留时间超过阈值时，则判断该物品特征对应为遗留物，由所述应用服务器向监控人员的终端设备发出报警信息，提示监控人员进行关注处理，并将该区域的视频图像实时在显示屏上进行显示。

进一步，在所述步骤S3中，所述应用服务器进一步监测到预设区域中的物品被移走时间超过阈值时，发出报警信息，提示监控人员发生盗移，进行关注处理。

进一步，在所述步骤S3中，所述应用服务器进一步将提取出的物品特征与预设的危险品数据库进行比对，当判断该物品特征位于所述危险品数据库中时，发出报警信息，提示监控人员进行关注处理。

进一步，所述步骤S4中，所述监控人员的终端设备实时获取所述监控区域的视频图像，并接收所述报警信息，以提示用户及时采取处理措施。

进一步，在所述步骤S4中，所述报警信息为声光报警提示。

本发明另一方面的实施例提供一种对室内外环境中物体的视频分析检测系统，包括：视频前端设备、数据库服务器、交换机、应用服务器和显示装置，其中，所述视频前端设备包括：多个摄像机，所述多个摄像机分布于监控区域的多个位置处，用于采集各个位置处的视频图像；所述交换机与所述视频前端设备、所述数据库服务器和所述应用服务器相连，用于将所述视频图像发送至所述数据库服务器和所述应用服务器；所述数据库服务器用于存储所述视频图像并进行备份；所述应用服务器用于对视频图像进行分析，从所述视频图像中分析出物品特征，并自动分析视频图像中的物品特征在预设的关注区域中停留时间是否超过阈值，当判断物品特征在预设的关注区域中停留时间超过阈值时，则判断该物品特征对应为遗留物，由所述应用服务器向监控人员的终端设备发出报警信息，提示监控人员进行关注处理，所述显示装置与所述应用服务区相连，用于将该区域的视频图像实时在显示屏上进行显示。

进一步，所述应用服务器进一步监测到预设区域中的物品被移走时间超过阈值时，发出报警信息，提示监控人员发生盗移，进行关注处理。

进一步，所述应用服务器进一步将提取出的物品特征与预设的危险品数据库进行比对，当判断该物品特征位于所述危险品数据库中时，发出报警信息，提示监控人员进行关注处理。

进一步，所述监控人员的终端设备实时获取所述监控区域的视频图像，并接收所述报警信息，以提示用户及时采取处理措施。

进一步，所述报警信息为声光报警提示。

根据本发明实施例的对室内外环境中物体的视频分析检测方法及系统，可以根据对视频采集数据的分析，对环境中出现遗留物、疑似危险物品和被盗物品进行检测，从而在发现上述情况时及时发出报警信号，通知监控人员采集措施处理。

本发明基于多种智能识别算法不断优化设计的一套智能识系列应用产品，为用户提供了智能识别、智能取证、事前预警、事后处置、三级联动、手工报警、移动端应用管理、预警信息分级推送等多种应用服务，能够在事件发生之前通过对视频数据的智能分析，提前发出预警，并根据事件的危险程度实现三级联动预警，可将事件的图像分发到各级人员移动终端上，为事件处置赢得宝贵时间，将事件对公私财产及人民群众生命安全的影响降低到最低程度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的对室内外环境中物体的视频分析检测方法的流程图；

图2为根据本发明实施例的对室内外环境中物体的视频分析检测系统的结构图；

图3为根据本发明实施例的系统架构图；

图4为根据本发明实施例的视频采集、分析、存储流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明实施例的对室内外环境中物体的视频分析检测方法，包括如下步骤：

步骤S1，由安装在监控区域的视频前端设备采集监控区域的各个位置处的视频图像。

具体地，由视频前端设备中的数据采集程序采集数据(xml、图片和视频片段)，通过处理后将数据分别存储于数据库和存储服务器。也可以通过接口实现接入第三方安全系统或者安检设备检测信息。

步骤S2，将视频图像通过交换机发送至数据库服务器进行存储，并发送至应用服务器进行智能视频分析。

参考图4，视频分析服务器将分析结果以xml数据发送至数据采集程序，数据采集程序通过xml从视频分析服务器中采集图片和视频片段。数据采集程序将处理后的数据分别存储与数据库和存储服务器。

步骤S3，由应用服务器对视频图像进行分析，从视频图像中分析出物品特征，并自动分析视频图像中的物品特征在预设的关注区域中停留时间是否超过阈值。

其中，应用服务器进一步监测到预设区域中的物品被移走时间超过阈值时，发出报警信息，提示监控人员发生盗移，进行关注处理。

此外，应用服务器进一步将提取出的物品特征与预设的危险品数据库进行比对，当判断该物品特征位于危险品数据库中时，发出报警信息，提示监控人员进行关注处理。

步骤S4，当判断物品特征在预设的关注区域中停留时间超过阈值时，则判断该物品特征对应为遗留物，由应用服务器向监控人员的终端设备发出报警信息，提示监控人员进行关注处理，并将该区域的视频图像实时在显示屏上进行显示。

下面分别对遗留物品检测、被盗物品检测和疑似危险物品检测进行说明：

1、遗留物品检测：

对监控范围内，被遗留的物件识别，识别过程可以对识别参数进行调整以适应不同场景的需求。自动检测指定的区域是否出现遗留的物体，如若出现遗留物，系统立刻自动进行(遗留物事件)报警。

应用范围：机场、火车站、汽车站、楼宇、学校等人群密集的公共场所需要视频监控的重要区域。另外很多政府机关部门、企事业单位甚至小区、博物馆、军事安全基地、银行、库房、铁路等无人看守的重要安防区域，以及不需要停车的高速公路路段等。

室外环境要求：监控区域距离摄像头5m～10m；白天、光线稳定；黑夜，有明亮光源且稳定，光源亮度不能突变。

室内环境要求：监控区域距离摄像头3m～5m；光线稳定或有明亮光源且稳定，光源亮度不能突变。

2、被盗物品检测

采用与遗留物品相反的检测方式，实现监控区域内物品被盗行为检测。自动检测指定区域是否出现丢失/遗失物品，若存在丢失/遗失物品，系统立刻自动进行(丢失/遗失物品事件)报警。

应用范围：博物馆展区、画展、别墅、政府机关部门、企事业单位、军事安全基地等无人看守的重要安防区域等。

室外环境要求：监控区域距离摄像头5m～10m；白天、光线稳定；黑夜，有明亮光源且稳定，光源亮度不能突变。

室内环境要求：监控区域距离摄像头3m～5m；光线稳定或有明亮光源且稳定，光源亮度不能突变。

3、疑似危险物品检测

分析出视频场景中设定区域出现的疑似危险物品如刀具、棍棒等，并提取相关照片，形成预警数据(XML)。自动检测指定区域是否出现刀具、棍棒等危害人身安全的危险物品，若存在此类危险物品，系统立刻自动进行(发现危险物品事件)报警。

应用范围：机场、火车站、汽车站、楼宇、学校等人群密集的公共场所，是需要视频监控的重要区域。另外很多政府机关部门、企事业单位甚至小区、博物馆、军事安全基地、库房、铁路等无人看守的重要安防区域。

室外环境要求：监控区域距离摄像头5m～10m(5m左右为佳)；白天、光线稳定；黑夜，有明亮光源且稳定，光源亮度不能突变。

室内环境要求：监控区域距离摄像头3m～5m；光线稳定或有明亮光源且稳定，光源亮度不能突变。

监控人员的终端设备实时获取监控区域的视频图像，并接收报警信息，以提示用户及时采取处理措施。其中，报警信息为声光报警提示。

如图2所示，本发明实施例还提出一种对室内外环境中物体的视频分析检测系统，包括：视频前端设备1、数据库服务器2、交换机3、应用服务器4和显示装置5。

具体地，视频前端设备1包括：多个摄像机，多个摄像机分布于监控区域的多个位置处，用于采集各个位置处的视频图像。

交换机3与视频前端设备1、数据库服务器2和应用服务器4相连，用于将视频图像发送至数据库服务器2和应用服务器4。

数据库服务器2用于存储视频图像并进行备份。

应用服务器4用于对视频图像进行分析，从视频图像中分析出物品特征，并自动分析视频图像中的物品特征在预设的关注区域中停留时间是否超过阈值，当判断物品特征在预设的关注区域中停留时间超过阈值时，则判断该物品特征对应为遗留物，由应用服务器4向监控人员的终端设备发出报警信息，提示监控人员进行关注处理。

进一步，应用服务器4进一步监测到预设区域中的物品被移走时间超过阈值时，发出报警信息，提示监控人员发生盗移，进行关注处理。

此外，应用服务器4进一步将提取出的物品特征与预设的危险品数据库进行比对，当判断该物品特征位于危险品数据库中时，发出报警信息，提示监控人员进行关注处理。

显示装置5与应用服务区相连，用于将该区域的视频图像实时在显示屏上进行显示。

具体地，监控人员的终端设备实时获取监控区域的视频图像，并接收报警信息，以提示用户及时采取处理措施。

在本发明的一个实施例中，监控人员的终端设备为手机或平板电脑。

其中，报警信息为声光报警提示。

如图3所示，系统架构七个层次，分别是操作系统层、数据库层、web容器层、运行环境层、技术层、网络层、访问浏览层。

下面对本发明的软件支撑平台进行说明：

1、Oracle11g数据库：提供可靠、安全的数据管理功能以应对关键的企业业务和在线事务处理应用。Oracle高级安全选件提供透明数据加密,可以对数据库里存储的数据和网络传输的数据进行加密。

2、操作系统(windows/linux)：作为授权服务器上操作系统，用于运行相关的软件。

3、资源服务(WebServer)：通过(资源服务的)业务系统为其它服务提供资源信息，它是业务系统和其它服务的桥梁。

4、分发服务(VideoServer)：将硬件设备采集的视频流信息转发到分析服务等。

5、网站服务(tomcat)：作为web容器提供互联网端管理系统的使用。

6、中间件(ESB)：用于集成第三方软件和硬件的接口。

7、电子地图(GIS)：用户提供整体平台电子地图功能。

8、存储服务(StorageServer)：实现历史视频录像的存储功能。

9、接收程序(FKCounter)：实现预警事件信息的及时接收，及业务系统实时展示。

10、图片发布服务器(nginx)：用于发布预警事件的图片。

11、视频播放插件(OCX)：实现业务系统可以实时浏览视频播放。

12、视频监控客户端(VideoClient)：给客户提供一个控制、访问前端设备的可视化平台。通过客户端，用户可以实时浏览所有设备的视频信息，控制设备云台、3D定位，观看历史视频录像，浏览视频方案播放等。

13、业务系统：给客户提供及时查阅、处理从前端设备检测到的实时报警事件的平台。

14、清理磁盘.rar：定期检查及清理存储的视频录像和图片文件，防止磁盘空间不足。

本发明可部署授权服务器上，并支持定制化的软硬系统集成，相比其他嵌在摄像机或者软硬结合的产品而言，可扩展性强，可根据用户的需求增加某些功能；所采用的算法根据大量的对比，测试，在环境达到产品应用的要求的情况下，算法的准确率高于其他嵌入摄像机或软硬结合的产品；算法，客户端等都有断线自动回复功能；整个系统可以兼容windows2003/xp/win7/win8等系统。

根据本发明实施例的对室内外环境中物体的视频分析检测方法及系统，可以根据对视频采集数据的分析，对环境中出现遗留物、疑似危险物品和被盗物品进行检测，从而在发现上述情况时及时发出报警信号，通知监控人员采集措施处理。

本发明基于多种智能识别算法不断优化设计的一套智能识系列应用产品，为用户提供了智能识别、智能取证、事前预警、事后处置、三级联动、手工报警、移动端应用管理、预警信息分级推送等多种应用服务，能够在事件发生之前通过对视频数据的智能分析，提前发出预警，并根据事件的危险程度实现三级联动预警，可将事件的图像分发到各级人员移动终端上，为事件处置赢得宝贵时间，将事件对公私财产及人民群众生命安全的影响降低到最低程度。

为了适应用户需求，本发明具有环境学习能力，能根据安防识别库的不断完善提高系统识别率，提高相关部门的安防工作效率，更好的保障广大群众的人生和财产安全，维护了社会稳定。

本发明实施例的对室内外环境中物体的视频分析检测方法及系统，具有以下有益效果：

1、全面性

当前多数智能识别厂商只实现了一个或少数几个智能识别的模块，无法满足用户日益增长的提升安全等级的需求。当用户有多种需求时就只能将多家厂商的产品全部装一遍，不同的功能在不同的平台上实现。而针对物品、群体人员、环境、摄像头本身的所有十一大智能分析功能均在一个平台上实现，能满足大多数客户的需求，对用户来讲简单易用。

2、数据取证快捷

当前多数智能厂商是将智能识别的算法前置，这就导致在事件发生后的取证困难，而智能识别平台由于是在后台部署，所以能够轻松的分析存储的视频，迅速定位需要取证的数据，为客户节约大量的时间成本。并支持多级联动，数据分发。

3、三级联动预警

系统可实现巡逻人员手持终端、监控中心系统平台，指挥部系统平台的三级联动，为用户多个层面的人员提供决策支撑，实现事前预警处置，将事件压制在摇篮之中。

4、可持续性发展

不断完善系统的识别库，提高识别率，同时，也可根据客户需求定制开发新智能识别算法来满足不同的需求，在未来应用过程中保持长久的持续发展。

5、双向报警

本发明可以实现视频分析预警和现场巡逻人员手动报警的双向报警机制，在摄像头盲区，现场巡逻人员通过手动形式将报警图像发回预警平台，平台指挥人员根据图像情况安排部署处置工作。从而通过摄像头和现场人员组成无死角覆盖的预警指挥处置网络。

6、保护原有投资

由于智能识别平台是一套纯软件系统，布置在视频监控系统的后台，所以无需对用户已经建成的视频监控系统进行改造或拆除重建，能够有效的保护客户的原有投资，相对目前国内多数监控生产商将算法前置到摄像头的模式，的智能识别平台能够最大化保护客户的原有投资。

7、经济性

研发的智能识别平台在客户端部署后可以灵活调整智能识别的区域，以及该区域识别的内容。比如某一个广场摄像机拍摄的区域，白天识别的可能是群体或个体的行为识别，晚上则有可能识别的是疑似危险品或遗留物的识别。传统的监控厂商只能依靠增加摄像机，增加设备投入来实现，而的智能识别平台则只需在软件中设置就可以实现，极大的节约了用户的工程投入，设备投入，人力投入等，具有极高的经济性。再比如城市安全层面，不同的时间段需要智能识别的区域是不同的，传统的解决方案就是加装大量的摄像头，劳民伤财。智能识别平台只需要在软件中设置即可实现，具备极高的经济性。

同时，由于智能识别平台是由计算机对视频进行智能分析，可以减少大量的值守人员，为使用单位节省大量的人力成本。具备很高的经济性。

8、实用性

智能识别平台具有极其完善的预警机制，目前已经可以实现包含物品识别、人员行为识别、环境识别、摄像头自身状态识别等十一大功能，可根据分析数据将可能发生的事件进行报警，让用户在事件萌芽状态时进行相关的处置，以避免事件发生后造成的损失。

9、移动互联应用

为方便用户的使用，除了设置在监控中心的平台之外，本发明还设计了手机客户端(执法仪)应用，根据现场巡逻处置人员、现场指挥人员、行动总指挥的人员的不同权限设置了不同的查询、推送、求助、移交等功能，用户可通过手机终端应用快捷的实现和指挥人员，指挥中心的双向互动，极大增强了系统应用的范围和便捷性。

10、微信推送应用

为了方便未安装本系统的手机(执法仪)的支援或增援人员接送系统推送的预警信息，系统专门设计了微信推送模块，可向指定的微信号推送预警信息。并可通过关注微信公众号，实现公众号自动推送。推送内容包含了预警事件性质、预警事件紧急程度等多个内容。用户可在平台上设置推送内容，推送频次等多种个性化设置。

11、高效性

基于视频图像的智能分析的一套平台，平台在实现对视频图像的智能分析的基础上通过在不同场景，不同环境设置不同的参数实现对事件的事前预警。预警信息通过平台的三级联动预警机制自动分发到不同的责任人员的客户端，同时平台还能够通过相关功能模块实现应急指挥。通过整个平台的各个功能模块的联动实现对事件的快速处置。

采用纯软件形式实现，算法采用OpenCV结合c/c++的方式实现，OpenCV是一个基于(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows和MacOS操作系统上。它轻量级而且高效，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV提供的视觉处理算法非常丰富，并且它部分以C语言编写，不需要添加新的外部支持也可以完整的编译链接生成执行程序。本发明可移植性高，稳定性强，适应各种可能的环境，技术扩展性强。

整个系统在部署之后，若出现预警事件，自动发送报警信息，用户可查看并及时处理。系统实用性较高，可适应各种环境，一个摄像机可同时加载好几种算法，自动产生报警信息，直观性强，节省大量的人力物力，维护简单，并可扩展新的功能。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。