专利名称：智能视频监控系统及其算法的性能测试方法
技术领域：
本发明涉及安防领域智能视频监控系统的测试，具体是指一种智能视频监控系统及其算法的性能测试方法。
背景技术：
现代社会是一个人口密集、高度复杂的社会，面临的突发事件和异常事件越来越多，其监控的重要性与难度也越来越突出。为此，新一代的智能视频监控技术得到了世界各国政府和学者的密切关注。
随着各种各样智能视频算法和系统的提出，带来的问题就是这些视频内容分析算法的可靠性和健壮性如何，产生误报及漏报的几率大小，用户能否放心地使用采用该算法的监控系统，如果算法产生了太多的误报，将会使安全人员习惯性的掉以轻心，甚至漏掉重大的事件。因此，判断这些算法及系统实用性的评估方法至关重要。
通过对智能视频算法及系统进行性能评估，可以给出对特定的智能视频算法或监控系统的性能评估，使得视频监控系统的用户必须知道自己使用的系统的准确性、可靠性如何，并且由此决定对此系统的依赖程度的大小，以及是否需要使用其他的辅助措施；同时也可以帮助算法设计者发现已有算法的不足之处，并加以改进。
目前的智能视频系统及算法测试工作主要以人工测试为主，即通过人对算法的检测结果进行判断，并最终给出该系统的性能指标。但此种测试方法不仅费时费力，同时评估结果受到人的主观感受和生理因素等的影响，使得评估不具备可重复性，评估结果缺乏说服力，所以此种人工测试方法不适于测试较多视频样本及多个被测物的情况。
发明内容
本发明智能视频监控系统及其算法的性能测试方法旨在提供一种自动的智能视频监控系统及其算法的性能测试方法，以解决智能视频测试中的耗时耗力等问题。该方法因在测试序列库建立时，对测试视频进行了人工标注获取基准数据，同时也使用一些工具生成一部分模拟视频(其基准数据可自动获取)，而在后续的比对评估步骤中，可对前面获得的基准数据进行重复使用，而且只要被测物的输出符合预先定义的格式，即可利用计算机对其进行自动的评估。因而大大减少了人工测试中结果统计所需的时间及人力，且由于结果统计使用计算机进行，这也使得评估中的人为因素的影响大大降低，使得测试具备可重复性。同时本发明标注支持多种视频格式，包括AVI、 MPEG、 MP4等。
本发明智能视频监控系统及其算法的性能测试方法由基准数据生成单元、基准数据校准
3单元、基准数据存储单元、基准数据播放单元、检测结果录入单元、检测结果与基准比较单元、性能指标计算单元、结果输出单元和调度服务器组成的测试系统完成，所述的方法包括以下步骤
步骤一，建立用于测试的基准数据库，基准数据库中的视频样本包括真实场景视频及虚拟合成视频， 一个视频测试样本由测试视频及相应的基准数据组成；步骤二，选取用于测试的视频序列；
步骤三，将被测系统或算法在基准数据库中的视频上运行，并获取运行结果，同时，査询并选出对应视频的基准数据；
步骤四，将运行结果与选定的基准进行比对并评估，比对评估的级别分为帧级别和事件级别，最后以文本及图表方式储存输出比对评估结果。
本发明智能视频监控系统及其算法的性能测试方法，通过建立一个测试基准数据库，提供不同难度级别的测试样本，在不同的被测物之间进行测试比对，从而得到各个被测物的性能，发现其性能优劣，以利于对该被测系统或算法的改进。
本发明的优点在于只需在基准数据库建立阶段花费时间和人力，而后可以自动进行结果对比，不需耗费人力。同时比对的仅仅是标注后产生的XML文件以及被测物输出的XML文件，占用内存空间较少，能提高自动测试系统的运行速度。
图1为本发明智能视频监控系统及其算法的性能测试方法的结构组成图2为本发明智能视频监控系统及其算法的性能测试方法的操作步骤流程图3为本发明智能视频监控系统及其算法的性能测试方法中建立基准数据库的过程；
图4为本发明智能视频监控系统及其算法的性能测试方法中测试结果比对评估输出的过程。
具体实施例方式
本发明为一种用于安防领域内的智能视频监控系统及其算法的性能测试方法。下面为本发明的优选实施方案使用的系统结构和实施步骤-(一)系统结构
图l所示的本发明使用的系统结构框图，该系统组成包括基准数据生成单元、基准数据校准单元、基准数据存储单元、基准数据播放单元、检测结果录入单元、检测结果与基准比较单元、性能指标计算单元、结果输出单元、调度服务器组成。
1. 基准数据生成单元用来生成用于比对的基准文件；
2. 基准数据校准单元用来对基准数据生成单元生成的基准数据进行校对调整；
3. 基准数据存储单元负责存储测试所需的视频样本以及相应的标注产生的基准数据；4. 基准数据播放单元可以对入库的基准视频进行播放；
5. 检测结果录入单元可将被测物产生的检测结果进行统一格式的存储；
6. 检测结果与基准比较单元用于将检测结果与相应的基准数据进行比对；
7. 性能指标计算单元对比对结果进行分析，计算各种性能指标；
8. 结果输出单元对性能指标计算单元输出的结果以文本及图表的方式输出给用户；
9. 调度服务器接收用户发出的测试操作，査询基准数据存储服务器中的基准数据，同 时调度各单元进行协同比对操作。
(二)实施步骤 本发明的具体实施如图2，操作步骤如下 首先执行步骤一，建立用于测试的基准数据库； 接着执行步骤二，选取用于测试的视频序列；
再接着执行步骤三，将被测系统或算法在基准数据库中的视频上运行，并获取运行结果， 同时，查询并选出对应的基准数据；
最后执行步骤四，将运行结果与选定的基准进行比对，对比对结果进行分析并最终输出评 估结果。
其中步骤一的具体操作过程如图3，主要包含如下操作
a. 选取合适的视频进行入库，建立测试视频序列库；
b. 对测试视频按照事先制订的规则，生成基准数据。
上述a操作中进一步包含有以下步骤对用于测试的视频按可用的功能测试进行分类； 对用于某一功能测试的视频按处理的难度进行分级，分级的因素包括光照、对比度、天气 状况及场景复杂度等，分级为3级以上；使用基准数据存储单元，将视频及描述信息存储至 相应的位置。
上述b操作中进一步包含有以下步骤用户选取需要生成基准数据的视频后，通过基准 数据生成单元，在该段视频上生成相应的基准数据；使用基准数据校准单元，对基准数据生 成单元输出的基准数据进行校准；使用基准数据存储单元，对基准数据校准单元输出的基准 数据进行存储。
上述操作a和b都完成后，建立完成的基准数据库主要由视频序列、视频描述信息、基 准数据组成。其中，视频序列由摄像设备采集得到，视频描述信息对视频的采集参数(摄像 设备的参数、采集时间)、采集条件(天气、光照等)、场景(马路、广场等)、内容(人、车 等)信息进行描述，基准数据由选取的视频先后经过生成粗略基准数据、校准的精确基准数 据得到。步骤二主要完成的操作是调度服务器通知基准数据存储单元，将相应的测试视频文件 及基准数据文件存储位置返回给调度服务器；调度服务器收到信息后，将此信息发送给基准 数据播放单元进行播放，便于用户选择合适的测试数据。
步骤三主要完成的操作是调度服务器将用户选取的用于测试的视频发送至被测物，供 被测物进行检测；通过检测结果录入单元将被测物的检测结果以统一的格式XML存储，记 录被测物在每一帧内的检测结果，并通知调度服务器。同时，查询并选出比对的视频基准数 据也以XML格式存储。
步骤四的具体操作过程如图4:用户通过调度服务器设置评判策略；调度服务器调度检 测结果与基准比较单元，使用用户配置的策略，将检测结果与相应的基准数据进行比对，评 判检测结果的有效性，评判完成后通知调度服务器；调度服务器接收到检测结果与基准比较 单元的信息后，调度性能指标计算单元，根据评估任务，对评判结果进行计算评估更能反映 被测物真实性能的指标，并返回调度服务器；调度服务器收到性能指标计算单元返回的评估 结果后，通知结果输出单元，对分析计算的性能指标以文本及图片格式的输出。
在上述的比对评估中，分为帧级别和事件级别两种
帧级别，比较被测物在每一帧检测结果；
事件级别，比较某一事件发生期间，该事件或物体是否被成功检测。
总而言之，本发明在于提供一种智能视频监控系统及其算法的性能测试方法，其在建立 基准数据库的基础上，完成对不同智能视频算法及智能视频系统的性能测试，大大节省了人 力和物力，因此非常具有实用价值。
权利要求
1.一种智能视频监控系统及其算法的性能测试方法，其特征在于，所述方法由基准数据生成单元、基准数据校准单元、基准数据存储单元、基准数据播放单元、检测结果录入单元、检测结果与基准比较单元、性能指标计算单元、结果输出单元和调度服务器组成的测试系统完成，所述的方法包括以下步骤步骤一，建立用于测试的基准数据库；步骤二，选取用于测试的视频序列；步骤三，将被测系统或算法在基准数据库中的视频上运行，并获取运行结果，同时，查询并选出对应视频的基准数据；步骤四，将运行结果与选定的基准进行比对，对比对结果进行分析并最终输出评估结果。
2. 根据权利要求1所述的智能视频监控系统及其算法的性能测试方法，其特征在于，所述 的步骤一建立测试基准数据库的过程进一步包括以下步骤步骤(一)，对用于测试的视频按功能测试进行分类；步骤(二)，对某一功能测试的视频按处理的难度进行分级，分级为3级以上；步骤(三)，对测试视频按制定的规则进行标注，并将标注数据按照统一的格式存储。
3. 根据权利要求1所述的智能视频监控系统及其算法的性能测试方法，其特征在于，所述 的步骤三中被测系统或算法在测试中视频运行结果存储为统一格式的XML文件，记录被测 物在每一帧内的检测结果；查询并选出对应视频的基准数据也以统一格式的XML文件存储。
4. 根据权利要求1所述的智能视频监控系统及其算法的性能测试方法，其特征在于，所述的步骤四中，在检测结果与基准比较单元配置比较策略，设置有效匹配条件，在性能指标计 算单元根据评估任务配置性能指标，结果输出单元输出比对评估结果的形式包括文本和图形两种。
5. 根据权利要求1或2之一所述的智能视频监控系统及其算法的性能测试方法，其特征在于， 所述的基准数据库中的视频样本包括真实场景视频及虚拟合成视频， 一个视频测试样本由测 试视频及相应的基准数据组成。
6. 根据权利要求1或4之一所述的智能视频监控系统及其算法的性能测试方法，其特征在于， 所述的比对评估的级别分为帧级别和事件级别。
全文摘要
本发明为一种智能视频监控系统及其算法的性能测试方法，本测试方法由基准数据生成单元、基准数据校准单元、基准数据存储单元、基准数据播放单元、检测结果录入单元、检测结果与基准比较单元、性能指标计算单元、结果输出单元和调度服务器组成的测试系统完成。在对智能视频系统或算法进行测试时，首先建立用于测试的基准数据库，用于测试的视频依次经过基准数据的生成、校准和存储；然后选定测试视频，被测的系统或算法在选定的测试视频上进行功能检测，将检测结果存储为规定格式的XML文件；最后将此文件与对应视频的基准数据加以比对，将比对评估的结果以文本和图形的方式输出。
文档编号H04N17/00GK101656891SQ20091009156
公开日2010年2月24日 申请日期2009年8月27日 优先权日2009年8月27日
发明者孟永新, 李晓峰, 李鹏飞, 列 王, 陈朝武 申请人:北京中盾安全技术开发公司;公安部第一研究所