基于场景和马尔科夫逻辑网的智能行为分析系统及方法
【专利摘要】本发明涉及一种基于场景和马尔科夫逻辑网的智能行为分析系统及方法，其中包括场景描述器，用以采用主题模型方法对视频图像所处的场景进行分类；动作识别器，用以在所述的视频图像的基础上，采用隐马尔科夫模型方法对视频图像中人的原子动作进行识别；语义行为理解描述器，用以在场景分类和原子动作识别的基础上，采用马尔科夫逻辑网方法进行高层语义行为理解和兴趣度事件描述。采用该种基于场景和马尔科夫逻辑网的智能行为分析系统及方法，通过将场景描述引入到视频的高层语义行为进行分析，更加充分地对视频进行描述，将领域规则知识库引入到马尔科夫逻辑网进行改进，更加灵活地实现对高层语义行为及相关事件进行描述，具有更广泛的应用范围。
【专利说明】基于场景和马尔科夫逻辑网的智能行为分析系统及方法
【技术领域】
[0001]本发明涉及人体行为视觉分析与智能理解领域，尤其涉及基于场景描述和马尔科夫逻辑网进行人体行为视觉分析和智能理解领域，具体是指一种基于场景和马尔科夫逻辑网的智能行为分析系统及方法。
【背景技术】
[0002]随着技术的发展以及硬件设备价格的逐渐降低，大量的监控摄像头被安装到各种场合，特别是那些对安全要求敏感的场合，如机场、社区、银行、停车场、军事基地等。动态场景的视觉监控是近年来备受关注的前沿研究方向，它从摄像机捕捉的图像序列中检测、识另O、跟踪目标并对其行为进行理解。人的行为分析作为计算机视觉领域的一个重要研究方向，其目的就是让计算机像人一样通过视觉观察来分析和理解人类活动和场景信息，在高级人机交互、安全监控、视频会议、医疗诊断及基于内容的图像存储及检索等方面具有广泛的应用前景和潜在的经济价值，目前已经被应用于智能家居、老年人看护、智能会议室等领域中。
[0003]李英杰等在其申请的发明专利“一种基于行为识别的智能视频监控系统”[201110148631.4]中公开了一种基于行为识别的智能视频监控系统。该系统是一种可以自动侦测威胁的智能视频监控系统，可对场景目标进行探测、跟踪、分类和对象分析，由五部分组成:视频采集模块、视频处理模块、基于贝叶斯分类算法的行为识别模块、上位机管理平台和报警模块。该系统能够很好的判断视频数据是否为异常分布，通过运用一种贝叶斯分类算法，来判断正常行为和异常行为，并能够很好的保证实时性。
[0004]汤志伟等在其申请的发明专利“基于图像分割和语义提取实现人员行为识别的系统及方法”[201210317234.X]中公开了一种基于图像分割和语义提取实现人员行为识别的系统及方法。将图像的高层语义和底层视觉特征相结合，采用支持向量机方法将图像底层特征映射为高层语义，在图像和图像描述之间建立映射关系，使得计算机能够通过数字图像处理和分析来理解画面中的内容，在不需要人为干预的情况下，实现对场景中人员行为的智能检测，减小“语义鸿沟”，大幅提高图像中人员行为识别的准确性，且实现方式简便，应用成本低廉，应用范围也较为广泛。
[0005]王传旭等在其申请的发明专利“同类行为多视图间相似度挖掘方法及行为识别方法” [201310268884.4]中公开了一种同类行为多视角间相似度挖掘方法及行为识别方法，通过时空特征点方法实现姿态建模，并通过递归图挖掘多视图间的递归相似度，避免了依赖于背景分割而容易导致人体姿态失真的问题，提高了相似度挖掘的精度及行为识别的鲁棒性。
[0006]黄凯奇等在其申请的发明专利“一种基于隐结构推理的行为识别方法”[201310087343.1]中公开了一种基于隐结构推理的行为识别方法。该方法通过研究人体结构特征来学习局部特征之间的结构信息，将运动主体的局部特征与来自背景的干扰特征分开，可以更好的对主体的行为进行描述，有效的提高了行为的表达能力和识别率。该方法亦可以对复杂场景中的行为进行识别分类，具有很好的鲁棒性。
[0007]谭铁牛等在其申请的发明专利“一种基于轨迹序列分析和规则归纳的视频行为识别方法”[200710117997.9]中公开了一种基于轨迹序列分析和规则归纳的视频行为识别方法，采用将场景中的完整轨迹分割为若干有羁绊语义的轨迹段，通过轨迹段聚类得到若干基本运动模式为原子事件，并使用隐马尔科夫模型方法进行建模，通过基于最小描述长度准则的规则归纳算法，获取蕴含在轨迹序列中的事件规则，然后，基于事件规则，采用扩展的文法分析器来对感兴趣的事件加以识别。本发明提供完整的视频行为识别框架，在规则归纳过程中考虑视频事件的时空属性，提出了一种多层规则归纳策略，大大提高了规则学习的有效性，应用于智能视频监控中，来实现自动分析当前监控场景下汽车或行人的运动行为。
[0008]韩磊等学者在《计算机学报》[2010，第33卷，第4期，776-784]发表的论文“基于时空单词的两人交互行为识别方法”中，基于人体剪影的连通性分析和时空兴趣点的历史信息，把时空兴趣点划分给不同的个体，并在兴趣点样本空间采用聚类方法得到时空码本。对于给定的时空兴趣点集，通过投票得到表示单人原子行为的时空单词。采用条件随机场模型建模单人原子行为，在两人交互行为的语义建模过程中，人工建立表示领域知识的一阶逻辑知识库，并训练马尔科夫逻辑网用以两人交互行为的推理，在初步建立的两人交互行为库上的实验表明了方法可以有效地建模两人交互行为并具有一定的鲁棒性。
[0009]综上可知，现有文献从行为识别角度对人体行为进行了描述，其中的马尔科夫逻辑网方法基于领域知识库，可对感兴趣的交互行为进行分析。但是，对人体行为的高层语义理解中很重要的一部分是场景信息，上述成果均未将行为识别和场景分析相结合，忽略了人和环境交互产生的兴趣度事件对现实生活的影响。本发明将场景分析和行为分析相结合，给出在高层语义层对视频的语义分析，输出更加丰富的知识和信息。
【发明内容】
[0010]本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现通过将场景描述引入到视频的高层语义行为进行分析、更加充分地对视频进行描述、将领域规则知识库引入到马尔科夫逻辑网进行改进、更加灵活地实现对高层语义行为及相关事件进行描述、具有更广泛应用范围的基于场景和马尔科夫逻辑网的智能行为分析系统及方法。
[0011]为了实现上述目的，本发明的基于场景和马尔科夫逻辑网的智能行为分析系统及方法具有如下构成:
[0012]该基于场景和马尔科夫逻辑网的智能行为分析系统，其主要特点是，所述的系统包括:
[0013]场景描述器，用以采用主题模型方法对视频图像所处的场景进行分类；
[0014]动作识别器，用以在所述的视频图像的基础上，采用隐马尔科夫模型方法对视频图像中人的原子动作进行识别；
[0015]语义行为理解描述器，用以在场景分类和原子动作识别的基础上，采用马尔科夫逻辑网方法进行高层语义行为理解和兴趣度事件描述。
[0016]本发明还涉及一种通过所述的系统基于场景和马尔科夫逻辑网的智能行为分析方法，其主要特点是，所述的方法包括以下步骤:[0017](I)所述的场景描述器采用主题模型方法对视频图像所处的场景进行分类；
[0018](2)在所述的视频图像的基础上，所述的动作识别器采用隐马尔科夫模型方法对视频图像中人的原子动作进行识别；
[0019](3)在场景分类和原子动作识别的基础上，所述的语义行为理解描述器采用马尔科夫逻辑网方法进行高层语义行为理解和兴趣度事件描述。
[0020]较佳地，所述的采用主题模型方法对视频图像所处的场景进行分类，包括以下步骤:
[0021](11)采用尺度不变特征转换特征方法对训练视频图像中的尺度不变特征集合得到特征矩阵的描述；
[0022]( 12)在所述的特征矩阵的集合基础上，分别采用支持向量机方法和纹理分类方法对视频图像中的滴状对象和纹理对象进行识别；
[0023](13)基于主题模型方法对视频图像所处的场景进行建模得到视频图像的场景分类结果。
[0024]较佳地，采用隐马尔科夫模型方法对视频图像中人的原子动作进行识别，包括以下步骤:
[0025](21)采用线性滤波器检测视频图像中的时空兴趣点，所述的时空兴趣点为在时间上和空间上强度变化大于系统预设值的点；
[0026](22)采用直方图量化技术将所述的时空兴趣点量化为维数固定的直方图并在直方图的基础上采用K均值聚类方法得到时空码本；
[0027](23)基于所述的时空码本采用隐马尔可夫模型方法进行建模得到动作分类模型；
[0028](24)将得到的直方图和动作分类模型进行匹配识别得到动作分类结果。
[0029]更佳地，所述的采用线性滤波器检测视频图像中的时空兴趣点，具体为:
[0030]采用线性滤波器按照如下响应函数检测视频图像中的时空兴趣点:
[0031]
【权利要求】
1.一种基于场景和马尔科夫逻辑网的智能行为分析系统，其特征在于，所述的系统包括: 场景描述器，用以采用主题模型方法对视频图像所处的场景进行分类； 动作识别器，用以在所述的视频图像的基础上，采用隐马尔科夫模型方法对视频图像中人的原子动作进行识别； 语义行为理解描述器，用以在场景分类和原子动作识别的基础上，采用马尔科夫逻辑网方法进行高层语义行为理解和兴趣度事件描述。
2.一种通过权利要求1所述的系统基于场景和马尔科夫逻辑网的智能行为分析方法，其特征在于，所述的方法包括以下步骤: (1)所述的场景描述器采用主题模型方法对视频图像所处的场景进行分类； (2)在所述的视频图像的基础上，所述的动作识别器采用隐马尔科夫模型方法对视频图像中人的原子动作进行识别； (3)在场景分类和原子动作识别的基础上，所述的语义行为理解描述器采用马尔科夫逻辑网方法进行高层语义行为理解和兴趣度事件描述。
3.根据权利要求2所述的基于场景和马尔科夫逻辑网的智能行为分析方法，其特征在于，所述的采用主题模型方法对视频图像所处的场景进行分类，包括以下步骤: (11)采用尺度不变特征转换特征方法对训练视频图像中的尺度不变特征集合得到特征矩阵的描述； (12)在所述的特征矩阵的集合基础上，分别采用支持向量机方法和纹理分类方法对视频图像中的滴状对象和纹理对象进行识别； (13)基于主题模型方法对视频图像所处的场景进行建模得到视频图像的场景分类结果O
4.根据权利要求2所述的基于场景和马尔科夫逻辑网的智能行为分析方法，其特征在于，采用隐马尔科夫模型方法对视频图像中人的原子动作进行识别，包括以下步骤: (21)采用线性滤波器检测视频图像中的时空兴趣点，所述的时空兴趣点为在时间上和空间上强度变化大于系统预设值的点； (22)采用直方图量化技术将所述的时空兴趣点量化为维数固定的直方图并在直方图的基础上采用K均值聚类方法得到时空码本； (23)基于所述的时空码本采用隐马尔可夫模型方法进行建模得到动作分类模型； (24)将得到的直方图和动作分类模型进行匹配识别得到动作分类结果。
5.根据权利要求4所述的基于场景和马尔科夫逻辑网的智能行为分析方法，其特征在于，所述的采用线性滤波器检测视频图像中的时空兴趣点，具体为: 采用线性滤波器按照如下响应函数检测视频图像中的时空兴趣点:
R=(I*g(x，y, σ )*hev)2+(I*g(x, y, σ ) *hod)2 其中，g(x, Y, σ )是仅用于二维图像平滑高斯核，hev和Iitjd是一对正交的一维Garbor滤波器，仅用于 时间维，^ - _ COsi(2^to) e r' , hoi/ = -8?η(2^.^) ^ e r (匕定心-r ’ σ-1，τ =2.5)。
6.根据权利要求2所述的基于场景和马尔科夫逻辑网的智能行为分析方法，其特征在于，所述的进行高层语义行为理解和兴趣度事件描述，包括以下步骤: (31)在马尔科夫逻辑网的知识库中对感兴趣的交互行为和事件进行描述； (32)将所述的动作分类器得到的原子动作和场景分类结果作为马尔科夫逻辑网的输入进行训练并基于建立的知识库进行推理输出对视频图像的高层语义描述和视频图像中出现的感兴趣的事件的描述。
7.根据权利要求6所述的基于场景和马尔科夫逻辑网的智能行为分析方法，其特征在于，所述的在马尔科夫逻辑网的知识库中对感兴趣的交互行为和事件进行描述，包括以下步骤: (311)采用一阶谓词的形式对感兴趣的交互行为和事件进行描述； (312)根据马尔科夫逻辑网的知识库中对现实世界知识的常识理解采用硬约束描述感兴趣的交互行为和事件。
【文档编号】G06F17/27GK103942575SQ201410134737
【公开日】2014年7月23日 申请日期:2014年4月2日 优先权日:2014年4月2日
【发明者】何莹, 王建, 胡传平, 梅林 , 吴轶轩, 谭懿仙, 杜欢, 尚岩峰, 王文斐 申请人:公安部第三研究所