专利名称：模拟初级视皮层脉冲神经元的动作识别系统的制作方法
技术领域：
本发明涉及一种模拟生物视觉感知系统，尤其涉及一种基于Vl层视觉感知实现的动作识别系统。
背景技术：
从视频图像中识别出人体动作在视频监控、视频检索和人机接口等领域中有非常广泛的应用。然而，由于人体的结构复杂性，以及不同的人之间存在的个体差异，使得快速、 准确动作识别变得十分困难。针对动作识别中有待解决的问题，近年来，研究者主要提出了两类方法全局表示法和局部表示法。前者用背景相减或跟踪来定位人体，然后将感兴趣区域编码成一个整体进行识别；后者是通过探测时空兴趣点，得到特征小块，完成动作识别。 由于全局表示法对视角、噪声和遮挡较敏感，从而导致这些因素对识别效果的影响。虽然局部表示法对噪声和部分遮挡不敏感，但是缺乏稳定的相关兴趣点，识别缺乏稳定性。虽然这些方法在一定程度上解决了动作识别中的部分问题，但与人类视觉系统对动作的识别相比存在着较大的差异，从而制约其应用。神经生理学研究表明人类视觉系统对视觉信息加工存在有两条通路腹部通路和背部通路。其中腹部通路与形状信息有关，背部通路与运动信息有关。就是说，根据运动信息进行动作识别主要是由背部通路完成。背部通路主要由初级视觉皮层(Vl)及中间层 (MT)构成。其中初级视皮层Vl中神经元细胞分为简单细胞、复杂细胞，以及终端抑制细胞， 而简单细胞的特性可以通过Gabor滤波器模拟，且被证实特别有效(Jones & Palmerl987)。对于动作识别而言，关键的问题是运动模式是在视皮层的哪里完成的，不同的模型存在不同的推测。一种设想是运动模式是在MT层获得的，比如Minglla对Vl的输出进行矢量平均或Simoncelli通过IOC规则在MT层结合后获取运动模式信息。这些模型结构大体相同，只是实现方式有所不同。然而，上述模型都没有进行真实的应用，缺乏应用的合理性，直到hcobar提出的用脉冲神经元模型模拟MT层的神经元[7’8]，从而解决了实际应用性的问题，但该模型在动作识别过程中的计算量较大，耗时较长；另一种想法，根据Vl中存在终端抑制细胞，对运动特征有较好的反应效果，以及网络模型中前馈机制的成立[9]，运动模式本身可以在Vl阶段计算获取[1°]。根据该结论，Jhuang根据层次化结构模型提出了在 Vl阶段完成的，具有实际应用的动作识别模型[11]。无论是Jhuang的层次化动作识别模型，还是hcobar的V1/MT仿生前馈脉冲神经元模行，在实际应用中都存在模型结构复杂，计算量大，实现效率低等缺陷。为此，本发明模拟视觉机制，利用脉冲神经元模型模，提出了在Vl层中快速实现动作识别的方法。该方法使用3D Gabor时空滤波器模拟简单细胞，提取动作信息，通过脉冲神经元模型将运动信息转换成脉冲链，并根据脉冲链平均发放率的特性完成动作识别，从而提高了动作识别效率。
发明内容
为了提高人体动作识别的准确性，加快识别速率，提出了模拟视觉初级皮层脉冲的动作识别系统。该系统首先采用三维Gabor (3D Gabor)时空滤波器模拟视觉初级皮层中的简单细胞，以此对视频图像进行处理，从而获取对运动速度和方向敏感的运动信息。其次，采用htegrate and Fire脉冲神经元模型模拟初级视觉皮层的神经元，将获取的运动信息转换为神经元响应的脉冲链。最后，根据脉冲链平均发放率的特性提取运动特征向量，采用支持向量机方法对视频图像中的动作进行识别。试验结果表明， 在Weiziman数据库的测试环境下，该系统不仅提高了动作的准确性，而且较大程度地加快了识别速率。本发明提供的模拟初级视皮层脉冲神经元的动作识别系统，利用初级视觉皮层 (Vl)中终端抑制细胞对运动特征的反应原理，模拟简单细胞，提取动作信息，通过脉冲神经元模型将运动信息转换成脉冲链，并根据脉冲链平均发放率的特性完成动作识别，包括视频图像预处理模块、特征提取模块和动作识别模块，其中，视频图像预处理模块通过视频采集装置采集视频图像，对目标进行中心定位；特征提取模块模拟简单细胞提取运动信息，将所获得的运动信息利用脉冲神经元模型转换为神经元所传递的脉冲链信息，从而构建了运动特征提取的初级视觉皮层(VI) 模型；运动识别模块根据脉冲链的平均发放率特性，提取特征向量，并将特征向量输入到支持向量机中进行识别，从而完成动作识别。优选的，上述对目标进行中心定位的方法为基于显著性注意的方法定位目标。优选的，在进行中心定位前对采集到的视频图像进行滤波处理。优选的，上述特征提取模块构建运动特征提取模型分为三个阶段，第一阶段为检测局部运动信息，第二阶段为形成脉冲生成层，第三阶段为特征提取。优选的，上述第一阶段检测局部运动信息通过使用一组时空滤波器完成。优选的，上述时空滤波器为3D Gabor时空滤波器，以2D Gabor滤波器为基础构造而成，由空间Gaussian包络函数及时间Gaussian包络函数两个部分组成，该时空滤波器利用以下公式的核函数构造而成
权利要求
1.一种模拟初级视皮层脉冲神经元的动作识别系统，利用初级视觉皮层(VI)中终端抑制细胞对运动特征的反应原理，模拟简单细胞，提取动作信息，通过脉冲神经元模型将运动信息转换成脉冲链，并根据脉冲链平均发放率及其行为特性完成动作识别，其特征在于 包括视频图像预处理模块、特征提取模块和动作识别模块，其中，视频图像预处理模块通过视频采集装置采集视频图像，对目标进行中心定位；特征提取模块模拟简单细胞提取运动信息，将所获得的运动信息利用脉冲神经元模型转换为神经元所传递的脉冲链信息，从而构建了运动特征提取的初级视觉皮层(Vl)模型；运动识别模块根据脉冲链的平均发放率特性，提取特征向量，并将特征向量输入到支持向量机中进行识别，从而完成动作识别。
2.根据权利要求1所述的模拟初级视皮层脉冲神经元的动作识别系统，其特征在于 所述对目标进行中心定位的方法为基于显著性注意的方法定位目标；且在进行中心定位前对采集到的视频图像进行滤波处理。
3.根据权利要求1所述的模拟初级视皮层脉冲神经元的动作识别系统，其特征在于 所述特征提取模块构建运动特征提取模型分为三个阶段，第一阶段为检测局部运动信息， 第二阶段为形成脉冲生成层，第三阶段为特征提取。
4.根据权利要求3所述的模拟初级视皮层脉冲神经元的动作识别系统，其特征在于 所述第一阶段检测局部运动信息通过使用一组时空滤波器完成。
5.根据权利要求4所述的模拟初级视皮层脉冲神经元的动作识别系统，其特征在于 所述时空滤波器为3D Gabor时空滤波器，以2D Gabor滤波器为基础构造而成，由空间 Gaussian包络函数及时间Gaussian包络函数两个部分组成，该时空滤波器利用以下公式的核函数构造而成
6.根据权利要求3所述的模拟初级视皮层脉冲神经元的动作识别系统，其特征在于 所述第二阶段形成脉冲生成层是采用均勻的方式在视觉皮层分布多个脉冲神经元，每个单元使用integrate-and-fire脉冲神经元模型来模拟。
7.根据权利要求6所述的模拟初级视皮层脉冲神经元的动作识别系统，其特征在于 所述integrate-and-fire脉冲神经元模型通过以下公式对运动信息进行切换
8.根据权利要求7所述的模拟初级视皮层脉冲神经元的动作识别系统，其特征在于 当只是考虑单层的神经元网络，不存在上一层的神经元网络时，上述公式变化为
9.根据权利要求1所述的模拟初级视皮层脉冲神经元的动作识别系统，其特征在于 所述运动识别模块建立每个神经元表示的脉冲链的平均发放率
10.根据权利要求1所述的模拟初级视皮层脉冲神经元的动作识别系统，其特征在于 利用监督分类法对所述特征向量进行分类。
全文摘要
本发明提出了一种模拟初级视皮层脉冲神经元的动作识别系统，包括视频图像预处理模块、特征提取模块和动作识别模块，首先采用三维Gabor(3D Gabor)时空滤波器模拟视觉初级皮层中的简单细胞，以此对视频图像进行处理，从而获取对运动速度和方向敏感的运动信息。其次，采用Integrate and Fire脉冲神经元模型模拟初级视觉皮层的神经元，将获取的运动信息转换为神经元响应的脉冲链。最后，根据脉冲链平均发放率及其行为特性提取运动特征向量，采用支持向量机方法对视频图像中的动作进行识别。试验结果表明，在Weiziman数据库的测试环境下，该系统不仅提高了动作的准确性，而且较大程度地加快了识别速率。
文档编号G06K9/62GK102306301SQ20111024833
公开日2012年1月4日 申请日期2011年8月26日 优先权日2011年8月26日
发明者刘海华, 谌先敢, 高智勇, 黄丽鸿 申请人:中南民族大学