基于空间与时间信息融合的机器人场景识别方法
【专利摘要】本发明涉及一种基于空间与时间信息融合的机器人场景识别方法，包括以下步骤：1)初步描述场景图像的对象特征；2)根据场景图像的对象特征建立空间层次模型，该空间层次模型包括场景层、对象层、特征层，每个层之间通过条件概率关系进行关联，由特征层对对象层进行概率预测，由对象层对场景层进行概率预测，由场景层对场景图像进行概率预测；3)建立场景图像的时间序列模型；4)通过贝叶斯网络对场景图像的空间层次模型和时间序列模型进行结合，获得识别模型，由识别模型对下一时刻的场景图像进行概率预测，并根据预测的场景图像进行场景识别；5)对识别模型进行在线更新。与现有技术相比，本发明鲁棒性好，可以适应复杂环境。
【专利说明】基于空间与时间信息融合的机器人场景识别方法
【技术领域】
[0001]本发明涉及一种场景识别方法，尤其是涉及一种基于空间与时间信息融合的机器人场景识别方法。
【背景技术】
[0002]移动机器人的自主作业将极大的依赖于其对环境的感知和理解，其中核心问题之一是对场景的识别。空间和时间是场景识别任务中两种重要信息来源。目前的一些研究已经为基于空间或者时间信息的场景识别方法提供了理论基础。不过这些工作大多数只是单独考虑一个方面的信息，目前还没有一个完整的用于移动机器人场景识别时间与空间信息融合的系统框架。另外，目前大多数场景识别方法都假设有限和静态的场景类型。这些方法被限制用于预定义的或者已知的环境，对于动态和未知的环境，需要场景识别模型能够在运行中根据环境更新系统参数，甚至是模型结构。
【发明内容】
[0003]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于空间与时间信息融合的机器人场景识别方法，该方法可以提高机器人的适应动态复杂环境的能力以
及鲁棒性。
[0004]本发明的目的可以通过以下技术方案来实现:
[0005]一种基于空间与时间信息融合的机器人场景识别方法，包括以下步骤:
[0006]I)对场景图像的对象进行特征提取，初步描述场景图像的对象特征；
[0007]2)根据场景图像的对象特征建立空间层次模型，该空间层次模型包括场景层、对象层、特征层，每个层之间通过条件概率关系进行关联，由特征层对对象层进行概率预测，由对象层对场景层进行概率预测，由场景层对场景图像进行概率预测；
[0008]3)建立场景图像的时间序列模型；
[0009]4)通过贝叶斯网络对场景图像的空间层次模型和时间序列模型进行结合，获得识别模型，由识别模型对下一时刻的场景图像进行概率预测，并根据预测的场景图像进行场景识别。
[0010]5)对识别模型进行在线更新。
[0011]步骤I)中对场景图像的对象进行初步描述的方式包括场景特征提取与描述、物体识别以及区域分割。
[0012]步骤I)中场景图像的对象特征包括全局特征和局部特征，其中局部特征包括外观特征和轮廓特征。
[0013]外观特征的描述采用SIFT算法，轮廓特征的描述采用Canny算法结合梯度方向统计算法。
[0014]步骤2)中场景的空间关系信息用层次化概率模型来描述。
[0015]步骤3)中时间序列模型通过隐马尔可夫模型来进行描述。[0016]步骤4)通过概率方式实现空间层次模型和时间序列模型进行结合与场景识别。[0017]步骤5)中以预测到的场景图像作为训练样本，对识别模型进行自适应学习，在线更新并优化识别模型，其更新策略受人工记忆系统控制。
[0018]与现有技术相比，本发明通过同时对空间和时间信息的融合，可以进一步提高识别模型的性能，更符合人类获取信息的特点，也将会更适应复杂环境下的场景识别任务，此外本发明可以对识别模型进行在线学习，更新并优化识别模型，使其可以处理更加复杂的动态场景以及未知场景。
【专利附图】
【附图说明】
[0019]图1为本发明的整体流程图；
[0020]图2为本发明中空间层次模型的示意图；
[0021]图3为本发明中时间序列模型的示意图；
[0022]图4为识别模型的示意图；
[0023]图5为人工记忆管理系统的结构示意图。
【具体实施方式】
[0024]下面结合附图和具体实施例对本发明进行详细说明。
[0025]如图1所示，一种基于空间与时间信息融合的机器人场景识别方法，包括以下步骤:
[0026]I)对场景图像的对象进行特征提取，初步描述场景图像的对象特征。
[0027]其中，对场景图像的对象进行初步描述的方式包括场景特征提取与描述、物体识别以及区域分割，场景图像的对象特征包括全局特征和局部特征，其中局部特征包括外观特征和轮廓特征，分别采用SIFT和Canny算法结合梯度方向统计算法进行特征提取。上述特征采用相关向量机结合核函数组合的方式进行多种特征通道的融合，该模型中特征核函数的权重将根据特征在对场景进行识别时具有的不同的重要程度自适应地学习得到，并且模型中与每一个训练样本相关联的核函数的组合方式都是灵活可变的。
[0028]具体为:由于每个场景图像为一个样本，而每一种特征描述构成了该样本的一个通道。令X为场景图像样本的多特征联接向量，其包含的三个特征通道分别为:全局特征Xgi—1、外观特征和轮廓特征xshape。
[0029]首先，本发明分别为这三个通道的特征向量选择一种核函数，用于衡量同类特征向量间的相似度。注意到，不同特征通道的核函数可以是高斯核、X2核、线性核、或者其它。核函数可以相同，也可以不同，可视需要自由组合。下面为了表达的简洁，使用如下的等价表达:
[0030]Kglobal (x, y) —Kglobal (Xglobal，yglobal)
[0031 ] Kapp (x, y) = Kapp (xapp, yapp)
[0032]Kshape (x，y) — Kshape (Xshape，yShape)
[0033]对于具有N个样本的训练集，基本的相关向量机定义了如下的判别函数:
N
[0034]/0) = /0; W) = 2 WiKiX, A ) + W0 = WT^(JC)
/=1[0035]针对特征具有多个通道的特点，将该相关向量机判别函数进行了扩展。定义如下的多核相关向量机判别函数:
【权利要求】
1.一种基于空间与时间信息融合的机器人场景识别方法，其特征在于，包括以下步骤: 1)对场景图像的对象进行特征提取，初步描述场景图像的对象特征； 2)根据场景图像的对象特征建立空间层次模型，该空间层次模型包括场景层、对象层、特征层，每个层之间通过条件概率关系进行关联，由特征层对对象层进行概率预测，由对象层对场景层进行概率预测，由场景层对场景图像进行概率预测； 3)建立场景图像的时间序列模型； 4)通过贝叶斯网络对场景图像的空间层次模型和时间序列模型进行结合，获得识别模型，由识别模型对下一时刻的场景图像进行概率预测，并根据预测的场景图像进行场景识别。 5)对识别模型进行在线更新。
2.根据权利要求1所述的一种基于空间与时间信息融合的机器人场景识别方法，其特征在于，步骤I)中对场景图像的对象进行初步描述的方式包括场景特征提取与描述、物体识别以及区域分割。
3.根据权利要求1所述的一种基于空间与时间信息融合的机器人场景识别方法，其特征在于，步骤I)中场景图像的对象特征包括全局特征和局部特征，其中局部特征包括外观特征和轮廓特征。
4.根据权利要求3所述的一种基于空间与时间信息融合的机器人场景识别方法，其特征在于，外观特征的描述采用SIFT算法，轮廓特征的描述采用Canny算法结合梯度方向统计算法。
5.根据权利要求1所述的一种基于空间与时间信息融合的机器人场景识别方法，其特征在于，步骤2)中场景的空间关系信息用层次化概率模型来描述。
6.根据权利要求1所述的一种基于空间与时间信息融合的机器人场景识别方法，其特征在于，步骤3)中时间序列模型通过隐马尔可夫模型来进行描述。
7.根据权利要求1所述的一种基于空间与时间信息融合的机器人场景识别方法，其特征在于，步骤4)通过概率方式实现空间层次模型和时间序列模型进行结合与场景识别。
8.根据权利要求1所述的一种基于空间与时间信息融合的机器人场景识别方法，其特征在于，步骤5)中以预测到的场景图像作为训练样本，对识别模型进行自适应学习，在线更新并优化识别模型，其更新策略受人工记忆系统控制。
【文档编号】G06K9/62GK103544496SQ201210241977
【公开日】2014年1月29日 申请日期:2012年7月12日 优先权日:2012年7月12日
【发明者】陈启军, 陈雷 申请人:同济大学