一种基于空间记忆神经机制的广域环境编码方法和系统

本申请实施例涉及导航技术领域，具体涉及一种基于空间记忆神经机制的广域环境编码方法和系统。

背景技术：

导航对于哺乳动物在现实世界中的生存至关重要，其中大脑中的海马体是其完成导航任务的重要脑区。海马体中的神经元活动有助于哺乳动物形成对所处环境的空间认知，构成“认知地图”。当哺乳动物在充满线索、提示的环境中自由探索时，海马体子区——齿状回(dg)中的位置细胞将在特定区域变得活跃，这个特定区域称为位置野。神经生物学实验发现，在标准尺寸的实验室环境中，位置细胞通常仅以单一位置野来表征哺乳动物所处空间；然而，在对应于广域自然场景的大尺寸实验室环境中，即超过18米的线性轨道或者大于3平方米的二维迷宫，位置细胞常呈现出不规则分布的多个位置野。海马体位置细胞独特的自组织规则极大地帮助了哺乳动物在野外跨越千里完成猎物追捕、迁徙等任务，这一高超的信息处理机制逐渐吸引了研究人员的注意力。

近年来，随着深度学习、机器视觉、脑科学与机器人学的逐渐交汇，移动机器人在广域环境中如何像哺乳动物一样具备优异的空间编码能力成为了研究热点。此研究领域对机器人类脑导航技术走向实用虽然具有极大的推动力，但是由于脑科学探索难度高、计算能力受限等一系列因素，目前该项研究的突破性进展仍然较少。

技术实现要素：

为此，本申请实施例提供一种基于空间记忆神经机制的广域环境编码方法和系统，提供一种广域环境中地理特征的描述方法，通过自主学习，降低对人工设计特征的依赖性，能够鲁棒地应对突发情况；面对广域环境可保持稳定的空间编码能力，可扩展性强。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种基于空间记忆神经机制的广域环境编码方法，所述方法包括：

利用预训练过的深度卷积神经网络对连续rgb视觉图像序列进行逐层抽象表示，得到基于机器人的位置和方向角信息的l个视觉节点活动，其中第k个节点的放电响应值为lk；k∈{1,2,3,…l}；

利用mec神经元对来自前庭系统的运动信息进行路径整合，形成m个栅格节点的周期性六边形网格状放电模式，其中第j个栅格节点的响应值gj；j∈{1,2,3,…m}可由设定间距λj、设定方向和设定相位定量刻画，栅格节点活动值定义为以位置信息为自变量的三角栅格函数；

利用比例因子ρ调整视觉信息与运动信息的输入比例，以进行多源信息整合，得到p个位置节点的隐含响应，其中第i个位置节点的隐含响应值为hi；

位置节点遵循稀疏编码规则维持放电频率，得到每个位置节点i的活动值pi；

基于突触可塑性原理，利用痕迹学习规则更新视觉节点k与位置节点i的突触连接vik、栅格节点j与位置节点i的突触连接wij；

利用位置节点活动值更新痕迹学习规则中的短时活动记忆参数

可选地，所述根据j∈{1,2,3,…m}和位置点定义三角栅格函数gj(t)，按照如下公式定义：

其中，第j个栅格节点的方向可依据第d：d∈{1,2,3}个计算方案投影至方向上，按照如下公式表示：

可选地，所述第i个位置节点的隐含响应值hi为：

可选地，所述位置节点遵循稀疏编码规则维持放电频率，得到每个位置节点i的活动值pi，包括：

当位置节点的隐含响应值hi超过阈值θ时，位置节点维持高放电频率；或者当hi低于阈值θ时，位置节点趋向于低放电频率乃至静息态，第i个位置节点的活动值pi为：

在每一时间步长，有p×a个位置节点活动数值能够超过阈值，其中a用公式表示：

可选地，所述视觉节点k与位置节点i的突触连接vik更新规则用公式表示为：

栅格节点j与位置节点i的突触连接wij更新规则用公式表示为：

其中η和ε分别为竞争连接vik、wij的学习率。

可选地，利用位置节点活动值更新痕迹学习规则中的短时活动记忆参数用公式表示如下：

其中，κ为痕迹长度调整参数。

根据本申请实施例的第二方面，提供了一种基于空间记忆神经机制的广域环境编码系统，所述系统包括：

视觉节点计算模块，用于利用预训练过的深度卷积神经网络对连续rgb视觉图像序列进行逐层抽象表示，得到基于机器人的位置和方向角信息的l个视觉节点活动，其中第k个节点的放电响应值为lk；k∈{1,2,3,…l}；

栅格节点计算模块，用于利用mec神经元对来自前庭系统运动信息的路径整合规则，形成栅格节点的周期性六边形网格状放电模式，其中第j个栅格节点的响应值为gj；j∈{1,2,3,…m}；

位置节点计算模块，用于利用比例因子ρ调整视觉信息与运动信息的输入比例，以进行多源信息整合，得到p个位置节点的隐含响应，其中第i个位置节点的隐含响应值为hi；遵循稀疏编码规则计算得到位置节点i的活动值pi；

突触连接更新模块，用于利用痕迹学习规则更新视觉节点k与位置节点i的突触连接vik、栅格节点j与位置节点i的突触连接wij；

短时活动记忆更新模块，利用位置节点活动值更新痕迹学习规则中的短时活动记忆参数

可选地，所述根据j∈{1,2,3,…m}和位置点定义三角栅格函数gj(t)，按照如下公式定义：

其中，第j个栅格节点的方向可依据第d：d∈{1,2,3}个计算方案投影至方向上，按照如下公式表示：

根据本申请实施例的第三方面，提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。

综上所述，本申请实施例提供了一种基于空间记忆神经机制的广域环境编码方法，所述方法包括：利用预训练过的深度卷积神经网络对连续rgb视觉图像序列进行逐层抽象表示，得到基于机器人的位置和方向角信息的l个视觉节点活动；利用mec神经元对来自前庭系统的运动信息进行路径整合，形成m个栅格节点的周期性六边形网格状放电模式；利用比例因子ρ调整视觉信息与运动信息的输入比例，以进行多源信息整合，得到p个位置节点隐含响应；位置节点遵循稀疏编码规则维持放电频率，得到每个位置节点i的活动值pi；基于突触可塑性原理，利用痕迹学习规则更新视觉节点k与位置节点i的突触连接vik、栅格节点j与位置节点i的突触连接wij；利用位置节点活动值更新痕迹学习规则中的短时活动记忆参数提供一种广域环境中地理特征的描述方法，通过自主学习，降低对人工设计特征的依赖性，能够鲁棒地应对突发情况；面对广域环境可保持稳定的空间编码能力，可扩展性强。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本申请实施例提供的实验环境结构及墙壁纹理示意图；

图2为本申请实施例提供的基于空间记忆神经机制的广域环境编码方法流程图；

图3为本申请实施例提供的基于空间记忆神经机制的广域环境空间编码框架图；

图4-1和图4-2为本申请实施例提供的位置节点活动示意图及其定量评测图；

图5为本申请实施例提供的随视觉输入强度变大，位置节点活动示意图；

图6为本申请实施例提供的随视觉输入强度变大，位置节点活动定量评测图；

图7为本申请实施例提供的当环境中光照条件消失时，位置节点呈现出频率重新制图现象示意图；

图8为本申请实施例提供的当运动信息传递受阻时，位置节点呈现出全局重新制图现象示意图；

图9为本申请实施例提供的当内侧内嗅皮层(mec)神经元经历极化操作时，位置节点活动变化示意图；

图10为本申请实施例提供的一种基于空间记忆神经机制的广域环境编码系统框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

视觉图像为机器人在环境中看到的墙体及地面信息，其中墙体及地面均有丰富的纹理信息。视觉图像是彩色的rgb图像。机器人所处仿真环境尺寸为lx×ly，详见附图1。

本申请实施例提供了一种基于空间记忆神经机制的广域环境编码方法。从“生物脑”角度出发，提供一种广域环境中地理特征的描述方法。

当机器人在未知环境中自主探索时，通过摄像装置连续采集到的rgb视觉图像经过深度卷积神经网络vgg16的抽象表示，转化为与机器人位置和方向角信息有关的视觉特征，形成表征哺乳动物大脑中外侧内嗅皮层(lec)神经元的视觉节点的活动值；通过传感器记录到的运动信息经过路径整合，转化为表征哺乳动物大脑中内侧内嗅皮层(mec)神经元的栅格节点的活动值；将视觉节点的视觉编码和栅格节点的运动编码转化为对环境的空间描述，构建类似哺乳动物自由运动时在大脑中所形成的认知地图。

图2示出了本申请实施例提供的基于空间记忆神经机制的广域环境编码方法流程示意图，具体包括如下步骤：

步骤201：利用预训练过的深度卷积神经网络对连续rgb视觉图像序列进行逐层抽象表示，得到基于机器人的位置和方向角信息的l个视觉节点活动，其中第k个节点的放电响应值为lk；k∈{1,2,3,…l}；

步骤202：利用mec神经元对来自前庭系统的运动信息进行路径整合，形成m个栅格节点的周期性六边形网格状放电模式，其中第j个栅格节点的响应值gj；j∈{1,2,3,…m}可由设定间距λj、设定方向和设定相位定量刻画，栅格节点活动值定义为以位置信息为自变量的三角栅格函数；

步骤203：利用比例因子ρ调整视觉信息与运动信息的输入比例，以进行多源信息整合，得到p个位置节点隐含响应，其中第i个位置节点的隐含响应值为hi；

步骤204：位置节点遵循稀疏编码规则维持放电频率，得到每个位置节点i的活动值pi；

步骤205：基于突触可塑性原理，利用痕迹学习规则更新视觉节点k与位置节点i的突触连接vik、栅格节点j与位置节点i的突触连接wij；

步骤206：利用位置节点活动值更新痕迹学习规则中的短时活动记忆参数

在一种可能的实施方式中，在步骤202中，所述根据j∈{1,2,3,…m}和位置点定义三角栅格函数gj(t)，按照如下公式(1)定义：

其中，第j个栅格节点的方向可依据第d：d∈{1,2,3}个计算方案投影至方向上，按照如下公式(2)表示：

在一种可能的实施方式中，在步骤203中，所述第i个位置节点的隐含响应值hi如公式(3)所示：

在一种可能的实施方式中，在步骤204中，所述位置节点遵循稀疏编码规则维持放电频率，得到每个位置节点i的活动值pi，包括：

当位置节点的隐含响应值hi超过阈值θ时，位置节点维持高放电频率；或者当hi低于阈值θ时，位置节点趋向于低放电频率乃至静息态，第i个位置节点的活动值pi如公式(4)所示：

在每一时间步长，有p×a个位置节点活动数值能够超过阈值，其中a用公式(5)表示：

在一种可能的实施方式中，在步骤205中，利用痕迹学习规则更新所述视觉节点k与位置节点i的突触连接vik，用公式(6)表示为：

栅格节点j与位置节点i的突触连接wij的更新可用公式(7)表示为：

其中η和ε分别为突触连接vik、wij的学习率。

在一种可能的实施方式中，在步骤206中，利用位置节点活动值更新痕迹学习规则中的短时活动记忆参数用公式(8)表示如下：

其中，κ为痕迹长度调整参数。

图3示出了本申请实施例提供的基于空间记忆神经机制的广域环境空间编码框架图，模型再现了哺乳动物大脑中内嗅皮层与海马体尺状回(dg)脑区间的神经元连接，其中内侧内嗅皮层(mec)神经元由1000个栅格节点表示，外侧内嗅皮层(lec)由8192个视觉节点表示，dg神经元由1200个位置节点表示。栅格节点与位置节点间的突触连接和视觉节点与位置节点间的突触连接均遵循痕迹学习规则。具体步骤如下：

步骤1：由于lec神经元活动常呈现出低空间选择性放电模式，编码与时间相关的信息，因此利用预训练过的深度卷积神经网络vgg16对连续rgb视觉图像序列进行逐层抽象表示，形成与机器人的位置和方向角信息相关的l＝8192个视觉节点活动，第k个节点的放电响应值为lk；k∈{1,2,3,…l}。

步骤2：mec神经元对来自前庭系统的运动信息进行路径整合，形成特定的周期性六边形网格状放电模式，可利用间距λ，方向相位对网格状放电模式进行定量刻画，第j个栅格节点的响应值gj；j∈{1,2,3,…m}可定义为以位置点为自变量的余弦函数，如公式(1)所示。

其中第j个栅格节点的方向可依据第d：d∈{1,2,3}个计算方案投影至方向上，按照如下公式(2)表示。

借鉴mec神经元集群的放电特性，本例共设定10,000个神经元节点并均分为4个集合，每个集合中节点的周期性六边形网格状放电模式共享间距、方向，但相位不同，本例间距可取λ∈[35,100]。系统分别从4个集合中等数量采样神经元节点，即250个节点，共组成m＝4×250个栅格节点。此外，相邻集合中节点的网格状放电模式的尺寸呈等比例增长，本例相邻集合的栅格间距增长比例可取1.42。

步骤3：借鉴神经生物学中的信息传递机制，视觉节点k经由突触连接vik向位置节点i传送视觉信息；栅格节点j经由突触连接wij向位置节点i传送运动信息。利用比例因子ρ≥0调整视觉信息与运动信息的输入比例，实现多源信息整合并形成p＝1200个位置节点隐含响应，其中第i个位置节点的隐含响应值hi为如公式(3)所示。

步骤4：位置节点响应遵循稀疏编码规则，当位置节点的隐含响应值hi超过阈值θ时，位置节点维持高放电频率；当hi低于阈值θ时，位置节点趋向于低放电频率乃至静息态，第i个位置节点的活动值pi为如公式(4)所示。

在每一时间步长，稀疏度a对阈上位置节点比例做出了定义，即系统中仅有p×a个位置节点活动数值能够超过阈值，其中a用公式(5)表示，本例稀疏度a可取4％，增益参数δ可取130。

步骤5：视觉节点k和栅格节点j分别与位置节点i的突触连接vik、wij均依赖于痕迹学习规则，即利用位置节点i的短时活动记忆加强对突触后神经元响应的学习，所述视觉节点k与位置节点i的突触连接vik用公式(6)表示。栅格节点j与位置节点i的突触连接wij，用公式(7)表示。其中η和ε分别为突触连接vik、wij的学习率，本例分别可取0.001和0.0001。

位置节点的短时活动记忆可表示为公式(8)。合适的痕迹长度调整参数κ能够加速系统从连续刺激信息中学习到相似模式，本例痕迹长度调整参数κ可取0.85。

下面在lx×ly＝2m×2m的大尺寸环境中验证本申请实施例的仿生性、可扩展性与自适应性。为了简化实验，设置机器人自主探索规则，包括(1)机器人可以探索指定环境中的任意位置，当距离墙面5cm时，以最小旋转代价改变运动方向，防止碰撞；(2)机器人的探索轨迹不做规定，但每一时刻的运动选择仅有8个方向：东向、南向、西向、北向、东南向、西南向、西北向、东北向，运动速度为25cm/s；(3)机载摄像头方位与运动方向一致。

本申请实施例的空间编码方法充分模拟哺乳动物大脑中内嗅皮层——海马区神经环路的解剖学结构，具备高度仿生性；强调自主学习，降低对人工设计特征的依赖性，能够鲁棒地应对突发情况；面对广域环境可保持稳定的空间编码能力，可扩展性强。

下面结合具体实施时的实验案例进行进一步阐述。

实施例1：黑暗情况下机器人对大尺寸环境的空间编码

黑暗情况下，视觉图像对系统的刺激消失，即ρ＝0。图4-1和图4-2为位置节点活动示意图及其定量评测图，位置节点响应呈现出多区域、不规则分布放电野，与位置细胞的放电模式一致。

经定量测试，位置节点的放电活动在空间上表现出较弱的周期性，详见图4-1b；系统对位置节点的征募遵循gamma-poisson分布，参照图4-2c～4-2d，其中约50％的位置节点保持静息态；如图4-2e～4-2g所示，位置节点的征募过程随环境尺寸扩大呈亚线性增长且是无记忆的，因此系统能够编码不同尺寸大小的环境，提高了机器人导航算法的可扩展性。

实施例2：光照情况下机器人对大尺寸环境的空间编码

光照情况下，系统同时受到视觉图像和机器人运动信息的刺激。参照图5，图5为随视觉输入强度变大，位置节点活动示意图；随着视觉输入比例因子ρ的不断扩大，视觉信息对系统的影响逐渐增强，位置节点的放电野保持多区域、不规则式分布。但是自ρ＝50起，视觉信息对系统影响约为运动信息影响的50倍，此时位置节点放电模式趋向于沿边界分布的放电野，与神经生物学中在mec脑区记录到的边界细胞放电特性一致。此外，如图6a～6c所示，图6a～6c为随视觉输入强度变大，位置节点活动定量评测图；定量测试结果显示位置节点的放电特性与黑暗情况一致。

综合实施例1与例2，运动信息在空间编码任务中占据决定性地位；视觉信息仅起到调节作用。以下实施例均采用比例因子ρ＝15来调节视觉信息相对于运动信息对系统的影响，此时约28％位置节点被激活。

实施例3：以视觉信息为控制变量时机器人对大尺寸环境的空间编码

机器人初始处于正常情境中对大尺寸环境进行探索，系统同时受到视觉图像和机器人运动信息的刺激来编码空间。当视觉信息传递受阻时，系统仅接受运动信息刺激，位置节点活动表现出轻微的频率重新制图现象，参照图7，图7为当环境中光照条件消失时，位置节点呈现出频率重新制图现象示意图；当视觉信息在系统中的传输过程恢复至正常状态后，位置节点活动恢复如初。

实施例4：以运动信息为控制变量时机器人对大尺寸环境的空间编码

机器人初始处于正常情境中对大尺寸环境进行探索，系统同时受到视觉图像和机器人运动信息的刺激来编码空间。当机器人的运动信息传递受阻时，系统只能接受到视觉图像刺激，位置节点活动表现出强烈的全局重新制图现象，参照图8，图8为当运动信息传递受阻时，位置节点呈现出全局重新制图现象示意图；当运动信息在系统中的传输过程恢复至正常状态后，仅一半的原活跃位置节点能够恢复至初始放电模式。

实施例5：以极化运动信息为控制变量时机器人对大尺寸环境的空间编码

机器人初始处于正常情境中对大尺寸环境进行探索，系统同时受到视觉图像和机器人运动信息的刺激来编码空间。此实验分别对编码运动信息的栅格节点活动进行超极化和去极化操作，操作方案仅改变栅格节点放电频率，不改变其在空间中的放电位置。图9为当内侧内嗅皮层(mec)神经元经历极化操作时，位置节点活动变化示意图，如图9所示，进行超极化操作时，已有位置节点的放电模式基本维持不变，即系统对大尺寸环境的空间编码不受影响；然而系统面对去极化操作时，空间编码能力严重受损，与神经生物学实验结论一致。

实验所得结果证明：以视觉信息和机器人运动信息为输入，系统可对机器人所处的广域环境进行空间编码，形成类似神经生物学实验中位置细胞所形成的多区域、不规则分布的位置野。随着机器人所处环境的不断扩大，系统规模呈亚线性增长。此外，运动信息是决定机器人在广域环境完成空间编码任务的重要因素。其中，当系统中视觉信息传递受阻时，位置节点所表征的空间记忆将出现轻微频率重新制图现象；当系统中运动信息传递受阻时，位置节点所表征的空间记忆将出现全局重新制图现象；当系统中表征运动信息的栅格节点活动经去极化操作时，位置节点所表征的空间记忆将严重受损，符合与空间记忆相关的神经生物学实验发现。因此本申请实施例仿生、鲁棒、自主得完成了机器人在广域环境中的空间认知任务。

可以看出，本申请实施例中，机器人基于哺乳动物空间记忆神经计算机制，通过整合从外界环境感知到的视觉信息及运动信息，实现了自身对广域环境的高仿生性、强自主性的空间编码任务。相较于传统空间认知技术，回避手工设计视觉特征及特征点匹配等一系列复杂计算，通过直接利用视觉刺激中包含的纹理、色彩等信息源矫正运动误差，实现了多源信息融合的强鲁棒性机器人空间认知方法。以及，相较于现有类脑导航技术，不再局限于标准尺寸迷宫或长程线性轨道，发展了适用于大尺寸二维环境的高效空间编码方法，提高了机器人导航算法对空间认知的可扩展性。

综上所述，本申请实施例提供了一种基于空间记忆神经机制的广域环境编码方法，利用预训练过的深度卷积神经网络对连续rgb视觉图像序列进行逐层抽象表示，得到基于机器人的位置和方向角信息的l个视觉节点活动；利用mec神经元对来自前庭系统的运动信息进行路径整合，形成m个栅格节点的周期性六边形网格状放电模式；利用比例因子ρ调整视觉信息与运动信息的输入比例，以进行多源信息整合，得到p个位置节点隐含响应；位置节点遵循稀疏编码规则维持放电频率，得到每个位置节点i的活动值pi；利用痕迹学习规则更新视觉节点k与位置节点i的突触连接vik、栅格节点j与位置节点i的突触连接wij；利用位置节点活动值更新痕迹学习规则中的短时活动记忆参数加强网络对突触后神经元活动模式的学习。提供一种广域环境中地理特征的描述方法，通过自主学习，降低对人工设计特征的依赖性，能够鲁棒地应对突发情况；面对广域环境可保持稳定的空间编码能力，可扩展性强。

基于相同的技术构思，本申请实施例还提供了一种基于空间记忆神经机制的广域环境编码系统，如图10所示，所述系统包括：

视觉节点计算模块1001，用于利用预训练过的深度卷积神经网络对连续rgb视觉图像序列进行逐层抽象表示，得到基于机器人的位置和方向角信息的l个视觉节点活动，其中第k个节点的放电响应值为lk；k∈{1,2,3,…l}；

栅格节点计算模块1002，用于利用mec神经元对来自前庭系统运动信息的路径整合规则，形成栅格节点的周期性六边形网格状放电模式，其中第j个栅格节点的响应值为gj；j∈{1,2,3,…m}

位置节点计算模块1003，用于利用比例因子ρ调整视觉信息与运动信息的输入比例，以进行多源信息整合，得到p个位置节点隐含响应，其中第i个位置节点的隐含响应值为hi；遵循稀疏编码规则计算得到位置节点i的活动值pi；

突触连接更新模块1004，用于利用痕迹学习规则更新视觉节点k与位置节点i的突触连接vik、栅格节点j与位置节点i的突触连接wij；

短时活动记忆更新模块1005，利用位置节点活动值更新痕迹学习规则中的短时活动记忆参数

在一种可能的实施方式中，所述根据j∈{1,2,3,…m}和位置点定义余弦函数gj(t)，按照公式(1)定义。其中，第j个栅格节点的方向可依据第d：d∈{1,2,3}个计算方案投影至方向上，按照公式(2)表示。

基于相同的技术构思，本申请实施例还提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行所述的方法。

基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行所述的方法。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。

需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。