一种基于物体偏见修正与有向注意力图的物体导航方法

1.本发明涉及机器人视觉语义导航领域，尤其是涉及一种基于物体偏见修正与有向注意力图的物体导航方法。


背景技术：

2.在物体导航任务中，智能代理(机器人)根据第一人称视觉观察(通常是由其机载摄像机捕捉的rgb图像)在室内环境中导航到用户指定的目标，这是实现人工智能目标的一个基本而完整的任务，它要求智能机器人能够理解其视觉输入，推断其当前位置，推理目标位置，规划轨迹，并在每一步执行一个动作。物体导航领域的发展也促生了如视觉问答(要求机器人导航到指定物体前并回答问题)、视觉语言导航(要求机器人根据指导者的指令在室内环境进行导航)等领域的蓬勃发展，因此物体导航引起了越来越多的研究者们的关注，并促生出大量试图解决这一问题的工作。
3.经典的基于地图的视觉导航方法已经被研究了很多年，这些方法明确地将导航任务分解为一组子任务，即建图、定位、规划和运动控制，尽管这些方法在近年来取得了相当大的成功，但模块化的设计存在着其根本的局限性，阻碍了他们广泛的应用。一个重要的限制是它们容易受到传感器噪声的影响，这些噪声从建图到运动控制的整个过程中不断累计和传播，这使得这些方法在复杂环境中不那么鲁棒，更重要的是它们需要大量的场景探索和手工操作，这使得它们很难与其他下游人工智能任务集成，如视觉识别，问题回答和场景字幕等。
4.观察到基于学习的方法最近在相关任务中的成功，已经有大量的工作将学习方法应用到了物体导航任务中，基于学习的方法通常将视觉输入和用户指定的目标与在每个时间戳上的最佳操作作为智能代理的输入和输出。与传统方法不同，基于学习的方法直接从数据中推断出解决方案，因此不需要太多的手工工程，并作为新型人工智能驱动的视觉导航任务的基础，但是基于学习的物体导航方法也面临着一个至关重要的问题：如何有效的表示视觉输入，从而推理出当前观察与目标之间的联系。
5.为了解决这一问题，越来越多的研究者开始利用目标检测等方法提取智能代理视野中的高阶信息，试图利用高阶语义信息更好的指导机器人的运动。sp模型首先提出了利用图网络对于场景中物体相关的先验知识进行学习；mjolnir模型在sp模型的基础上将被检测到物体的位置和语义信息整合到图卷积网络中；org模型合理的利用物体视觉特征、语义特征和空间特征关系提高了物体特征运用的自适应性；ckr模型利用交叉模式知识推理将外部知识图谱信息应用到智能代理的导航中；hoz模型从场景整体出发，提出了物体区域图，将场景整合成分层式的图结构。
6.如今基于高阶语义的物体导航仍在蓬勃发展，但是需要研究者们从实际问题出发，找到物体导航方法从数据集到现实世界的困难，真正的将物体导航方法应用到物理世界中。


技术实现要素：

7.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于物体偏见修正与有向注意力图的物体导航方法。
8.本发明的目的可以通过以下技术方案来实现：
9.一种基于物体偏见修正与有向注意力图的物体导航方法，包括以下步骤：
10.s1、在物体导航过程中，机器人实时获取当前时刻的原始图像作为视觉输入；
11.s2、通过resnet18提取视觉输入的全局图像特征i
t
，并且通过faster rcnn提取视觉输入的局部物体特征s
t
；
12.s3、以全局图像特征i
t
作为查询，局部物体特征s
t
作为键值，通过多头注意力分数生成模块得到自适应物体注意力图cv；
13.s4、将自适应物体注意力图cv与固定的物体注意力图加权相加得到当前时刻的物体注意力权重g
t
；
14.s5、利用物体注意力权重g
t
对局部物体特征s
t
进行加权得到物体支路最终编码
15.s6、利用经过物体注意力权重加权后的物体语义表示d作为查询，全局的图像信息作为键值，通过多头注意力得到图像支路最终编码
16.s7、对图像、物体和过去动作三个支路进行能量重新分配再聚合得到特征表示h
t
；
17.s8、利用lstm循环神经网络和a3c强化学习方法预测动作执行概率；
18.s9、加强检测到目标物体时输出停止动作的概率；
19.s10、机器人选择概率最大的动作对场景进行探索。
20.所述的步骤s2中，局部物体特征s
t
由物体视觉特征物体位置特征物体置信度和目标物体指示位拼接而成。
21.所述的步骤s3具体包括以下步骤：
22.s31、设定置信度阈值，并通过置信度滤波将低于置信度阈值的物体特征置为0得到滤波后的物体特征
23.s32、通过独热编码和两层全连接层得到物体索引编码特征oi，对全局图像特征i
t
进行全局平均池化后与目标索引编码oi
p
拼接得到包含目标物体信息的全局图像特征则有：
[0024][0025]
其中，m为特征图中的像素数量，p表示目标物体，oi
p
为物体索引编码特征oi中目标物体p的索引编码，concat表示将两个向量拼接成一个；
[0026]
s33、以包含目标物体信息的全局图像特征作为查询，滤波后的物体特征作为键，利用多头注意力分数生成器得到自适应物体注意力图gv，则有：
[0027][0028][0029][0030]
其中，nh和hd分别为多头注意力分数生成器的头数和隐藏维度，其中，nh和hd分别为多头注意力分数生成器的头数和隐藏维度，均为
可学习的维度映射参数，和分别将包含目标物体信息的全局图像特征和滤波后的局部物体特征映射到的同一维度hd，将各个头计算出来的子图聚合为一个自适应的物体注意力图gv。
[0031]
所述的步骤s4具体为：
[0032]
定义一个可学习且固定大小的矩阵表示固定的物体注意力图，根据寻找的物体p，从固定的物体注意力图中提取边权重通过加权固定物体注意力图与自适应的物体注意力图得到无偏见的物体注意力权重g
t
，则有：
[0033][0034]
其中，ωn与ωv均为可学习的权重。
[0035]
所述的步骤s5具体为：
[0036]
为平衡计算量与信息完整性使用两层带有relu非线性的全连接层对局部物体特征s
t
进行降维得到降维后的物体特征s
t
′
，采用无偏见的物体注意力权重g
t
对降维后的物体特征s
t
′
中每个物体q的特征进行加权得到物体支路最终编码则有：
[0037][0038][0039]
其中，n为物体总数，为第q个物体的低维特征，为第q个物体的无偏注意力权重。
[0040]
所述的步骤s6具体包括以下步骤：
[0041]
s61、利用无偏物体注意力权重g
t
对物体索引编码特征oi进性加权聚合，得到加权后的物体语义表示d，则有：
[0042][0043]
其中，表示指示函数，n为物体总数，oiq为物体索引编码特征oi中第q个物体的索引编码，置信度滤波表示置信度小于一定阈值的物体的语义特征被置为0；
[0044]
s62、将一维的像素索引编码pi引入到全局图像特征中，则有：
[0045]i′
t
＝δ(δ(i
t
w1)w2)+pi
[0046]
其中，i
′
t
为拥有像素位置标识的全局图像特征，δ表示relu非线性激活函数，w1和w2为可学习的维度映射参数；
[0047]
s63、利用加权后的物体语义表示d作为查询，拥有像素位置标识的全局图像特征i
′
t
作为键值，通过多头注意力网络得到图像支路最终编码
[0048]
所述的步骤s7具体为：
[0049]
定义一个包含三个可学习参数的向量r＝{r1，r2，r3}，将全局图像支路局部物体支路和过去动作支路pa通过向量r聚合为一个特征表示h
t
，则有：
[0050][0051]
其中，f
pw
表示逐点卷积。
[0052]
所述的步骤s8具体为：
[0053]
采用两层的全连接层对特征表示h
t
进行精炼作为lstm网络的输入，经过lstm网络学习到机器人在探索环境过程中的时序关系，从而输出综合过去动作与当前环境的动作概率向量，所述的动作包括直走、左转、右转、抬头、低头和停止，若机器人输出停止动作，则表示机器人已经找到了物体并导航到了物体的位置。
[0054]
所述的置信度滤波的阈值为0.6.
[0055]
所述的步骤s9中，当机器人检测到目标物体时，使用目标检测置信度乘以固定系数再乘上概率向量中停止动作的概率，实现对停止动作触发的显式增强。
[0056]
与现有技术相比，本发明具有以下优点：
[0057]
一、本发明提出了一种有向物体注意力图表示，有效解决了智能代理在物体导航中出现的物体注意力偏见问题，并且让神经网络对物体之间的内在关系有了更加清晰的认识。
[0058]
二、本发明以有向物体注意力图为基础，设计了全局图像支路和局部物体支路的交叉注意力，即无偏的图像注意力和无偏的物体注意力，这种交叉注意力方法增强了全局图像特征和物体特征注意力分配的合理性。
[0059]
三、本发明设计了一种几乎不需要额外增加计算量的自适应能量分配支路特征聚合方法，该方法有效增强了网路对于不同支路的区分度，并改善了聚合后特征表示的数据分布。
[0060]
四、本发明在ai2-thor数据集上进行了实验，在sr、spl、sae指标上相比于最先进的方法分别提高了7.4％、8.1％和17.6％。
附图说明
[0061]
图1为本发明方法的流程图。
[0062]
图2为本发明方法的有向物体注意力图计算过程。
[0063]
图3为本发明方法学习到的固定注意力图的邻接矩阵。
[0064]
图4为本发明方法学习到的自适应注意力图的邻接矩阵。
[0065]
图5为本发明方法训练过程中在训练集和测试集上成功率指标sr的变化，其中，图(5a)为训练集上成功率指标sr的变化，图(5b)为测试集上成功率指标sr的变化。
[0066]
图6为本发明方法与过去方法在ai2-thor模拟环境中指导智能代理寻找物体的路线对比。
[0067]
图7为ai2-thor数据集中的四个场景及每个场景中包含的物体。
具体实施方式
[0068]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0069]
本发明提供一种基于物体偏见修正与有向注意力图的物体导航方法，该方法利用物体有向注意力图解决机器人物体导航过程中的物体注意力偏见问题的方法，根据物体间无偏见的关系对物体注意力进行了合理的分配，并在ai2-thor数据集的实验中获得了最先进的结果，具体包括以下步骤：
[0070]
s1、提出了机器人在进行未知环境中纯视觉的物体导航时存在的物体注意力偏见问题；
[0071]
步骤s1中物体注意力偏见问题由两方面原因导致：
[0072]
(1)内源性原因：网络自身对具有更加丰富视觉特征对象的偏好。
[0073]
(2)外源性原因，数据集中每个对象可以检测到的频率的差异性。
[0074]
本方法主要从内源性因素入手，不改变数据集中的对象数量。
[0075]
s2、利用resnet18和faster rcnn提取视觉输入的全局图像信息和局部物体信息；
[0076]
步骤s2中，resnet18从原始图像中提取出全局图像特征i
t
，faster rcnn从原始图像中提取出物体特征s
t
，其由物体视觉特征物体位置特征物体置信度和目标物体指示位拼接而成。
[0077]
s3、以全局图像信息作为查询，局部物体信息作为键值，通过多头注意力分数生成模块得到自适应物体注意力图；
[0078]
步骤s3中，为了消除包含较多噪声的低置信度物体的干扰，使用置信度滤波将低于一定置信度阈值的物体特征置为0，滤波后的物体特征表示为
[0079]
在完成滤波后，首先通过独热编码和两层的全连接层得到物体索引编码特征oi，因为寻找不同目标时需要有不同的注意力分配策略，所以对全局图像特征i
t
进行全局平均池化后与目标索引编码oi
p
拼接得到拼接后的全局图像特征则有：
[0080][0081]
其中，m表示特征图中的像素数量，p表示目标物体，oi
p
表示oi中第p个物体(目标物体)的索引编码，concat表示将两个向量拼接成一个。
[0082]
以拼接后的全局图像特征作为查询，滤波后的物体特征作为键，利用多头注意力分数生成器得到自适应物体注意力图gv，则有：
[0083][0084][0085][0086]
其中，nh和hd分别表示多头注意力分数生成器的头数和隐藏维度，与分别将全局图像特征和局部物体特征映射到同一维度hd，将各个头计算出来的子图聚合为一个自适应的物体注意力图gv。
[0087]
s4、将自适应物体注意力图与固定的物体注意力图加权相加得到当前时刻的物体注意力权重；
[0088]
步骤s4中，定义一个可学习的固定大小的矩阵表示固定的物体注意力图，n表示物体总数，由于定义的物体注意力图是有向的，所以gn是非对称的。
[0089]
根据寻找的物体p，从固定物体注意力图中提取边权重p是有向图中边的终点，通过加权相加固定物体注意力图与自适应的物体注意力图得到无偏见的物体注意力权重g
t
，则有：
[0090]
[0091]
其中，ωn与ωv都是可学习的权重。
[0092]
s5、利用物体注意力权重对物体局部信息进行加权得到物体支路最终编码；
[0093]
步骤s5中，为了平衡计算量与信息完整性使用两层带有relu非线性的全连接层对局部物体特征s
t
进行降维得到降维后的物体特征s
t
′
，利用步骤s4中计算出来的无偏见的物体注意力权重g
t
对降维后的物体特征s
t
′
中每个物体q的特征进行加权，则有：
[0094][0095]
其中，是第q个物体的低维特征，是第q个物体的无偏注意力权重。
[0096]
s6、利用经过物体注意力权重加权后的物体语义作为查询，全局的图像信息作为键值，通过多头注意力得到图像支路最终编码；
[0097]
步骤s6中，首先利用无偏物体注意力权重g
t
对物体索引编码特征oi进行加权聚合，得到加权后的物体语义表示d，则有：
[0098][0099]
其中，指代指示函数，置信度滤波表示置信度小于一定阈值的物体的语义特征会被置为0。
[0100]
然后将一维的像素索引编码pi引入到全局图像特征中：
[0101]i′
t
＝δ(δ(i
t
w1)w2)+pi
[0102]
其中，δ指代relu非线性激活，w1和w2为可学习的维度映射参数，用以将全局图像特征降维，pi为全局图像特征的每个像素提供了位置标识。
[0103]
最后利用加权后的物体语义表示d作为查询，拥有像素位置标识的全局图像特征i
′
t
作为键值，通过多头注意力网络得到图像支路最终编码则有：
[0104][0105][0106][0107]
s7、对图像、物体和过去动作三个支路进行能量重新分配再聚合；
[0108]
步骤s7中，定义一个包含三个可学习参数的向量r＝{r1，r2，r3}，全局图像支路局部物体支路过去动作支路pa这三个支路通过向量r聚合为一个特征表示h
t
，则有：
[0109][0110]
其中，f
pw
指代逐点卷积，降低特征维度。
[0111]
s8、利用lstm循环神经网络和a3c强化学习方法预测动作执行概率；
[0112]
s9、利用停止动作提醒模块加强检测到目标物体时输出停止动作的概率；
[0113]
步骤s9中，当智能代理检测到目标物体时，使用目标检测置信度乘以固定的系数再乘上概率向量中停止动作的概率，实现对停止动作触发的显式增强。
[0114]
s10、机器人选择概率最大的动作对场景进行探索。
[0115]
实施例
[0116]
本实施例提供了一种基于物体偏见修正与有向注意力图的物体导航方法，该方法
的框架示意图如图1所示，具体包括以下步骤：
[0117]
s1、利用resnet18和faster rcnn提取视觉输入的全局图像信息和局部物体信息；
[0118]
s2、以全局图像信息作为查询，局部物体信息作为键值，通过多头注意力分数生成模块得到自适应物体注意力图；
[0119]
s3、将自适应物体注意力图与固定的物体注意力图加权相加得到当前时刻的物体注意力权重；
[0120]
s4、利用物体注意力权重对物体局部信息进行加权得到物体支路最终编码；
[0121]
s5、利用经过物体注意力权重加权后的物体索引编码特征作为查询，全局的图像信息作为键值，通过多头注意力得到图像支路最终编码；
[0122]
s6、对图像、物体和过去动作三个支路进行能量重新分配再聚合；
[0123]
s7、利用lstm循环神经网络和a3c强化学习方法预测动作执行概率；
[0124]
s8、利用停止动作提醒模块加强检测到目标物体时输出停止动作的概率。
[0125]
s9、机器人选择概率最大的动作对场景进行探索。
[0126]
在步骤s1，智能代理首先通过向前拍摄的摄像头读取当前场景的主视角图片，再将图片数据转换成在python中便于处理的numpy格式，为了输入用pytorch搭建的神经网络，再将numpy格式的图像数据转换成pytorch中的tensor格式。
[0127]
在训练模型的时候，将场景中智能代理所处的所有可能状态时捕获到的主视角图片提出出来，并分别用预训练过的resnet18和faster rcnn提取全局图像信息和局部物体信息，将每个场景中的上述两种特征储存成hdf5格式文件，这样在训练时智能代理只需要读取hdf5文件获得当前状态的全局图像与局部物体特征，不需要智能代理不断的与环境交互从而耗费大量的时间。
[0128]
在步骤s2，图2展示了计算物体注意力图的详细过程。物体特征需要经过一个置信度滤波剔除置信度较低的物体带来的噪声，而经过实验探究，置信度滤波的最佳阈值为0.6，全局图像特征在全局平均池化后需要与目标物体的索引编码拼接。这里使用拼接向量的方法而不是特征相加是因为图像特征的维度(512)和目标索引编码的维度(64)相差较大，所以使用拼接的方法能更好的利用特性信息。多头注意力分数生成模块本质上是计算每一个局部物体特征嵌入与全局图像特征嵌入的相似性，从而得到每个物体根据不同可视图片而变化的重要性权重。
[0129]
在步骤s3，固定的物体注意力图是由可学习的n
×
n矩阵表示的，其在训练的过程中不断学习物体之间的本质关系，在测试使用时就不会改变。所以理论上，训练的场景越全面越真实，那么固定的物体注意力图就越合理，图3和图4分别可视化了固定的物体注意力图和自适应物体注意力图的邻接矩阵，可以发现固定的物体注意力图中自连接边的权重最大，即对目标物体的注意力最强，图4中的自适应物体注意力图的邻接矩阵每一列代表在寻找这类物体时随机抽取一帧时的自适应物体注意力。可以发现自适应物体注意力一般集中在一个物体上，这是因为每一时刻视野中物体相对于所有物体是十分稀疏的，这种稀疏性导致了注意力对于最重要物体的极致倾斜。但是由于使用的是固定注意力图与自适应注意力图加权平均的方式，而神经网络学习到的分配给固定注意力图的权重为0.96，分配给自适应注意力图的权重为0.04。所以自适应注意力的注意力集中现象并不会导致整体物体注意力的极端，反而会起到加强重要物体权重的良好效果。
[0130]
在步骤s4，为了平衡网络后续的计算量和特征的信息丰富度，利用带有relu非线性的全连接层对局部物体特征进行了降维，从518维降低到了64维，再对每个物体特征乘以对应的物体注意力权重得到最终的物体特征输出。
[0131]
在步骤s5，全局图像特征需要对每个像素添加位置编码，在本方法中运用的是1d位置编码方式，这是因为全局图像特征图的大小只有7
×
7，所以只使用1d编码也可以学习出二维的位置信息，所以没有必要使用2d或者相对位置编码了。物体语义信息在经过注意力分配后也需要通过置信度滤波去除噪声，这里选择的置信度阈值与步骤s2中的一样也为0.6。
[0132]
在步骤s6，每一个支路都有一个可学习的参数对支路特征进行数据分布的调整，所有的支路以拼接的方式连接，注意在拼接成一个特征向量后还需要经过两层的全连接层对信息进行精炼，才能输入lstm网络。
[0133]
在步骤s7，精炼后特征经过lstm网络会学习到智能代理在探索环境过程中的时序关系，从而输出综合了之前动作和环境的动作概率向量，动作一共有6种：直走、左转、右转、抬头、低头、停止，如果智能代理输出停止动作，则表示其认为已经找到了物体并导航到了物体的位置。
[0134]
在步骤s8，由于此任务的目标是找到目标物体，所以当智能代理检测到视野中的目标物体时，会根据检测到目标物体的置信度增强结束动作的概率。
[0135]
在步骤s9，机器人会采取动作概率向量中概率最大的动作进行下一步的场景探索。
[0136]
本发明提出了一种有向物体注意力图方法有效解决了物体导航过程中的物体注意力偏见问题。并基于物体注意力图，提出了无偏的自适应物体注意力与自适应图像注意力这两个交叉注意力策略，他们让神经网络对于物体特征和图像特征注意力进行了合理的分配。不仅如此，还提出了自适应能量分配方法对支路特征的聚合进行了优化。在ai2-thor数据集上进行了实验，图7展示了数据集中的场景和物体。图5中，可以看到我们的方法在强化学习训练过程中，在训练集和测试集上的成功率曲线都平稳收敛。图6展示了方法在ai2-thor模拟环境中指导智能代理导航的实际效果。可以发现，旋转的方向和旋转变直走的时机对于导航的成功与否是十分重要的。而这两个决策主要由视野中包含多个物体的关键帧时，智能代理对于场景的理解决定。基于有向物体注意力图的方法能够为智能代理提供更加合理和无偏见的注意力分配，因此能够指导其在关键帧的时候做出正确的决策。本方法在sr、spl和sae指标方面比hoz等先进方法提升了7.4％、8.1％和17.6％。无论是对方法效果的提升还是对未来研究的指导作用方面，本方法都有着独特的优势。
[0137]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。