关键点检测和特征描述符计算的制作方法

本技术涉及图像处理。例如，本技术的各方面涉及检测机器或计算机视觉的特征和关键点的系统和技术。

背景技术：

1、自由度(dof)是指刚性对象可以移动通过三维(3d)空间的基本方式的数量。在一些示例中，可以跟踪六个不同的dof。六个dof包括对应于沿着三个垂直轴的平移运动的三个平移dof，其可以被称为x、y和z轴。六个dof包括对应于围绕三个轴的旋转运动的三个旋转dof，其可以被称为俯仰、偏航和滚动。一些扩展现实(xr)设备(诸如虚拟现实(vr)或增强现实(ar)头戴式耳机)可以跟踪这些自由度中的一些或全部自由度。例如，3dof xr头戴式耳机通常跟踪三个旋转dof，并且因此可以跟踪用户是否转动和/或倾斜他们的头部。6dofxr头戴式耳机跟踪所有六个dof，并且因此也跟踪用户的平移运动。

2、电子设备(例如，扩展现实(xr)设备、移动设备等)可以使用强大的处理器来执行特征分析(例如，提取、跟踪等)，并且其它复杂功能足够快地执行以基于这些功能向其用户显示输出。示例复杂功能涉及检测和关联连续帧之间的特征，同时特征的大小(或尺度)基于电子设备(例如，xr设备等)的姿态而改变。用于检测具有变化尺度的特征的一种技术被称为尺度空间搜索。在尺度空间搜索中，搜索对应于不同尺度的帧的许多不同经滤波版本以寻找峰值响应以识别特征。在一些实施方式中，与搜索每个帧的所有不同尺度相关联的计算工作量引起执行特征分析的计算成本的大部分。

技术实现思路

1、本文描述了用于处理帧的系统和技术。根据一个说明性示例，提供一种用于处理一个或多个帧的装置，其包括被配置以存储至少一个图像的存储器和(例如，在电路中实施)且耦合到所述存储器的一个或多个处理器。所述一个或多个处理器被配置为并且可以：获得与当前帧中的特征相关联的特征信息，其中，所述特征信息是基于一个或多个先前帧的；确定所述装置的与所述当前帧相关联的经估计姿态；获得与所述当前帧中的所述特征相关联的距离；以及基于与所述特征相关联的所述特征信息、所述经估计姿态和与所述特征相关联的所述距离来确定所述当前帧中的所述特征的经估计尺度。

2、在另一示例中，提供了一种处理一个或多个帧的方法。所述方法包括：由计算设备获得与当前帧中的特征相关联的特征信息，其中，所述特征信息是基于一个或多个先前帧的；确定与所述当前帧相关联的所述计算设备的经估计姿态；由所述计算设备获得与所述当前帧中的所述特征相关联的距离；以及由所述计算设备基于与所述特征相关联的所述特征信息、所述经估计姿态和与所述特征相关联的所述距离来确定所述当前帧中的所述特征的经估计尺度。

3、在另一示例中，提供一种计算设备的、其上存储有指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作：获得与当前帧中的特征相关联的特征信息，其中，所述特征信息是基于一个或多个先前帧的；确定所述计算设备的与所述当前帧相关联的经估计姿态；获得与所述当前帧中的所述特征相关联的距离；以及基于与所述特征相关联的所述特征信息、所述经估计姿态和与所述特征相关联的所述距离来确定所述当前帧中的所述特征的经估计尺度。

4、在另一示例中，提供了一种用于处理一个或多个帧的装置。所述装置包括：用于获得与当前帧中的特征相关联的特征信息的单元，其中，所述特征信息是基于一个或多个先前帧的；用于确定与所述当前帧相关联的所述装置的经估计姿态的单元；用于获得与所述当前帧中的所述特征相关联的距离的单元；以及用于基于与所述特征相关联的所述特征信息、所述经估计姿态和与所述特征相关联的所述距离测量来确定所述当前帧中的所述特征的经估计尺度的单元。

5、在一些方面中，上文所描述的方法、装置和计算机可读介质可以包括：基于所述特征在所述一个或多个先前帧中的位置和与所述当前帧相关联的所述经估计姿态来确定所述特征在所述当前帧中的经估计位置；以及在所述特征的所述经估计位置处获得与所述当前帧相关联的所述距离。

6、在一些方面中，为了基于所述经估计姿态来确定所述特征在所述当前帧中的所述经估计位置，上文所描述的方法、装置和计算机可读介质可以包括：从运动传感器获得运动信息；以及基于所述运动信息，更新先前所确定的姿态。在一些方面中，所述运动传感器包括惯性测量单元。在一些方面中，所述装置(或所述计算设备)包括所述运动传感器。

7、在一些方面中，所述特征信息包括所述特征的度量尺度。

8、在一些方面中，所述特征信息包括与所述一个或多个先前帧相关联的所述特征的先前距离和先前特征尺度。在一些情况下，所述一个或多个先前帧包括关键帧。

9、在一些方面中，上文所描述的方法、装置和计算机可读介质可以包括：基于将所述当前帧中的所述特征与和所述一个或多个先前帧相关联的特征进行匹配，来确定所述特征在所述当前帧中的位置和所述当前帧中的所述特征的经计算尺度。

10、在一些方面中，上文所描述的方法、装置和计算机可读介质可以包括：至少部分地通过搜索尺度空间的最近尺度空间层中的所述特征来确定所述特征在所述当前帧中的位置和所述当前帧中的所述特征的经计算尺度，其中，所述最近尺度空间层的尺度对应于所述特征的所述经估计尺度。

11、在一些方面中，所述尺度空间包括基于所述当前帧的多个经滤波阵列。在一些情况下，基于所述当前帧的所述多个经滤波阵列中的每一者与不同特征尺度相关联。

12、在一些方面中，所述尺度空间包括与不同特征尺度相关联的高斯(dog)阵列的多个差，并且多个dog阵列包括所述尺度空间的所述最近尺度空间层。

13、在一些方面中，所述尺度空间包括与不同特征尺度相关联的多个拉普拉斯高斯阵列。

14、在一些方面中，上文所描述的方法、装置和计算机可读介质可以包括在与所述尺度空间的所述最近尺度空间层相邻的一个或多个尺度空间层中搜索所述特征。

15、在一些方面中，所述尺度空间包括n个尺度空间层。在一些情况下，上文所描述的方法、装置和计算机可读介质可以包括在所述尺度空间的少于n个层中搜索所述特征。

16、根据另一说明性示例，提供一种用于处理一个或多个帧的装置，其包括被配置以存储至少一个图像的存储器和(例如，在电路中实施)且耦合到所述存储器的一个或多个处理器。所述一个或多个处理器被配置为并且可以：获得与当前帧中的特征相关联的特征信息，其中，所述特征信息是基于一个或多个先前帧的；确定所述装置的与所述当前帧相关联的经估计姿态；获得与所述当前帧中的所述特征相关联的距离；以及基于与所述特征相关联的所述特征信息、所述经估计姿态和与所述特征相关联的所述距离，来确定所述当前帧中的所述特征的经估计主导方向。

17、在另一示例中，提供了一种处理一个或多个帧的方法。所述方法包括：由计算设备获得与当前帧中的特征相关联的特征信息，其中，所述特征信息是基于一个或多个先前帧的；确定与所述当前帧相关联的所述计算设备的经估计姿态；由所述计算设备获得与所述当前帧中的所述特征相关联的距离；以及由所述计算设备基于与所述特征相关联的所述特征信息、所述经估计姿态和与所述特征相关联的所述距离，来确定所述当前帧中的所述特征的经估计主导方向。

18、在另一示例中，提供一种计算设备的、其上存储有指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作：获得与当前帧中的特征相关联的特征信息，其中，所述特征信息是基于一个或多个先前帧的；确定所述计算设备的与所述当前帧相关联的经估计姿态；获得与所述当前帧中的所述特征相关联的距离；以及基于与所述特征相关联的所述特征信息、所述经估计姿态和与所述特征相关联的所述距离，来确定所述当前帧中的所述特征的经估计主导方向。

19、在另一示例中，提供了一种用于处理一个或多个帧的装置。所述设备包括：用于获得与当前帧中的特征相关联的特征信息的单元，其中，所述特征信息是基于一个或多个先前帧的；用于确定与所述当前帧相关联的所述装置的经估计姿态的单元；用于获得与所述当前帧中的所述特征相关联的距离的单元；以及用于基于与所述特征相关联的所述特征信息、所述经估计姿态和与所述特征相关联的所述距离，来确定所述当前帧中的所述特征的经估计主导方向的单元。

20、在一些方面中，所述特征信息包括与基于一个或多个先前帧的所述特征相关联的先前主导方向。在一些情况下，为了确定所述当前帧中的所述特征的所述经估计主导方向，上文所描述的方法、装置和计算机可读介质可以包括：确定与所述一个或多个先前帧相关联的姿态和与所述当前帧相关联的所述经估计姿态之间的经估计变换；以及将经估计变换应用于所述先前主导方向，以确定所述当前帧中的所述特征的所述经估计主导方向。

21、在一些方面中，上文描述的装置中的一个或多个装置是以下各者或以下各者的一部分：移动设备(例如，移动电话或所谓的“智能电话”或其它移动设备)、可穿戴设备、扩展现实设备(例如，虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备)、个人计算机、膝上型计算机、服务器计算机、车辆(例如，车辆的计算设备)或其它设备。在一些方面中，一种装置包括用于捕获一个或多个图像的一个照相机或多个照相机。在一些方面中，所述装置包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面中，上文描述的装置可以包括一个或多个传感器。在一些情况下，所述一个或多个传感器可以用于确定所述装置的位置和/或姿态、所述装置的状态和/或用于其它目的。

22、该
技术实现要素：
既不旨在标识所要求保护的主题的关键或必要特征，也不旨在单独用于确定所要求保护的主题的范围。应当通过参考本专利的整个说明书的适当部分、任何或全部附图以及每个权利要求来理解该主题。

23、参考以下说明书、权利要求和附图，前述内容连同其它特征和实施例将变得更加显而易见。