用于对象跟踪的方法和设备与流程

用于对象跟踪的方法和设备
1.本技术要求于2021年5月26日在韩国知识产权局提交的第10-2021-0067481号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
2.下面的描述涉及用于对象跟踪的方法和设备。


背景技术：

3.对象跟踪是可在连续图像中检测对象的技术。当在连续图像中跟踪对象时基于来自用户的输入设置目标的边界框时，可能不能准确地设置边界框。当在智能电话或相机的屏幕上设置边界框时，目标可能移动或变形，或者智能电话或相机可能抖动。此外，当基于触摸输入设置边界框时，由于用户手指的厚度，可能不能准确地指向目标。
4.在对象跟踪时，可比较模板图像以用于随后的对象跟踪。因此，当模板图像不准确时，对象跟踪的准确度可能降低。例如，当模板图像仅包括目标的一部分或者除了目标之外模板图像还包括许多背景区域时，对象跟踪的准确性可能降低。
5.包括在用于训练神经网络的训练数据中的模板图像不仅可包括被目标占据的前景区域，还可包括除目标之外的背景区域。当前景区域的比例大时，神经网络可针对各种背景区域执行鲁棒的对象跟踪。然而，当背景区域的比例过大时，这可能超出神经网络的极限，导致对象跟踪的准确性的降低。


技术实现要素：

6.提供本发明内容来以简化的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容不意在确认要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
7.在一个总体方面，一种处理器实现的具有对象跟踪的方法包括：基于输入边界框和输入图像来确定初始模板图像；通过从初始模板图像提取特征来生成初始特征图；通过对初始特征图执行适合于对象性的特征变换来生成变换后特征图；通过对变换后特征图执行基于对象性的边界框回归分析，来生成对象性概率图和指示与对象性概率图的每个坐标对应的边界框信息的边界框图；以及基于对象性概率图和边界框图确定改进的边界框。
8.生成对象性概率图的步骤可包括：通过对变换后特征图执行分类来生成对象性概率图；以及生成边界框图的步骤可包括：通过对变换后特征图执行定位来生成边界框图。
9.确定改进的边界框的步骤可包括：基于对象性概率图和边界框图确定第一临时边界框；以及将输入边界框的面积与第一临时边界框的面积进行比较。
10.确定第一临时边界框的步骤可包括：基于与对象性概率图的最高概率对应的边界框图的边界框信息，来确定第一临时边界框。
11.将输入边界框的面积与第一临时边界框的面积进行比较的步骤可包括：将输入边界框与第一临时边界框的比率与阈值进行比较。
12.确定改进的边界框的步骤可包括：基于比较的结果，基于对象性概率图和边界框图确定第二临时边界框；以及通过将第一临时边界框与第二临时边界框进行比较，来确定改进的边界框。
13.确定第二临时边界框的步骤可包括：响应于输入边界框与第一临时边界框的比率大于所述阈值，基于对象性概率图和边界框图来确定第二临时边界框。
14.通过将第一临时边界框与第二临时边界框进行比较来确定改进的边界框的步骤可包括：确定第一临时边界框与输入边界框的第一交并比(iou)；确定第二临时边界框与输入边界框的第二iou；以及通过将第一iou与第二iou进行比较来确定改进的边界框。
15.通过将第一iou与第二iou进行比较来确定改进的边界框的步骤可包括：响应于第一iou大于第二iou，将第一临时边界框确定为改进的边界框；以及响应于第二iou大于或等于第一iou，将第二临时边界框确定为改进的边界框。
16.在另一总体方面，一个或多个实施例包括存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，将处理器配置为执行在此描述的任何一个、任何组合或所有操作和方法。
17.在另一总体方面，一种具有对象跟踪的设备包括：一个或多个处理器，被配置为：基于输入边界框和输入图像来确定初始模板图像；通过提取初始模板图像的特征来生成初始特征图；通过对初始特征图执行适合于对象性的特征变换来生成变换后特征图；通过对变换后特征图执行基于对象性的边界框回归分析，来生成对象性概率图和指示与对象性概率图的每个坐标对应的边界框信息的边界框图；以及基于对象性概率图和边界框图确定改进的边界框。
18.为了确定改进的边界框，所述一个或多个处理器可被配置为基于与对象性概率图的最高概率对应的边界框图的边界框信息，来确定改进的边界框。
19.所述一个或多个处理器可被配置为：为了生成对象性概率图，通过对变换后特征图执行分类来生成对象性概率图，以及为了生成边界框图，通过对变换后特征图执行定位来生成边界框图。
20.为了确定改进的边界框，所述一个或多个处理器可被配置为：基于对象性概率图和边界框图确定第一临时边界框，以及将输入边界框的面积与第一临时边界框的面积进行比较。
21.为了确定第一临时边界框，所述一个或多个处理器可被配置为基于与对象性概率图的最高概率对应的边界框图的边界框信息，来确定第一临时边界框。
22.为了将输入边界框的面积与第一临时边界框的面积进行比较，所述一个或多个处理器可被配置为将输入边界框与第一临时边界框的比率与阈值进行比较。
23.为了确定改进的边界框，所述一个或多个处理器可被配置为：基于比较的结果，基于对象性概率图和边界框图确定第二临时边界框；以及通过将第一临时边界框与第二临时边界框进行比较，来确定改进的边界框。
24.为了确定第二临时边界框，所述一个或多个处理器可被配置为：响应于输入边界框与第一临时边界框的比率大于所述阈值，基于对象性概率图和边界框图来确定第二临时边界框。
25.为了通过将第一临时边界框与第二临时边界框进行比较来确定改进的边界框，所
述一个或多个处理器可被配置为：计算第一临时边界框与输入边界框的第一交并比(iou)；计算第二临时边界框与输入边界框的第二iou；以及通过将第一iou与第二iou进行比较来确定改进的边界框。
26.为了通过将第一iou与第二iou进行比较来确定改进的边界框，所述一个或多个处理器可被配置为：响应于第一iou大于第二iou，将第一临时边界框确定为改进的边界框；以及响应于第二iou大于或等于第一iou，将第二临时边界框确定为改进的边界框。
27.在另一总体方面，一种处理器实现的具有对象跟踪的方法包括：通过基于输入边界框和输入图像执行基于对象性的边界框回归分析，来生成对象性概率图和边界框图；基于所述图确定第一临时边界框和第二临时边界框；通过将所述临时边界框进行比较，将改进的边界框确定为第一临时边界框和第二临时边界框中的任一个；以及基于改进的边界框执行对象跟踪。
28.改进的边界框的作为背景区域的比例可小于输入边界框的作为背景区域的比例。
29.确定第一临时边界框的步骤可包括：响应于输入边界框与第一临时边界框的面积比大于所述阈值而确定第二临时边界框。
30.确定改进的边界框的步骤可包括：响应于第二临时边界框与输入边界框的交并比(iou)大于或等于第一临时边界框与输入边界框的iou，将改进的边界框确定为第二临时边界。
31.执行对象跟踪的步骤可包括基于改进的边界框在随后的图像中确定边界框。
32.从下面的具体实施方式、附图以及权利要求，其他特征和方面将是清楚的。
附图说明
33.图1a至图1c示出将输入边界框与准确边界框进行比较的示例。
34.图2是示出对象跟踪方法的示例的流程图。
35.图3是示出对象跟踪方法的示例的框图。
36.图4是具体地示出对象跟踪方法的一部分的示例的框图。
37.图5示出通过对象跟踪方法确定改进的(refined)边界框的示例。
38.图6是示出对象跟踪方法的示例的流程图。
39.图7a和图7b示出对象跟踪方法的效果的示例。
40.图8示出对象跟踪设备的配置的示例。
41.贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘可被夸大。
具体实施方式
42.提供下面的具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本技术的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，并且不限于在此阐述的那些顺序，而是除了必须以特定的次序发生的操作之外，可如在理解本技术的公开之后将是清楚的那样被改变。此外，为了更加清楚和简明，可省略在理解本技术的公开内容之后已
知的特征的描述。
43.尽管在此可使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不受这些术语的限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开。因此，在不脱离示例的教导的情况下，在此描述的示例中所称的第一构件、组件、区域、层或部分也可被称为第二构件、组件、区域、层或部分。
44.在整个说明书中，当组件被描述为“连接到”或“结合到”另一组件时，所述组件可直接“连接到”或“结合到”另一组件，或者可存在介于其间的一个或多个其他组件。相反，当元件被描述为“直接连接到”或“直接结合到”另一元件时，可能不存在介于其间的其他元件。同样地，类似的表达(例如“在
……
之间”和“直接在
……
之间”以及“邻近”和“直接相邻”)也应以相同的方式被解释。如在此使用的，术语“和/或”包括相关联的所列项中的任何一个和任何两个或更多个的任何组合。
45.在此使用的术语仅用于描述特定示例，而不将用于限制示例。如在此使用的那样，除非上下文另有清楚地指示，否则单数形式也旨在包括复数形式。如在此使用的，术语“和/或”包括相关联的所列项中的任何一个和任何两个或更多个的任何组合。还将理解，术语“包括”和/或“包含”在此使用时，指定存在陈述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。在此针对示例或实施例的术语“可”的使用(例如，关于示例或实施例可包括或实现的内容)表示存在包括或实现这样的特征至少一个示例或实施例，而所有示例不限于此。
46.除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员基于对本技术的公开的理解通常理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如在通用词典中定义的那些术语)应被解释为具有与它们在相关领域的上下文和本技术的公开中的含义一致的含义，并且不应以理想化或过于形式化的含义被解释。
47.在下文中，将参照附图详细描述示例。当参照附图描述示例时，相同的参考标号表示相同的组件，并且与相同的组件有关的重复描述将被省略。
48.图1a至图1c示出将输入边界框与准确边界框进行比较的示例。
49.对象跟踪设备(例如，用于对象跟踪的设备)可改进用于跟踪对象的模板图像中的边界框。对象跟踪设备可确定输入边界框(或称为初始边界框)。对象跟踪设备可通过改进输入边界框，来确定更适合于对象跟踪的改进的边界框。一个或多个实施例的对象跟踪设备可更准确地改进用于在连续图像中跟踪对象的模板图像。
50.连续图像可被输入以跟踪对象。将被跟踪的对象的模板图像可从连续图像之中的第一帧的图像被获得。模板图像可被输入到预先训练的神经网络，并且模板图像的特征图可从预先训练的神经网络被输出。连续图像之中的随后的连续帧的图像均可被输入到神经网络，并且各个图像的特征图可从神经网络被输出。与模板图像中的目标的尺度相同的尺度可被保持，并且作为搜索区域的随后帧的图像与模板图像之间的相似性可被计算。模板图像的特征图与随后的连续帧的图像的特征图之间的相似性可通过神经网络来计算。模板图像可表示将被跟踪的对象的代表性图像，并且搜索区域或搜索图像可表示将在其中检测对象的图像。
51.例如，对象跟踪设备可被应用于相机的对象跟踪、变焦和/或自动聚焦。然而，示例不限于此。对象跟踪设备可被应用于在连续图像中跟踪对象的任何情况。对象跟踪设备可以是或可被应用于诸如包括相机的智能电话、智能传感器和/或监视相机的系统。对象跟踪设备还可以是或可被应用于诸如从外部接收连续图像的计算机的系统。例如，对象跟踪设备可以是或可被应用于使用智能传感器的对象跟踪系统、相机的自动聚焦系统和/或基于视频的监视系统。然而，示例不限于此。对象跟踪设备可被应用于在预定图像中检测目标的任何领域。
52.这里，神经网络可通过训练数据被预先训练。为了通过神经网络的主干(backbone)对对象进行分类，可通过训练来更新神经网络的权重。神经网络可以是例如连体网络(siamese network)。
53.对象跟踪设备可确定输入边界框，并基于输入边界框确定初始模板图像。例如，对象跟踪设备可基于来自用户的输入确定输入边界框，或基于先前图像的跟踪确定输入边界框。对象跟踪设备可基于输入的边界框获得初始模板图像。
54.对象跟踪设备可将包括输入边界框的较大区域确定为初始模板图像，其中，输入边界框在较大区域的中心处(和/或其中，输入边界框的中心在较大区域的中心处)。对象跟踪设备可基于由用户指定的输入边界框，来以预定义的比率或大小生成初始模板图像。例如，对象跟踪设备可获得两倍于输入边界框的初始模板图像，其中，输入边界框在初始模板图像的中心处。
55.初始模板图像可被称为输入块。这里，生成的输入分块可经过(例如，神经网络的)一个或多个滤波器，使得特征图可被提取。例如，滤波器可具有被训练以获得对象的特征的权重，并且滤波器可在保持关于图像的信号的位置的信息的同时卷积地提取特征。
56.对象跟踪设备可提取初始模板图像的特征并执行特征变换以确定对象性(objectness)。从初始模板图像提取的特征图可被称为初始特征图。从初始模板图像提取的特征图可通过特征变换被变换以用于对象性确定。变换后特征图可被称为变换特征图。对象跟踪设备可基于从模板图像获得的特征值来确定对象性。
57.对象跟踪设备可基于具有强对象性的区域，来校正边界框的位置和大小。对象跟踪设备可基于变换后特征图计算对象性概率，并输出具有最高概率的边界框作为改进的边界框。
58.对象跟踪设备可使用神经网络，来执行基于对象性的边界框回归(bbox regression)。对象跟踪设备可通过使用神经网络计算变换后特征图中的每个点是对象的概率，并获得边界框在每个点处的信息。神经网络可学习对象的各种形状和尺度。神经网络可使用包括用于模板图像的地面真值边界框信息的训练数据，来随机地学习对象的存在或不存在。这里，可不使用对象类标签。
59.基于对象性的边界框回归分析可包括分类和定位。对象跟踪设备可通过分类来确定在变换后特征图中的任意位置处是否存在对象。假设在变换后特征图中的任意位置处存在对象，对象跟踪设备可通过对变换后特征图的定位来估计边界框。对象跟踪设备可通过预先学习了对象性概率图中的每个点的边界框信息的神经网络(例如，区域生成网络)，来执行定位。
60.对象跟踪设备可通过执行基于对象性的边界框回归分析一次或多次，来确定一个
或多个临时边界框。当初始临时边界框已经被确定时，对象跟踪设备可通过将输入边界框的面积与初始确定的临时边界框的面积进行比较，来确定是否确定另外的临时边界框。响应于输入边界框的面积与初始确定的临时边界框的面积之间的差或比率大(例如，大于预定阈值)，对象跟踪设备可确定另外的临时边界框。输入边界框的面积与初始确定的临时边界框的面积之间的大的差可指示初始确定的临时边界框基本上包括不必要的背景区域的概率。
61.式1：
[0062][0063]
例如，对象跟踪设备可例如使用以上式1来确定是否另外地获得临时边界框。根据式1，对象跟踪设备可将初始边界框或输入边界框area
ibbox
与临时边界框area
rbbox
的面积比与阈值th_area进行比较。响应于初始边界框area
ibbox
与临时边界框arear
bbox
的面积比大于阈值th_area，对象跟踪设备可确定随后的临时边界框。
[0064]
对象跟踪设备可对多个临时边界框执行边界框比较分析。通过边界框比较分析，对象跟踪设备可得到针对对象的尺寸的变化更鲁棒的结果。对象跟踪设备可通过将多个临时边界框中的每个的公共区域与初始边界框进行比较，来确定改进的边界框。对象跟踪设备可通过将每个临时边界框的交并比(intersection of union，iou)与初始边界框的iou进行比较，来确定改进的边界框。iou可以是临时边界框的面积和初始边界框的面积的交集与并集的比率。
[0065]
式2：
[0066]
iou
rbbox1
＞iou
rbbox2
：确定为rbbox1
[0067]
iou
rbbox1
≤iou
rbbox2
：确定为rbbox2
[0068]
例如，对象跟踪设备可使用例如以上式2来确定改进的边界框。响应于iou
rbbox1
(其为第一临时边界框rbbox1与输入边界框的第一iou)大于iou
rbbox2
(其为第二临时边界框rbbox2与输入边界框的第二iou)，对象跟踪设备可输出第一临时边界框rbbox1作为改进的边界框。可选地，响应于iou
rbbox2
大于或等于iou
rbbox1
，对象跟踪设备可输出第二临时边界框rbbox2作为改进的边界框。
[0069]
对象跟踪设备可基于改进的边界框获得改进的模板图像。例如，对象跟踪设备可将包括改进的边界框的较大区域确定为改进的模板图像，其中，改进的边界框在较大区域的中心处(和/或其中，改进的边界框的中心在较大区域的中心处)。例如，对象跟踪设备可获得两倍于改进的边界框的改进的模板图像，其中，改进的边界框在改进的模板图像的中心处。
[0070]
对象跟踪设备可基于改进的边界框获得改进的模板图像，并使用改进的模板图像在随后帧中跟踪对象。包括目标的模板图像的特征图与搜索区域的特征图之间的相似性可被计算。例如，相似性可通过互相关方法来计算。对象跟踪设备可基于计算相似性的结果，来估计指示目标的位置和区域的边界框。
[0071]
对象跟踪设备可裁剪模板图像的特征图的中心区域。对象跟踪设备可通过将对模板图像的特征图的裁剪的结果与搜索区域的特征图进行比较，来确定相似性。对象跟踪设备可将具有高相似性并且与搜索区域的特征图对应的区域估计为目标区域。
[0072]
如上所述，一个或多个实施例的对象跟踪设备可从初始边界框去除不必要的区域，并确定更适合于对象的边界框。由此，一个或多个实施例的对象跟踪设备可提高对象跟踪的准确性。
[0073]
参照图1a，边界框111是通过典型技术从输入图像110确定的边界框。边界框112是通过一个或多个实施例的对象跟踪设备从输入图像11o确定的边界框(例如，改进的边界框)。在一个示例中，作为背景区域的边界框112的比例小于作为背景区域的边界框111的比例。由于除对象以外，边界框111还包括大量背景区域，因此随后的对象跟踪的准确性可降低。相比之下，由于通过一个或多个实施例的对象跟踪设备确定的边界框112更准确地包括对象并且包括更少的不必要的背景区域，因此随后的对象跟踪的准确性可提高。
[0074]
参照图1b，边界框121是通过典型技术从输入图像120确定的边界框。边界框122是通过一个或多个实施例的对象跟踪设备从输入图像120确定的边界框。由于除对象以外，边界框121还包括大量背景区域，因此随后的对象跟踪的准确性可降低。相比之下，由于通过一个或多个实施例的对象跟踪设备确定的边界框122更准确地包括对象并且更少地包括不必要的背景区域，因此随后的对象跟踪的准确性可提高。
[0075]
参照图1c，边界框131是通过典型技术从输入图像130确定的边界框。边界框132是通过一个或多个实施例的对象跟踪设备从输入图像130确定的边界框。由于除对象以外，边界框131还包括大量背景区域，因此随后的对象跟踪的准确性可降低。相比之下，由于通过一个或多个实施例的对象跟踪设备确定的边界框132更准确地包括对象并且更少地包括不必要的背景区域，因此随后的对象跟踪的准确度可提高。
[0076]
图2是示出对象跟踪方法的示例的流程图。
[0077]
参照图2，在操作201中，对象跟踪设备可从基于来自用户的输入确定的输入边界框和输入图像获得初始模板图像。
[0078]
在操作203，对象跟踪设备可通过提取初始模板图像的特征来生成初始特征图。
[0079]
在操作205中，对象跟踪设备可通过对初始特征图执行适合于对象性的特征变换来生成变换后特征图。
[0080]
在操作207中，对象跟踪设备可通过对变换后特征图执行基于对象性的边界框回归分析，来生成对象性概率图和指示与对象性概率图的每个坐标对应的边界框信息的边界框图。对象跟踪设备可通过对变换后特征图执行分类来生成对象性概率图。对象跟踪设备可通过对变换后特征图执行定位来生成边界框图。
[0081]
在操作209中，对象跟踪设备可从对象性概率图和边界框图确定改进的边界框。对象跟踪设备可从对象性概率图和边界框图确定第一临时边界框。对象跟踪设备可基于与对象性概率图的最高概率对应的边界框图的边界框信息，来确定第一临时边界框。
[0082]
对象跟踪设备可将输入边界框的面积与第一临时边界框的面积进行比较。对象跟踪设备可将输入边界框与第一临时边界框的面积比与阈值进行比较。响应于输入边界框与第一临时边界框的面积比大于阈值，对象跟踪设备可从对象性概率图和边界框图确定第二临时边界框。
[0083]
对象跟踪设备可基于比较的结果从对象性概率图和边界框图确定第二临时边界框。对象跟踪设备可通过将第一临时边界框与第二临时边界框进行比较，来确定改进的边界框。对象跟踪设备可计算第一临时边界框与输入边界框的第一iou。对象跟踪设备可计算
第二临时边界框与输入边界框的第二iou。对象跟踪设备可通过将第一iou与第二iou进行比较，来确定改进的边界框。响应于第一iou大于第二iou，对象跟踪设备可将第一临时边界框确定为改进的边界框。响应于第二iou大于第一iou，对象跟踪设备可将第二临时边界框确定为改进的边界框。
[0084]
图3是示出对象跟踪方法的示例的框图。
[0085]
参照图3，对象跟踪设备可基于来自用户的输入，确定指示输入图像301中的对象的区域的输入边界框302。对象跟踪设备可基于输入边界框302确定初始模板图像303。例如，对象跟踪设备可获得两倍于输入边界框302的初始模板图像303，其中，输入边界框302在初始模板图像303的中心处。
[0086]
对象跟踪设备可对搜索图像305和初始模板图像303中的每个执行特征提取310。在一个非限制性示例中，初始模板图像303对应于连续图像中的图像，并且搜索图像305对应于连续图像中的随后的图像。对象跟踪设备可通过将搜索图像305和初始模板图像303输入到神经网络使得搜索图像305和初始模板图像303经过具有预训练的神经网络的权重的一个或多个滤波器，来提取搜索图像305的特征图和初始模板图像303的特征图。特征图可保持关于各个图像的信号的位置的信息。
[0087]
对象跟踪设备可对初始模板图像303的初始特征图执行基于对象性的特征变换340。从初始模板图像提取的特征图可通过特征变换被变换为更适合于对象性确定。
[0088]
对象跟踪设备可对变换后特征图执行基于对象性的边界框回归分析350。对象跟踪设备可基于从变换后的模板图像获得的特征值来确定对象性。
[0089]
对象跟踪设备可基于具有强对象性的区域，来校正边界框的位置和大小。对象跟踪设备可输出一个或多个临时边界框。对象跟踪设备可对一个或多个临时边界框执行边界框比较分析360。通过边界框比较分析，对象跟踪设备可得到针对对象的尺度的变化更鲁棒的改进的边界框。
[0090]
对象跟踪设备可基于改进的边界框获得改进的模板图像307。例如，对象跟踪设备可获得两倍于改进的边界框改进的模板图像307，其中，改进的边界框在改进的模板图像307的中心处。
[0091]
对象跟踪设备可对从搜索图像305提取的特征图和从改进的模板图像307提取的特征图执行特征相似性确定320。例如，对象跟踪设备可通过互相关方法计算相似性。对象跟踪设备可基于计算相似性的结果来估计指示目标的位置和区域的边界框。对象跟踪设备可对针对搜索图像305估计的边界框执行边界框回归分析330。一个或多个实施例的对象跟踪设备可输出更准确地指示搜索图像308上的对象的边界框309。
[0092]
图4是具体地示出对象跟踪方法的一部分的示例的框图。
[0093]
参照图4，对象跟踪设备可基于来自用户的输入，确定指示输入图像401中的对象的区域的输入边界框402。对象跟踪设备可基于输入边界框402确定初始模板图像403。例如，对象跟踪设备可通过调整输入边界框402的位置来获得初始模板图像403。作为另一示例，对象跟踪设备可基于输入边界框402获得初始模板图像403。
[0094]
对象跟踪设备可对搜索图像和初始模板图像403中的每个执行特征提取310。对象跟踪设备可对初始模板图像403的初始特征图执行基于对象性的特征变换340。
[0095]
对象跟踪设备可对变换特征图执行基于对象性的边界框回归分析350。基于对象
性的边界框回归分析350可包括分类451和定位452。对象跟踪设备可通过分类451输出对象性概率图453。假设在变换后特征图中的任意位置处存在对象，对象跟踪设备可通过对变换后特征图的定位452输出指示估计的边界框信息的边界框图。
[0096]
对象跟踪设备可对一个或多个临时边界框执行边界框比较分析。通过边界框比较分析，对象跟踪设备可得到针对来自输入图像401的部分405的对象的尺度的变化更鲁棒的改进的边界框406。对象跟踪设备可基于改进的边界框406获得改进的模板图像407。
[0097]
图5示出通过对象跟踪方法确定改进的边界框的示例。
[0098]
参照图5，对象跟踪设备可从输入图像510确定输入边界框511。对象跟踪设备可对输入边界框511执行边界框回归分析512。可从输入图像520确定第一临时边界框521作为边界框回归分析512的结果。
[0099]
对象跟踪设备可将输入边界框511的面积与第一临时边界框521的面积进行比较。对象跟踪设备可将输入边界框511与第一临时边界框521的面积比与阈值进行比较。响应于输入边界框511与第一临时边界框521的面积比大于阈值，对象跟踪设备可通过执行边界框回归分析522来确定第二临时边界框531。可从输入图像530确定第二临时边界框531作为边界框回归分析522的结果。
[0100]
对象跟踪设备可通过对第一临时边界框521和第二临时边界框531执行边界框比较分析532，来确定改进的边界框。对象跟踪设备可计算第一临时边界框521与输入边界框511的第一iou。对象跟踪设备可计算第二临时边界框531与输入边界框511的第二iou。对象跟踪设备可通过将第一iou与第二iou进行比较，来确定改进的边界框。响应于第二iou大于第一iou，对象跟踪设备可将第二临时边界框531确定为改进的边界框。对象跟踪设备可基于改进的边界框来确定改进的模板图像540。
[0101]
图6是示出对象跟踪方法的示例的流程图。
[0102]
参照图6，在操作601中，对象跟踪设备可输入输入边界框(ibbox)。在操作602中，对象跟踪设备可从输入边界框(ibbox)生成初始模板图像。在操作603中，对象跟踪设备可通过从初始模板图像提取特征来获得初始特征图。对象跟踪设备可通过对初始特征图执行特征变换，来获得变换后特征图。在操作604中，对象跟踪设备可确定变换后特征图中存在或不存在对象区域。在操作605中，对象跟踪设备可确定对象区域的第一临时边界框(rbbox1)。
[0103]
在操作606中，对象跟踪设备可通过使用参照图1a至图1c描述的式1将输入边界框的面积和初始确定的临时边界框的面积进行比较，来确定是否确定另外的临时边界框。响应于输入边界框的面积与初始确定的临时边界框的面积之间的差大，对象跟踪设备可确定另外的临时边界框。在操作613中，响应于输入边界框的面积与初始确定的临时边界框的面积之间的差小，对象跟踪设备可基于第一临时边界框(rbbox1)生成改进的模板图像。
[0104]
在操作607，对象跟踪设备可输入第一临时边界框(rbbox1)。在操作608中，对象跟踪设备可从第一临时边界框(rbbox1)生成第一临时模板图像。在操作609，对象跟踪设备可通过从第一临时模板图像提取特征来获得特征图。对象跟踪设备可通过对特征图执行特征变换来获得变换后特征图。在操作610中，对象跟踪设备可确定变换后特征图中存在或不存在对象区域。在操作611中，对象跟踪设备可确定对象区域的第二临时边界框(rbbox2)。
[0105]
在操作612中，对象跟踪设备可使用参照图1a至图1c描述的式2来确定改进的边界
框。在操作613中，响应于作为第一临时边界框rbbox1与输入边界框的第一iou的iou
rbbox1
大于作为第二临时边界框rbbox2与输入边界框的第二iou的iou
rbbox2
，对象跟踪设备可基于第一临时边界框rbbox1生成改进的模板图像。在相反的情况下，在操作614中，对象跟踪设备可基于第二临时边界框rbbox2生成改进的模板图像。在操作615中，对象跟踪设备可基于最终确定的改进的模板图像来执行图像跟踪。
[0106]
图7a和图7b示出对象跟踪方法的效果的示例。
[0107]
参照图7a和图7b，对象跟踪设备可基于来自用户的输入，从输入图像701获得输入边界框702。对象跟踪设备可基于输入边界框702获得初始模板图像703。对象跟踪设备可从初始模板图像703获得初始特征图704。初始特征图704可包括指示对象的信号的位置信息的特征区域705。对象跟踪设备可获得通过初始特征图704中的预定义的虚线界定的区域作为获得区域706。
[0108]
对象跟踪设备可从输入图像711获得改进的边界框712。对象跟踪设备可基于改进的边界框712获得改进的模板图像713。对象跟踪设备可从改进的模板图像713获得改进的特征图714。改进的特征图714可包括指示对象的信号的位置信息的特征区域715。对象跟踪设备可获得通过改进的特征图714中的预定义的虚线界定的区域作为获得区域716。
[0109]
除了对象之外，输入边界框702还包括许多背景区域，因此获得区域706可仅包括特征区域705的一部分。相比之下，除了对象之外，改进的边界框712还包括更少的背景区域，因此获得区域716可包括特征区域715的核心区域。由于通过一个或多个实施例的对象跟踪设备确定的改进的边界框712更准确地包括对象并且包括更少的不必要的背景区域，因此随后的对象跟踪的准确度可提高。
[0110]
图8示出对象跟踪设备的配置的示例。
[0111]
参照图8，对象跟踪设备800可包括处理器801(例如，一个或多个处理器)。对象跟踪设备800还可包括存储器803(例如，一个或多个存储器)。对象跟踪设备800还可包括图像传感器805(例如，一个或多个图像传感器)。
[0112]
对象跟踪设备800还可包括触摸屏807。
[0113]
处理器801可从基于来自用户的输入确定的输入边界框和输入图像获得初始模板图像。
[0114]
处理器801可通过提取初始模板图像的特征来生成初始特征图。
[0115]
处理器801可通过对初始特征图执行适合于对象性的特征变换来生成变换后特征图。
[0116]
处理器801可通过对变换后特征图执行基于对象性的边界框回归分析，来生成对象性概率图和指示与对象性概率图的每个坐标对应的边界框信息的边界框图。处理器801可通过对变换后特征图执行分类来生成对象性概率图。处理器801可通过对变换后特征图执行定位来生成边界框图。
[0117]
处理器801可从对象性概率图和边界框图确定改进的边界框。处理器801可从对象性概率图和边界框图确定第一临时边界框。处理器801可基于与对象性概率图的最高概率对应的边界框图的边界框信息，来确定第一临时边界框。
[0118]
处理器801可将输入边界框的面积与第一临时边界框的面积进行比较。处理器801可将输入边界框与第一临时边界框的面积比与阈值进行比较。响应于输入边界框与第一临
时边界框的面积比大于阈值，处理器801可从对象性概率图和边界框图确定第二临时边界框。
[0119]
处理器801可基于比较的结果从对象性概率图和边界框图确定第二临时边界框。处理器801可通过将第一临时边界框与第二临时边界框进行比较来确定改进的边界框。处理器801可计算第一临时边界框与输入边界框的第一iou。处理器801可计算第二临时边界框与输入边界框的第二iou。处理器801可通过将第一iou与第二iou进行比较来确定改进的边界框。响应于第一iou大于第二iou，处理器801可将第一临时边界框确定为改进的边界框。响应于第二iou大于或等于第一iou，处理器801可将第二临时边界框确定为改进的边界框。
[0120]
在此针对图1a至图8描述的对象跟踪设备、处理器、存储器、图像传感器、触摸屏、对象跟踪设备800、至少一个处理器801、存储器803、图像传感器805、触摸屏807以及其他设备、装置、单元、模块和组件由硬件组件实现或表示硬件组件。可用于执行本技术中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本技术中描述的操作的任何其他电子组件。在其他示例中，执行本技术中描述的操作的硬件组件中的一个或多个由计算硬件(例如，由一个或多个处理器或计算机)实现。处理器或计算机可由一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望结果的任何其他装置或装置的组合)实现。在一个示例中，处理器或计算机包括或被连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行指令或软件(诸如，操作系统(os)和在os上运行的一个或多个软件应用)以执行本技术中描述的操作。硬件组件还可响应于指令或软件的执行而访问、操纵、处理、创建和存储数据。为简明起见，可在本技术中描述的示例的描述中使用单数术语“处理器”或“计算机”，但是在其他示例中，可使用多个处理器或计算机，或者处理器或计算机可包括多个处理元件，或多种类型的处理元件，或多个处理元件和多种类型的处理元件两者。例如，单个硬件组件或两个或更多个硬件组件可由单个处理器、或两个或更多个处理器、或处理器和控制器来实现。一个或多个硬件组件可由一个或多个处理器或处理器和控制器实现，并且一个或多个其他硬件组件可由一个或多个其他处理器或另外的处理器和另外的控制器实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可以具有不同处理配置中的任何一个或多个，不同处理配置的示例包括单个处理器、独立处理器、并行处理器、单指令单数据(sisd)多处理、单指令多数据(simd)多处理、多指令单数据(misd)多处理和多指令多数据(mimd)多处理。
[0121]
图1a至图8中示出的执行本技术中描述的操作的方法由计算硬件(例如，由一个或多个处理器或计算机)来执行，计算硬件被如上所述实现为执行指令或软件，以执行在本技术中描述的通过该方法执行的操作。例如，单个操作或两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可由一个或多个处理器、或者处理器和控制器执行，并且一个或多个其他操作可由一个或多个其他处理器、或者另外的处理器和另外的控制器执行。一个或多个处理器、或者处理器和控制器可执行单
个操作、或者两个或更多个操作。
[0122]
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可以被编写为计算机程序、代码段、指令或其任何组合，以单独地或共同地指示或配置一个或多个处理器或计算机作为机器或专用计算机进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码(诸如由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可以基于附图中所示的框图和流程图以及说明书中的相应描述使用任何编程语言来编写指令或软件，附图中所示的框图和流程图以及说明书中的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
[0123]
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可以被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态驱动器(ssd)、卡型存储器(诸如，多媒体卡或微型卡(例如，安全数字(sd)或极限数字(xd)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将指令或软件以及任何相关联的数据、数据文件和数据结构提供给一个或多个处理器或计算机使得一个或多个处理器或计算机可以执行指令的任何其他装置。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构由一个或多个处理器或计算机以分布式方式存储、访问和执行。
[0124]
虽然本公开包括特定示例，但是在理解本技术的公开之后将清楚的是，在不脱离权利要求及其等同物的精神和范围的情况下，可在这些示例中进行形式和细节上的各种改变。在此描述的示例应仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述将被认为适用于其他示例中的类似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合和/或由其他组件或其等同物替换或补充，则可实现合适的结果。