待跟踪目标对象的位置确定方法、装置、设备及存储介质与流程

文档序号:32040583发布日期:2022-11-03 05:05阅读:51来源:国知局
待跟踪目标对象的位置确定方法、装置、设备及存储介质与流程

1.本技术涉及信息安全领域,尤其涉及一种待跟踪目标对象的位置确定方法、装置、设备及存储介质。


背景技术:

2.银行作为群众存储财产及贵重物品的主要场所,其安防工作一直是银行乃至政府的工作重点。视频监控系统作为其中的核心部分,承担着保障银行安全运作的重要职能,可以说视频监控水平的高低直接决定着一个银行营业场所安防能力的高低。
3.近年来基于深度学习的检测跟踪算法取得了极大的发展,这些算法一般是对视频数据流进行图像处理、目标分析等工作,判断目标的动作,行为轨迹,同时对视频监控系统进行实时控制,使计算机代替人进行实时监控和报警。多目标跟踪技术是视频监控系统的核心技术,其研究涉及到计算机图像处理、模式识别、人工智能等众多领域知识。典型多目标跟踪算法基于卷积神经网络提取上一帧图像的表观特征,然后利用图像的表观特征对下一帧图像位置进行预测。
4.典型目标跟踪算法仅依靠目标的表观特征预测下一帧位置,忽视了目标的轨迹特征。这使得复杂环境下跟踪模板漂移,跟踪不准确,尤其是在遮挡环境下位置预测不准,无法实时持续地跟踪监控视野内的行人,从而给银行营业场所带来潜在的安防威胁。
5.因此,亟需一种待跟踪目标对象的位置确定方法,能够在复杂环境下跟踪目标对象,并且实现在遮挡环境下预测目标对象的位置,实现持续性地跟踪范围内的行人,进而避免给银行等场所带来潜在的安防危险。


技术实现要素:

6.本技术提供一种待跟踪目标对象的位置确定方法、装置、设备及存储介质,能够在复杂环境下跟踪目标对象,并且实现在遮挡环境下预测目标对象的位置,实现持续性地跟踪范围内的目标对象,进而避免由于未跟踪到目标对象而给银行等其他场所带来潜在的安防危险。
7.第一方面,本技术提供一种待跟踪目标对象的位置确定方法,包括:
8.获取待跟踪的目标对象的视频流数据信息;其中,所述视频流数据信息中包括多个视频帧数据信息;所述视频流数据信息中的视频帧数据信息的帧数为第一预设数量;
9.将第一视频帧数据信息以及第二视频帧数据信息中的所述目标对象的图像位置信息输入至预设模型中,由所述预设模型输出所述第一视频帧数据信息中的所述目标对象的图像位置信息;其中,所述第一视频帧数据信息表征所述待跟踪的目标对象的当前视频帧数据信息;所述第二视频帧数据信息表征前第二预设数量的视频帧数据信息;
10.若所述第一视频帧数据信息的自然序列数等于所述第一预设数量的数值,则将所述目标对象的轨迹信息进行输出;其中,所述自然序列数表征所述第一视频帧数据信息在所述视频流数据信息中的排序数。
11.在一个示例中,将第一视频帧数据信息以及第二视频帧数据信息中的所述目标对象的图像位置信息输入至预设模型中,由所述预设模型输出所述第一视频帧数据信息中的所述目标对象的图像位置信息,包括:
12.基于所述预设模型对所述第一视频帧数据信息以及所述第二视频帧数据信息进行分辨率调整,得到第三视频帧数据信息;
13.基于所述预设模型对所述第三视频帧数据信息进行特征权重调整,得到第一特征序列数据信息;
14.基于所述预设模型对所述第一特征序列数据信息进行时间序列权重调整,输出所述第一视频帧数据信息中的所述目标对象的图像位置信息。
15.在一个示例中,基于所述预设模型对所述第三视频帧数据信息进行特征权重调整,得到第一特征序列数据信息,包括:
16.基于所述预设模型对所述第三视频帧数据信息进行空间特征的权重调整,得到第四视频帧数据信息;
17.基于所述预设模型对所述第四视频帧数据信息进行通道特征的权重调整,得到第一特征序列数据信息。
18.在一个示例中,基于所述预设模型对所述第一特征序列数据信息进行时间序列权重调整,输出所述第一视频帧数据信息中的所述目标对象的图像位置信息,包括:
19.根据所述预设模型中时间注意力机制的编码器,确定所述第一特征序列数据信息中的注意力权重;
20.根据所述预设模型中时间注意力机制的解码器和所述注意力权重,确定所述第一视频帧数据信息中的所述目标对象的图像位置信息。
21.在一个示例中,根据所述预设模型中时间注意力机制的编码器,确定所述第一特征序列数据信息中的注意力权重,包括:
22.根据前一视频帧数据信息对应时刻的所述编码器隐藏层状态和细胞状态,确定所述第一视频帧数据信息中的注意力权重;其中,所述编码器隐藏层状态由所述第一特征序列数据信息确定;
23.根据所述第一视频帧数据信息中的注意力权重,确定所述第一特征序列数据信息中的注意力权重。
24.在一个示例中,根据所述预设模型中时间注意力机制的解码器和所述注意力权重,确定所述第一视频帧数据信息中的所述目标对象的图像位置信息,包括:
25.根据所述注意力权重和所述编码器隐藏层状态,确定上下文向量;
26.根据所述解码器隐藏层状态、上下文向量以及参数,确定所述第一视频帧数据信息中的所述目标对象的图像位置信息。
27.在一个示例中,所述解码器隐藏层状态由前一视频帧数据信息对应时刻的解码器隐藏状态和前一视频帧数据信息对应时刻的线性变化数值确定。
28.在一个示例中,所述前一视频帧数据信息对应时刻的线性变化数值由前一视频帧数据信息对应时刻的所述目标对象的位置预测信息和所述上下文向量确定。
29.在一个示例中,在所述确定所述第一视频帧数据信息中的所述目标对象的图像位置信息之后,还包括:
30.根据所述目标对象的图像位置信息和预设比例值,确定所述目标对象的地图位置信息。
31.第二方面,本技术提供一种应用于待跟踪目标对象位置确定的预设模型训练方法,所述方法包括:
32.获取标注了待跟踪的目标对象的图像位置信息的视频流数据信息;其中,所述视频流数据信息中包括多个视频帧数据信息;所述视频流数据信息中的视频帧数据信息的帧数为第一预设数量;
33.将标注后的第一视频帧数据信息和标注后的第二视频帧数据信息输入至预设模型中,得到训练后的预设模型;其中,所述第一视频帧数据信息表征所述待跟踪的目标对象的当前视频帧数据信息;所述第二视频帧数据信息表征前第二预设数量的视频帧数据信息;其中,训练后的预设模型用于预测视频流数据信息中的所述目标对象的图像位置信息。
34.在一个示例中,将标注后的第一视频帧数据信息和标注后的第二视频帧数据信息输入至预设模型中,得到训练后的预设模型,包括:
35.基于所述预设模型对所述标注后的第一视频帧数据信息以及所述标注后的第二视频帧数据信息进行分辨率调整,得到第五视频帧数据信息;
36.基于所述预设模型对所述第五视频帧数据信息进行特征权重调整,得到第二特征序列数据信息;
37.基于所述预设模型对所述第二特征序列数据信息进行时间序列权重调整,输出所述第一视频帧数据信息中的所述目标对象的图像位置信息;
38.根据所述目标对象的图像位置信息和所述标注后的第一视频帧数据信息,确定训练后的预设模型。
39.在一个示例中,基于所述预设模型对所述第五视频帧数据信息进行特征权重调整,得到第二特征序列数据信息,包括:
40.基于所述预设模型对所述第五视频帧数据信息进行空间特征的权重调整,得到第六视频帧数据信息;
41.基于所述预设模型对所述第六视频帧数据信息进行通道特征的权重调整,得到第二特征序列数据信息。
42.在一个示例中,基于所述预设模型对所述第二特征序列数据信息进行时间序列权重调整,输出所述第一视频帧数据信息中的所述目标对象的图像位置信息,包括:
43.根据所述预设模型中时间注意力机制的编码器,确定所述第二特征序列数据信息中的注意力权重;
44.根据所述预设模型中时间注意力机制的解码器和所述注意力权重,确定所述第一视频帧数据信息中的所述目标对象的图像位置信息。
45.在一个示例中,根据所述预设模型中时间注意力机制的编码器,确定所述第二特征序列数据信息中的注意力权重,包括:
46.根据前一视频帧数据信息对应时刻的所述编码器隐藏层状态和细胞状态,确定所述第一视频帧数据信息中的注意力权重;其中,所述编码器隐藏层状态由所述第二特征序列数据信息确定;
47.根据所述第一视频帧数据信息中的注意力权重,确定所述第二特征序列数据信息
中的注意力权重。
48.在一个示例中,根据所述预设模型中时间注意力机制的解码器和所述注意力权重,确定所述第一视频帧数据信息中的所述目标对象的图像位置信息,包括:
49.根据所述注意力权重和所述编码器隐藏层状态,确定上下文向量;
50.根据所述解码器隐藏层状态、上下文向量以及参数,确定所述第一视频帧数据信息中的所述目标对象的图像位置信息。
51.在一个示例中,所述解码器隐藏层状态由前一视频帧数据信息对应时刻的解码器隐藏状态和前一视频帧数据信息对应时刻的线性变化数值确定。
52.在一个示例中,所述前一视频帧数据信息对应时刻的线性变化数值由前一视频帧数据信息对应时刻的所述目标对象的位置预测信息和所述上下文向量确定。
53.第三方面,本技术提供一种待跟踪目标对象的位置确定装置,所述装置包括:
54.获取单元,用于获取待跟踪的目标对象的视频流数据信息;其中,所述视频流数据信息中包括多个视频帧数据信息;所述视频流数据信息中的视频帧数据信息的帧数为第一预设数量;
55.输入单元,用于将第一视频帧数据信息以及第二视频帧数据信息中的所述目标对象的图像位置信息输入至预设模型中,由所述预设模型输出所述第一视频帧数据信息中的所述目标对象的图像位置信息;其中,所述第一视频帧数据信息表征所述待跟踪的目标对象的当前视频帧数据信息;所述第二视频帧数据信息表征前第二预设数量的视频帧数据信息;
56.输出单元,用于若所述第一视频帧数据信息的自然序列数等于所述第一预设数量的数值,则将所述目标对象的轨迹信息进行输出;其中,所述自然序列数表征所述第一视频帧数据信息在所述视频流数据信息中的排序数。
57.在一个示例中,输入单元,包括:
58.第一调整模块,用于基于所述预设模型对所述第一视频帧数据信息以及所述第二视频帧数据信息进行分辨率调整,得到第三视频帧数据信息;
59.第二调整模块,用于基于所述预设模型对所述第三视频帧数据信息进行特征权重调整,得到第一特征序列数据信息;
60.第三调整模块,用于基于所述预设模型对所述第一特征序列数据信息进行时间序列权重调整,输出所述第一视频帧数据信息中的所述目标对象的图像位置信息。
61.在一个示例中,第二调整模块,包括:
62.第一调整子模块,用于基于所述预设模型对所述第三视频帧数据信息进行空间特征的权重调整,得到第四视频帧数据信息;
63.第二调整子模块,用于基于所述预设模型对所述第四视频帧数据信息进行通道特征的权重调整,得到第一特征序列数据信息。
64.在一个示例中,第三调整模块,包括:
65.第一确定子模块,用于根据所述预设模型中时间注意力机制的编码器,确定所述第一特征序列数据信息中的注意力权重;
66.第二确定子模块,用于根据所述预设模型中时间注意力机制的解码器和所述注意力权重,确定所述第一视频帧数据信息中的所述目标对象的图像位置信息。
67.在一个示例中,第一确定子模块,用于根据前一视频帧数据信息对应时刻的所述编码器隐藏层状态和细胞状态,确定所述第一视频帧数据信息中的注意力权重;其中,所述编码器隐藏层状态由所述第一特征序列数据信息确定;根据所述第一视频帧数据信息中的注意力权重,确定所述第一特征序列数据信息中的注意力权重。
68.在一个示例中,第二确定子模块,用于根据所述注意力权重和所述编码器隐藏层状态,确定上下文向量;
69.根据所述解码器隐藏层状态、上下文向量以及参数,确定所述第一视频帧数据信息中的所述目标对象的图像位置信息。
70.在一个示例中,所述解码器隐藏层状态由前一视频帧数据信息对应时刻的解码器隐藏状态和前一视频帧数据信息对应时刻的线性变化数值确定。
71.在一个示例中,所述前一视频帧数据信息对应时刻的线性变化数值由前一视频帧数据信息对应时刻的所述目标对象的位置预测信息和所述上下文向量确定。
72.在一个示例中,所述装置还包括:
73.确定单元,用于根据所述目标对象的图像位置信息和预设比例值,确定所述目标对象的地图位置信息。
74.第四方面,本技术提供一种应用于待跟踪目标对象位置确定的预设模型训练装置,所述装置包括:
75.获取单元,用于获取标注了待跟踪的目标对象的图像位置信息的视频流数据信息;其中,所述视频流数据信息中包括多个视频帧数据信息;所述视频流数据信息中的视频帧数据信息的帧数为第一预设数量;
76.输入单元,用于将标注后的第一视频帧数据信息和标注后的第二视频帧数据信息输入至预设模型中,得到训练后的预设模型;其中,所述第一视频帧数据信息表征所述待跟踪的目标对象的当前视频帧数据信息;所述第二视频帧数据信息表征前第二预设数量的视频帧数据信息;其中,训练后的预设模型用于预测视频流数据信息中的所述目标对象的图像位置信息。
77.在一个示例中,输入单元,包括:
78.第一确定模块,用于基于所述预设模型对所述标注后的第一视频帧数据信息以及所述标注后的第二视频帧数据信息进行分辨率调整,得到第五视频帧数据信息;
79.第二确定模块,用于基于所述预设模型对所述第五视频帧数据信息进行特征权重调整,得到第二特征序列数据信息;
80.输出模块,用于基于所述预设模型对所述第二特征序列数据信息进行时间序列权重调整,输出所述第一视频帧数据信息中的所述目标对象的图像位置信息;
81.第三确定模块,用于根据所述目标对象的图像位置信息和所述标注后的第一视频帧数据信息,确定训练后的预设模型。
82.在一个示例中,第二确定模块,包括:
83.第一确定子模块,用于基于所述预设模型对所述第五视频帧数据信息进行空间特征的权重调整,得到第六视频帧数据信息;
84.第二确定子模块,用于基于所述预设模型对所述第六视频帧数据信息进行通道特征的权重调整,得到第二特征序列数据信息。
85.在一个示例中,输出模块,包括:
86.第三确定子模块,用于根据所述预设模型中时间注意力机制的编码器,确定所述第二特征序列数据信息中的注意力权重;
87.第四确定子模块,用于根据所述预设模型中时间注意力机制的解码器和所述注意力权重,确定所述第一视频帧数据信息中的所述目标对象的图像位置信息。
88.在一个示例中,第三确定子模块,用于根据前一视频帧数据信息对应时刻的所述编码器隐藏层状态和细胞状态,确定所述第一视频帧数据信息中的注意力权重;其中,所述编码器隐藏层状态由所述第二特征序列数据信息确定;根据所述第一视频帧数据信息中的注意力权重,确定所述第二特征序列数据信息中的注意力权重。
89.在一个示例中,第四确定子模块,用于根据所述注意力权重和所述编码器隐藏层状态,确定上下文向量;
90.根据所述解码器隐藏层状态、上下文向量以及参数,确定所述第一视频帧数据信息中的所述目标对象的图像位置信息。
91.在一个示例中,所述解码器隐藏层状态由前一视频帧数据信息对应时刻的解码器隐藏状态和前一视频帧数据信息对应时刻的线性变化数值确定。
92.在一个示例中,所述前一视频帧数据信息对应时刻的线性变化数值由前一视频帧数据信息对应时刻的所述目标对象的位置预测信息和所述上下文向量确定。
93.第五方面,本技术提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
94.所述存储器存储计算机执行指令;
95.所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面或者第二方面所述的方法。
96.第六方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面或者第二方面所述的方法。
97.第七方面,本技术提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面或者第二方面所述的方法。
98.本技术提供一种待跟踪目标对象的位置确定方法、装置、设备及存储介质。该方法包括:获取待跟踪的目标对象的视频流数据信息;其中,所述视频流数据信息中包括多个视频帧数据信息;所述视频流数据信息中的视频帧数据信息的帧数为第一预设数量;将第一视频帧数据信息以及第二视频帧数据信息中的所述目标对象的图像位置信息输入至预设模型中,由所述预设模型输出所述第一视频帧数据信息中的所述目标对象的图像位置信息;其中,所述第一视频帧数据信息表征所述待跟踪的目标对象的当前视频帧数据信息;所述第二视频帧数据信息表征前第二预设数量的视频帧数据信息;若所述第一视频帧数据信息的自然序列数等于所述第一预设数量的数值,则将所述目标对象的轨迹信息进行输出;其中,所述自然序列数表征所述第一视频帧数据信息在所述视频流数据信息中的排序数。采用本技术方案,能够在复杂环境下跟踪目标对象,并且实现在遮挡环境下预测目标对象的位置,实现持续性地跟踪范围内的行人,进而避免给银行等场所带来潜在的安防危险。
附图说明
99.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。
100.图1是根据本技术实施例一提供的一种待跟踪目标对象的位置确定方法的流程示意图;
101.图2是根据本技术实施例二提供的一种待跟踪目标对象的位置确定方法的流程示意图;
102.图3是根据本技术实施例二提供的一种预设模型的网络结构示意图;
103.图4是根据本技术实施例二提供的一种空间注意力模块的示意图;
104.图5是根据本技术实施例二提供的一种基于时间注意力机制的编解码网络的示意图;
105.图6是根据本技术实施例三提供的一种应用于待跟踪目标对象位置确定的预设模型训练方法的流程示意图;
106.图7是根据本技术实施例四提供的一种应用于待跟踪目标对象位置确定的预设模型训练方法的流程示意图;
107.图8是根据本技术实施例五提供的一种待跟踪目标对象的位置确定装置示意图;
108.图9是根据本技术实施例六提供的一种待跟踪目标对象的位置确定装置示意图;
109.图10是根据本技术实施例七提供的一种应用于待跟踪目标对象位置确定的预设模型训练装置示意图;
110.图11是根据本技术实施例八提供的一种应用于待跟踪目标对象位置确定的预设模型训练装置示意图;
111.图12是根据一示例性实施例示出的一种电子设备的框图。
112.通过上述附图,已示出本技术明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围,而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
113.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
114.本技术提供的待跟踪目标对象的位置确定方法,旨在解决现有技术的如上技术问题。
115.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本技术的实施例进行描述。
116.图1是根据本技术实施例一提供的一种待跟踪目标对象的位置确定方法的流程示意图。实施例一中包括如下步骤:
117.s101、获取待跟踪的目标对象的视频流数据信息;其中,视频流数据信息中包括多
个视频帧数据信息;视频流数据信息中的视频帧数据信息的帧数为第一预设数量。
118.在一个示例中,待跟踪的目标对象是动态的,具体的,可以是行人,也可以是动物。待跟踪的目标对象的数量可以是一个,也可以是多个。如果是多个,则将视频流数据信息中的每一个目标对象,执行上述操作。其中,视频流数据信息是从摄录设备中获取的数据信息,该视频流数据信息是目标地点预设范围内的摄录设备拍摄的。其中,视频流数据信息中包括多个视频帧数据信息,其中,第一预设数量可以是n帧。
119.s102、将第一视频帧数据信息以及第二视频帧数据信息中的目标对象的图像位置信息输入至预设模型中,由预设模型输出第一视频帧数据信息中的目标对象的图像位置信息;其中,第一视频帧数据信息表征待跟踪的目标对象的当前视频帧数据信息;第二视频帧数据信息表征前第二预设数量的视频帧数据信息。
120.本实施例中,第一视频帧数据信息为当前视频帧数据信息,其中,当前视频帧数据信息中待跟踪的目标对象的图像位置信息是需要预测的位置信息。第二预设数量可以是步长的数值减一后得到的数值。具体的,步长的设置可以为steps,则第二预设数量为steps-1帧。例如,若步长为4,则第二预设数量为3,且第二视频帧数据信息表征为前3帧的视频帧数据信息。进一步地,输入至预设模型中的视频帧数据信息为当前视频帧数据信息以及前3帧的视频帧数据信息。
121.本实施例中,预设模型是由多层网络构成的,具体的,可以包括尺寸变化层、空间与通道注意力网络层和基于时间注意力机制的编解码网络。其中,尺寸变化层可以称为resize层。
122.s103、若第一视频帧数据信息的自然序列数等于第一预设数量的数值,则将目标对象的轨迹信息进行输出;其中,自然序列数表征第一视频帧数据信息在视频流数据信息中的排序数。
123.本实施例中,第一视频帧数据信息的自然序列数等于第一预设数量的数值时,即,第一视频帧数据信息的自然序列数等于n时,说明视频流数据信息中所需要被处理的视频帧数据信息已经处理完毕,并将所有第一视频帧数据信息中的目标对象的图像位置信息进行时间序列地排序,得到目标对象的轨迹信息,并将目标对象的轨迹信息进行输出。
124.本技术提供一种待跟踪目标对象的位置确定方法、装置、设备及存储介质。该方法包括:获取待跟踪的目标对象的视频流数据信息;将第一视频帧数据信息以及第二视频帧数据信息中的目标对象的图像位置信息输入至预设模型中,由预设模型输出第一视频帧数据信息中的目标对象的图像位置信息;若第一视频帧数据信息的自然序列数等于第一预设数量的数值,则将目标对象的轨迹信息进行输出。采用本技术方案,能够在复杂环境下跟踪目标对象,并且实现在遮挡环境下预测目标对象的位置,实现持续性地跟踪范围内的目标对象,进而避免给银行等场所带来潜在的安防危险。
125.图2是根据本技术实施例二提供的一种待跟踪目标对象的位置确定方法的流程示意图。实施例二中包括如下步骤:
126.s201、获取待跟踪的目标对象的视频流数据信息;其中,视频流数据信息中包括多个视频帧数据信息;视频流数据信息中的视频帧数据信息的帧数为第一预设数量。
127.示例性地,本步骤可以参见上述步骤s101,不再赘述。
128.s202、基于预设模型对第一视频帧数据信息以及第二视频帧数据信息进行分辨率
调整,得到第三视频帧数据信息;其中,第一视频帧数据信息表征待跟踪的目标对象的当前视频帧数据信息;第二视频帧数据信息表征前第二预设数量的视频帧数据信息。
129.本实施例中,可以参见图3中示出的一种预设模型的网络结构示意图。从图中可以看出,第一视频帧数据信息以及第二视频帧数据信息输入至预设模型中的resize层,通过resize层将第一视频帧数据信息以及第二视频帧数据信息的分辨率进行调整,可以将第一视频帧数据信息以及第二视频帧数据信息中图像的大小裁剪至预设图像大小,并将第一视频帧数据信息以及第二视频帧数据信息的分辨率调整至预设的分辨率。
130.其中,预设的分辨率可以是224
×
224
×
3。本实施例中,为了方便描述,将第一视频帧数据信息记为i
t
,将第二视频帧数据信息记为i
t-1
,i
t-2
,,i
t-3
...i1,将第三视频帧数据信息记为(o1,o2,...,o
t
)。
131.s203、基于预设模型对第三视频帧数据信息进行特征权重调整,得到第一特征序列数据信息。
132.本实施例中,第三视频帧数据信息经过特征权重调整,主要是对重要特征进行提取,并加大具备重要特征的通道和空间的特征图的权重,从而更能够有效跟踪目标对象的特征表达。本实施例中,将经过特征权重调整后的视频帧数据信息记为第一特征序列数据信息(x1,x2,...,x
t
),其中,每一个元素的维度为512维。
133.在一个示例中,基于预设模型对第三视频帧数据信息进行特征权重调整,得到第一特征序列数据信息,包括:
134.基于预设模型对第三视频帧数据信息进行空间特征的权重调整,得到第四视频帧数据信息;
135.基于预设模型对第四视频帧数据信息进行通道特征的权重调整,得到第一特征序列数据信息。
136.本实施例中,对第三视频帧数据信息进行空间特征的权重调整是通过空间注意力模块实现的,并得到第四视频帧数据信息。在得到第四视频帧数据信息之后,通过通道注意模块对第四视频帧数据信息进行通道特征的权重调整,得到第一特征序列数据信息(x1,x2,...,x
t
)。
137.本实施例中,空间与通道注意力网络层以yolov1算法的骨干网络作为特征提取网络,去掉yolov1骨干网络的第二个全连接层,并将第一个全连接层的维度替换为512维。网络的输入为第三视频帧数据信息(o1,o2,...,o
t
),其中,每个第三视频帧数据信息的分辨率为224
×
224,输出第一特征序列数据信息(x1,x2,...,x
t
),每个元素维度为512维,表1是详细的特征提取网络结构。表中将卷积层表示为conv、将最大池化层表示为maxpool、将全连接层表示为fc。
138.表1特征提取网络结构表
[0139][0140][0141]
由于骨干网络浅层包含较多的空间与轮廓信息,深层包含较多的目标语义信息。为了帮助网络更好地从复杂背景中识别目标,分别在第一个卷积层之后加入空间注意力模块,有效强化目标对象的空间信息,在最后一个卷积层之后加入通道注意力机制,有效增强目标对象的语义信息。其中,空间注意力模块采用非局部神经网络,假设第一个卷积层得到的特征图x∈rh×w×c,经过非局部神经网络后得到同维度的第四视频帧数据信息,第四视频帧数据信息获得了特征图每个位置的注意力程度,这使得复杂环境下机动目标特征有效区别于背景,强化了复杂环境下目标的特征表达。进一步地,图4示出了一种空间注意力模块的示意图。
[0142]
本实施例中,通道注意力模块采用se-net网络,在特征提取网络最后一个卷积层之后添加se-net网络,这样做有了如下改善:传统特征提取网络对每个通道分配一样的权
重,忽视了通道重要性的不同。而在网络中引入通道注意力模块,作为一种特征选择器,选择对机动目标对象的特征提取更加重要的通道,从而强化了复杂环境下目标对象的语义特征提取。
[0143]
s204、基于预设模型对第一特征序列数据信息进行时间序列权重调整,输出第一视频帧数据信息中的目标对象的图像位置信息。
[0144]
本实施例中,其中,基于时间注意力机制的编解码网络的输入为第一特征序列数据信息(x1,x2,...,x
t
),序列长度为t。模型的输出为第一视频帧数据信息中的目标对象的图像位置信息
[0145]
当目标对象被部分或者完全遮挡,位置的预测需要第一视频帧数据信息结合第二视频帧数据信息共同决定。本实施例中的编解码网络基于时间注意力机制,分别使用lstm作为编解码器,这样可以更好地捕获跟踪序列间长时间依赖关系,能够提高遮挡环境下的目标对象跟踪的鲁棒性。如图5所示,基于时间注意力机制的编解码网络由编码器、时间注意力机制层和解码器层组成。
[0146]
在一个示例中,基于预设模型对第一特征序列数据信息进行时间序列权重调整,输出第一视频帧数据信息中的目标对象的图像位置信息,包括:
[0147]
根据预设模型中时间注意力机制的编码器,确定第一特征序列数据信息中的注意力权重;
[0148]
根据预设模型中时间注意力机制的解码器和注意力权重,确定第一视频帧数据信息中的目标对象的图像位置信息。
[0149]
本实施例中,注意力权重为其中,注意力权重表示第i个编码器隐藏层状态对于结果预测的重要性,注意力权重的计算是时间注意力机制的核心思想,它体现的是当前时刻编码器对预测结果的影响。
[0150]
本实施例中,第一视频帧数据信息中的目标对象的图像位置信息为
[0151]
在一个示例中,根据预设模型中时间注意力机制的编码器,确定第一特征序列数据信息中的注意力权重,包括:
[0152]
根据前一视频帧数据信息对应时刻的编码器隐藏层状态和细胞状态,确定第一视频帧数据信息中的注意力权重;其中,编码器隐藏层状态由第一特征序列数据信息确定;
[0153]
根据第一视频帧数据信息中的注意力权重,确定第一特征序列数据信息中的注意力权重。
[0154]
在一个示例中,根据预设模型中时间注意力机制的解码器和注意力权重,确定第一视频帧数据信息中的目标对象的图像位置信息,包括:
[0155]
根据注意力权重和编码器隐藏层状态,确定上下文向量;
[0156]
根据解码器隐藏层状态、上下文向量以及参数,确定第一视频帧数据信息中的目标对象的图像位置信息。
[0157]
在一个示例中,解码器隐藏层状态由前一视频帧数据信息对应时刻的解码器隐藏状态和前一视频帧数据信息对应时刻的线性变化数值确定。
[0158]
在一个示例中,前一视频帧数据信息对应时刻的线性变化数值由前一视频帧数据信息对应时刻的目标对象的位置预测信息和上下文向量确定。
[0159]
本实施例中,h1,h2,...,h
t
表示编码器经过各个时间步的隐藏层状态。为表示区分,解码器的隐藏层状态表示为di。y1,y2,...,y
t-1
为模型在t时刻之前的预测值,其中每个向量维度为m,在本文中为目标的历史跟踪位置。为最后的预测输出:
[0160][0161]
编码器层t时刻的隐藏层状态h
t
可以被表示为(t时刻的隐藏层状态是由前一时刻的隐藏层状态和该层的输入决定的)
[0162]ht
=f1(h
t-1
,x
t
);
[0163]
其中f1是一个非线性激活函数,为更好表示序列的长时间依赖关系,选择lstm单元作为f1映射。其中,长短期记忆网络(long short-term memory network)。lstm会以一种非常精确的方式来传递记忆——使用了一种特定的学习机制:哪些部分的信息需要被记住,哪些部分的信息需要被更新,哪些部分的信息需要被注意。与之相反,循环神经网络会以一种不可控制的方式在每一个时间步骤都重写记忆。这有助于在更长的时间内追踪信息。
[0164]
为了预测输出使用基于lstm(意思就是可以调用之前某个时间点的特征)的递归神经网络对输入的信息进行编码,同时引入了一种时间注意力机制,在所有时间步中自适应地选择相关编码器隐藏状态。具体来说,每个编码器隐藏状态在t时刻的注意权值是根据前一时刻解码器隐藏层状态和细胞状态确定的,第i个编码器在t时刻的注意力权重计算如下所示:
[0165][0166]
其中可表示为:
[0167][0168]
其中表示t时刻lstm单元之前的编码器隐藏层状态和细胞状态的连接。和是需要学习的参数。
[0169]
编码器隐藏层状态被映射到与输入相关的时间分量,其将上下文向量c
t
计算为所有编码器隐藏层状态的加权和。上下文向量c
t
的计算如下所示:
[0170][0171]
注意上下文向量c
t
在每个时间步是不一样的。得到c
t
之后,结合之前预测的序列(y1,y2,...,y
t-1
),将y
t-1
与c
t-1
拼接,通过一个线性变换,得到如下所示:
[0172][0173]
其中新计算的可用于在t时刻更新解码器隐藏层状态。隐藏层状态更新如所示:
[0174][0175]
其中f2是一个非线性激活函数,选择lstm模型作为f2映射。
[0176]
s205、根据目标对象的图像位置信息和预设比例值,确定目标对象的地图位置信息。
[0177]
本实施例中,预设的比例值可以是视频帧数据信息的大小与实际场景的大小的比例值,例如预设的比例值可以是200,则在获取了目标对象的图像位置信息后,计算图像位置信息中的坐标信息的数值与预设的比例值的乘积值,得到目标对象的地图位置信息。
[0178]
s206、若第一视频帧数据信息的自然序列数等于第一预设数量的数值,则将目标对象的轨迹信息进行输出;其中,自然序列数表征第一视频帧数据信息在视频流数据信息中的排序数。
[0179]
本技术提供一种待跟踪目标对象的位置确定方法。该方法包括:基于预设模型对第一视频帧数据信息以及第二视频帧数据信息进行分辨率调整,得到第三视频帧数据信息,基于预设模型对第三视频帧数据信息进行特征权重调整,得到第一特征序列数据信息,基于预设模型对第一特征序列数据信息进行时间序列权重调整,输出第一视频帧数据信息中的目标对象的图像位置信息,根据目标对象的图像位置信息和预设比例值,确定目标对象的地图位置信息,若第一视频帧数据信息的自然序列数等于第一预设数量的数值,则将目标对象的轨迹信息进行输出。采用本技术方案,能够更好地从复杂背景中识别目标,分别在第一个卷积层之后加入空间注意力机制,有效强化目标对象的空间信息,在最后一个卷积层之后加入通道注意力机制,有效增强目标对象的语义信息。
[0180]
图6是根据本技术实施例三提供的一种应用于待跟踪目标对象位置确定的预设模型训练方法的流程示意图。实施例三中包括如下步骤:
[0181]
s601、获取标注了待跟踪的目标对象的图像位置信息的视频流数据信息;其中,视频流数据信息中包括多个视频帧数据信息;视频流数据信息中的视频帧数据信息的帧数为第一预设数量。
[0182]
本实施例中,标注了待跟踪的目标对象的图像位置信息的视频流数据信息是指对视频流数据信息中的待跟踪的目标对象的图像位置信息进行框图选定,其中,框图的大小为将待跟踪的目标对象全部选定为标准。
[0183]
s602、将标注后的第一视频帧数据信息和标注后的第二视频帧数据信息输入至预设模型中,得到训练后的预设模型;其中,第一视频帧数据信息表征待跟踪的目标对象的当前视频帧数据信息;第二视频帧数据信息表征前第二预设数量的视频帧数据信息;其中,训练后的预设模型用于预测视频流数据信息中的目标对象的图像位置信息。
[0184]
本实施例中,训练后的预设模型的结构图可以参见图3。
[0185]
本技术提供一种应用于待跟踪目标对象位置确定的预设模型训练方法。该方法包括:获取标注了待跟踪的目标对象的图像位置信息的视频流数据信息;其中,视频流数据信息中包括多个视频帧数据信息;视频流数据信息中的视频帧数据信息的帧数为第一预设数量,将标注后的第一视频帧数据信息和标注后的第二视频帧数据信息输入至预设模型中,得到训练后的预设模型;其中,第一视频帧数据信息表征待跟踪的目标对象的当前视频帧数据信息;第二视频帧数据信息表征前第二预设数量的视频帧数据信息;其中,训练后的预
设模型用于预测视频流数据信息中的目标对象的图像位置信息。采用本技术方案,这样可以更好地捕获跟踪序列间长时间依赖关系,对遮挡环境下机动目标对象跟踪更为准确。
[0186]
图7是根据本技术实施例四提供的一种应用于待跟踪目标对象位置确定的预设模型训练方法的流程示意图。实施例四中包括如下步骤:
[0187]
s701、获取标注了待跟踪的目标对象的图像位置信息的视频流数据信息;其中,视频流数据信息中包括多个视频帧数据信息;视频流数据信息中的视频帧数据信息的帧数为第一预设数量。
[0188]
示例性地,本步骤可以参见上述步骤s601,不再赘述。
[0189]
s702、基于预设模型对标注后的第一视频帧数据信息以及标注后的第二视频帧数据信息进行分辨率调整,得到第五视频帧数据信息;其中,第一视频帧数据信息表征待跟踪的目标对象的当前视频帧数据信息;第二视频帧数据信息表征前第二预设数量的视频帧数据信息;其中,训练后的预设模型用于预测视频流数据信息中的目标对象的图像位置信息。
[0190]
示例性地,本步骤可以参见上述步骤s202,不再赘述。
[0191]
s703、基于预设模型对第五视频帧数据信息进行特征权重调整,得到第二特征序列数据信息。
[0192]
在一个示例中,基于预设模型对第五视频帧数据信息进行特征权重调整,得到第二特征序列数据信息,包括:
[0193]
基于预设模型对第五视频帧数据信息进行空间特征的权重调整,得到第六视频帧数据信息;基于预设模型对第六视频帧数据信息进行通道特征的权重调整,得到第二特征序列数据信息。
[0194]
示例性地,本步骤可以参见上述步骤s203,不再赘述。
[0195]
s704、基于预设模型对第二特征序列数据信息进行时间序列权重调整,输出第一视频帧数据信息中的目标对象的图像位置信息。
[0196]
在一个示例中,基于预设模型对第二特征序列数据信息进行时间序列权重调整,输出第一视频帧数据信息中的目标对象的图像位置信息,包括:
[0197]
根据预设模型中时间注意力机制的编码器,确定第二特征序列数据信息中的注意力权重;
[0198]
根据预设模型中时间注意力机制的解码器和注意力权重,确定第一视频帧数据信息中的目标对象的图像位置信息。
[0199]
在一个示例中,根据预设模型中时间注意力机制的编码器,确定第二特征序列数据信息中的注意力权重,包括:
[0200]
根据前一视频帧数据信息对应时刻的编码器隐藏层状态和细胞状态,确定第一视频帧数据信息中的注意力权重;其中,编码器隐藏层状态由第二特征序列数据信息确定;
[0201]
根据第一视频帧数据信息中的注意力权重,确定第二特征序列数据信息中的注意力权重。
[0202]
在一个示例中,根据预设模型中时间注意力机制的解码器和注意力权重,确定第一视频帧数据信息中的目标对象的图像位置信息,包括:
[0203]
根据注意力权重和编码器隐藏层状态,确定上下文向量;
[0204]
根据解码器隐藏层状态、上下文向量以及参数,确定第一视频帧数据信息中的目
标对象的图像位置信息。
[0205]
在一个示例中,解码器隐藏层状态由前一视频帧数据信息对应时刻的解码器隐藏状态和前一视频帧数据信息对应时刻的线性变化数值确定。
[0206]
在一个示例中,前一视频帧数据信息对应时刻的线性变化数值由前一视频帧数据信息对应时刻的目标对象的位置预测信息和上下文向量确定。
[0207]
示例性地,本步骤可以参见上述步骤s204,不再赘述。
[0208]
s705、根据目标对象的图像位置信息和标注后的第一视频帧数据信息,确定训练后的预设模型。
[0209]
本实施例中,通过目标对象的图像位置信息和标注后的第一视频帧数据信息之间的差值,调整预设模型中的模型参数,并得到训练后的预设模型。
[0210]
本技术提供一种应用于待跟踪目标对象位置确定的预设模型训练方法。该方法包括:获取标注了待跟踪的目标对象的图像位置信息的视频流数据信息,基于预设模型对标注后的第一视频帧数据信息以及标注后的第二视频帧数据信息进行分辨率调整,得到第五视频帧数据信息,基于预设模型对第五视频帧数据信息进行特征权重调整,得到第二特征序列数据信息,基于预设模型对第二特征序列数据信息进行时间序列权重调整,输出第一视频帧数据信息中的目标对象的图像位置信息,根据目标对象的图像位置信息和标注后的第一视频帧数据信息,确定训练后的预设模型。采用本技术方案,加强复杂环境下目标对象的特征表达能力,使之有效区分于复杂背景;同时将cnn提取的特征序列输入到基于时间注意力机制的编解码网络中,可以抑制遮挡视频帧的权重,有效提高遮挡环境下目标对象目标的跟踪准确度。
[0211]
图8是根据本技术实施例五提供的一种待跟踪目标对象的位置确定装置示意图。实施例五中的装置80包括:
[0212]
获取单元801,用于获取待跟踪的目标对象的视频流数据信息;其中,视频流数据信息中包括多个视频帧数据信息;视频流数据信息中的视频帧数据信息的帧数为第一预设数量;
[0213]
输入单元802,用于将第一视频帧数据信息以及第二视频帧数据信息中的目标对象的图像位置信息输入至预设模型中,由预设模型输出第一视频帧数据信息中的目标对象的图像位置信息;其中,第一视频帧数据信息表征待跟踪的目标对象的当前视频帧数据信息;第二视频帧数据信息表征前第二预设数量的视频帧数据信息;
[0214]
输出单元803,用于若第一视频帧数据信息的自然序列数等于第一预设数量的数值,则将目标对象的轨迹信息进行输出;其中,自然序列数表征第一视频帧数据信息在视频流数据信息中的排序数。
[0215]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0216]
图9是根据本技术实施例六提供的一种待跟踪目标对象的位置确定装置示意图。实施例六中的装置90包括:
[0217]
获取单元901,用于获取待跟踪的目标对象的视频流数据信息;其中,视频流数据信息中包括多个视频帧数据信息;视频流数据信息中的视频帧数据信息的帧数为第一预设数量;
[0218]
输入单元902,用于将第一视频帧数据信息以及第二视频帧数据信息中的目标对象的图像位置信息输入至预设模型中,由预设模型输出第一视频帧数据信息中的目标对象的图像位置信息;其中,第一视频帧数据信息表征待跟踪的目标对象的当前视频帧数据信息;第二视频帧数据信息表征前第二预设数量的视频帧数据信息;
[0219]
输出单元903,用于若第一视频帧数据信息的自然序列数等于第一预设数量的数值,则将目标对象的轨迹信息进行输出;其中,自然序列数表征第一视频帧数据信息在视频流数据信息中的排序数。
[0220]
在一个示例中,输入单元902,包括:
[0221]
第一调整模块9021,用于基于预设模型对第一视频帧数据信息以及第二视频帧数据信息进行分辨率调整,得到第三视频帧数据信息;
[0222]
第二调整模块9022,用于基于预设模型对第三视频帧数据信息进行特征权重调整,得到第一特征序列数据信息;
[0223]
第三调整模块9023,用于基于预设模型对第一特征序列数据信息进行时间序列权重调整,输出第一视频帧数据信息中的目标对象的图像位置信息。
[0224]
在一个示例中,第二调整模块9022,包括:
[0225]
第一调整子模块90221,用于基于预设模型对第三视频帧数据信息进行空间特征的权重调整,得到第四视频帧数据信息;
[0226]
第二调整子模块90222,用于基于预设模型对第四视频帧数据信息进行通道特征的权重调整,得到第一特征序列数据信息。
[0227]
在一个示例中,第三调整模块9023,包括:
[0228]
第一确定子模块90231,用于根据预设模型中时间注意力机制的编码器,确定第一特征序列数据信息中的注意力权重;
[0229]
第二确定子模块90232,用于根据预设模型中时间注意力机制的解码器和注意力权重,确定第一视频帧数据信息中的目标对象的图像位置信息。
[0230]
在一个示例中,第一确定子模块90231,用于根据前一视频帧数据信息对应时刻的编码器隐藏层状态和细胞状态,确定第一视频帧数据信息中的注意力权重;其中,编码器隐藏层状态由第一特征序列数据信息确定;根据第一视频帧数据信息中的注意力权重,确定第一特征序列数据信息中的注意力权重。
[0231]
在一个示例中,第二确定子模块90232,用于根据注意力权重和编码器隐藏层状态,确定上下文向量;
[0232]
根据解码器隐藏层状态、上下文向量以及参数,确定第一视频帧数据信息中的目标对象的图像位置信息。
[0233]
在一个示例中,解码器隐藏层状态由前一视频帧数据信息对应时刻的解码器隐藏状态和前一视频帧数据信息对应时刻的线性变化数值确定。
[0234]
在一个示例中,前一视频帧数据信息对应时刻的线性变化数值由前一视频帧数据信息对应时刻的目标对象的位置预测信息和上下文向量确定。
[0235]
在一个示例中,该装置还包括:
[0236]
确定单元904,用于根据目标对象的图像位置信息和预设比例值,确定目标对象的地图位置信息。
[0237]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0238]
图10是根据本技术实施例七提供的一种应用于待跟踪目标对象位置确定的预设模型训练装置示意图。实施例五中的装置1000包括:
[0239]
获取单元1001,用于获取标注了待跟踪的目标对象的图像位置信息的视频流数据信息;其中,视频流数据信息中包括多个视频帧数据信息;视频流数据信息中的视频帧数据信息的帧数为第一预设数量;
[0240]
输入单元1002,用于将标注后的第一视频帧数据信息和标注后的第二视频帧数据信息输入至预设模型中,得到训练后的预设模型;其中,第一视频帧数据信息表征待跟踪的目标对象的当前视频帧数据信息;第二视频帧数据信息表征前第二预设数量的视频帧数据信息;其中,训练后的预设模型用于预测视频流数据信息中的目标对象的图像位置信息。
[0241]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0242]
图11是根据本技术实施例八提供的一种应用于待跟踪目标对象位置确定的预设模型训练装置示意图。实施例六中的装置1100包括:
[0243]
获取单元1101,用于获取标注了待跟踪的目标对象的图像位置信息的视频流数据信息;其中,视频流数据信息中包括多个视频帧数据信息;视频流数据信息中的视频帧数据信息的帧数为第一预设数量;
[0244]
输入单元1102,用于将标注后的第一视频帧数据信息和标注后的第二视频帧数据信息输入至预设模型中,得到训练后的预设模型;其中,第一视频帧数据信息表征待跟踪的目标对象的当前视频帧数据信息;第二视频帧数据信息表征前第二预设数量的视频帧数据信息;其中,训练后的预设模型用于预测视频流数据信息中的目标对象的图像位置信息。
[0245]
在一个示例中,输入单元1102,包括:
[0246]
第一确定模块11021,用于基于预设模型对标注后的第一视频帧数据信息以及标注后的第二视频帧数据信息进行分辨率调整,得到第五视频帧数据信息;
[0247]
第二确定模块11022,用于基于预设模型对第五视频帧数据信息进行特征权重调整,得到第二特征序列数据信息;
[0248]
输出模块11023,用于基于预设模型对第二特征序列数据信息进行时间序列权重调整,输出第一视频帧数据信息中的目标对象的图像位置信息;
[0249]
第三确定模块11024,用于根据目标对象的图像位置信息和标注后的第一视频帧数据信息,确定训练后的预设模型。
[0250]
在一个示例中,第二确定模块11022,包括:
[0251]
第一确定子模块110221,用于基于预设模型对第五视频帧数据信息进行空间特征的权重调整,得到第六视频帧数据信息;
[0252]
第二确定子模块110222,用于基于预设模型对第六视频帧数据信息进行通道特征的权重调整,得到第二特征序列数据信息。
[0253]
在一个示例中,输出模块11023,包括:
[0254]
第三确定子模块110231,用于根据预设模型中时间注意力机制的编码器,确定第二特征序列数据信息中的注意力权重;
[0255]
第四确定子模块110232,用于根据预设模型中时间注意力机制的解码器和注意力权重,确定第一视频帧数据信息中的目标对象的图像位置信息。
[0256]
在一个示例中,第三确定子模块110231,用于根据前一视频帧数据信息对应时刻的编码器隐藏层状态和细胞状态,确定第一视频帧数据信息中的注意力权重;其中,编码器隐藏层状态由第二特征序列数据信息确定;根据第一视频帧数据信息中的注意力权重,确定第二特征序列数据信息中的注意力权重。
[0257]
在一个示例中,第四确定子模块110232,用于根据注意力权重和编码器隐藏层状态,确定上下文向量;
[0258]
根据解码器隐藏层状态、上下文向量以及参数,确定第一视频帧数据信息中的目标对象的图像位置信息。
[0259]
在一个示例中,解码器隐藏层状态由前一视频帧数据信息对应时刻的解码器隐藏状态和前一视频帧数据信息对应时刻的线性变化数值确定。
[0260]
在一个示例中,前一视频帧数据信息对应时刻的线性变化数值由前一视频帧数据信息对应时刻的目标对象的位置预测信息和上下文向量确定。
[0261]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0262]
图12是根据一示例性实施例示出的一种电子设备的框图,该设备可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
[0263]
装置1200可以包括以下一个或多个组件:处理组件1202,存储器1204,电源组件1206,多媒体组件1208,音频组件1210,输入/输出(i/o)接口1212,传感器组件1214,以及通信组件1216。
[0264]
处理组件1202通常控制装置1200的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1202可以包括一个或多个模块,便于处理组件1202和其他组件之间的交互。例如,处理组件1202可以包括多媒体模块,以方便多媒体组件1208和处理组件1202之间的交互。
[0265]
存储器1204被配置为存储各种类型的数据以支持在装置1200的操作。这些数据的示例包括用于在装置1200上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
[0266]
电源组件1206为装置1200的各种组件提供电力。电源组件1206可以包括电源管理系统,一个或多个电源,及其他与为装置1200生成、管理和分配电力相关联的组件。
[0267]
多媒体组件1208包括在所述装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动
作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1208包括一个前置摄像头和/或后置摄像头。当装置1200处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0268]
音频组件1210被配置为输出和/或输入音频信号。例如,音频组件1210包括一个麦克风(mic),当装置1200处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中,音频组件1210还包括一个扬声器,用于输出音频信号。
[0269]
i/o接口1212为处理组件1202和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
[0270]
传感器组件1214包括一个或多个传感器,用于为装置1200提供各个方面的状态评估。例如,传感器组件1214可以检测到装置1200的打开/关闭状态,组件的相对定位,例如所述组件为装置1200的显示器和小键盘,传感器组件1214还可以检测装置1200或装置1200一个组件的位置改变,用户与装置1200接触的存在或不存在,装置1200方位或加速/减速和装置1200的温度变化。传感器组件1214可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1214还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
[0271]
通信组件1216被配置为便于装置1200和其他设备之间有线或无线方式的通信。装置1200可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1216还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
[0272]
在示例性实施例中,装置1200可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
[0273]
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1204,上述指令可由装置1200的处理器1220执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0274]
一种非临时性计算机可读存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述电子设备的待跟踪目标对象的位置确定方法或者应用于待跟踪目标对象位置确定的预设模型训练方法。
[0275]
本技术还公开了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如本实施例中所述的方法。
[0276]
本技术以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统
的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0277]
用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或电子设备上执行。
[0278]
在本技术的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0279]
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0280]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据电子设备)、或者包括中间件部件的计算系统(例如,应用电子设备)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
[0281]
计算机系统可以包括客户端和电子设备。客户端和电子设备一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-电子设备关系的计算机程序来产生客户端和电子设备的关系。电子设备可以是云电子设备,又称为云计算电子设备或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps服务("virtual private server",或简称"vps")中,存在的管理难度大,业务扩展性弱的缺陷。电子设备也可以为分布式系统的电子设备,或者是结合了区块链的电子设备。应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本技术中记
载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本技术公开的技术方案所期望的结果,本文在此不进行限制。
[0282]
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本技术的真正范围和精神由下面的权利要求书指出。
[0283]
应当理解的是,本技术并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1