倍率值的确定方法及装置、存储介质、电子装置与流程

1.本发明实施例涉及图像领域，具体而言，涉及一种倍率值的确定方法及装置、存储介质、电子装置。


背景技术：

2.运动目标自动跟踪是对运动目标检测、提取、识别和跟踪的技术，该技术是计算机视觉系统的核心，在军事、交通、生物、医学等多种领域得到广泛的应用。在实际使用中，热成像跟踪技术可穿透薄雾、伪装等，具有一定的目标识别，并且能提供全天候的服务。
3.但是在实际使用中，热成像画面对于跟踪的物体无法进行细致的观察，只能看见大体的轮廓，如果想对跟踪物体进行细致的分辨，单靠热成像画面本身是难以实现的。
4.如果想通过可见光画面进行观察，会因为热成像画面与可见光画面缺少联动，使的可见光画面停留在预设倍率，无法有效观察。
5.现有的技术方案需要多个设备协同工作，成本高；相机价格昂贵，且难以对现有已安装的相机进行复用，无法有效利用热成像的优势。
6.针对上述问题，相关技术中尚未提出有效的解决方案。


技术实现要素：

7.本发明实施例提供了一种倍率值的确定方法及装置、存储介质、电子装置，以至少解决相关技术中对图像的联动变倍成本高、效率低的问题。
8.根据本发明的一个实施例，提供了一种倍率值的确定方法，包括：通过双目摄像设备获取可见光图像和热成像图像，其中，上述可见光图像和上述热成像图像中均包括目标对象，上述可见光图像和上述热成像图像之间存在映射关系；确定上述目标对象在上述热成像图像中的包围盒；利用所述包围盒确定调整所述可见光图像倍率的倍率值。
9.根据本发明的另一个实施例，提供了一种目标对象的追踪方法，包括：在通过双目摄像设备中的第一摄像头获取的热成像图像中包括目标对象的情况下，确定获取热成像图像的倍率值；利用热成像图像的倍率值调整双目摄像设备中的第二摄像头的可见光变倍倍率，以获取可见光图像，其中，可见光图像中包括目标对象；基于热成像图像和可见光图像对目标对象进行追踪。
10.根据本发明的另一个实施例，提供了一种倍率值的确定装置，包括：第一获取模块，用于通过双目摄像设备获取可见光图像和热成像图像，其中，上述可见光图像和上述热成像图像中均包括目标对象，上述可见光图像和上述热成像图像之间存在映射关系；第一确定模块，用于确定上述目标对象在上述热成像图像中的包围盒；第二确定模块，用于利用上述包围盒确定调整上述可见光图像的倍率的倍率值。
11.在一个示例性实施例中，第一获取模块，包括：第一获取单元，用于通过上述双目摄像设备实时同步获取上述可见光图像和上述热成像图像。
12.在一个示例性实施例中，上述装置还包括标定模块，用于双目标定双目摄像设备，
以确定可见光图像和热成像图像之间的所述映射关系。
13.在一个示例性实施例中，上述第一确定模块，包括：第一识别单元，用于识别上述热成像图像中的跟踪对象；第一确定单元，用于在确定上述跟踪对象是目标对象的情况下，确定上述目标对象在上述热成像图像中的包围盒。
14.在一个示例性实施例中，上述第二确定模块，包括：第二确定单元，用于通过以下公式确定上述倍率值：β＝(s/rect/4)*α；其中，上述β用于表示上述倍率值，上述rect用于表示上述包围盒，上述α用于表示上述热成像图像的倍率α，上述s用于表示上述热成像图像的大小。
15.在一个示例性实施例中，上述装置还包括以下之一：第一调整模块，用于利用所述包围盒确定调整所述可见光图像倍率的倍率值之后，在上述倍率值小于上述摄像设备的最大倍率值的情况下，利用上述倍率值对上述可见光图像的倍率进行调整；第二调整模块，用于在上述倍率值大于或等于上述摄像设备的最大倍率值的情况下，将上述倍率值替换上述最大倍率值，以利用上述倍率值对上述可见光图像的倍率进行调整。
16.根据本发明的又一个实施例，还提供了一种目标对象的追踪装置，包括：
17.第三确定模块，用于在通过双目摄像设备中的第一摄像头获取的热成像图像中包括目标对象的情况下，确定获取热成像图像的倍率值；
18.第一处理模块，用于利用热成像图像的倍率值调整双目摄像设备中的第二摄像头的可见光变倍倍率，以获取可见光图像，其中，可见光图像中包括目标对象；
19.第一追踪模块，用于基于热成像图像和可见光图像对目标对象进行追踪。
20.根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
21.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
22.通过本发明，由于通过双目摄像设备获取可见光图像和热成像图像，其中，可见光图像和热成像图像中均包括目标对象，可见光图像和热成像图像之间存在映射关系；确定目标对象在热成像图像中的包围盒；利用包围盒确定调整可见光图像倍率的倍率值。因此，可以解决对图像的联动变倍成本高、效率低的问题，达到降低图像的联动变倍成本、提高变倍效率的效果。
附图说明
23.图1是本发明实施例的一种种倍率值的确定方法的移动终端的硬件结构框图；
24.图2是根据本发明实施例的种倍率值的确定方法的流程图；
25.图3是根据本发明实施例的目标对象的追踪方法的流程图；
26.图4是根据本发明实施例的整体流程图；
27.图5是根据本发明实施例的倍率值的确定装置的结构框图；
28.图6是根据本发明实施例的目标对象的追踪装置的结构框图。
具体实施方式
29.下文中将参考附图并结合实施例来详细说明本发明的实施例。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
31.本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种种倍率值的确定方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
32.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的种倍率值的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
33.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
34.在本实施例中提供了一种倍率值的确定方法，图2是根据本发明实施例的种倍率值的确定方法的流程图，如图2所示，该流程包括如下步骤：
35.步骤s202，通过双目摄像设备获取可见光图像和热成像图像，其中，可见光图像和热成像图像中均包括目标对象，可见光图像和热成像图像之间存在映射关系；
36.步骤s204，确定目标对象在热成像图像中的包围盒；
37.步骤s206，利用包围盒确定调整可见光图像倍率的倍率值。
38.其中，上述步骤的执行主体可以为终端等，但不限于此。
39.可选地，本实施例包括但不限于应用于利用热成像技术对目标对象进行跟踪的场景中。
40.可选地，在本实施例中，热成像通道能够利用热成像的特性在更远的距离轻易的通过智能识别得到画面中的需要进行跟踪的物体，并利用跟踪物体在热成像画面中的大小估计可见光画面中较为适宜的放大倍率，在该放大倍率下的可见光画面将较为清晰的显示跟踪物体的实际细节。
41.通过上述步骤，由于通过双目摄像设备获取可见光图像和热成像图像，其中，可见光图像和热成像图像中均包括目标对象，可见光图像和热成像图像之间存在映射关系；确
定目标对象在热成像图像中的包围盒；利用包围盒确定调整可见光图像倍率的倍率值。因此，可以解决对图像的联动变倍成本高、效率低的问题，达到降低图像的联动变倍成本、提高变倍效率的效果。
42.在一个示例性实施例中，通过双目摄像设备获取可见光图像和热成像图像，包括：
43.s1，通过双目摄像设备实时同步获取可见光图像和热成像图像。
44.在一个示例性实施例中，上述方法还包括：
45.s1，双目标定双目摄像设备，以确定可见光图像和热成像图像之间的所述映射关系。
46.可选地，在本实施例中，使用双目摄像头分别实时同步获取可见光图像和热成像图像，并通过双目标定，可以建立可见光画面与热成像画面的联系。
47.在一个示例性实施例中，确定目标对象在热成像图像中的包围盒，包括：
48.s1，识别热成像图像中的跟踪对象；
49.s2，在确定跟踪对象是目标对象的情况下，确定目标对象在热成像图像中的包围盒。
50.可选地，在本实施例中，可以将热成像图像输入至图像识别模型中对目标对象进行识别。可以得到目标对象在热成像图像中的包围盒rect。如果热成像图像中不存在目标对象，则重新获取热成像图像。
51.在一个示例性实施例中，利用包围盒确定调整可见光图像倍率的倍率值，包括：
52.通过以下公式确定倍率值：
53.β＝(s/rect/4)*α；
54.其中，β用于表示倍率值，rect用于表示包围盒，α用于表示热成像图像的倍率α，s用于表示热成像图像的大小。
55.在一个示例性实施例中，利用包围盒确定调整可见光图像倍率的倍率值之后，方法还包括以下之一：
56.s1，在倍率值小于摄像设备的最大倍率值的情况下，利用倍率值对可见光图像的倍率进行调整；
57.s2，在倍率值大于或等于摄像设备的最大倍率值的情况下，将倍率值替换最大倍率值，以利用倍率值对可见光图像的倍率进行调整。
58.可选地，在本实施例中，不同的摄像设备的可支持变倍的上限值不同，在得到倍率值之后再判断倍率值是否超出了支持变倍的上限，如果超过上限，将β设置为上限值。
59.在本实施例中提供了一种倍率值的确定方法，图3是根据本发明实施例的目标对象的追踪方法的流程图，如图3所示，该流程包括如下步骤：
60.步骤s302，在通过双目摄像设备中的第一摄像头获取的热成像图像中包括目标对象的情况下，确定获取热成像图像的倍率值；
61.步骤s304，利用热成像图像的倍率值调整双目摄像设备中的第二摄像头的可见光变倍倍率，以获取可见光图像，其中，可见光图像中包括目标对象；
62.步骤s306，基于热成像图像和可见光图像对目标对象进行追踪。
63.其中，上述步骤的执行主体可以为终端等，但不限于此。
64.可选地，本实施例包括但不限于应用于利用热成像技术对目标对象进行跟踪的场
景中。
65.可选地，在本实施例中，热成像通道能够利用热成像的特性在更远的距离轻易的通过智能识别得到画面中的需要进行跟踪的物体，并利用跟踪物体在热成像画面中的大小估计可见光画面中较为适宜的放大倍率，在该放大倍率下的可见光画面将较为清晰的显示跟踪物体的实际细节。
66.通过上述步骤，由于在通过双目摄像设备中的第一摄像头获取的热成像图像中包括目标对象的情况下，确定获取热成像图像的倍率值；利用热成像图像的倍率值调整双目摄像设备中的第二摄像头的可见光变倍倍率，以获取可见光图像，其中，可见光图像中包括目标对象；基于热成像图像和可见光图像对目标对象进行追踪。因此，可以解决对目标对象的追踪不准确的问题，达到提高追踪准确性的效果。
67.下面结合具体实施例对本发明进行说明：
68.本实施例提出一种基于热成像图像分析的可见光跟踪联动变倍方法，只需要一台可见光和热成像的双目摄像头就能够进行简单的联动跟踪，在成本下降的基础上提供一定程度的联动跟踪。如图4所示，包括以下步骤：
69.具体步骤如下：
70.s401、s409：使用双目摄像头分别实时同步获取可见光图像和热成像图像并通过双目标定(s410)，建立可见光画面与热成像画面的联系；
71.s402、s403：将热成像图像送入图像识别模块，对热成像图像中存在的跟踪物体进行识别，得到目标对象在热成像图像中的包围盒rect(s405)。如果热成像图像中不存在目标对象，则回到s401；
72.s404：获取热成像图像的倍率α；
73.s406：利用跟踪目标的包围盒rect以及热成像倍率α和热成像画面大小s计算可见光联动变倍倍率β，具体换算公式为β＝(s/rect/4)*α。
74.s407：不同的设备的可支持变倍上限不同，在得到β之后再判断β是否超出了支持变倍的上限；
75.s408：如果没有超过上限，将可见光倍率值设置为设备的变倍最大值；
76.s411：如果超过上限，将β设置为上限值。
77.综上所述，本实施例利用热成像跟踪技术可穿透薄雾、伪装等，具有一定的目标识别，并且能提供全天候的服务特性，能够更加稳定且有效的对较远物体进行跟踪。利用热成像画面跟踪目标的包围盒与热成像画面的倍率，推算出相对比较适合的可见光变倍倍率，从而可以在热成像跟踪的情况下利用可见光画面观察跟踪目标的细节。利用热成像跟踪，联动可见光变倍，结合热成像与可见光的优势，对于单台双目摄像头就可以简单的实现联动变倍的效果，节约成本。
78.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
79.在本实施例中还提供了一种倍率值的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
80.图5是根据本发明实施例的倍率值的确定装置的结构框图，如图5所示，该装置包括：
81.第一获取模块52，用于通过双目摄像设备获取可见光图像和热成像图像，其中，可见光图像和热成像图像中均包括目标对象，可见光图像和热成像图像之间存在映射关系；
82.第一确定模块54，用于确定目标对象在热成像图像中的包围盒；
83.第二确定模块56，用于利用包围盒确定调整可见光图像倍率的倍率值。
84.在一个示例性实施例中，第一获取模块，包括：第一获取单元，用于通过上述双目摄像设备实时同步获取上述可见光图像和上述热成像图像。
85.在一个示例性实施例中，上述方法还包括：标定模块，用于双目标定双目摄像设备，以确定可见光图像和热成像图像之间的所述映射关系。
86.在一个示例性实施例中，上述第一确定模块，包括：第一识别单元，用于识别上述热成像图像中的跟踪对象；第一确定单元，用于在确定上述跟踪对象是目标对象的情况下，确定上述目标对象在上述热成像图像中的包围盒。
87.在一个示例性实施例中，上述第二确定模块，包括：第二确定单元，用于通过以下公式确定上述倍率值：β＝(s/rect/4)*α；其中，上述β用于表示上述倍率值，上述rect用于表示上述包围盒，上述α用于表示上述热成像图像的倍率α，上述s用于表示上述热成像图像的大小。
88.在一个示例性实施例中，上述装置还包括以下之一：第一调整模块，用于利用所述包围盒确定调整所述可见光图像倍率的倍率值之后，在上述倍率值小于上述摄像设备的最大倍率值的情况下，利用上述倍率值对上述可见光图像的倍率进行调整；第二调整模块，用于在上述倍率值大于或等于上述摄像设备的最大倍率值的情况下，将上述倍率值替换上述最大倍率值，以利用上述倍率值对上述可见光图像的倍率进行调整。
89.图6是根据本发明实施例的目标对象的追踪装置的结构框图，如图6所示，该装置包括：
90.第三确定模块62，用于在通过双目摄像设备中的第一摄像头获取的热成像图像中包括目标对象的情况下，确定获取热成像图像的倍率值；
91.第一处理模块64，用于利用热成像图像的倍率值调整双目摄像设备中的第二摄像头的可见光变倍倍率，以获取可见光图像，其中，可见光图像中包括目标对象；
92.第一追踪模块66，用于基于热成像图像和可见光图像对目标对象进行追踪。
93.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
94.本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
95.在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
96.s1，通过双目摄像设备获取可见光图像和热成像图像，其中，可见光图像和热成像图像中均包括目标对象，可见光图像和热成像图像之间存在映射关系；
97.s2，确定目标对象在热成像图像中的包围盒；
98.s3，利用包围盒确定调整可见光图像倍率的倍率值。
99.在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器(read
‑
only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
100.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
101.在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
102.在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
103.s1，通过双目摄像设备获取可见光图像和热成像图像，其中，可见光图像和热成像图像中均包括目标对象，可见光图像和热成像图像之间存在映射关系；
104.s2，确定目标对象在热成像图像中的包围盒；
105.s3，利用包围盒确定调整可见光图像倍率的倍率值。
106.本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
107.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
108.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。