目标追踪方法、数字集成电路芯片、电子设备及存储介质

1.本公开涉及数字图像处理技术领域，尤其涉及一种基于图像的目标追踪方法、数字集成电路、电子设备及计算机存储介质。


背景技术：

2.随着图像传感器技术的提高，图像采集的帧率越来越高。在目标跟踪领域，采用更高帧率的图像，能够更加精确的得到目标当前的位置。然而，在跟踪中如果目标面临着光电对抗的干扰，目标跟踪点的成像会受到较大的影响，从而影响跟踪的效果，需要消除追踪点邻域面临的干扰，得到稳定的跟踪效果。由于进行目标跟踪面临着低功耗和高速的要求，数字集成电路(field programmable gate array，简称fpga)的系统更加适合部署。


技术实现要素：

3.鉴于上述问题，本发明提供了一种基于图像的目标追踪方法、数字集成电路、电子设备及计算机存储介质，以解决上述的问题。
4.本公开的一个方面提供了一种目标追踪方法，包括：获取多帧连续的目标图像；将各帧所述目标图像均进行全局二值化及扫描细化处理，得到各帧所述目标图像对应的二值图像；提取各所述二值图像中的目标区域，在所述目标区域中设置掩膜框；以各帧所述二值图像中的所述目标区域的形心为初始追踪点，将所述初始追踪点在各帧所述二值图像中的坐标进行帧间线性加权，得到各所述二值图像中的实际追踪点坐标。
5.可选地，所述将各帧所述目标图像均进行全局二值化及扫描细化处理，得到各帧所述目标图像对应的二值图像包括：通过大津算法计算所述目标图像的全局阈值；将所述目标图像中灰度值大于所述全局阈值的像素二值化为1，将所述目标图像中灰度值小于所述全局阈值的像素二值化为0，得到初始二值图像；扫描所述初始二值图像中的各像素点，根据所述像素点附近的像素灰度重新调整所述像素点的灰度值，得到最终的二值图像。
6.可选地，所述扫描所述初始二值图像中的各像素点，根据所述像素点附近的像素灰度重新调整所述像素点的灰度值，得到最终的二值图像包括：进行第一次扫描，若在与所述初始二值图像对应的所述目标图像中，与所述初始二值图像中灰度值为0的像素点对应位置的像素点的相邻像素梯度值大于第一阈值时，且以所述像素点为中心、边长为r1的矩形邻域中的像素灰度和大于第二阈值时，将所述初始二值图像中该灰度值为0的像素点二值化为1；进行第二次扫描，若以所述初始二值图像中所述灰度值为0的像素点为中心、边长为r2的矩形邻域中，灰度值为1的像素点的个数大于第三阈值时，将所述灰度值为0的像素点二值化为1；进行第三次扫描，若以所述初始二值图像中所述灰度值为0的像素点为中心、边长为r3的矩形邻域中，灰度值为1的像素点的个数大于第四阈值时，将所述灰度值为0的像素点二值化为1，得到最终的所述二值图像。
7.可选地，进行第二次扫描选取邻域的边长r2大于进行第三次小苗选取邻域的边长r3。
8.可选地，所述提取各所述二值图像中的目标区域，在所述目标区域中设置掩膜框包括：将所述二值图像中二值化为1区域作为所述目标区域，获取所述目标区域的形心；以所述形心为中心获得所述目标区域的包围框，按照预设比例因子β缩放所述包围框，得到掩膜框；将所述掩膜框输入到下一帧，并自适应调节大小，使所述掩膜框内部的像素灰度不参与下一帧所述二值图像中的所述目标区域的形心和包围框计算。
9.可选地，所述将所述掩膜框输入到下一帧，并自适应调节大小包括：获取下一帧所述二值图像中的目标区域的包围框；计算当前帧的所述包围框和下一帧的所述包围框的比例大小，根据该比例调节所述掩膜框。
10.可选地，所述以各帧所述二值图像中的所述目标区域的形心为初始追踪点，将所述初始追踪点在各帧所述二值图像中的坐标进行帧间线性加权，得到各所述二值图像中的实际追踪点坐标包括：获取所述初始追踪点在当前帧所述二值图像的坐标和在当前帧之前的至少一帧所述二值图像中的坐标，并进行将线性加权，得到当前帧所述二值图像的实际追踪点坐标。
11.本公开另一方面提供了一种数字集成电路，包括：图像获取模块，用于获取多帧连续的目标图像；图像二值化模块，用于将各帧所述目标图像均进行全局二值化及扫描细化处理，得到各帧所述目标图像对应的二值图像；目标区域提取模块，用于提取各所述二值图像中的目标区域，在所述目标区域中设置掩膜框；追踪点获取模块，用于以各帧所述二值图像中的所述目标区域的形心为初始追踪点，将所述初始追踪点在各帧所述二值图像中的坐标进行帧间线性加权，得到各所述二值图像中的实际追踪点坐标。
12.本公开的另一个方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述目标追踪方法中的各个步骤。
13.本公开的另一个方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述目标追踪方法中的各个步骤。
14.在本公开实施例采用的上述至少一个技术方案能够达到以下有益效果：
15.(1)本公开提供的全局二值化及扫描细化过程，能够有效减少目标区域的锯齿、空洞影响，并能减弱噪声的干扰。
16.(2)本公开提供的给目标区域的中心掩膜方式能够消除追踪点附近的干扰，同时掩膜框能自适应的随着目标尺寸的变化而调整，有效地应对了尺度变化。
17.(3)本公开提供的给追踪点的坐标进行线性滤波方式能够减少掩膜框引起的抖动，增强追踪点的稳定性。
18.(4)本公开可通过fpga实现本公开提供的目标追踪方法，能够有效的应对高速图像处理的场景。
附图说明
19.为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
20.图1示意性示出了本公开实施例提供的一种目标追踪方法的流程图；
21.图2示意性示出了本公开实施例提供的一种目标追踪方法中s120的流程图；
22.图3示意性示出了本公开实施例提供的一种目标追踪方法中s230的流程图；
23.图4示意性示出了本公开实施例提供的一种目标追踪方法中进行三次扫描细化的效果示意图；
24.图5示意性示出了本公开实施例提供的一种目标追踪方法中设置掩膜框的示意图；
25.图6示意性示出了本公开实施例提供的一种数字集成电路芯片的结构框图；
26.图7示意性示出了本公开实施例提供的一种电子设备的结构框图。
具体实施方式
27.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
28.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
29.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
30.附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
31.因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd
‑
rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。
32.图1示意性示出了本公开实施例提供的一种目标追踪方法的流程图。
33.如图1所示，本公开提供的一种目标追踪方法包括步骤s110～s120。
34.s110，获取多帧连续的目标图像。
35.s120，将各帧所述目标图像均进行全局二值化及扫描细化处理，得到各帧所述目标图像对应的二值图像。
36.s130，提取各所述二值图像中的目标区域，在所述目标区域中设置掩膜框。
37.s140，以各帧所述二值图像中的所述目标区域的形心为初始追踪点，将所述初始追踪点在各帧所述二值图像中的坐标进行帧间线性加权，得到各所述二值图像中的实际追踪点坐标。
38.在本公开实施例中，获取连续的目标图像，以追踪目标图像中的目标的位置变化。通过对目标图像进行全局二值化及扫描细化处理，减少目标区域的锯齿、空洞影响，并能减弱噪声的干扰，进一步的，通过设置掩膜框，将目标区域中不感兴趣的区域屏蔽掉，消除追踪点附近的干扰，使目标区域的形心获取的更准确，再通过对各帧图像中的目标区域的形心坐标进行帧间线性加权修正，得到实际的追踪点坐标，实现对目标的追踪。
39.图2示意性示出了本公开实施例提供的一种目标追踪方法中s120的具体流程图。
40.如图2所示，步骤s120包括s210～s230。
41.s210，通过大津算法计算所述目标图像的全局阈值。
42.在本公开实施例中，对输入图像全局计算二值化阈值，采用大津算法统计像素灰度的直方图分布，找到灰度阈值使得直方图二分类的类内方差最小且类间方差最大。
43.s220，将所述目标图像中灰度值大于所述全局阈值的像素二值化为1，将所述目标图像中灰度值小于所述全局阈值的像素二值化为0，得到初始二值图像。
44.s230，扫描所述初始二值图像中的各像素点，根据所述像素点附近的像素灰度重新调整所述像素点的灰度值，得到最终的二值图像。
45.图3示意性示出了本公开实施例提供的一种目标追踪方法中s230的流程图。
46.如图3所示，步骤s230包括步骤s231～s233。
47.s231，进行第一次扫描，若在与所述初始二值图像对应的所述目标图像中，与所述初始二值图像中灰度值为0的像素点对应位置的像素点的相邻像素梯度值大于第一阈值时，且以所述像素点为中心、边长为r1的矩形邻域中的像素灰度和大于第二阈值时，将所述初始二值图像中该灰度值为0的像素点二值化为1。
48.s232，进行第二次扫描，若以所述初始二值图像中所述灰度值为0的像素点为中心、边长为r2的矩形邻域中，灰度值为1的像素点的个数大于第三阈值时，将所述灰度值为0的像素点二值化为1。
49.s233，进行第三次扫描，若以所述初始二值图像中所述灰度值为0的像素点为中心、边长为r3的矩形邻域中，灰度值为1的像素点的个数大于第四阈值时，将所述灰度值为0的像素点二值化为1，得到最终的所述二值图像。
50.其中，进行第二次扫描选取邻域的边长r2大于进行第三次小苗选取邻域的边长r3。
51.图4示意性示出了本公开实施例提供的一种目标追踪方法中进行三次扫描细化的效果示意图。
52.图4示意性示出了将原图进行全局二值化后进行如步骤s131～s133进行三次扫描后的图像，其中，小图a表示初始二值图，小图b表示进行第一扫描后的图像，小图c表示进行第二次扫描后的图像，小图d表示进行第三次扫描后的图像，从如图4可以看出，依次进行三次扫描后，使得二值图像细化，能够逐步实现有效减少目标区域的锯齿、空洞影响、并能减弱噪声的干扰的效果。
53.在本公开实施例中，步骤s130可以包括s131～s133。
54.s131，将所述二值图像中二值化为1区域作为所述目标区域，获取所述目标区域的形心。
55.s132，以所述形心为中心获得所述目标区域的包围框，按照预设比例因子缩放所
述包围框，得到掩膜框。
56.s133，将所述掩膜框输入到下一帧，并自适应调节大小，使所述掩膜框内部的像素灰度不参与下一帧所述二值图像中的所述目标区域的形心和包围框计算。
57.图5示意性示出了本公开实施例提供的一种目标追踪方法中设置掩膜框的示意图。
58.如图5所示，对二值图像进行三次扫描后，获取目标区域及其形心，其中，小图d示出了获取的二值图像的目标区域的包围框，小图e示出了根据预设的比例因子缩小包围框获得的掩膜框，小图f示出了另一帧二值图像设置掩膜框的示意图，通过设置掩膜，消除目标区域的形心(即追踪点)附近的干扰像素，针对每一二值图像，均按照预设的比例因子缩小包围框的方式得到掩膜框，消除该二值图像中的干扰像素，即，在同一目标的跟踪过程中，对不同帧的掩膜框会自适应变化。
59.获取掩膜框的方法还可以包括s1331～s1332。
60.s1331，获取下一帧所述二值图像中的目标区域的包围框。
61.s1332，计算当前帧的所述包围框和下一帧的所述包围框的比例大小，根据该比例调节所述掩膜框。
62.根据该方法，在获取前一帧二值图像的掩膜框后，将该掩膜框输入下一帧二值图像，可以根据前一阵二值图像中的包围框与后一帧二值图像的包围框大小的比值缩放该掩膜框，得到后一阵二值图像的掩膜框。
63.在步骤s140中，获取连续的追踪点的坐标的方法为：
64.获取所述初始追踪点在当前帧所述二值图像的坐标和在当前帧之前的至少一帧所述二值图像中的坐标，并进行将线性加权，得到当前帧所述二值图像的实际追踪点坐标。
65.例如，假设基于当前帧二值图像p
c
和前一帧二值图像p
f
中的初始追踪点的坐标计算当前帧的实际追踪点坐标pr时，计算公式可以为pr＝γp
f
+(1
‑
γ)p
c
，γ表示权重。
66.本公开提供的目标追踪方法，通过计算目标在连续图像中的形心坐标实现对目标的追踪，该方法提供的全局二值化及扫描细化过程，能够有效减少目标区域的锯齿、空洞影响，并能减弱噪声的干扰，中心掩膜方式能够消除追踪点附近的干扰，同时掩膜框能自适应的随着目标尺寸的变化而调整，有效地应对了尺度变化，最后，给追踪点的坐标进行线性滤波方式能够减少掩膜框引起的抖动，增强追踪点的稳定性，从而可实现对目标位置的稳定追踪。
67.图6示意性示出了本公开实施例提供的一种数字集成电路的结构框图。
68.如图6所示，本公开提供了一种数字集成电路芯片600，应用于实现上述目标追踪方法，包括：图像获取模块610，图像二值化模块620，目标区域提取模块630，追踪点获取模块640。
69.图像获取模块610，用于获取多帧连续的目标图像。
70.图像二值化模块620，用于将各帧所述目标图像均进行全局二值化及扫描细化处理，得到各帧所述目标图像对应的二值图像。
71.目标区域提取模块630，用于提取各所述二值图像中的目标区域，在所述目标区域中设置掩膜框。
72.追踪点获取模块640，用于以各帧所述二值图像中的所述目标区域的形心为初始
追踪点，将所述初始追踪点在各帧所述二值图像中的坐标进行帧间线性加权，得到各所述二值图像中的实际追踪点坐标。
73.可以理解的是，图像获取模块610、图像二值化模块620、目标区域提取模块630、追踪点获取模块640可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，图像获取模块610、图像二值化模块620、目标区域提取模块630、追踪点获取模块640中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，图像获取模块610、图像二值化模块620、目标区域提取模块630、追踪点获取模块640中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
74.通过fpga实现目标追踪方法，使全局阈值计算和三次扫描细化均能达到单周期单像素处理，掩膜框和追踪点能够在图像输入后立即得到，从而在嵌入式系统中达到高实时性。
75.图7示意性示出了本公开实施例提供的一种电子设备的结构框图。
76.如图7所示，本实施例中所描述的电子设备，包括：电子设备700包括处理器710、计算机可读存储介质720。该电子设备700可以执行上面参考图1描述的方法，以实现对特定操作的检测。
77.具体地，处理器710例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行参考图1描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
78.计算机可读存储介质720，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd
‑
rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。
79.计算机可读存储介质720可以包括计算机程序721，该计算机程序721可以包括代码/计算机可执行指令，其在由处理器710执行时使得处理器710执行例如上面结合图1所描述的方法流程及其任何变形。
80.计算机程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序721中的代码可以包括一个或多个程序模块，例如包括721a、模块721b、
……
。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器710执行时，使得处理器710可以执行例如上面结合图1所描述的方法流程及其任何变形。
81.根据本发明的实施例，图像获取模块610、图像二值化模块620、目标区域提取模块630、追踪点获取模块640中的至少一个可以实现为参考图7描述的计算机程序模块，其在被
处理器710执行时，可以实现上面描述的相应操作。
82.本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
83.本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
84.尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。