本发明是关于一种目标侦测与追踪方法及系统。具体而言,本发明是关于一种影片的目标侦测与追踪方法及系统。
背景技术:
近年来,随着图像处理技术的蓬勃发展,自动化影像追踪技术也逐渐成熟,但对于追踪影片中的目标物准确性仍有尚待改进之处。举例而言,因目前既有的追踪算法通常具有特定的追踪范围,当影像中的目标物的移动偏移量过大或移动速度过快时,有可能会发生目标物于画面中消失,或者短暂消失后又再次回到画面等的情况,使得所追踪的目标物超出追踪算法的特定追踪范围之外,导致无法完成目标物的追踪。此外,当影片中存在与目标物外型相似的其他对象时,目前的追踪技术亦常发生因无法区分而导致追踪错误的结果。
有鉴于此,本领域亟需一种不需耗费大量运算资源即可进行准确辨识及追踪目标物的技术,可避免因目标物超出追踪算法的特定追踪范围外即无法被准确追踪的问题,及避免因存在与目标物外型相似的对象而造成错误追踪的缺点。
技术实现要素:
本发明的一目的在于提供一种目标侦测与追踪方法,其是适用于一电子计算装置。一影片包含多个帧,该等帧具有相同的一坐标范围,该坐标范围被定义为多个区块。该目标侦测与追踪方法包含下列步骤:(a)选择该等帧其中之一做为一目前帧,该目前帧的一前一帧具有一前一目标框及至少一前一辅助框,各该至少一前一辅助框个别地与一已生成目标框具有一第一相对位置,该前一目标框位于该等区块其中之一,该前一目标框为该至少一已生成目标框其中之一,各该至少一已生成目标框位于该等区块其中之一;(b)在该目前帧的一目标框追踪区域搜寻以生成一目前目标框,其中该目标框追踪区域由该前一目标框所界定,该目前目标框位于该等区块其中之一;(c)在该目前帧的至少一辅助框追踪区域中的每一个搜寻以个别地生成一目前辅助框,其中各该至少一辅助框追踪区域由该至少一前一辅助框其中之一所界定;(d)当该目前目标框所在的该区块与各该至少一已生成目标框所在的该区块不同时,在该目前帧的中央位置生成一新增辅助框,该目前目标框与该新增辅助框具有一第二相对位置;以及(e)以该目前帧做为该前一帧,以该目前目标框做为该前一目标框,且以该至少一目前辅助框及该新增辅助框做为该至少一前一辅助框,重复步骤(a)-(d)。
本发明的另一目的在于提供一目标侦测与追踪系统。一影片包含多个帧,该等帧具有相同的一坐标范围,该坐标范围被定义多个区块。该目标侦测与追踪系统包含一处理器及一记录元件,且二者彼此电性连接。该处理器执行以下步骤:(a)选择该等帧其中之一做为一目前帧,该目前帧的一前一帧具有一前一目标框及至少一前一辅助框,各该至少一前一辅助框个别地与一已生成目标框具有一第一相对位置,该前一目标框位于该等区块其中之一,该前一目标框为该至少一已生成目标框其中之一,各该至少一已生成目标框位于该等区块其中之一;(b)在该目前帧的一目标框追踪区域搜寻以生成一目前目标框,其中该目标框追踪区域由该前一目标框所界定,该目前目标框位于该等区块其中之一;(c)在该目前帧的至少一辅助框追踪区域中的每一个搜寻以个别地生成一目前辅助框,其中各该至少一辅助框追踪区域由该至少一前一辅助框其中之一所界定;(d)当该目前目标框所在的该区块与各该至少一已生成目标框所在的该区块不同时,在该目前帧的中央位置生成一新增辅助框,该目前目标框与该新增辅助框具有一第二相对位置;以及(e)以该目前帧做为该前一帧,以该目前目标框做为该前一目标框,且以该至少一目前辅助框及该新增辅助框做为该至少一前一辅助框,重复步骤(a)-(d)。该记录元件储存该前一目标框、该至少一前一辅助框、该目前目标框、该至少一目前辅助框、该新增辅助框、该至少一第一相对位置及该第二相对位置。
本发明所提供的目标侦测及追踪技术(包含方法及系统)是藉由在各帧中所生成的至少一辅助框及所记录的各该至少一辅助框与相对应的一已生成目标框间的相对位置,且藉由将各该至少一辅助框的尺寸设计为各该帧尺寸的至少一半,优化所选用的追踪算法受限于特定搜寻范围而无法完成追踪的问题。当目标物超出追踪算法的该特定搜寻范围外时,本发明所提供的目标侦测及追踪技术可利用前述的至少一相对位置来取得该目标框的位置。
本发明所提供的目标侦测及追踪技术将一影片所包含的该等帧所具有的一坐标范围定义为多个区块。本发明所提供的目标侦测及追踪技术会根据记录元件中所记载的各区块的辅助框的生成记录决定是否生成一新增辅助框。具体来说,若该目前目标框所在的区块从未被据以生成一辅助框,本发明的技术即会在该帧的一中央位置生成一新增辅助框,并记录该目前目标框、该新增辅助框及两者的相对位置,以作为后续影像追踪过程中遗失该目标框的位置时的参考依据。本发明的目标侦测及追踪技术只有在目前目标框首次生成于各区块时才会生成相应的新增辅助框,因此可减少针对同一区块重复产生辅助框所造成的运算资源浪费。
此外,本发明所提供的目标侦测及追踪技术会以一追踪算法追踪目标框及所有辅助框,计算二个帧中的目标框的相似度值以确保在目前帧中所追踪到的目前目标框的正确性,且计算二个帧中相对应的辅助框间的相似度值以确保在目前帧中所追踪到的辅助框的正确性。本发明所提供的目标侦测及追踪技术会记录正确的辅助框,作为后续的影像追踪过程中遗失该目标框的位置时的参考依据,并解决执行追踪算法时可能遭遇相似对象而无法辨识的问题。因此,本发明提供了能在低效能需求环境下大范围搜寻并辨别出画面中的对象而优化追踪结果的追踪技术。
以下结合图式阐述本发明的详细技术及实施方式,俾使本发明所属技术领域中具有通常知识者能理解所请求保护的发明的技术特征。
附图说明
图1a是描绘第一实施方式的目标侦测与追踪方法的流程图;
图1b是描绘一影片所包含的该等帧的一坐标范围被定义为多个区块的一具体范例;
图1c是描绘该目标侦测与追踪方法如何于帧f0及帧f1追踪目标物t;
图1d是描绘该目标侦测与追踪方法如何于帧f1及帧f2追踪目标物t;
图2a是描绘第二实施方式的部分流程图;
图2b是描绘第二实施方式的部分流程图;以及
图3是描绘第三及第四实施方式的目标侦测及追踪系统300的架构示意图。
符号说明
s101~s105:步骤
b1、b2、b3、b4、b5、b6、b7、b8、b9:区块
f0、f1、f2:帧
t:目标物
tf0、tf1、tf2:目标框
af0、af1、af2、af3、af4:辅助框
a0、a2:目标框追踪区域
a1、a3、a4:辅助框追踪区域
s201~s208:步骤
300:目标侦测与追踪系统
301:处理器
302:记录元件
具体实施方式
以下将透过实施方式来解释本发明所提供的用于影片的目标侦测与追踪方法及系统。然而,该等实施方式并非用以限制本发明需在如该等实施方式所述的任何环境、应用或方式方能实施。因此,关于实施方式的说明仅为阐释本发明的目的,而非用以限制本发明的范围。应理解,在以下实施方式及图式中,与本发明非直接相关的元件已省略而未绘示,且各元件的尺寸以及元件间的尺寸比例仅为例示而已,而非用以限制本发明的范围。
本发明的第一实施方式为一目标侦测与追踪方法,其流程图是描绘于图1a。该目标侦测与追踪方法适用于一电子计算装置(例如:第三实施方式所述的目标侦测与追踪系统300,容后说明)。该目标侦测与追踪方法可针对一影片中的一目标物进行侦测与追踪。于本实施方式中,该影片包含多个帧,该等帧具有一时间顺序,该等帧具有相同的一坐标范围,且该坐标范围被定义为多个区块。请参图1b所示的一具体范例,其是将该坐标范围定义为九个尺寸相同的区块b1、……、b9。为便于理解,后续的说明将参考图1b所示的定义方式,但该定义方式并非用以限制本发明的范围。
请参图1c,其是描绘该目标侦测与追踪方法如何于帧f0及帧f1追踪一目标物t。兹假设帧f0为该目标侦测与追踪方法所欲处理的第一个帧,因此该目标侦测与追踪方法可执行一初始化流程。具体而言,该目标侦测与追踪方法会确定一欲追踪的目标物t(例如:由用户于帧f0上选取目标物t、由一对象侦测技术侦测出符合一特定条件的对象作为目标物t)。在确定所欲追踪的目标物t后,该目标侦测与追踪方法会执行一步骤(未绘示)以产生一个能框住目标物t的目标框tf0。于图1c所绘示的具体范例中,目标框tf0位于区块b8。该目标侦测与追踪方法还会执行一步骤(未绘示)以产生一辅助框af0,其中辅助框af0的尺寸可为帧f0的尺寸的至少一半。此外,该目标侦测与追踪方法还可执行一步骤(未绘示)以记录以下信息:(a)目标框tf0,(b)辅助框af0,(c)辅助框af0及目标框tf0间的相对位置(例如:目标框tf0位于辅助框af0中的哪一个位置),以及(d)辅助框af0是在目标框tf0位于区块b8时所产生。
接着,于步骤s101,该电子计算装置选择该影片的该等帧其中之一做为一目前帧。该目前帧的一前一帧具有一前一目标框及至少一前一辅助框,各该至少一前一辅助框个别地与一已生成目标框具有一相对位置。为便于理解,兹以图1c的具体范例说明,但该具体范例并非用以限制本发明的范围。于该具体范例中,步骤s101是依据该时间顺序选取晚于帧f0的帧f1做为目前帧。举例而言,当帧f1为该影片中第t个帧,帧f0可为该影片中第t-1或t-n个帧,其中参数t及参数n为正整数。于该具体范例中,目前帧为帧f1,前一帧为帧f0,前一目标框为目标框tf0,前一辅助框为辅助框af0,且辅助框af0与一已生成目标框(亦即,目标框tf0)具有一相对位置。
于本实施方式中,步骤s102由该电子计算装置在该目前帧的一目标框追踪区域搜寻以生成一目前目标框。需说明者,该目标框追踪区域由该前一目标框所界定,且该目标框追踪区域的尺寸/坐标介于该目前帧的尺寸/坐标及该前一目标框的尺寸/坐标之间。此外,步骤s102所生成的该目前目标框位于该等区块其中之一。为便于理解,兹以图1c的具体范例接续说明。步骤s102会根据前一目标框tf0决定一目标框追踪区域a0,并在目标框追踪区域a0搜寻到对应至前一目标框tf0的区域做为目前目标框tf1。于图1c的具体范例中,目前目标框tf1位于区块b9。
于步骤s103中,由该电子计算装置在该目前帧的至少一辅助框追踪区域中的每一个搜寻以个别地生成一目前辅助框。需说明者,各该至少一辅助框追踪区域由该至少一前一辅助框其中之一所界定,且各该至少一辅助框追踪区域的尺寸/坐标介于该目前帧的尺寸/坐标及相对应的该前一辅助框的尺寸/坐标之间。为便于理解,兹以图1c的具体范例接续说明。步骤s103会根据前一辅助框为af0决定辅助框追踪区域a1,并在辅助框追踪区域a1搜寻对应至前一辅助框af0的区域做为目前辅助框af1。
于本实施方式中,当该目前目标框所在的该区块与所有已生成目标框所在的区块不同时,执行步骤s104以由该电子计算装置在该目前帧的中央位置生成一新增辅助框,其中该目前目标框与该新增辅助框具有一相对位置。为便于理解,兹以图1c的具体范例接续说明。于该具体范例中,目前目标框tf1所在的区块b9与已生成目标框(亦即,前一目标框tf0)所在的区块b8不同,因此步骤s104在该目前帧f1的中央位置生成一新增辅助框af2,其中新增辅助框af2的尺寸可为帧f1的尺寸的至少一半。此新增辅助框af2与目前目标框tf1间具有一相对位置(例如:目前目标框tf1位于新增辅助框af2中的哪一个位置)。该目标侦测与追踪方法会执行一步骤(未绘示)以记录以下信息:(a)目前目标框tf1、(b)新增辅助框af2、(c)新增辅助框af2与目前目标框tf1间的相对位置以及(d)新增辅助框af2是在目前目标框tf1位于区块b9时所产生。
接着,于步骤s105中,由该电子计算装置判断该影片是否存在下一需要处理的帧。若步骤s105的判断的结果为否,则结束此目标侦测与追踪方法。若步骤s105的判断结果为是,则以该目前帧做为该前一帧,以该目前目标框做为该前一目标框,且以该至少一目前辅助框及该新增辅助框做为该至少一前一辅助框,重复步骤s101至步骤s105。
为便于理解,兹假设步骤s105的判断结果为是,并以图1d所示的一具体范例说明。图1d是描绘该目标侦测与追踪方法如何于帧f1及帧f2追踪目标物t。于该具体范例中,该目标侦测与追踪方法以帧f1做为前一帧,以目标框tf1做为前一目标框,且以目前辅助框af1及新增辅助框af2做为至少一前一辅助框,重复步骤s101至步骤s105。
于该具体范例中,步骤s101是依据该时间顺序选取晚于帧f1的帧f2做为目前帧。接着,于步骤s102,该电子计算装置在目前帧f2的一目标框追踪区域a2搜寻以生成一目前目标框tf2,其中目前目标框tf2位于区块b6。于步骤s103,该电子计算装置根据前一辅助框af1、af2分别地界定辅助框追踪区域a3、a4,且于辅助框追踪区域a3、a4分别地搜寻以生成目前辅助框af3、af4。
再来,由于目前目标框tf2所在的区块b6与已生成目标框tf0、tf1所在的区块b8、b9不同,因此步骤s104在目前帧f2的中央位置生成一新增辅助框af5,其中新增辅助框af5的尺寸可为帧f2的尺寸的至少一半。此新增辅助框af5与目前目标框tf2间具有一相对位置(例如:目前目标框tf2位于新增辅助框af5中的哪一个位置)。该目标侦测与追踪方法会执行一步骤(未绘示)以记录以下信息:(a)目前目标框tf2、(b)新增辅助框af5、(c)新增辅助框af5与目前目标框tf2间的相对位置以及(d)新增辅助框af5是在目前目标框tf1位于区块b9时所产生。
之后,步骤s105再次判断该影片是否存在下一需要处理的帧。该目标侦测与追踪方法可重复前述步骤s101至步骤s105,直至该影片不再具有需要处理的帧。
需说明者,于本实施方式中,步骤s102及步骤s103是采用一追踪算法进行搜寻,且可由该追踪算法决定目标框追踪区域及各辅助框追踪区域。该追踪算法可为一核化相关滤波器(kernelizedcorrelationfilter;kcf)、一连续自适应均值飘移法(continuousadaptivemeanshift)、一卡尔曼滤波法(kalmanfilter)、一粒子滤波法(particlefilter)、一staple算法(请参2016年ieee计算机视觉及图像识别会议(conferenceoncomputervisionandpatternrecognition)的「staple:complementarylearnersforreal-timetracking」一文)、一区别相关滤波器(discriminativecorrelationfilter;dcf)或一光流(opticalflow)算法,但不以此为限。
如前所述,于本实施方式中,步骤s103所生成的各辅助框的尺寸可为各帧的尺寸的至少一半。举例而言,辅助框af0的尺寸可为帧f0的尺寸的至少一半,辅助框af2的尺寸为帧f1的尺寸的至少一半,且辅助框af5的尺寸为帧f2的尺寸的至少一半。透过辅助框的生成及追踪,可补强所选用的该追踪算法在搜寻目标框时所受到的范围限制,增加可追踪范围的广度。
此外,于本实施方式中,步骤s104是否针对目前帧生成一新增辅助框(例如:是否针对帧f1、f2分别生成新增辅助框af2、af5)是取决于目前目标框所在的区块是否曾被据以生成一辅助框。当目前目标框所在的区块与所有已生成目标框所在的区块不同时,代表目前目标框所在的区块未曾被据以生成一新增辅助框,因此步骤s104会生成一新增辅助框。当目前目标框所在的区块与任一已生成目标框所在的区块相同时,代表目前目标框所在的区块曾被据以生成一新增辅助框,因此步骤s104不会再生成一新增辅助框。具体而言,当目前帧为帧f1时,目前目标框tf1所在的区块b9与所有已生成目标框所在的区块(亦即,目标框tf0所在的区块b8)不同,代表过去只有区块b8被据以生成一辅助框(亦即,辅助框af0),因而步骤s104会生成新增辅助框af2。同理,当目前帧为帧f2时,目前目标框tf2所在的区块b6与所有已生成目标框所在的区块(亦即,目标框tf0所在的区块b8及目标框tf1所在的区块b9)不同,因而于步骤s104会生成新增辅助框af5。依据前述说明,若区块b1-b9于任一已处理过的帧中曾出现目标框,表示已有相应的辅助框的生成记录,故不再生成新增辅助框。换句话说,新增辅助框的生成,只会在某一区块首次出现一目标框时发生。
另需说明者为一目标框所在的区块的决定方式。当一目标框横跨不同区块时,是以该目标框所涵盖面积最大的区块做为该目标框所在的该区块。举例来说,目标框tf0横跨区块b8及区块b9,且目标框tf0涵盖区块b8的面积大于涵盖区块b9的面积,因此目标框tf0会被视为位于区块b8。同理,目标框tf2横跨区块b6及区块b9,且目标框tf2涵盖区块b6的面积大于涵盖区块b9的面积,因此目标框tf2会被视为位于区块b6。
综上所述,本实施方式的目标侦测与追踪方法会针对目标框所在的区块生成辅助框,并记录目标框与辅助框间的相对位置。本实施方式的目标侦测与追踪方法不仅追踪目标框,还会追踪辅助框,因而在追踪过程中能够提供更多有关目标框的消息(包含目标框与辅助框间的相对位置),并能透过这些目标框的消息,增加各帧上所能追踪到的目标框的搜寻范围。
本发明的第二实施方式为另一目标侦测与追踪方法,其部分流程图是描绘于图2a。该目标侦测与追踪方法适用于一电子计算装置。该目标侦测与追踪方法可针对一影片中的一目标物进行侦测与追踪。第二实施方式亦能执行第一实施方式中所述的步骤,具有同样的功能,且达成同样的效果。以下将仅针对第二实施方式与第一实施方式相异之处详述。
在本实施方式中,目标侦测与追踪方法亦先执行步骤s101至步骤s103。之后,执行再进一步地计算两帧间的目标框间的相似度值及辅助框间的相似度值,用以确保所追踪的目标框及该等辅助框的正确性。
兹以于帧f0及帧f1追踪目标物t为例,说明本实施方式与第一实施方式相异之处。具体来说,步骤s201由该电子计算装置计算前一目标框tf0及目前目标框tf1的一第一相似度值。于步骤s202,由该电子计算装置判断该第一相似度值是否大于一第一门槛值。若步骤s202的判断结果为是,则可执行步骤s203,由该电子计算装置计算各该目前辅助框与相对应的该前一辅助框间的一第二相似度值(亦即,计算目前辅助框af1及相对应的前一辅助框af0间的一第二相似度值),其目的在于确保在目前帧f1所追踪的目前辅助框af1的正确性。接着,于步骤s204,对任一目前辅助框,当其第二相似度值大于一第二门槛值时,由该电子计算装置记录该目前辅助框为一正确辅助框。另外,于步骤s205,对任一目前辅助框,当其第二相似度值不大于该第二门槛值时,由该电子计算装置记录该目前辅助框为一错误辅助框。于步骤s205后,即可执行步骤s104。需说明者,本发明并未限制步骤s204及步骤s205的执行顺序。此外,于某些实施方式中,若执行完步骤s202的判断结果为是,则会直接执行步骤s104。
若步骤s202的判断结果为否,则会执行步骤s206,由该电子计算装置删除该目前目标框。之后,于步骤s207,由该电子计算装置判断是否存在一正确辅助框。若步骤s207的判断结果为是,则执行步骤s208,由该电子计算装置根据一正确辅助框及该正确辅助框所对应的一相对位置产生一新目标框,再执行步骤s104。若步骤s207的判断结果为否,则后续的流程如图2b所示。具体而言,于步骤s105,由该电子计算装置判断该影片是否存在下一需要处理的帧。若步骤s105的判断的结果为否,则结束此目标侦测与追踪方法。若步骤s105的判断结果为是,则会执行步骤s101,由该电子计算装置确认一目前帧(亦即,从该等帧选取下一需要处理的帧做为目前帧)。由于该目前帧的前一帧无该目前目标框及该正确辅助框,故接着执行步骤s103,由该电子计算装置在该目前帧的至少一辅助框追踪区域中的每一个搜寻以个别地生成一目前辅助框。接着,该电子计算装置对该目前帧执行步骤s203至步骤s205。当步骤s204中取得该目前帧的一正确辅助框时,执行步骤s208,由该电子计算装置根据该正确辅助框及该正确辅助框所对应的一相对位置产生一新目标框。之后,执行步骤s104。
兹以于帧f1及帧f2追踪目标物t为例,说明本实施方式与第一实施方式相异之处。同样地,步骤s201计算前一目标框tf1及目前目标框tf2间的一第一相似度值。若步骤s202判断第一相似度值不大于该第一门槛值时,表示在目前帧f2中所追踪到的目前目标框tf2为错误的。接着,于步骤s206删除目前目标框tf2。接着,若步骤s207判断存在一正确辅助框(例如:辅助框af1),则会执行步骤s208以根据正确辅助框及该正确辅助框所对应的一相对位置产生一新目标框,之后执行步骤s104。
若步骤s202判断第一相似度值大于该第一门槛值时,表示在目前帧f2中所追踪到的目前目标框tf2为正确的。接着,执行步骤s203以计算各该目前辅助框与相对应的前一辅助框间的一第二相似度值(亦即,计算目前辅助框af3及相对应的前一辅助框af1间的一第二相似度值,且计算目前辅助框af4及相对应的前一辅助框af2间的一第二相似度值),其目的在于确保对在目前帧f1中所追踪到的目前辅助框af3、af4的正确性。针对任一目前辅助框,当其第二相似度值大于该第二门槛值时,记录该目前辅助框为一正确辅助框。此外,针对任一目前辅助框,当其第二相似度值不大于该第二门槛值时,记录该目前辅助框为一错误辅助框。
需要说明者,本实施方式中,步骤s201及步骤s204可采用一正规化交互相关直方图(normalizedcross-correlationofhistogram)或一主成分分析法(principalcomponentanalysis)来决定该等相似度值,但不以此为限。另外,前述第一门槛值及第二门槛值可根据所欲追踪的目标物及所选用的该追踪算法而决定。举例而言,该等门槛值可由使用者预先设定,当所欲追踪的目标物的图样复杂或所选用的追踪算法的分辨率及追踪能力低时,可透过提高该等门槛值来提高追踪的质量。举例来说,当选用核化相关滤波器做为追踪算法来追踪一影片中的多个目标物(例如:一目标物为纸箱上的卷标,另一目标物为机箱扁平电缆)时,若影片的不同帧的画面复杂度不同(例如:目前帧的画面复杂度高于前一帧的画面复杂度),则以相同门槛值处理所有帧时,目前帧的追踪结果的准确度必然低于前一帧的追踪结果的准确率。因此,使用者可藉由调整该等门槛值来提升本发明的追踪正确性。
由第二实施方式的说明可知,本发明除了藉由追踪辅助框而在追踪过程中提供更多有关目标框的消息且解决所选用的追踪算法的追踪范围有限的问题外,还藉由相似度值的比对提升追踪算法在追踪目标物时所能达成的准确度。
在第一及第二实施方式中所阐述的目标侦测与追踪方法各可由包含多个指令的一计算机程序产品实现。各计算机程序产品可为能被于网络上传输的档案,亦可被储存于一非瞬时计算机可读取储存媒体中。针对各计算机程序产品,在其所包含的该等指令被加载一电子计算装置(例如:第三实施方式的目标侦测与追踪系统300)之后,该计算机程序执行如在第一及第二实施方式中所述的目标侦测与追踪方法。该非瞬时计算机可读取储存媒体可为一电子产品,例如:一只读存储器(readonlymemory;rom)、一闪存、一软盘、一硬盘、一光盘(compactdisk;cd)、一随身碟、一磁带、一可由网络存取的记录元件或本发明所属技术领域中具有通常知识者所知且具有相同功能的任何其他储存媒体。
本发明的第三实施方式为一目标侦测与追踪系统300,其架构示意图是描绘于图3。目标侦测与追踪系统300包含处理器301及记录元件302,其中处理器301电性连接至记录元件302。记录元件302储存处理器301所生成的各种数据,包含各目标框(例如:各目标框的坐标)、各辅助框(例如:各辅助框的坐标)、各个相对位置等等。处理器301可为各种处理器、中央处理单元(centralprocessingunit;cpu)、微处理器、控制元件、其他可执行指令的硬件元件或本发明所属技术领域中具有通常知识者所知的其他计算装置中的任一者。记录元件302可为一存储器、一通用串行总线(universalserialbus;usb)碟、一硬盘、一光盘(compactdisk;cd)、一随身碟或本发明所属技术领域中具有通常知识者所知且具有相同功能的任何其他储存媒体或电路。
目标侦测与追踪系统300可针对一影片中的一目标物进行侦测与追踪。于本实施方式中,该影片包含多个帧,该等帧具有一时间顺序,该等帧具有相同的一坐标范围,且该坐标范围被定义为多个区块。具体而言,目标侦测与追踪系统300的处理器301执行以下步骤(a)至步骤(e)。首先,步骤(a):选择该等帧其中之一做为一目前帧,其中该目前帧的一前一帧具有一前一目标框及至少一前一辅助框,各该至少一前一辅助框个别地与一已生成目标框具有一第一相对位置,该前一目标框位于该等个区块其中之一,且各该至少一已生成目标框位于该等区块其中之一。
步骤(b):在该目前帧的一目标框追踪区域搜寻以生成一目前目标框,其中该目标框追踪区域由该前一目标框所界定,且该目前目标框位于该等区块其中之一。
步骤(c):在该目前帧的至少一辅助框追踪区域中的每一个搜寻以个别地生成一目前辅助框,其中各该至少一辅助框追踪区域由该至少一前一辅助框其中之一所界定。
步骤(d):当该目前目标框所在的该区块与各该至少一已生成目标框所在的该区块不同时,在该目前帧的中央位置生成一新增辅助框,其中该目前目标框与该新增辅助框具有一第二相对位置。
步骤(e):以该目前帧做为该前一帧,以该目前目标框做为该前一目标框,且以该至少一目前辅助框及该新增辅助框做为该至少一前一辅助框,重复步骤(a)至步骤(d),或是重复步骤(a)至步骤(e)直至处理完该影片中的所有帧。
记录元件302会储存该前一目标框、该至少一前一辅助框、该目前目标框、该至少一目前辅助框、该新增辅助框、该至少一第一相对位置及该第二相对位置。具体而言,前述各种框的数据可为框坐标、框尺寸或框内的影像数据等等。
除了上述步骤,第三实施方式亦能执行第一实施方式所描述的所有运作及步骤,具有同样的功能,且达到同样的技术效果。本发明所属技术领域中具有通常知识者可直接了解第三实施方式如何基于上述第一实施方式以执行此等运作及步骤,具有同样的功能,并达到同样的技术效果,故不赘述。
请继续参照图3,其亦为本发明的第四实施方式的目标侦测与追踪系统的方块图。于本实施方式中,目标侦测与追踪系统300亦能执行第三实施方式中所述的步骤,具有同样的功能,且达成同样的效果,于此不再赘述。以下说明将着重于本实施方式与第三实施方式相异之处。
于第四实施方式中,处理器301在执行步骤(c)后,还计算该前一目标框及该目前目标框的一第一相似度值,且判断该第一相似度值大于一第一门槛值。若该第一相似度值大于该第一门槛值,处理器301才会执行步骤(d),且会针对各该至少一目前辅助框执行以下步骤:(i)计算该目前辅助框与相对应的该前一辅助框间的一第二相似度值,(ii)当该第二相似度值大于一第二门槛值时,于记录元件302记录该目前辅助框为一正确辅助框,以及(iii)当该第二相似度值不大于该第二门槛值时,于记录元件302记录该目前辅助框为一错误辅助框。
另一方面,若处理器301判断该第一相似度值不大于该第一门槛值,则会删除该目前目标框。另外,处理器301会确认记录元件302是否记录了正确辅助框。若记录元件302存在一正确辅助框,处理器301会根据该正确辅助框及该正确辅助框所对应的一相对位置产生一新目标框,之后再执行步骤(d)。若记录元件302不存在一正确辅助框,处理器301则直接执行步骤(e)。
除了上述步骤,第四实施方式亦能执行第二实施方式所描述的所有运作及步骤,具有同样的功能,且达到同样的技术效果。本发明所属技术领域中具有通常知识者可直接了解第四实施方式如何基于上述第二实施方式以执行此等运作及步骤,具有同样的功能,并达到同样的技术效果,故不赘述。
需说明者,于本发明专利说明书中,所有冠以「第一」或「第二」的名词中的「第一」或「第二」仅用来表示该等名词为不同名词。举例来说,于本发明专利说明书中,第一相似度值及第二相似度值中的「第一」及「第二」仅用来表示该等相似度值为不同相似度值。此外,所有冠以「前一」、「目前」或「新增」的名词中的「前一」、「目前」或「新增」仅用来表示该等名词为不同名词。举例来说,于本发明专利说明书中,前一辅助框、目前辅助框及新增辅助框中的「前一」、「目前」及「新增」仅用来表示该等辅助框为不同辅助框。
综上所述,本发明所提供的目标侦测及追踪技术(包含方法及系统)是藉由在各帧中所生成的至少一辅助框及所记录的各该至少一辅助框与相对应的一已生成目标框间的相对位置,且藉由将各该至少一辅助框的尺寸设计为各该帧尺寸的至少一半,优化所选用的追踪算法受限于特定搜寻范围而无法准确地追踪的问题。当目标物超出追踪算法的该特定搜寻范围外时,本发明所提供的目标侦测及追踪技术可利用前述的至少一相对位置来取得该目标框的位置。
本发明所提供的目标侦测及追踪技术将一影片所包含的该等帧所具有的一坐标范围定义为多个区块。本发明所提供的目标侦测及追踪技术会根据记录元件中所记载的各区块的辅助框的生成记录决定是否生成一新增辅助框。具体来说,若目前目标框所在的区块从未被据以生成一辅助框,本发明的技术即会在该帧的一中央位置生成一新增辅助框,并记录该目前目标框、该新增辅助框及两者的相对位置,以作为后续影像追踪过程中遗失该目标框的位置时的参考依据。本发明的目标侦测及追踪技术只有在目前目标框首次生成于各区块时才会生成相应的新增辅助框,因此可减少针对同一区块重复产生辅助框所造成的运算资源浪费。
此外,本发明所提供的目标侦测及追踪技术会以一追踪算法追踪目标框及所有辅助框,计算二个帧中的目标框的相似度值以确保在目前帧中所追踪到的目前目标框的正确性,且计算二个帧中相对应的辅助框间的相似度值以确保在目前帧中所追踪到的辅助框的正确性。本发明所提供的目标侦测及追踪技术会记录正确的辅助框,作为后续的影像追踪过程中遗失该目标框的位置时的参考依据,并解决执行追踪算法时可能遭遇相似对象而无法辨识的问题。因此,本发明提供了能在低效能需求环境下大范围搜寻并辨别出画面中的对象而优化追踪结果的追踪技术。
上述实施方式仅用来例举本发明的部分实施态样,以及阐释本发明的技术特征,而非用来限制本发明的保护范畴及范围。本领域的技术人员可轻易完成的改变或均等性的安排均属于本发明所主张的范围,而本发明的权利保护范围以权利要求书为准。