对象检测装置、对象检测方法及计算机可读介质与流程

本公开涉及一种对象检测装置、对象检测方法及计算机可读介质，尤其涉及一种应用类别信心度以检测对象的对象追踪装置、对象检测方法及计算机可读介质。

背景技术：

目前应用于电子设备的对象追踪方法通常是利用预测下一个影像中目标对象的位置，并将目标对象用包围盒(boundingbox)标记起来，其中包围盒是指将目标对象完全包容起来的一个封闭空间。举例而言，将影像中的目标对象进行分类，例如分类为车辆，以长方形作为包围盒框将影像中的车辆框起来。

目前，如何在保证检测辨识正确率的条件下，提供一种有效率的对象分类方法，已成为本领域待解决的问题之一。

技术实现要素：

有鉴于此，本公开提供了一种对象检测装置、对象检测方法及计算机可读介质。

本公开的一个方面提供了一种对象检测装置。该对象检测装置包含分类器及储存装置。分类器用以产生当前彩色影像及当前灰阶影像，将当前彩色影像代入类神经网络算法，以产生初始特征图，依据当前灰阶影像的灰阶影像维度以调整初始特征图的当前维度，以产生调整特征图，叠合调整特征图及当前灰阶影像，以计算类别信心度，判断类别信心度是否大于信心阈值，若类别信心度大于该信心阈值，则输出当前分类结果。储存装置耦接于该分类器，用以储存当前分类结果。

本公开的另一个方面提供了一种对象检测方法。该对象检测方法包含以下步骤。通过分类器产生当前彩色影像及当前灰阶影像。通过分类器将当前彩色影像代入类神经网络算法，以产生初始特征图。通过分类器依据当前灰阶影像的灰阶影像维度以调整初始特征图的当前维度，以产生调整特征图。通过分类器叠合调整特征图及当前灰阶影像，以计算类别信心度。通过分类器判断类别信心度是否大于信心阈值，若类别信心度大于信心阈值，则输出当前分类结果。通过储存装置储存当前分类结果。

本公开的另一个方面提供了一种计算机可读介质。计算机可读介质具有多个程序指令以执行对象检测方法。该对象检测方法包括以下步骤。通过分类器产生当前彩色影像及当前灰阶影像。通过分类器将当前彩色影像代入类神经网络算法，以产生初始特征图。通过分类器依据当前灰阶影像的灰阶影像维度调整初始特征图的当前维度，以产生调整特征图。通过分类器叠合调整特征图及当前灰阶影像，以计算类别信心度。通过分类器判断类别信心度是否大于信心阈值，若类别信心度大于信心阈值，则输出当前分类结果。通过储存装置以储存当前分类结果。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1a示意性示出了根据本公开实施例的一种对象检测装置的方块图；

图1b示意性示出了根据本公开实施例的一种对象检测方法的流程图；

图2示意性示出了根据本公开实施例的一种当前影像特征图的示意图；

图3示意性示出了根据本公开实施例的一种包围盒的示意图；

图4a示意性示出了根据本公开实施例的一种类别信心度的训练的流程图；

图4b示意性示出了根据本公开实施例的一种类别信心度的测试及验证的流程图；以及

图5a～5b示意性示出了根据本公开实施例的一种对象检测方法的实验数据图。

【附图标记说明】

100：对象检测方法；10：对象检测装置；

20：分类器；30：检测模块；

40：储存装置；110～180、401～407、411～416：步骤；

img：当前彩色影像；p1、p2：特征点；

b1、b2：包围盒；pa、pb：测量点。

具体实施方式

下文举实施例配合附图对本公开作详细说明，但是应该理解，所提供的实施例并非用以限制本公开所涵盖的范围，而结构操作的描述并非用以限制其执行的顺序，任何由组件重新组合的结构，所产生具有均等功效的装置，均为本本公开所涵盖的范围。此外，附图仅以说明为目的，并未依照原尺寸作图。为便于理解，下述说明中相同组件将以相同的符号标示来说明。

请参阅图1a～1b，图1a示意性示出了根据本公开实施例的一种对象检测装置10的方块图。图1b示意性示出了根据本公开实施例的一种对象检测方法100的流程图。在本公开实施例中，对象检测方法100可由对象检测装置10实现，对象检测装置10包含分类器20、检测模块30及储存装置40，分类器20耦接于检测模块30，分类器20及检测模块30各自电性耦接于储存装置40，其中，分类器20及检测模块30可以分别或一并被实施为图形处理器(graphicsprocessingunit，gpu)、微控制单元(microcontroller)、微处理器(microprocessor)、数字信号处理器(digitalsignalprocessor)、特殊应用集成电路(applicationspecificintegratedcircuit，asic)或逻辑电路。储存装置40例如可包括只读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库或本领域技术人员可轻易想到及具有相同功能的储存介质。在本公开实施例中，对象检测方法100可以由具有多个程序指令的计算机可读介质执行。

在本公开一实施例中，分类器20用以接收当前彩色影像及当前灰阶影像，将当前彩色影像代入类神经网络算法，以产生初始特征图，依据当前灰阶影像的灰阶影像维度以调整初始特征图的当前维度，以产生调整特征图，叠合调整特征图及当前灰阶影像，以计算类别信心度，判断类别信心度是否大于信心阈值，若类别信心度大于该信心阈值，则输出当前分类结果，储存装置40用以储存当前分类结果。

图2示意性示出了根据本公开实施例的一种当前影像特征图的示意图。举例而言，在图2中，当前彩色影像img中包括第一对象及第二对象，第一对象例如为车辆，第二对象例如为行人。请参阅图1b和图2。在进行对象检测方法100之前，分类器20先接收影片档，此影片档的内容例如为一辆正在行进中的车辆(第一对象)及一个正在行走的行人(第二对象)。分类器20依据影片档中的第一张影像中检测的对象(如汽车及行人)及其各自的位置产生前一彩色影像、前一灰阶影像，并依据前一彩色影像及前一灰阶影像产生前一叠合影像及前一分类结果。其中，前一彩色影像为红绿蓝(red，green，blue，rgb)影像。以下详述对象检测方法100的各步骤。

在步骤110中，分类器20产生当前彩色影像及当前灰阶影像。

在本公开一实施例中，分类器20基于影片文件的第二张影像中的一辆汽车作为检测的对象，依据此汽车的位置产生当前彩色影像及当前灰阶影像。

依据影像产生彩色影像及灰阶影像的技术可以利用图像处理技术实现，例如影像转换算法或影像转换函数。

在本公开一实施例中，分类器20还用以接收第一张影像所产生的前一分类结果，依据前一分类结果(第一张影像所产生)、第二张影像和/或前一对象位置信心度，产生当前彩色影像及当前灰阶影像。在本公开一实施例中，前一分类结果包含第一张影像中的对象类别信心度、对象大小和/或对象位置。在步骤115中，分类器20将当前彩色影像代入类神经网络算法，以产生初始特征图。

类神经网络算法可应用已知的算法实现，故此处不再赘述。在本公开一实施例中，初始特征图可包括第一对象和/或第二对象的水平和/或垂直边界。

接下来，执行步骤120，在本公开一实施例中，步骤120为介接分支网络，步骤120例如包括步骤122～124。在步骤122中，分类器20依据当前灰阶影像的灰阶影像维度以调整初始特征图的当前维度，以产生调整特征图。

在本公开一实施例中，分类器20将初始特征图的当前维度(例如为8*8像素)调整为与灰阶影像维度相同(例如为16*16像素)，以产生调整特征图(例如为16*16像素)。

在步骤123中，分类器20叠合调整特征图及当前灰阶影像，以计算类别信心度。

在本公开一实施例中，分类器20叠合调整特征图及当前灰阶影像，以产生叠合影像，并将叠合影像中所包含的多个像素值代入信心度函数，以产生类别信心度。信心度函数可以采用例如softmax函数。

在步骤124中，分类器20判断类别信心度是否大于信心阈值。

其中，类别信心度例如是一个大于或等于0的数值，在本公开一实施例中，类别信心度是0～1的机率值，例如，类别信心度为0时，机率为0，类别信心度为1时，机率为100％，如果类别信心度大于信心阈值，则在步骤125中分类器20会输出类别信心度，成为对象类别信心度。

在本公开一实施例中，信心阈值可以由使用者预先设定，例如设为0.8或0.9。

在步骤125中，分类器20输出一当前分类结果。此时，分类器20将类别信心度指定为当前分类结果。在本公开一实施例中，当前分类结果包含当前彩色影像(例如为第二张影像的当前彩色影像)中的对象类别信心度、对象大小和/或对象位置。

在本公开一实施例中，若信心阈值为0.9，当类别信心度为0.95时，则分类器20会在步骤124中判断类别信心度大于信心阈值，此代表分类器20对于当前分类结果(例如当前分类结果是将包含特征点p1的一区块分类为车辆)的信心度很高，因此无须经过后续步骤，在步骤125中输出当前分类结果。

因此，通过提早输出当前分类结果，可更有效率地完成对于单一对象(例如为车辆)的分类及检测。

反之，若分类器20在步骤124中判断类别信心度不大于信心阈值，则进入步骤130。

在步骤130中，分类器20将初始特征图及当前灰阶影像代入类神经网络算法。

在本公开一实施例中，步骤130的输入为步骤115所输出的初始特征图及步骤110所输入的当前灰阶影像。步骤130将初始特征图初始特征图及当前灰阶影像代入类神经网络算法后，输出另一初始特征图(用以代入步骤140)及当前灰阶影像。

在本公开一实施例中，分类器20会传送存取命令至储存装置40中，从而由储存装置40读取出当前彩色影像，并将初始特征图及当前灰阶影像代入类神经网络算法。

在步骤140中，分类器20执行介接分支网络。

在本公开一实施例中，步骤140所指的介接分支网络所执行的步骤与步骤120相同或相似，换言之，在步骤140中，分类器20再次执行步骤122～124，以多判断一些影像，尝试产生较高的类别信心度。当步骤140中判断类别信心度大于信心阈值时，进入步骤150。在本公开一实施例中，可以依实际情况补入多个介接分支网络，例如若是在步骤140中，类别信心度仍未大于信心阈值，则再次执行类似于步骤130的将初始特征图及当前灰阶影像代入类神经网络算法，并且执行类似于步骤140的介接分支网络。

在步骤150中，分类器20输出当前分类结果。

在步骤160中，检测模块30依据当前分类结果进行对象追踪计算，也即采用对象追踪算法进行计算，并产生预测对象位置信心度。

在本公开一实施例中，预测对象位置指的是中心位置，对象位置信心度代表对象中心位置的机率。若对象是平滑运动，根据对象动作路径分析的结果，预测出的权重值越高，表示为对象中心点出现在该点的机率越大，而对象边缘的机率就相对较低，通过将输入的特征图fm，其中，符号m为类别，经由映像函数p1的转换，以产生的位置检测信心图c1，且c1＝p1*fm；其中p1如下式所示：

上述公式是通过检测分析当前影像中对象的动作路径，预测下一影像中的对象位置(x，y)，以调整机率分布的平移参数μx、μy，并依据检测器分类的信心指数调整机率分布δ的比例因子。

在本公开一实施例中，由于在步骤150和/或步骤125中已得到当前分类结果，当前分类结果中包含对象类别信心度、对象位置和/或对象大小，因此在步骤160中，检测模块30可将对象类别信心度、对象位置和/或对象大小等信息代入对象追踪算法，以通过计算产生预测对象位置信心度。

在本公开一实施例中，步骤150输出的对象大小、对象位置、对象类别信心度可视为当前的检测结果。

此外，在本公开一实施例中，例如图2所示，在步骤160中，检测模块30将当前彩色影像img代入对象追踪算法后，输出特征点p1及特征点p2，其中特征点p1为第一对象(例如车辆)的中心点，特征点p2为第二对象(例如行人)的中心点。

在步骤170中，检测模块30依据预测对象位置信心度分析出预测对象的大小及预测对象的位置，并依据预测对象的大小及位置产生下一影像(第三张影像)的包围盒(boundingbox)。

请参阅图1b、图2及图3，图3示意性示出了根据本公开实施例的一种包围盒的示意图。如图3所示，在当前彩色影像img中，检测模块30依据第一对象(例如车辆)的预测对象位置信心度分析出车辆的大小及位置，产生包围盒b1。在本公开一实施例中，检测模块30依据第二对象(例如行人)的预测对象位置信心度分析出行人的大小及位置，产生包围盒b2。

在步骤180中，检测模块30根据预测对象的大小、预测对象的位置与预测对象类别信心度产生预测对象类别信心图，并将预测对象类别信心度及当前分类结果代入步骤110。

在本公开一实施例中，可以通过包围盒(例如为包围盒b1)作为范围选取。例如，原始影像为1280x720，包围盒b1的中心位置的坐标为(400，600)、包围盒b1的大小(300，300)，即可选取坐标范围为(400-300/2，600-300/2)～(400+300/2，600+300/2)，也即范围为(250～550，450～750)内的彩色影像及灰阶影像代入下一影像(例如第三张影像)以执行步骤110。

在本公开一实施例中，预测对象类别信心图可以使用灰阶表示，例如若是预测对象类别信心度较高，则预测对象类别信心图较亮，若是预测对象类别信心度较低，则预测对象类别信心图较暗。

在本公开一实施例中，预测对象类别信心图是下一影像(例如第三张影像)的对象类别信心图(如同第三张影像大小的整张图)，例如第三张影像的每一个像素各有一个机率值，在本公开一实施例中，可将这些机率值以图表示，成为预测对象类别信心图。在本公开一实施例中，预测的包围盒(例如为包围盒b1)是预测下一影像(例如第三张影像)中的包围盒(例如，只有包含第一对象的小张图)，而执行完步骤180后，可回到步骤110，以根据预测对象类别信心图及预测的包围盒产生下一影像(例如第三张影像)的下一彩色影像及下一灰阶影像。

在本公开一实施例中，灰阶影像可以通过算法(例如为2dhann窗型函数)将前一影像的对象类别信心度，映像至预测对象的包围盒范围内。

在本公开一实施例中，在步骤180中，检测模块30对下一影像中的每个点(每个像素)计算预测对象类别信心度，产生预测对象类别信心图。在本公开一实施例中，在分析下一张影像时，可以使用预测对象类别信心图产生下一张影像的下一灰阶影像；在本公开一实施例中，在分析下一张影像时，可以使用预测对象类别信心图作为下一张影像的下一灰阶影像。检测模块30将分类的当前对象类别信心度dm，m为类别，通过映像函数p2的转换产生对象分类的信心图c2＝p2*dm，映像函数p2如下式所示，是通过计算出的包围盒(例如为包围盒b1)所预测出的对象大小w及h调整机率分布的比例，以及判断位置(x，y)是否在计算出的包围盒的范围内，如果不在范围内，则设置旗标iobj为零，使类别机率归零，反之则直接输出类别机率。

其中，旗标iobj为该对象的布尔值旗标，在本公开一实施例中，旗标iobj的值可以是1或0，例如旗标iobj为1时，表示预测的包围盒范围内存在对象，旗标iobj为0时，表示预测的包围盒范围内不存在对象。

通过依据步骤150产生的当前对象类别信心度dm及预测的下一张包围盒以得知下一张彩色影像与灰阶影像中的对象区域及对象类别信心度。在本公开一实施例中，检测模块30依据预测对象的位置及大小，以针对下一影像(例如为第三张影像)的位置计算预测对象类别信心度。

在本公开一实施例中，检测模块30依据当前的预测对象(例如为第二张影像)的位置及大小，以产生此对象在下一影像(例如为第三张影像)中所出现的预测位置，以针对此下一影像(例如为第三张影像)的预测位置计算预测对象类别信心度。

在本公开一实施例中，步骤160～180所预测的是下一张影像中的对象大小、对象位置、包围盒、对象位置信心度及对象类别信心图。

在本公开一实施例中，检测模块30将预测对象类别信心度输出至储存装置40。

在本公开一实施例中，在分析下一张影像时，分类器20将当前分类结果(例如为第二张影像的当前分类结果)、下一彩色影像(例如从储存装置读取出的第三张彩色影像)及下一灰阶影像(例如为依据第二张影像所产生的第三张灰阶影像)代入类神经网络算法。

请参阅图4a，图4a示意性示出了根据本公开实施例的一种类别信心度的训练的流程图。

在步骤401中，分类器20定义或设计类神经网络的主网络训练。其中，图4a中所示的主网络训练例如是图1b的步骤115和/或步骤130。

在步骤402中，分类器20加载大量训练数据集对主网络进行预训练；在本公开一实施例中，此方式可使训练准确度提高。在本公开一实施例中，若在网络上直接加载预训练好的网络模型参数，可直接跳至步骤404。

在步骤403中，分类器20产生类神经网络主网络模型参数。在本公开一实施例中，分类器20应用已知的深度卷积神经网络(deepconvolutionalneuralnetwork，dcnn)以产生主网络模型参数。

在步骤404中，分类器20建立实际场景的少量训练数据集，并使用此数据集对主网络进行微调训练，在本公开一实施例中，此步骤可提高网络对实际场景的适应性及辨识率。

在步骤405中，分类器20更新主网络模型参数。

在步骤406中，分类器20通过前一影像返回的预测对象类别信心度作为特征及由实际场景建立的少量数据集，以训练一或多个介接分支网络，并判断是否所有介接分支网络均完成训练，若是，则进入步骤408，若否，则进入步骤407。在本公开一实施例中，介接分支网络可以利用图1b的步骤120实现。

在步骤407中，分类器20基于当前影像的影像尺寸及当前影像的对象分类信心指数，产生下一影像的预测对象类别信心度。

在步骤408中，分类器20更新一或多个介接分支网络的模型参数。

通过上述步骤，以完成建立类别信心度的模型的训练。

如图4b所示，图4b示意性示出了根据本公开实施例的一种类别信心度的测试及验证的流程图。测试及验证阶段的实施步骤如下。

在步骤411中，分类器20取得当前影像。

在步骤412中，分类器20基于当前影像中的对象大小及位置，产生对象的当前彩色影像及当前灰阶影像。

在步骤413中，分类器20加载训练阶段产生的网络模型，检测模块30对输入的对象的当前彩色影像及当前灰阶影像进行检测分类。在本公开一实施例中，步骤413可以使用图1b的步骤120、125、130、140、150实现。

在步骤414中，检测模块30基于当前分类结果，进行对象追踪产生下一影像的预测对象大小及位置。

在步骤415中，检测模块30基于预测的下一影像的对象大小及下一影像的位置产生预测的对象类别信心度，并返回预测的下一影像的对象大小、下一影像的位置及下一影像的预测对象类别信心度。

在步骤416中，检测模块30输出下一影像的检测结果，下一影像的检测结果包括下一影像的对象大小、位置及类别。

通过上述步骤，以完成类别信心度的测试及验证。

请参阅图5a～5b，图5a～5b示意性示出了根据本公开实施例的一种对象检测方法的实验数据图。

图5a所示的是采用本公开对象检测方法的实验数据图，图5b所示的是采用传统的管线卷积神经网络(tubeconvolutionalneuralnetwork，t-cnn)的实验数据图。此实验的参数设定为：每次训练的影像张数为32张，主网络的训练次数为3000，介接网络的训练次数为2000，门坎值设定为0.5或1。由图5a中的测量点pa可看出，在运行时间(runtime)为11.34微秒时，其对象检测的准确度为98％。由图5b中的测量点pb可看出，在运行时间为20.49微秒时，其对象检测的准确率为66％。由此可知，本公开的对象检测方法能在较短时间内得到较准确的检测结果。

通过本公开所述的对象检测装置、对象检测方法及计算机可读介质，通过将影像拆解成彩色影像及灰阶影像，并应用此两者计算类别信心度，以该类别信心度判断对象的分类的正确程度，以高效率的输出正确性较高的分类结果，从而可大幅减短对象检测的时间，并提升对象检测的精准度。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。