本发明是有关于一种图像处理方法、电子装置及非暂态电脑可读取储存媒体,且特别是有关于一种图像标注(imageannotation)方法、电子装置及非暂态电脑可读取储存媒体。
背景技术:
目前结合电脑视觉的深度学习(deeplearning)技术已是人工智能的发展趋势。然而深度学习网络需要大量的图像标注样本,才能经由训练而产生高正确性的深度学习网络。
目前图像标注的方法大多采取人工标注。操作者需针对视频数据中的图像帧(frame)逐一框选物件,并对其输入关联的标注名称。然而当视频数据中有大量的目标物件时,此种人工标注方式不仅费时而且耗工。
技术实现要素:
本发明提出一种图像标注方法、电子装置及非暂态电脑可读取储存媒体,可自动滤除视频数据中重复性高的无效图像帧样本,并筛选出具有物件结构多样性的关键图像帧供使用者浏览,并新增、修正标注物件,以完善图像标注的结果,进而节省图像标注所需耗费的人力。另一方面,本发明提出的技术更可导入专家经验回馈机制以提升撷取关键图像帧的正确性及强健性。
根据本发明的一方面,提出一种由包含处理器的电子装置实现的图像标注方法,包括:处理器自视频数据取得图像帧序列,图像帧序列包括多个图像帧;处理器对图像帧序列执行物件检测及追踪程序,以自这些图像帧中辨识并追踪一或多个目标物件;处理器根据第一挑选条件,自这些图像帧选出多个候选关键图像帧,其中第一挑选条件包括当一或多个目标物件中的一目标物件在这些图像帧中的图像帧中开始出现或开始消失,将此图像帧挑选作为这些候选关键图像帧之一;处理器决定这些候选关键图像帧的多个第一相似度指标,各个第一相似度指标是处理器通过相似度计算,由这些候选关键图像帧中的对应候选关键图像帧的第一协方差值以及此对应候选关键图像帧沿不同方向统计取得的多个第一方差值决定;处理器决定多个相邻图像帧的多个第二相似度指标,各个相邻图像帧与这些候选关键图像帧至少其一相邻,各个第二相似度指标是处理器通过相似度计算,由这些相邻图像帧中对应相邻图像帧的第二协方差值以及此对应相邻图像帧沿不同方向统计取得的多个第二方差值决定;处理器将这些候选关键图像帧,连同这些相邻图像帧中符合第二挑选条件者,选作多个关键图像帧,第二挑选条件包括当这些相邻图像帧中的相邻图像帧的对应第二相似度指标与邻近于相邻图像帧的候选关键图像帧的对应第一相似度指标之间的差值超过相似度门槛值,则将相邻图像帧挑选作为关键图像帧的其一;处理器将这些关键图像帧呈现于图形化使用者界面,并通过图形化使用者界面显示关于一或多个目标物件的一标注信息。
根据本发明的另一方面,提出一种非暂态电脑可读取储存媒体。非暂态电脑可读取储存媒体储存一或多个指令,此一或多个指令可供处理器执行,以使包括此处理器的电子装置执行本发明的图像标注方法。
根据本发明的又一方面,提出一种电子装置。电子装置包括存储器以及处理器。处理器耦接存储器,并经配置而用以:自视频数据取得图像帧序列,图像帧序列包括多个图像帧;对图像帧序列执行物件检测及追踪程序,以自这些图像帧中辨识并追踪一或多个目标物件;根据第一挑选条件,自这些图像帧选出多个候选关键图像帧,其中第一挑选条件包括当一或多个目标物件中的一目标物件在这些图像帧中的图像帧中开始出现或开始消失,将此图像帧挑选作为这些候选关键图像帧之一;取得这些候选关键图像帧的多个第一相似度指标,各个第一相似度指标是由这些候选关键图像帧中的对应候选关键图像帧的第一协方差值以及此对应候选关键图像帧沿不同方向统计取得的多个第一方差值决定;取得多个相邻图像帧的多个第二相似度指标,各个相邻图像帧与这些候选关键图像帧至少其一相邻,各个第二相似度指标是由这些相邻图像帧中对应相邻图像帧的第二协方差值以及此对应相邻图像帧沿不同方向统计取得的多个第二方差值决定;将这些候选关键图像帧,连同这些相邻图像帧中符合第二挑选条件者,选作多个关键图像帧,第二挑选条件包括当这些相邻图像帧中的相邻图像帧的对应第二相似度指标与邻近于相邻图像帧的候选关键图像帧的对应第一相似度指标之间的差值超过相似度门槛值,则将相邻图像帧挑选作为关键图像帧的其一;将这些关键图像帧呈现于图形化使用者界面,并通过图形化使用者界面显示关于一或多个目标物件的一标注信息。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂,以下结合附图对本发明的具体实施方式作详细说明,其中:
图1绘示依据本发明一实施例的图像标注方法的流程图。
图2绘示搜寻候选关键图像帧的一例流程图。
图3绘示可变式窗物件检测的示意图。
图4绘示自候选关键图像帧的邻近图像帧挑选关键图像帧的一例流程图。
图5绘示自连续的多张图像帧挑选关键图像帧的示意图。
图6绘示依据本发明一实施例的图形化使用者界面的示意图。
图7绘示图1步骤114的一非限定细部流程图。
图8绘示hog特征强化的示意图。
图9绘示依据本发明一实施例的多类别分类器的自适应训练的流程图。
图10绘示训练样本相对于分类器不同类别的距离值的示意图。
图11绘示分类器的不同类别的参数区间的示意图。
图12绘示多类别分类器的自适应训练的示意图。
图中元件标号说明:
102、104、106、108、110、112、114、202、204、206、208、402、404、406、408、410、412、702、704、902、904、906、908、910、912、914、916:步骤
il1~ilp:图像层
w1~w5:检测视窗
f1~f7:图像帧
ob1~ob3、614、616:目标物件
610、612:使用框选物件
600:图形化使用者界面
602:关键图像帧显示区域
604:主操作区域
606a、606b:标注区域
608:操作键
kf1~kfm:关键图像帧
802:区块
804:单元
va1、va2:hog特征组
va1’、va2’:强化后hog特征组
lp0~lp3:类别
oshk:距离值参考基准点
1202、1204、1206:阶段
具体实施方式
本发明提出一种图像标注方法、电子装置及非暂态电脑可读取储存媒体。图像标注例如是指通过电脑视觉技术,对视频数据中的一或多个特定物件进行识别,并对识别出的特定物件赋予对应的名称或语意叙述。以无人车自动驾驶的应用为例,车上的图像传感器可取得行车图像的视频串流,通过图像标注技术,可让自动驾驶系统识别车体周遭环境的物件,例如行人、车辆、猫狗等,自动驾驶系统可根据识别出的环境物件以及对应的标注,作出对应的反应,例如闪避突然出现于前方的行人。
本发明的图像标注方法可由电子装置来实施。电子装置例如包括存储器以及处理器。存储器可储存可供处理器取得或执行的程序、指令、数据或档案。处理器耦接存储器,其经配置可执行本发明实施例的图像标注方法。处理器可例如被实施为微控制单元(microcontroller)、微处理器(microprocessor)、数字信号处理器(digitalsignalprocessor)、特殊应用集成电路(applicationspecificintegratedcircuit,asic)、数字逻辑电路、现场可程序逻辑门阵列(fieldprogrammablegatearray,fpga)、或其它具有运算处理功能的硬件元件。本发明的图像标注方法亦可实作为一软件程序,此软件程序可储存于非暂态电脑可读取媒体(non-transitorycomputerreadablemedium),例如硬盘、光盘、随身盘、存储器,当处理器从非暂态电脑可读取储存媒体载入此软件程序时,可执行本发明的图像标注方法。
图1绘示依据本发明一实施例的图像标注方法的流程图。所述的图像标注方法可由包括处理器的电子装置来实施。
步骤102,处理器执行视频解压缩,以自视频数据取得图像帧序列,图像帧序列包括多个图像帧(frame)。
步骤104,处理器自取得的图像帧中搜寻候选关键图像帧。在一实施例中,处理器可对图像帧序列执行物件检测及追踪程序,以自多个图像帧中辨识并追踪一或多个目标物件,并在判断出一目标物件的结构特征在一图像帧中的变化超过一预设门槛值时,将该图像帧选为候选关键图像帧。
步骤106,处理器自图像帧中决定关键图像。关键图像除了包括步骤104所选出的候选关键图像帧,亦可从候选关键图像帧的相邻图像帧中挑选符合特定条件者作为关键图像。此处所指的两图像帧“相邻”,指的是在一连续的图像帧序列(例如视频串流)中,时间序上彼此相邻的两张图像帧,例如在接续的两个取样时间点所取得的两张图像帧。
步骤108,处理器将关键图像帧呈现于图形化使用者界面(graphicaluserinterface,gui),并通过图形化使用者界面显示关于目标物件的标注信息。标注信息例如包括目标物件的名称或语意描述,例如“行人”、“移动的车子”等。
图形化使用者界面亦可供使用者自所显示的关键图像帧中框选欲新增的未识别物件,并对其作标注。举例来说,对于包含复杂背景的图像帧,可能有部分物件无法被识别及追踪,此时使用者可采用手动框选的方式自关键图像帧中框选未被识别的物件图像并对其作标注。被使用者框选的物件图像即为使用者框选物件。
应注意的是,在此所使用的术语“使用者”一词例如包括拥有可执行本发明图像标注方法的电子装置的人物或实体、或是操作或利用该电子装置的人物或实体、或是以其他方式与该电子装置相关联的人物或实体。将意识到,“使用者”一词并非意图成为限制性的,且可包括超出所描述的范例的各种实施例。
步骤110,处理器针对使用者框选物件进行物件追踪。此步骤可以任何已知的物件追踪演算法来实现。
在步骤112,处理器取得加注结果。举例来说,处理器可经由步骤108的图形化使用者界面接收一使用者操作,并回应此使用者操作产生一加注结果。加注结果例如包括使用者框选物件以及关于此使用者框选物件的使用者标注信息,其中使用者框选物件是撷取自关键图像帧的图像内容。举例来说,使用者可通过图形化使用者界面框选某一张关键图像帧中一个人的图像作为使用者框选物件,并输入对应的标注信息为“行人”。
在一实施例中,图像标注方法可进一步包括步骤114。在步骤114,是对使用者框选物件作特征撷取、强化。特征撷取、强化的结果可被作为训练样本提供至步骤104中训练并更新用以执行物件检测的分类器,借此通过专家经验的回馈强化图像标注的效能。
图2绘示搜寻候选关键图像帧的一例流程图。在一非限定的范例中,图2的流程可例如被实施于图1步骤104当中。步骤202及204可包含于一物件检测及追踪程序。
在步骤202,处理器可自视频数据的多个连续图像帧中检测目标物件。在一实施例中,可利用图像金字塔(imagepyramid)搭配分类器金字塔(classifierpyramid)所实现的混合式可变视窗物件检测演算法进行物件检测。上述混合式演算法将配合图3作说明。然本发明并不限于此,步骤202亦可通过任何已知的物件检测演算法来实现,例如哈尔特征(haar-like)演算法、自适应增强(adaboost)演算法等,借此设计出可检测目标物件的分类器。
在步骤204,处理器将对检测到的目标物件进行物件追踪。在一实施例中,可利用以方向梯度直方图(histogramoforientedgradient,hog)特征为基础的核心化相关性滤波器(kernelizedcorrelationfilter,kcf)物件追踪程序,对检测到的目标物件持续追踪其动态。
举例来说,处理器可先将目标物件图像转成灰度图像以撷取目标物件的hog特征,再对此hog特征作一频域转换,以取得hog频域特征。之后,处理器可执行kcf物件追踪程序以追踪此hog频域特征,借此实现对目标物件的追踪。所述的频域转换例如是一傅立叶转换,其可表示如下:
式一中,β表示储存在每个hog单元(cell)内的直方块(bin)分量;x、y表示要计算傅立叶转换区域的区块座标。
除了上述方式,步骤204亦可通过任何已知的物件追踪演算法来实现,例如检测视窗(detectwindow)演算法、相关性滤波器(correlationfilter)演算法等。
在步骤206,处理器可判断图像帧是否符合第一挑选条件。若是,步骤208中处理器将符合第一挑选条件的图像帧挑选作为候选关键图像帧。若否,则针对下一张图像帧作判断。第一挑选条件例如包括当一目标物件在一图像帧中开始出现或开始消失,则将此图像帧挑选作为这些候选关键图像帧之一。此处所指的物件“出现”或“消失”,泛指是物件的结构特征变化超过一预设门槛值的情况。举例来说,若视频数据中行人的图像由正面转身至背面,则对处理器而言,表示对应此人正面的物件消失,而对应此人背面的物件出现。
图3绘示可变式窗物件检测的示意图。根据此范例,处理器可对各个图像帧分别建立对应的图像金字塔。各个图像金字塔可包括多个不同解析度的图像层。如图3所示,图像金字塔包括解析度由高至低的p个图像层il1~ilp,其中p为大于1的正整数。各个图像层il1~ilp中是实现一对应的分类器金字塔以进行物件检测。在图3的例子中,每个分类器金字塔分别包括5大小不同的检测视窗w1~w5。处理器可借由自图像帧中搜寻与一参考物件结构匹配,且大小符合某一检测视窗的物件图像,检测出目标物件。虽然本范例中分类器金字塔被实施成包括5不同大小的检测视窗w1~w5,但本发明并不以此为限。在其他例子中,分类器金字塔中检测视窗的数量可以是任意的。
图4绘示自候选关键图像帧的邻近图像帧挑选关键图像帧的一例流程图。在一非限定的范例中,图4的流程可例如被实施于图1的步骤106当中。
在步骤402,处理器可运算取得候选关键图像帧的第一相似度指标。第一相似度指标可例如由处理器通过相似度计算,依据对应候选关键图像帧的第一协方差值(σ1xy)以及此对应候选关键图像帧沿不同方向(如x、y方向)统计取得的多个第一方差值(σ1x、σ1y)决定。在一实施例中,第一相似度指标(s1(x,y))可表示如下:
其中
在步骤404,处理器运算取得相邻图像帧(各个相邻图像帧与候选关键图像帧至少其一相邻)的第二相似度指标。第二相似度指标可例如由处理器通过相似度计算,依据对应相邻图像帧的第二协方差值(σ2xy)以及此对应相邻图像帧沿不同方向(如x、y方向)统计取得的多个第二方差值(σ2x、σ2y)决定。在一实施例中,第二相似度指标(s2(x,y))可表示如下:
其中
上述步骤402、404中所采用的相似度计算,亦可通过其他可衡量对象之间的相似程度的演算法来实现,例如欧氏距离(euclideandistance)演算法、余弦相似度(cosinesimilarity)演算法、皮尔逊相关性(pearsoncorrelation)演算法、逆用户频率(inverseuserfrequency,iuf)相似度演算法等。
在步骤406,处理器判断相邻图像帧是否符合第二挑选条件。第二挑选条件例如包括当相邻图像帧的对应第二相似度指标(s2(x,y))与邻近于此相邻图像帧的候选关键图像帧的对应第一相似度指标(s1(x,y))之间的差值超过一相似度门槛值,也就是两者图像中物件结构差异度颇大,则将此相邻图像帧挑选作为关键图像帧之一。
在步骤408,处理器将候选关键图像帧的相邻图像帧中符合第二挑选条件者挑选作为关键图像帧。
反之,在步骤410,不符合第二挑选条件的相邻图像将不会被挑选作为关键图像帧。
之后,在步骤412,处理器可将所有的候选关键图像帧,连同相邻图像帧中符合第二挑选条件者,输出作为关键图像帧。
图5绘示自连续的多张图像帧挑选出关键图像帧的示意图。在图5的范例中,图像帧f1~f7为视频数据中连续的7张图像帧。行人图像被视为目标物件ob1出现在图像帧f1~f3当中,并于图像帧f4消失。狗侧身图像被视为目标物件ob2出现在图像帧f5,狗正面图像被视为目标物件ob3出现在图像帧f6~f7。由于图像帧f1、f5、f6中目标物件(目标物件ob1/ob2/ob3)开始出现,且图像帧f4中目标物件(ob1)开始消失,故图像帧f1、f4~f6将被挑选作为候选关键图像帧。
接着针对候选关键图像帧f1、f4~f6的相邻图像帧f2、f3、f7作判断。由于相邻图像帧f2、f7分别与邻近的候选关键图像帧f1、f6相似,故相邻图像帧f2、f7被排除于作为关键图像帧。而由于相邻图像帧f3与邻近的候选关键图像帧f4差异颇大,故相邻图像帧f3将被挑选作为关键图像帧。
最后,输出的关键图像帧将包括图像帧f1以及f3~f6。关键图像帧可例如被排序成一序列,并显示在一图形化使用者界面当中。
图6绘示依据本发明一实施例的图形化使用者界面600的示意图。在图6的范例中,图形化使用者界面600包括关键图像帧显示区域602、主操作区域604以及标注区域606a、606b。
关键图像帧显示区域602可显示由m张关键图像帧kf1~kfm构成的序列,其中m为正整数。使用者可对关键图像帧显示区域602中的任一张关键图像帧作点选,被选取的关键图像帧将呈现于主操作区域604。
使用者可在主操作区域604中框选未被识别的物件。以图6为例,关键图像帧kf3被选取,其中物件614、616是已被识别的目标物件,而物件610、612则是未被识别、通过使用者手动选取的使用框选物件。
使用者可对使用框选物件进行标注,以赋予对应的名称或语意叙述。相关的标注信息可例如显示于标注区域606a。如图6所示,标注区域606a可显示使用框选物件610被标注为“行人2”,并显示使用框选物件612被标注为“狗”。
已被识别的目标物件的标注信息则可显示于标注区域606b。如图6所示,标注区域606b可显示目标物件614被标注为“车”,并显示目标物件616被标注为“行人1”。
图形化使用者界面600更可包括一或多个操作键608。举例来说,在操作键608(“+新增物件”)被点选之后,使用者即可针对主操作区域604中所显示的关键图像帧内容进行使用者框选物件的选取,并对其加上相应的标注。操作键608亦可被实施成下拉式选单,选单中可包括预设的标注叙述以及曾经使用过的标注叙述。
应注意,图6的范例仅是用以说明本发明的其中一实施例,而非用以限制本发明。本发明的图形化使用者界面亦可被实施成其他的文字及/或图形的配置,只要该图形化使用者界面可供使用者自关键图像帧定义使用者框选物件以及输入对应的标注信息即可。
图7绘示图1步骤114的一非限定细部流程图。为了让之后的图像标注流程可自适应地识别并追踪使用者所新增的使用者框选物件,在步骤702,处理器可先对使用者框选物件作特征强化,并接着在步骤704将强化后的特征作为训练样本来训练分类器。所述的分类器具有分类出对应类别以及非对应类别的功能,并可实现于步骤104的物件检测及追踪程序,以识别目标物件。分类器可以是支持向量机(svm)分类器,也可以是其他类型的线性映射分类器,像是费雪线性判断分析分类器(fisher’slineardiscriminantclassifier)、单纯贝式分类器(naivebayesclassifier)等。步骤704的实施可有效减少分类器因为因新增使用者框选物件而所需增加的数量,进而提升分类及辨识的运算效率与准确率。
步骤702的实施可配合图1步骤104中所使用的物件检测及追踪演算法。举例来说,若物件检测及追踪是以图像的hog特征为基础,则步骤702可被实施为对hog特征的强化。同理,若图1步骤104中所使用的物件检测及追踪是以其他特定图像特征为基础,则步骤702将被实施为对该特定图像特征的强化。
以强化hog特征为例,处理器可执行特征强化程序如下:将使用者框选物件分成多个区块(block);自这些区块中选取一待处理区块;执行hog特征撷取程序,以取得待处理区块的多个第一hog特征,以及待处理区块的邻近区块的多个第二hog特征;对包括第一hog特征以及第二hog特征的一特征集合作一范数运算(norm),以取得正规化参数;根据正规化参数对第一hog特征作正规化处理,以取得多个强化后第一hog特征,并供物件检测及追踪程序进行物件检测。
hog特征撷取程序例如包括:
(1)计算区块中各像素位置的边缘强度(mi):
式四中,x1、x-1分别表示目标像素位置的x方向前后的像素灰度值,y1、y-1分别表示目标像素位置的y方向上下的像素灰度值。
(2)计算区块中所有边缘强度的总和(msum):
式五中,n表示区块中的像素总数。
(3)计算最后储存在每个直方块内的方向分量(bi):
式六中,mb表示归类在直方块中的所有边缘强度。
另外,在对待处理区块作正规化处理时,会参考其邻近区块的特征,以从邻近区块的特征信息判断出哪些向量是主要的、或是连续性的边缘,然后再针对较突出或是重要的边缘向量计算正规化。
在一实施例中,正规化参数可表示如下:
式七中,x1~xn代表每一个需要被正规化计算的hog特征值,例如包括所有的第一hog特征以及第二hog特征。接着,可计算待处理区块的hog特征正规化结果
其中h(x,y)表示待处理区块的hog特征正规化前结果。
在一实施例中,处理器可省略步骤702,并直接以使用者框选物件的特征作为训练样本来训练分类器。
通过上述方式,可突显连续区块的主要边缘方向特征。在一实施例中,处理器更可依照物件检测/追踪时存取特征的顺序来排列并储存计算得到的特征值,以更准确地获得使用者框选物件的特征。
图8绘示hog特征强化的示意图。在图8的范例中,是显示3×3个区块802,每个区块802包括2×2个单元804,每个单元804例如包括多个像素(未显示)。在正规化处理之前,针对不同的区块802,可取得对应不同方向的hog特征组,如va1、va2。在正规化处理后,hog特征组va1、va2可分别转换成强化后hog特征组va1’以及va2’。可看出,相较于hog特征组va1、va2,强化后hog特征组va1’以及va2’当中部分的hog特征被突显。
图9绘示依据本发明一实施例的多类别分类器的自适应训练的流程图。在步骤902,处理器在物件检测及追踪程序中,实现多个分类器以进行物件检测。
在步骤904,处理器自多个分类器中选取一分类器,并对此分类器提供多个训练样本,以针对多个类别分别建立参数范围,其中这些类别是对应目标物件以及使用者框选物件的分类判断。
在步骤906,处理器搜寻这些参数范围区中不与其他参数范围发生重叠的一可区分参数范围,并将可区分参数范围的对应类别标记为可区分类别。
在步骤908,处理器自这些类别中挑选一待区分类别,此待区分类别的对应参数范围是与这些参数范围中的其他参数范围发生重叠。在一实施例中,待区分类别的对应参数范围是与这些参数范围中最多数量的其他参数范围发生重叠。
在步骤910,自这些分类器中选取可将该待区分类别被标记为该可区分类别的另一分类器。
在步骤912,自这些参数范围中移除待区分参数范围。
在步骤914,判断这些分类器中所有被选取的分类器是否可让各个类别均被标记为可区分类别。若是,则接续步骤916,自这些分类器中删除未被选取的分类器。若否,则返回步骤906继续执行自适应训练流程,直到所有被选取的分类器可让各个类别均被标记为可区分类别。
在一实施例中,处理器可将训练样本中对应某一类别的多个特定训练样本提供至分类器,以取得多个距离值,再根据这些距离值的平均值以及标准差,决定该类别的对应参数范围。以下将配合图10及图11作说明。
此外,根据以下实施例,针对尚未训练的物件类别(例如对应使用者框选物件的物件类别)的训练样本是作为分类器的正样本,而针对其他物件类别的训练样本则是作为分类器的负样本。
图10绘示训练样本相对于分类器不同类别的距离值的示意图。根据此实施例,处理器可将训练样本代入每个分类器以取得对应的距离值。举例来说,对第k个svm分类器代入针对第i个类别的第j个训练样本可得相应的距离值如下:
其中
其中sti表示第i类别的训练样本的数量。
通过上述方式,可将不同类别投影至一维空间,其中oshk表示第k个svm分类器的距离值参考基准点。
图11绘示分类器的不同类别的参数区间的示意图。如图11所示,不同的类别lp1、lp2分别对应至一个一维的参数范围(
根据各类别lp1、lp2对应的距离平均值(
各参数范围的下限值可例如表示如下:
虽然上述范例中参数范围的上限值以及下限值分别是与对应平均值相距一倍的标准差,但本发明并不以此为限。参数范围的大小可根据不同的应用而作调整。
图12绘示多类别分类器的自适应训练的示意图。在图12的范例中,所有待区分的类别包括lp0、lp1、lp2以及lp3。在阶段1202,使用第一svm分类器可区分类别lp0以及非类别lp0。换言之,可区分类别lp0的参数范围不与其他类别的参数范围发生重叠。而剩余类别lp1、lp2、lp3的参数范围因发生重叠,故第一svm分类器并无法作有效的分类。在阶段1204,引入第二svm分类器以区分与最多参数范围发生重叠的类别lp2。在阶段1206,删除已训练完成的第一分类器和第二分类器所使用的参数区间。如此一来,即可分离出所有类别lp0~lp3所对应的参数区间。换言之,通过上述方式,仅需要使用两个分类器,即可完成4个类别的分类。相较于传统需针对各个类别设置对应分类器的作法,本发明提出的多类别分类器自适应训练方法可有效减少分类器的使用,进而提升运算效率。
综上所述,本发明提出一种图像标注方法、电子装置及非暂态电脑可读取储存媒体,可自动滤除视频数据中重复性高的无效图像帧样本,并筛选出具有物件结构多样性的关键图像帧供使用者浏览,并新增、修正标注物件,以完善图像标注的结果,进而节省图像标注所需耗费的人力。另一方面,本发明提出的技术更可导入专家经验回馈机制以提升撷取关键图像帧的正确性及强健性。
虽然本发明已以较佳实施例揭示如上,然其并非用以限定本发明,任何本领域技术人员,在不脱离本发明的精神和范围内,当可作些许的修改和完善,因此本发明的保护范围当以权利要求书所界定的为准。