专利名称：：利用视觉特性侦测新闻片段中播报员画面的方法
技术领域：
：本发明有关一种侦测新闻片段中播报员画面的方法，尤指一种利用视觉特性侦测播报员出现的片段，以作为新闻切割成不同分类的依据。
背景技术：
：目前在一影像中，为了找出人脸所在位置，最常使用的方法是以局部特征(localfeatures)来进行辨识，而人脸所采用的局部特征不外乎为眼睛、鼻尖、嘴唇或脸颊、额头等部位，可将这些局部特征与影像中所侦测到的画面进行比对，以确定辨识结果。因此上述部位位置的确定便成为人脸辨识过程中的关键步骤。习用技术对于从人脸影像中找出眼、鼻、唇等脸部特征的方法大致可分为两类。一类为使用影像处理法(imageprocessing)，例如过滤(filtering)、影l象型态运算(morphologicaloperation)、或临界值运算(thresholdingoperation)等方法，来找出可能是脸部特征的候选部位，再进一步从这些候选部位中确认出特征部位；另一类系使用图像比对法(graphmatching),亦即将人脸模型以特征的关联图(graph)表示，特征位置为节点(nodes)，节点间的联机(edges)表示特征间的相对位置，其中每一节点是由影像处理方法算出附属的特征值，再将模型在影像中的游走透过图像比对方式以定出人脸特征位置。在影像处理法中，例如美国专利USP5,805,475号案，首先必须确定临界(threshold)值，确定临界值得方法可以用经验值或藉由累积经验值用统计的方法计算出一较佳值，而临界值往往是造成辨识效果的关键。在此美国专利案中，影像型态运算以及临界值运算均涉及好几个临界值的决定。这种采用经验观察(heuristic)法以决定临界值的方法，必须常常随着所观察影像的表现而有所修正，大大增加了实际施行的困难度，无法迅速有效的辨别出影像中人脸特征。在图像比对法中，例如美国专利USP6,222，939号案，每一个节点均附属有一组特征值，为了与一图像模型(graphmodel)作比对，则必须要在待测影像中计算这些特征值，纵使不用计算每个像素点，也必须撷取相当密集的点位置计算。此美国专利案的重点在于直接在影像的二维空间上作搜寻，且用来描述参考人脸影像所用的特征值较为繁复(如需计算二为频语等)，因此每当要比对一待测影像的人脸特征时，都必须再经过多次繁复的计算与比对后，才可辨识出影像中的人脸特征，将对系统造成庞大负荷，无法提高使用效率。因此，前述在影像中将人脸特征定位的方法，仍存在有诸多缺失，而有予以改进的必要。
发明内容本发明利用视觉特性侦测新闻片段中播报员画面的方法，是利用视觉特性来侦测新闻片段中播报员画面，将新闻作不同分类的切割，其包含有下列步骤先提供新闻影像，利用色彩空间(YUV、NCC、HSL)对原始影像作肤色分析侦测，并配合肤色侦测影像中的物体是否移动，再利用影像型态学(Morphology)中的断开运算包含(Dilation、Erosion),把人脸影像周围的噪声去除，以及运用连接元区域标定程序(ComponentConnectedLabeling),才巴IH象中属于同一只十象的相连影像找出，以便获得物体面积、高度和宽度等信息，进而获得播报员人脸范，再侦测播报员可能出现片段，最后再作一次播报员侦测，以正确得知播报员出现的片段。图1为本发明中整体架构的流程示意图；图2为本发明中位置像素P于矩阵排列的示意图；图3为本发明中标定出影像对象的流程示意图；图4为本发明中连接元区域标定的示意图；图5为本发明中侦测播报员是否移动的流程示意图；图6为本发明中侦测播报员可能出现片段的流程示意；图7为本发明中在非肤色区域之中计算直方图的差距(Histogramdifferencebasedonnon-Skincolorregion)的流程示意图；图8为本发明中从主播片段中找出主播的特性(FindAnchorpersonfeaturesfromAnchorpersonsegment)的流程示意图。具体实施例方式为能使贵审查员清楚本发明的组成，以及实施方式，兹配合图式说明如下本发明利用视觉特性侦测新闻片段中播报员画面的方法，如图l所示为本发明的流程示意图，其包含下列步骤a、提供新闻影像；b、进行肤色分析(Skincolordetection);c、酉己合月夫色的秀多动物体侦观寸(Shotchangedetectionbasedonskincolor);d、侦测#番才艮员可能出现片段(Probableanchorpersonsegmentdetection);e、最后再由播报员可能出现的片段再作一次播报员侦测(Anchorpersondetection),最后可正确得知4番才艮员出现的片段，进而依据播报员出现的片段可将新闻作不同分类的切割，以达到新闻分类的目的。今针对每一步骤说明如下其中，步骤b:肤色分析(Skincolordetection)要找出肤色的区域就必须定义肤色的颜色为何，由于肤色与一般环境的色彩有显著的差异，但在RGBspace里定义的影像颜色会因光源强弱的关系而有深浅的变化，所以直接在RGBspace上作颜色的分割会有很大的误差，因此可采用对光线强弱较不敏感的色彩空间(colorspace),例如YUV、NCC、HSL等，以下为针对各色彩空间与R、G、B之间的关系以及其临界值说明如下。1、YUV其与R、G、B属于线性关系，公式如下、、r0.2990.5870.114—Ru-0.147-0.2890.437G、vj、0.615-0.515-0.100B、乂而其肤色的临界值为60<Y<255-25<U<010<V<452、NCC其与R、G、B的关系，公式如下r=R/(R+G+B)g=G/(R+G+B)而其肤色的临界值为Upperbound:(-1.376)x(rxr)+1.0743xr+0.1452Lowerbound:(画0.766)x(rxr)+0.5601xr+0.1766w=(r-0.33)x(r-0.33)+(g-0.33)x(g-0.33)3、HSL其与R、G、B的关系，公式如下<formula>formulaseeoriginaldocumentpage8</formula>而其肤色的临界值为0.028^0.724步骤c:酉己合肤色的移动物体侦测(Shotchangedetectionbasedonskincolor)包含有肤色调整步骤(StableSkincolorSegmentDetection)以及连接元区域标定步骤(ComponentConnectedLabeling),可标定出影像中各个独立的对象，进而获得播报员人脸范围，并利用该播报员人脸范围中的肤色分析形成一肤色临界值，再于固定时间间距撷取复数影像，将各影像的肤色与肤色临界值相比较，若大于该临界值则判定出播报员有移动。其中，肤色调整步骤(StableSkincolorSegmentDetection)系利用影像型态学(Morphology)中的断开运算(openingoperation)包含膨胀(Dilation)以及侵蚀(Erosion)，其膨胀(Dilation)系对影像作膨胀来扩张区域，而侵蚀(Erosion)则对影像作侵蚀来缩小区域，可依据影像而选择先进行膨胀(Dilation)再侵蚀(Erosion)(即Closing)，或先进行侵蚀(Erosion)再膨胀(Dilation)(即Opening)。经过上述程序之后可将人脸影像周围的噪声去除，而不论膨胀或是侵蚀，都是用屏蔽(Mask，及一个NxN的矩阵，在本系统中使用的大小为3x3)，并对肤色分析后的二值影像作屏蔽运算，并将运算结果标示于新的影像上。其中，膨胀(Dilation)判断所在位置像素P在新影像中是否为l,若符合的话，判断其周围8点是否有值为1，若有则P为1反之为0，如图2所示，亦即P=Pl门P2门P3门P4门P5门P6门P7门P8n:代表AND运算而侵蚀(Erosion)与膨胀类似，判断所在位置像素P在新影像中是否为l，若符合的话，判断其周围8点是否所有值皆为1，若有则P为1反之为0，亦即P=PIUP2UP3UP4UP5UP6UP7UP8U:代表OR运算当完成上述断开运算处理后，再运用连接元区域标定程序(ComponentConnectedLabeling)把影像中属于同一对象的相连影像找出，如图3所示，以便获得物体面积、高度和宽度等信息，并藉此标定出影像中各个独立的对象。其作法为从上方其中一角落处开始扫描待标记的二值影像，当遇到像素值为l时，则依次检查其上、下、左、右是否有同样为l的点，若有则将其坐标纪录下来，并把其值设为l,之后依序递归的去检查刚刚所纪录点的下、左、右、上是否也有l的点存在，若有也将其坐标纪录下来，并把其值设为l，如图4所示；持续整个递归的检查，直到所有纪录点的周围都不再有l的点出现为止，即可停止递归检查的动作，如此一来便可以找出第一个群组的对象。依此类推，当整张影像都扫描递归完，即可统计出在影像中所有对象的面积、高度和宽度等信息。故先利用色彩空间(YUV、NCC、HSL)对原始影像作肤色分析侦测，并将侦测出来的肤色结果转成二值影像(BinaryImage),再利用影^象型态学(Morphology)中的断开运算包含膨胀(Dilation)、侵蚀(Erosion)，把人脸影像周围的噪声去除，以及运用连元区域标定程序(ComponentConnectedLabeling),把影像中属于同一对象的相连影像找出，以便获得物体面积、高度和宽度等信息，进而获得播报员人脸范围，并利用该播报员人脸范围中的肤色分析形成一肤色临界值，如图5所示，再于固定时间间距撷取复数影像，将各影像的肤色与肤色临界值相比较，若大于该临界值则判定出播报员有移动。步骤d:侦测播报员可能出现片段(Probableanchorpersonsegmentdetection)若要区别播报员以及非播报员的影像，则利用上述找出播报员以及非播报员的人脸范围后，并分析于各个人脸范围中属于肤色以及非肤色区域(通常为衣服的颜色)，并将两种区域作成长条图(histogram)。若所得人脸范围的宽度大于高度时(因通常人脸范围宽度小于高度)，则再利用修改程序(Modification)方式对该人脸范围再作一次定位后，取得正确的人脸范围再取肤色以及非肤色区域作成长条图，如图6所示。经由播报员以及非播报员的人脸范围非肤色区域的长条图(non-Skincolorregionhistogram),比4交其差异(因为月夫色区域的差异可能不大，故取非肤色区域为两者衣服的差异作比较)，即可找出播报员可能出现的片段。步骤e:才番才艮员侦测(Anchorpersondetection)包含有在非肤色区域之中计算直方图的差距(Histogramdifferencebasedonnon-Skincolorregion)以及稳态物体处理(找出稳定片段中的特性)[Staticobjectprocess(Findfeaturesofstablesegment)]，其中，在非肤色区域之中计算直方图的差距的方式同上所述，于新闻画面中取得连续影像，再由各影像中的人脸范围中取得非肤色区域的长条图，再比较各长条图的差异，如图7所示，若大于临界值则判定是为播报员出现的片段，反之，则判定是为新闻报导的片段。而稳、态物体处理包含类似于标志侦观'J(SimilartoLogodetection)以及从主播片段中找出主播的特性(FindAnchorpersonfeaturesfromAnchorpersonsegment)，其似于标志侦测就是将一段影片中一直存在的物体找出来。在电视节目或电^f见新闻中该台的Logo通常都会一直存在于画面中，我们可以利用一直存在这个特性来侦测Logo的位置，只要使用连续影像相减法，就可以完成。两张影像相减之后，只将颜色相近的位置保留下来，处理一段时间后即可将Logo的位置侦测出来。而从主播片段中找出主播的特性是先于播报员出现的片段中取得连续影像，并利用机率的方式计算相连性(Correlation)及照度值(luminance)的平均值(mean)以及标准差(standarddeviation)以做为临界值，如图8所示，若影片的相连性(Correlation)及照度值(luminance)大于临界值则判定视为播报员出现的片段，反之，则判定是为新闻报导的片段。经由上述各步骤后，最后可正确得知播报员出现的片段，进而将新闻作不同分类的切割，而达到将新闻分类的目的。如上所述，本发明提供一利用视觉特性侦测新闻片段中播报员画面的方法，于是依法提呈发明专利的申请；然而，以上的实施说明及图式所示，是本发明较佳实施例者，并非以此局限本发明，是以，举凡与本发明的构造、装置、特征等近似、雷同的，均应属本发明的创设目的及申请专利范围之内。权利要求1、一种利用视觉特性侦测新闻片段中播报员画面的方法，包含下列步骤a、提供新闻影像；b、进行肤色分析；c、配合肤色的移动物体侦测；d、侦测播报员可能出现片段；e、最后再由播报员可能出现的片段再作一次播报员侦测，最后可正确得知播报员出现的片段。2、如权利要求1所述利用视觉特性侦测新闻片段中播报员画面的方法，其中该肤色分析是利用一般所使用的色彩空间对颜色作分割。3、如权利要求1所述利用视觉特性侦测新闻片段中播报员画面的方法，其中移动物体侦测系配合肤色作判断，先将播报员的肤色分析形成一肤色临界值，再于固定位置于固定时间间距撷取复数影像，将各影像的肤色与肤色临界值相比较，若大于该临界值则判定出播报员有移动。4、如权利要求1所述利用视觉特性侦测新闻片段中播报员画面的方法，其中配合肤色的移动物体侦测可包含有肤色调整步骤以及连接元区域标定步骤。5、如权利要求4所述利用视觉特性侦测新闻片段中播报员画面的方法，其中该肤色调整步骤系利用影像型态学中的断开运算。6、如权利要求5所述利用视觉特性侦测新闻片段中播报员画面的方法，其中断开运算包含膨胀以及侵蚀。7、如权利要求6所述利用视觉特性侦测新闻片段中播报员画面的方法，其中肤色调整步骤完成后，可再运用连接元区域标定步骤把影像中属于同一对象的相连影像找出，以便获得物体面积、高度和宽度等信息，并藉此标定出影像中各个独立的对象。8、如权利要求1所述利用视觉特性侦测新闻片段中播报员画面的方法，其中该侦测播报员可能出现片段的步骤，系针对新闻片段中播报员以及非播报员的人脸范围非肤色区域，形成复数个长条图，比较其差异，即可找出播报员可能出现的片段。9、如权利要求1所述利用视觉特性侦测新闻片段中播报员画面的方法，其中该播报员侦测可包含有在非肤色区域之中计算直方图的差距以及稳态物体处理。10、如权利要求9所述利用视觉特性侦测新闻片段中播报员画面的方法，其中该在非肤色区域之中计算直方图的差距是于新闻画面中取得连续影像，再由各影像中的人脸范围中取得非肤色区域的长条图，再比较各长条图的差异，若大于临界值则判定视为播报员出现的片段。11、如权利要求9所述利用视觉特性侦测新闻片段中播报员画面的方法，其中稳态物体处理包含类似于标志侦测以及从主播片段中找出主播的特性。12、如权利要求11所述利用视觉特性侦测新闻片段中播报员画面的方法，其中类似于标志侦测是将一段影片中一直存在的物体找出来，藉由连续影像相减法，将两张影像相减之后，只将颜色相近的位置保留下来，处理一段时间后即可将Logo的位置侦测出来。13、如权利要求11所述利用视觉特性侦测新闻片段中播报员画面的方法，其从主播片段中找出主播的特性是于播报员出现的片段中取得连续影像，并利用机率的方式计算相连性及照度值的平均值以及标准差，以当做一临界值，若影片的相连性及照度值大于临界值则判定视为播报员出现的片段。全文摘要本发明利用视觉特性来侦测新闻片段中播报员画面，将新闻作不同分类的切割，其包含有下列步骤先提供新闻影像，并利用色彩空间对影像作肤色分析侦测，并配合肤色侦测影像中的物体是否移动，再利用影像型态学，把人脸影像周围的噪声去除，并获得播报员人脸范围，再侦测播报员可能出现片段，最后再作一次播报员侦测。文档编号G06K9/00GK101114334SQ20061009926公开日2008年1月30日申请日期2006年7月25日优先权日2006年7月25日发明者叶家宏,吕科谚,张敏宽,施宣辉申请人:智辉研发股份有限公司