专利名称：一种非对称人脸表情编码方法
技术领域：
本发明涉及一种图像处理方法，尤其是一种人脸表情编码方法。
背景技术：
对于人脸表情的变化，存在两种表情分类方法。一种是基于消息评价的方法，即把 人脸表情直接与情感状态相对应。另一种是基于符号表达的方法，即把面部的各种运动和 变形进行细致的编码，根据表情字典将编码与某种表情对应或描述各种表情。有代表性的表情编码系统包括面部动作编码系统、情感面部动作编码系统、最大 判别面部运动编码系统、MPEG-4(moving picture expert group-4)三维人脸动画标准、面 部表情编码系统等。MPEG-4三维人脸动画标准适合计算机领域的应用，而面部动作编码系 统适合心理学和模式识别领域，符合人们在日常生活中对人脸表情的描述。由于面部运动的非对称性以及面部结构的非对称性，造成了人脸表情的非对称。 随着人脸表情分析技术的发展，研究者们开始关注非对称人脸表情。要分析非对称人脸表 情，就需要对其进行编码。在人脸表情识别领域，研究者经常使用面部动作编码系统进行表 情编码。但面部动作编码系统不能满足对非对称人脸表情的编码。MPEG-4三维人脸动画标 准的面部动画参数区分左右脸，可以进行非对称表情编码，但它不如面部动作编码系统形 象和易于掌握。本发明提出一种非对称人脸表情编码方法，对于编码非对称表情提供了一 种可行的方法，可应用于心理学和模式识别等领域。
发明内容
本发明的目的是提出一种非对称人脸表情编码方法，能够对非对称和对称人脸 表情进行较为充分的描述。本发明一种非对称人脸表情编码方法，规定了使用左动作单元、右动作单元和动 作单元对人脸表情进行编码的方法，能够对非对称和对称人脸表情进行编码。关于一种非对称人脸表情编码方法，其步骤如下步骤1 将人的左半边脸的局部单一运动命名为左动作单元(left action unit, LAU)，将人的右半边脸的局部单一运动命名为右动作单元(right action unit，RAU)，将不 局限于半边脸的单一运动命名为动作单元(action unit，AU)。定义左动作单元如下
LAU1左脸内眉上扬
LAU2左脸外眉上扬
LAU4左眉毛下压
LAU5左脸上眼睑上扬
LAU6左脸颊上提
LAU7左眼睑收紧
LAU9左脸鼻子起皱
图47RAU13右脸颊鼓起。图48RAU14右脸酒窝。图49RAU15右脸唇角下压。图50RAU16右脸下嘴唇下压。图51RAU17右脸下颚上提。图52RAU18右脸嘴唇褶皱。图53RAU20右脸嘴唇延伸。图54RAU21脖子右侧收紧。图55RAU23右脸嘴唇收紧。图56RAU24右脸嘴唇上升。图57RAU25右脸上下嘴唇分开。图58RAU26右颚下降。图59RAU27右脸嘴巴伸展。图60RAU28右脸嘴唇吸入。图61RAU31右颚钳紧。图62RAU38右鼻孔扩张。图63RAU39右鼻孔收缩。图64RAU41右眼睑低垂。图 65RAU42 眯右眼。图66RAU43右眼闭合。图67RAU44右眼斜视。图68RAU61右眼睛左转。图69RAU62右眼睛右转。图70RAU63右眼睛向上。图71RAU64右眼睛向下。图 72AU51 头向左。图 73AU52 头向右。图 74AU53 头上扬。图 75AU54 头向下。图76AU55头向左倾斜。图77AU56头向右倾斜。图 78AU57 头前倾。图 79AU58 头后倾。图80中性表情人脸图像。图81对称人脸表情图像。图82非对称人脸表情图像。(五)具体实施方法本发明一种非对称人脸表情编码方法(方法步骤方框图如
图1所示)，规定了使用 左动作单元、右动作单元和动作单元对人脸表情进行编码的方法，能够对非对称和对称人脸表情进行编码。关于一种非对称人脸表情编码方法，其步骤如下步骤1 将人的左半边脸的局部单一运动命名为左动作单元(left action unit, LAU)，将人的右半边脸的局部单一运动命名为右动作单元(right action unit，RAU)，将不 局限于半边脸的单一运动命名为动作单元(action unit，AU)。
0190]定义左动作单元如下0191]LAUl左脸内眉上扬(如图2所示)0192]LAU2左脸外眉上扬(如图3所示)0193]LAU4左眉毛下压(如图4所示)0194]LAU5左脸上眼睑上扬(如图5所示)0195]LATO左脸颊上提(如图6所示)0196]LAU7左眼睑收紧(如图7所示)0197]LAU9左脸鼻子起皱(如图8所示)0198]LAUlO左脸上嘴唇上扬(如图9所示)0199]LAUll左脸鼻唇沟纹加深(如图10所示)0200]LAU12左脸唇角拉伸(如图11所示)0201]LAU13左脸颊鼓起(如图12所示)0202]LAU14左脸酒窝(如图13所示)0203]LAU15左脸唇角下压(如图14所示)0204]LAU16左脸下嘴唇下压(如图15所示)0205]LAU17左脸下颚上提(如图16所示)0206]LAU18左脸嘴唇褶皱(如图17所示)0207]LAU20左脸嘴唇延伸(如图18所示)0208]LAU21脖子左侧收紧(如图19所示)0209]LAU23左脸嘴唇收紧(如图20所示)0210]LAU24左脸嘴唇上升(如图21所示)0211]LAU25左脸上下嘴唇分开(如图22所示)0212]LAU26左颚下降(如图23所示)0213]LAU27左脸嘴巴伸展(如图24所示)0214]LAU28左脸嘴唇吸入(如图25所示)0215]LAU31左颚钳紧(如图26所示)0216]LAU38左鼻孔扩张(如图27所示)0217]LAU39左鼻孔收缩(如图28所示)0218]LAU41左眼睑低垂(如图29所示)0219]LAU42眯左眼(如图30所示)0220]LAU43左眼闭合(如图31所示)0221]LAU44左眼斜视(如图32所示)0222]LAU45左眼眨眼(快速睁闭左眼)0223]LAU61左眼睛左转(如图33所示)
LAU62左眼睛右转(如图34所示)LAU63左眼睛向上(如图35所示)LAU64左眼睛向下(如图36所示)定义右动作单元如下RAUl右脸内眉上扬(如图37所示)RAU2右脸外眉上扬(如图38所示)RAU4右眉毛下压(如图39所示)
RAU5右脸上眼睑上扬(如图40所示)RAU6右脸颊上提(如图41所示)RAU7右眼睑收紧(如图42所示)RAU9右脸鼻子起皱(如图43所示)RAUlO右脸上嘴唇上扬(如图44所示)RAUl 1右脸鼻唇沟纹加深(如图45所示)RAU12右脸唇角拉伸(如图46所示)RAU13右脸颊鼓起(如图47所示)RAU14右脸酒窝(如图48所示)RAU15右脸唇角下压(如图49所示)
RAU16右脸下嘴唇下压(如图50所示)RAU17右脸下颚上提(如图51所示)RAU18右脸嘴唇褶皱(如图52所示)RAU20右脸嘴唇延伸(如图53所示)RAU21脖子右侧收紧(如图54所示)RAU23右脸嘴唇收紧(如图55所示)RAU24右脸嘴唇上升(如图56所示)RAU25右脸上下嘴唇分开(如图57所示)RAU26右颚下降(如图58所示)RAU27右脸嘴巴伸展(如图59所示)
RAU28右脸嘴唇吸入(如图60所示)RAU31右颚钳紧(如图61所示)RAU38右鼻孔扩张(如图62所示)RAU39右鼻孔收缩(如图63所示)RAU41右眼睑低垂(如图64所示)RAU42眯右眼(如图65所示)RAU43右眼闭合(如图66所示)RAU44右眼斜视(如图67所示)RAU45右眼眨眼(快速睁闭右眼)RAU61右眼睛左转(如图68所示)RAU62右眼睛右转(如图69所示)RAU63右眼睛向上(如图70所示)
12
RAU64右眼睛向下(如图71所示)定义动作单元如下AU51头向左(如图72所示)AU52头向右(如图73所示)AU53头上扬(如图74所示)AU54头向下(如图75所示)AU55头向左倾斜(如图76所示)AU56头向右倾斜(如图77所示)
AU57头前倾(如图78所示)AU58头后倾(如图79所示)。步骤2 给定一幅人脸图像，用动作单元对人脸图像中的人脸进行人脸表情编码， 表示为AU的组合。首先，依次观察人脸图像是否出现上述AU51至AU58的动作单元。如果出现某个 动作单元，则将其记下。如果有多个动作单元，用加号将多个动作单元相连。如果人脸表情 没有动作单元出现，用AUO表示。然后，如果人脸表情有动作单元出现，对每个动作单元进行强度编码。每个动作单 元的强度分五个等级A.很弱、B.弱、C.中等、D.强、E.很强。对每个动作单元，根据其形 变程度确定其强度。如果动作单元形变越大，判定其强度越大，如果动作单元形变越小，判 定其强度越小。将动作单元的强度列在动作单元之后。如图80所示，该人脸的动作单元编码结果为AU0。如图81所示，该人脸的动作单元编码结果为AU56A+AU58A。如图82所示，该人脸的动作单元编码结果为AU54A+AU56A。步骤3 用左动作单元对人脸图像中人的左脸进行人脸表情编码，表示为LAU的组
I=I O首先，依次观察人脸图像是否出现上述LAUl至LAU64的左动作单元。如果出现某 个左动作单元，则将其记下。如果有多个左动作单元，用加号将多个左动作单元相连。如果 人脸表情没有左动作单元出现，用LAUO表示。然后，如果人脸表情有左动作单元出现，对每个左动作单元进行强度编码。每个左 动作单元的强度分五个等级A.很弱、B.弱、C.中等、D.强、E.很强。对每个左动作单元， 根据其形变程度确定其强度。如果左动作单元形变越大，判定其强度越大，如果左动作单元 形变越小，判定其强度越小。将左动作单元的强度列在左动作单元之后。如图80所示，该人脸的左动作单元编码结果为LAU0。如图81所示，该人脸的左动作单元编码结果为LAU21C+LAU27D+LAU64A。如图82所示，该人脸的左动作单元编码结果为LAU4E+LAU7E+LAU9A。步骤4 用右动作单元对人脸图像中人的右脸进行人脸表情编码，表示为RAU的组
I=I O首先，依次观察人脸图像是否出现上述RAUl至RAU64的右动作单元。如果出现某 个右动作单元，则将其记下。如果有多个右动作单元，用加号将多个右动作单元相连。如果 人脸表情没有右动作单元出现，用RAUO表示。
然后，如果人脸表情有右动作单元出现，对每个右动作单元进行强度编码。每个右 动作单元的强度分五个等级A.很弱、B.弱、C.中等、D.强、E.很强。对每个右动作单元， 根据其形变程度确定其强度。如果右动作单元形变越大，判定其强度越大，如果右动作单元 形变越小，判定其强度越小。将右动作单元的强度列在右动作单元之后。如图80所示，该人脸的右编码结果为RAU0。如图81所示，该人脸的右动作单元编码结果为RAU21C+RAU27D+RAU64A。如图82所示，该人脸的右动作单元编码结果为RAU4D+RAU7D+RAU9A。步骤5 将动作单元编码结果、左动作单元编码结果和右动作单元编码结果进行 合并，用加号相连。如果左动作单元和右动作单元有相同的编号出现且强度相同，则将左动 作单元和右动作单元合并，用AU表示，保留其强度。如图80所示，该人脸的最终编码结果为AUQ0如图81所示，该人脸的最终编码结果为AU56A+AU58A+AU21C+AU27D+AU64A。如图82所示，该人脸的最终编码结果为AU54A+AU56A+LAU4E+LAU7E+AU9A+RAU4D+ RAU7D。
1权利要求
一种非对称人脸表情编码方法，其特征在于其步骤如下步骤1将人的左半边脸的局部单一运动命名为左动作单元，将人的右半边脸的局部单一运动命名为右动作单元，将不局限于半边脸的单一运动命名为动作单元；定义左动作单元如下LAU1左脸内眉上扬LAU2左脸外眉上扬LAU4左眉毛下压LAU5左脸上眼睑上扬LAU6左脸颊上提LAU7左眼睑收紧LAU9左脸鼻子起皱LAU10 左脸上嘴唇上扬LAU11 左脸鼻唇沟纹加深LAU12 左脸唇角拉伸LAU13 左脸颊鼓起LAU14 左脸酒窝LAU15 左脸唇角下压LAU16 左脸下嘴唇下压LAU17 左脸下颚上提LAU18 左脸嘴唇褶皱LAU20 左脸嘴唇延伸LAU21 脖子左侧收紧LAU23 左脸嘴唇收紧LAU24 左脸嘴唇上升LAU25 左脸上下嘴唇分开LAU26 左颚下降LAU27 左脸嘴巴伸展LAU28 左脸嘴唇吸入LAU31 左颚钳紧LAU38 左鼻孔扩张LAU39 左鼻孔收缩LAU41 左眼睑低垂LAU42 眯左眼LAU43 左眼闭合LAU44 左眼斜视LAU45 左眼眨眼LAU61 左眼睛左转LAU62 左眼睛右转LAU63 左眼睛向上LAU64 左眼睛向下定义右动作单元如下RAU1 右脸内眉上扬RAU2 右脸外眉上扬RAU4 右眉毛下压RAU5 右脸上眼睑上扬RAU6 右脸颊上提RAU7 右眼睑收紧RAU9 右脸鼻子起皱RAU10 右脸上嘴唇上扬RAU11 右脸鼻唇沟纹加深RAU12 右脸唇角拉伸RAU13 右脸颊鼓起RAU14 右脸酒窝RAU15 右脸唇角下压RAU16 右脸下嘴唇下压RAU17 右脸下颚上提RAU18 右脸嘴唇褶皱RAU20 右脸嘴唇延伸RAU21 脖子右侧收紧RAU23右脸嘴唇收紧RAU24右脸嘴唇上升RAU25右脸上下嘴唇分开RAU26右颚下降RAU27右脸嘴巴伸展RAU28右脸嘴唇吸入RAU31右颚钳紧RAU38右鼻孔扩张RAU39右鼻孔收缩RAU41右眼睑低垂RAU42眯右眼RAU43右眼闭合RAU44右眼斜视RAU45右眼眨眼RAU61右眼睛左转RAU62右眼睛右转RAU63右眼睛向上RAU64右眼睛向下定义动作单元如下AU51头向左AU52头向右AU53头上扬AU54头向下AU55头向左倾斜AU56头向右倾斜AU57头前倾AU58头后倾；步骤2给定一幅人脸图像，用动作单元对人脸图像中的人脸进行人脸表情编码，表示为AU的组合；首先，依次观察人脸图像是否出现上述AU51至AU58的动作单元；如果出现某个动作单元，则将其记下；如果有多个动作单元，用加号将多个动作单元相连；如果人脸表情没有动作单元出现，用AU0表示；然后，如果人脸表情有动作单元出现，对每个动作单元进行强度编码；每个动作单元的强度分五个等级A.很弱、B.弱、C.中等、D.强、E.很强；对每个动作单元，根据其形变程度确定其强度；如果动作单元形变越大，判定其强度越大，如果动作单元形变越小，判定其强度越小；将动作单元的强度列在动作单元之后；步骤3用左动作单元对人脸图像中人的左脸进行人脸表情编码，表示为LAU的组合；首先，依次观察人脸图像是否出现上述LAU1至LAU64的左动作单元；如果出现某个左动作单元，则将其记下；如果有多个左动作单元，用加号将多个左动作单元相连；如果人脸表情没有左动作单元出现，用LAU0表示；然后，如果人脸表情有左动作单元出现，对每个左动作单元进行强度编码；每个左动作单元的强度分五个等级A.很弱、B.弱、C.中等、D.强、E.很强；对每个左动作单元，根据其形变程度确定其强度；如果左动作单元形变越大，判定其强度越大，如果左动作单元形变越小，判定其强度越小；将左动作单元的强度列在左动作单元之后；步骤4用右动作单元对人脸图像中人的右脸进行人脸表情编码，表示为RAU的组合；首先，依次观察人脸图像是否出现上述RAU1至RAU64的右动作单元；如果出现某个右动作单元，则将其记下；如果有多个右动作单元，用加号将多个右动作单元相连；如果人脸表情没有右动作单元出现，用RAU0表示；然后，如果人脸表情有右动作单元出现，对每个右动作单元进行强度编码；每个右动作单元的强度分五个等级A.很弱、B.弱、C.中等、D.强、E.很强；对每个右动作单元，根据其形变程度确定其强度；如果右动作单元形变越大，判定其强度越大，如果右动作单元形变越小，判定其强度越小；将右动作单元的强度列在右动作单元之后；步骤5将动作单元编码结果、左动作单元编码结果和右动作单元编码结果进行合并，用加号相连；如果左动作单元和右动作单元有相同的编号出现且强度相同，则将左动作单元和右动作单元合并，用AU表示，保留其强度。
全文摘要
本发明一种非对称人脸表情编码方法，能够对非对称和对称人脸表情进行编码。定义了36个左动作单元、36个右动作单元和8个动作单元，首先用动作单元对人脸表情进行编码，再用左动作单元对左半部分脸部表情进行编码，接着用右动作单元对右半部分脸部表情进行编码，最后将动作单元编码结果、左动作单元编码结果和右动作单元编码结果进行合并。
文档编号G06T13/00GK101976450SQ20101053407
公开日2011年2月16日 申请日期2010年11月2日 优先权日2010年11月2日
发明者常青, 毛峡, 薛雨丽 申请人:北京航空航天大学