并发送至服务器，所述服务器使接收者用户终端和发送者用户终端彼此共享所述用户虚拟头像； 53:发送者用户终端从所述用户脸部画面中获取用于表达该用户脸部画面表情的关键点的表情变化数据，并将所得表情变化数据发送至接收者用户终端，然后转入步骤S4和/或步骤S5 ； 54:接收者用户终端根据接收到的表情变化数据，驱动接收者用户终端上的发送者的用户虚拟头像跟随发送者显示同样的脸部表情，并在接收者用户终端上的显示窗口上显示; 55:发送者用户终端根据获取的表情变化数据，驱动发送者用户终端自身的用户虚拟头像跟随发送者做同步脸部表情动作，并在发送者用户终端的显示窗口上显示。2.如权利要求1所述的基于可调模板头像的人人交互的方法，其特征在于:所述发送者用户终端获取发送者的音频数据，并对所述音频数据及表情变化数据加时间戳，所述时间戳用于使发送者的表情与声音在播放的过程中达到同步。3.如权利要求2所述的基于可调模板头像的人人交互的方法，其特征在于:所述加有时间戳的音频数据及表情变化数据的传输步骤具体如下: 511:判断接收者是否在线； 512:若接收者在线时，则进行实时传输，转入步骤S13 ;否则，进行延时传输，转入步骤S14 ； 513:实时传输时，发送者用户终端发送加有时间戳的表情变化数据及音频数据至服务器，服务器将接收到的加有时间戳的表情变化数据及音频数据发送至接收者用户终端； 514:延时传输时，发送者用户终端预存该发送者的加有时间戳的表情变化数据及音频数据，然后将预存的加有时间戳的表情变化数据及音频数据进行打包后发送至服务器，并等待接收者用户终端下载。4.如权利要求3所述的基于可调模板头像的人人交互的方法，其特征在于:在实时传输的过程中，其传输步骤如下: 521:判断是否实时捕捉到发送者的用户脸部画面和声音； 522:若能实时捕捉到发送者的用户脸部画面和声音，则实时传输获取的发送者的加有时间戳的表情变化数据和音频数据；否则转入步骤S23 ; 523:在设定时间T内，判断是否能捕捉到发送者的用户脸部画面或声音；当仅能捕捉到发送者的用户脸部画面时，转入步骤S24 ;当仅能捕捉到发送者的声音时，转入步骤S25 ;当发送者的用户脸部画面或声音均捕捉不到时，停止传输发送者的加有时间戳的表情变化数据及音频数据，接收者用户终端上的显示窗口上显示的画面静止，同时停止播放发送者的音频数据； 若超过设定时间T，当能实时捕捉到发送者的用户脸部画面和声音，则重新转入步骤S22;当仅能捕捉到发送者的用户脸部画面时，转入步骤S26 ;当仅能捕捉到发送者的声音时，转入步骤S27 ;否则，结束传输过程； S24:发送者用户终端获取发送者的表情变化数据，然后向接收者用户终端传输发送者的加有时间戳的表情变化数据；接收者用户终端上的显示窗口上显示发送者的表情，此时停止播放发送者的音频数据； S25:发送者用户终端获取发送者的音频数据，然后向接收者用户终端传输发送者的加有时间戳的音频数据；此时接收者用户终端继续播放发送者的音频数据，其显示窗口上显示的画面静止； S26:发送者用户终端获取发送者的表情变化数据，然后向接收者用户终端传输发送者的加有时间戳的表情变化数据；接收者用户终端上的显示窗口上显示发送者的表情，此时停止播放发送者的音频数据； S27:发送者用户终端获取发送者的音频数据，然后向接收者用户终端传输发送者的加有时间戳的音频数据；此时接收者用户终端继续播放发送者的音频数据，并提取接收者用户终端自身内部已存储的表情变化数据，在其显示窗口上显示。5.如权利要求3所述的基于可调模板头像的人人交互的方法，其特征在于:在延时传输的过程中，其预存步骤如下: 531:判断是否实时捕捉到发送者的用户脸部画面和声音； 532:若能实时捕捉到发送者的用户脸部画面和声音，则对获取的发送者的加有时间戳的表情变化数据和音频数据进行预存；否则，转入步骤S33 ; 533:在设定的时间S内，判断是否捕捉到发送者的用户脸部画面或声音；当仅能捕捉到发送者的用户脸部画面时，转入步骤S34 ;当仅能捕捉到发送者的声音时，转入步骤S35 ;当发送者的用户脸部画面和声音均捕捉不到时，发送者的音频数据预存中断，在中断前后预存的发送者的表情变化数据之间进行插值算法； 若超过设定的时间S，当能实时捕捉到发送者的用户脸部画面和声音，则重新转入步骤S32 ;当仅能捕捉到发送者的用户脸部画面时，转入步骤S36 ;当仅能捕捉到发送者的声音时，转入步骤S37 ;否则，结束预存状态； 534:发送者用户终端预存发送者的加有时间戳的表情变化数据，发送者的音频数据预存中断； 535:发送者用户终端预存发送者的加有时间戳的音频数据，并在中断前后预存的发送者的表情变化数据之间进行插值算法，使得整个画面平滑过渡； 536:发送者用户终端预存发送者的加有时间戳的表情变化数据； 537:发送者用户终端预存发送者的加有时间戳的音频数据。6.如权利要求1?5任一项所述的基于可调模板头像的人人交互的方法，其特征在于:所述平面可调模板头像包括由多条Bezier曲线构成的具有脸部特征的数据模型。7.如权利要求6所述的基于可调模板头像的人人交互的方法，其特征在于:所述表情变化数据至少包括24个关键点位置信息，所述关键点作为一个控制点，根据其位置信息驱动与关键点相连的Bezier曲线动作，从而使得具有脸部特征的数据模型显示出用户脸部画面中的脸部表情。8.如权利要求7所述的基于可调模板头像的人人交互的方法，其特征在于所述24个关键点分别如下: 脖子:左侧脖子轮廓线的中点，右侧脖子轮廓线的中点； 脸型:下颂最低点，左下颂角处的拐点，右下颂角处的拐点，左侧颧骨最高点，右侧颧骨最尚点，额头中心点； 眉毛:左眉最左点，左眉最右点；右眉最左点，右眉最右点； 眼睛:左眼上眼皮轮廓线的中点，左眼下眼皮轮廓线的中点，左眼珠的中心点；右眼上眼皮轮廓线的中点，右眼下眼皮轮廓线的中点，右眼珠的中心点； 鼻子:左鼻翼中心点，右臂翼中心点； 嘴巴:嘴角最左点，嘴角最右点，上嘴唇轮廓线的中点，下嘴唇轮廓线的中点。
【专利摘要】本发明公开了一种基于可调模板头像的人人交互的方法，属于计算机技术领域。本基于可调模板头像的人人交互的方法包括如下步骤：通过摄像头获取发送者用户终端的用户脸部画面；根据获取的用户脸部画面与所述基本模板头像进行匹配，最终生成用户虚拟头像；发送者用户终端保存并发送用户虚拟头像至服务器；发送者用户终端获取关键点的表情变化数据，并将所得表情变化数据发送至接收者用户终端；驱动接收者用户终端上的发送者的用户虚拟头像显示脸部表情；驱动发送者用户终端自身的用户虚拟头像做脸部表情动作。本发明仅需获取关键点的表情变化数据，该表情变化数据所占的内存较小，有利于实现加快传输速度及降低流量耗费的目的。
【IPC分类】G06F3/01, H04N7/14, H04N21/4788
【公开号】CN105704419
【申请号】CN201410704882
【发明人】程超
【申请人】程超
【公开日】2016年6月22日
【申请日】2014年11月27日