表情符号人偶化的制作方法

本公开涉及表情符号图像领域。

背景技术：

1、表情符号(emoji)是可以传达表情或情绪的小图形或图标，诸如表达快乐的笑脸或表达喜爱的吻。即时消息系统的用户可以在消息中包括表情符号，从而凭借表情符号来表达情绪。表情符号可具有固定的动画，诸如该表情符号眨眼睛，或飞吻。然而，用户无法改变表情符号的固定动画。

2、一些动画和增强现实(ar)系统可以将对象添加到图像。例如，ar系统可以将滑稽的鼻子添加到人的照片，或者将一个人(诸如用户)的照片变形为另一个人(诸如着名演员或公众人物)的照片。这些系统通常使用相机输出(例如，rgb数据)来确定人的轮廓，以提供数据来执行变形。仅使用rgb数据来获得深度信息在低光照条件下可能存在问题。

技术实现思路

1、公开了用于根据客户端设备的用户的面部表情、头部运动和语音所记录的图像、深度和可选的音频信息，来生成人偶化表情符号的视频的系统和方法。可以经由消息将人偶化表情符号视频传输给一个或多个消息接收人。可以使用所记录的表情、动作以及语音来以动画方式显示人偶化表情符号或对其进行人偶化。

2、在第一实施方案中，生成用于在消息中发送到一个或多个接收客户端设备的人偶化表情符号视频的方法，可以使用即时消息应用程序的表情符号人偶化应用扩展程序从即时消息应用程序内生成。人偶化表情符号可以看起来像是在模仿客户端设备的用户的面部表情、头部动作、眉毛动作、语音，以及其他表情。该方法可以包括使用深度传感器接收表示对象(诸如人类头部和面部)的多个深度信息帧。对象也可以是例如用户宠物的头部或面部，或其他移动的表现对象。该方法还可包括接收表示该对象的多个图像信息帧。可以根据该多个深度信息帧和图像信息帧，来呈现人偶化表情符号的视频。在一个实施方案中，视频还可以包括从与多个图像信息帧和深度信息帧同时记录的多个音频数据帧中生成的音频。然后，可以经由即时消息服务，将带有人偶化表情符号视频的消息传输给一个或多个消息接收人。消息接收人可以各自具有带不同设备和即时消息能力的计算设备。在一个实施方案中，发送客户端设备上的即时消息应用程序可以从即时消息系统接收对于传输表情符号的视频所用的一个或多个版本或格式的指示，其对应于消息接收人的一个或多个设备的设备和即时消息应用程序能力。在一个实施方案中，可以使用富链接(rich link)或指示表情符号视频的回放参数的元数据标签，在消息中传输表情符号视频。富链接可以指示统一资源定位符(url)，统一资源标识符(uri)或其他访问所呈现的人偶化表情符号的标引。富链接或元数据标签可以包括用于回放人偶化表情符号的参数，诸如回放人偶化表情符号的次数、在重复回放之前的延迟时间、是循环回放人偶化表情符号还是回放人偶化表情符号一次、是否应该在接收人打开含有人偶化表情符号的消息时自动播放人偶化表情符号，还是应该等到点击了人偶化表情符号才播放，以及人偶化表情符号的其他回放参数。在一个实施方案中，客户端发送设备可以存储所呈现的人偶化表情符号视频，并且富链接可以指存储所呈现的视频的位置。该位置可以是发送设备、消息服务器、第三方服务器、云存储或其他存储位置。接收客户端可以通过访问富链接而访问人偶化表情符号视频。另选地，可以将人偶化表情符号视频嵌入到消息中，并以接收设备、消息应用程序或设置参数所指定的默认方式将其传输给接收人进行回放。

3、在另一个实施方案中，消息系统可以接收来自发送客户端设备对于如下内容的指示：包括人偶化表情符号视频的消息将被发送给多个消息接收人。消息系统可以确定发送客户端设备的设备能力。消息系统还可确定每个消息接收人的客户端设备的设备能力。然后，消息系统可以向发送客户端设备发送用于呈现人偶化表情符号视频的版本或格式列表，使得每个接收客户端设备可以根据客户端设备硬件和软件能力来播放视频。所呈现的人偶化表情符号版本还可考虑发送客户端设备呈现该人偶化表情符号视频的硬件和软件能力。消息系统可以另外地接收发送给每个消息接收人的消息，每个消息包括消息系统所指定的、来自发送客户端设备的人偶化表情符号视频的版本。消息系统可按适用于接收客户端设备的硬件和软件能力的版本，向每个消息接收人传输消息和人偶化表情符号视频。然后消息系统可以通知发送客户端设备，消息已经成功发送到接收人客户端设备。

4、在又一个实施方案中，接收客户端设备可以从消息系统接收消息，该消息包括人偶化表情符号。在一个实施方案中，接收客户端设备的即时消息应用程序可以解密该消息。可以使用消息接收人的非对称密钥对的私有密钥来解密该消息。在一个实施方案中，消息可以使用对称密钥来解密。消息内的文本可以显示在即时消息应用程序内的转译本窗口中的消息会话内。如果接收客户端设备上安装了表情符号人偶化应用扩展程序，则消息应用程序显示并循环来自消息的人偶化表情符号。响应于用户输入，可以将来自人偶化表情符号的音频打开或静音。如果接收客户端设备不包括表情符号人偶化应用扩展程序，则可以在接收人客户端设备的显示器上将人偶化表情符号显示为视频。在一个实施方案中，视频可以显示在消息应用程序的转译本窗口内。在一个实施方案中，视频可以响应于重放视频的用户输入而被重放。

5、在一个另外的实施方案中，表情符号人偶化应用扩展程序可以经由一个或多个应用编程接口(api)或框架来调用增强现实(ar)api，音频/视频api、呈现ap、面部跟踪api和表情符号人偶化api，执行表情符号的人偶化。面部跟踪api可以接收图像传感器数据和深度传感器数据，并生成用户头部和/或面部的基网格。图像传感器可以用来检测用户面部的存在情况。在一个实施方案中，可以使用图像传感器和深度传感器中的任一者或两者来检测用户的面部的存在情况。在一个实施方案中，深度传感器可以在检测用户的面部期间断电。在一个实施方案中，可以显示围绕所检测的用户面部的边界框，并且可以生成指示用户面部已经被检测到的硬件信号。在检测到用户的面部之后，可以使用深度传感器来扫描用户的面部，并生成基网格或“轮廓型”面部。在一个实施方案中，深度传感器可以响应于由rgb传感器检测到用户的面部而被开启。在一个实施方案中，如果不再检测到用户的面部，则可以关闭深度传感器。随着用户改变其面部表情，面部跟踪api可以继续接收图像传感器数据和深度传感器数据的帧，并且可以确定基网格与图像传感器数据及深度传感器数据的附加帧之间的差异。该差异可以被表示为3d向量，其中每个向量元素在基网格的每个顶点具有诸如0-255的值。在一个实施方案中，可以跟踪基网格中的不同顶点，诸如用户的嘴巴或眉毛，其中每个顶点可以被称为界标。基网格与图像传感器数据及深度传感器数据的附加帧之间的差异可以表示为，代表用户面部表情变化的一个或多个混合形状值。基网格以及从图像传感器数据及深度传感器数据的帧导出的混合形状的顺序，可以用于映射基网格的混合形状值，以混合表情符号的形状值。在一个实施方案中，对基网格的混合形状值所作的改变(其映射到表情符号的混合形状)，可以被用于以动画方式显示表情符号或将表情符号“人偶化”。可以使用呈现api将以动画方式显示的表情符号呈现为一种或多种格式的视频。

6、在一个实施方案中，非暂态计算机可读介质可以存储可执行指令，该可执行指令在由处理系统执行时，可以执行上述任何功能。

7、在又一个实施方案中，联接到编程有可执行指令的存储器的处理系统可以在执行该指令时，执行上述任何功能。在一个实施方案中，处理系统包括至少一个硬件处理器。

8、本文所述的一些实施方案包括环境中的一个或多个应用编程接口(api)，其中调用程序代码与通过一个或多个接口而受调用的其他程序代码进行交互。各种功能调用、消息或其他类型的调用还可包括各种参数，这些调用可以经由调用程序和被调用代码之间的apl而传输。此外，api可以给调用程序代码提供使用在api中定义的、并在被调用程序代码中实现的数据类型或类别的能力。

9、通过附图并且通过详细描述，其他特征和好处将显而易见。