用于自动捕捉和处理用户图像的方法和系统与流程

本公开涉及一种用于智能自动相机控制和优先级排序的方法。具体地，本公开涉及一种自动捕捉和处理用户图像的方法和系统。

背景技术：

1、生成个性化媒体的趋势变得非常流行，如图1a和图1b所示。图1a和图1b示出了这种趋势。个性化媒体制作的持续趋势示例如下。

2、o用户单击自己的图片-创建具有与图片最佳匹配功能的特征(图片的上下文/统计分析)。

3、o用户单击自己的图片-卡通化贴纸，生成表情(媒体创建基于使用opencv中的vison api)。

4、o用户单击自己的图片-与图片最匹配的表情符号/gif建议(图片的上下文或统计分析)。

5、o视频通话中的媒体过滤器-过滤器实时应用于用户的面部卡通化(面部识别和特征提取)。

6、o通过记录用户的真实反应，它允许为具有个性化反应的用户创建更个性化的虚拟形象(avatar)。

7、然而，个性化媒体(诸如个性化图形交换格式(gif)、贴纸、表情符号的虚拟形象等)可能看起来像用户，但行为不像用户。例如，生成的虚拟形象看起来像用户，但行为不像用户。使用相关技术生成的虚拟形象没有任何个性化动作。虚拟形象的动作是固定的和预先确定的，与用户的真实情感和动作无关。此外，用户需要手动生成个性化媒体，并且不存在自动相机控制。设备的相机不够智能，无法仅记录有意义的内容，从而捕捉用户的真实情感。用户的记录的视频帧可能包含用户以后可能需要编辑和删除的无意义内容，因此，需要自动捕捉和编辑方法。

8、在相关技术中，媒体的生成仅依赖于用户对相机的输入来生成任何媒体。没有现有的方法可以自动捕捉用户的真实图像。为了捕捉日常生活中珍贵的瞬间，减少用户手动操作捕捉或记录媒体的不便，需要自动启动相机。此外，从任何相关技术方法创建的媒体和/或虚拟形象缺乏多样性，因为为任何用户生成的媒体使用相同样式的改变媒体中的虚拟形象。同时，使用相关技术的方法生成的媒体缺乏对当前媒体情感的正确阐释。相关技术方法存在以下缺点：

9、·相关技术方法仅具有基于相机控制的特定特征，诸如当每个人微笑时自动拍照，询问“有人眨眼了吗？”，红眼检测。没有适用于所有情况的通用方法。

10、·相关技术方法不关注相机或媒体生成的自动化。

11、此外，当前技术在媒体生成中缺乏个性化元素。这些技术没有考虑到自动化或媒体生成的所有用户的情感。目前还没有一种基于上下文的视频自动捕捉技术能够考虑上下文中的情感。此外，媒体中的情感对于用户来说不是个性化的，因此不能正确地描述用户的情绪。

技术实现思路

1、问题的解决方案

2、提供
技术实现要素：
是为了引入在本公开的详细描述中进一步描述的概念。本公开内容并不旨在限制或定义本公开的范围。

3、根据本公开的示例实施例的一个方面，提供一种用于自动捕捉和处理用户的图像的方法。所述方法可以包括确定从多媒体内容识别的情感水平。所述方法可以包括通过基于用户信息调整情感水平来确定多媒体内容的经调整的情感水平。所述方法可以包括基于经调整的情感水平大于第一阈值且基于用户的多个图像而确定的用户的反应小于第二阈值，在时间段内捕捉多个图像。所述方法可以包括基于多个图像的帧情感水平、多个图像中用户的面部特征或者多个图像中的面部数量中的至少一个对多个图像进行优先级排序。所述方法可以包括处理经优先级排序的图像以生成输出。

4、根据本公开的示例实施例的一个方面，提供一种用于自动捕捉和处理用户的图像的电子设备。所述电子设备可以包括至少一个处理器。所述至少一个处理器可以被配置为确定从多媒体内容识别的情感水平。所述至少一个处理器可以被配置为通过基于用户信息调整情感水平来确定多媒体内容的经调整的情感水平。所述至少一个处理器可以被配置为基于经调整的情感水平大于第一阈值且基于用户的多个图像而确定的用户的反应小于第二阈值，在时间段内捕捉多个图像。所述至少一个处理器可以被配置为基于多个图像的帧情感水平、多个图像中用户的面部特征或者多个图像中的面部数量中的至少一个对多个图像进行优先级排序。所述至少一个处理器可以被配置为处理经优先级排序的图像以生成输出。

5、根据本公开的示例实施例的一个方面，提供了一种计算机可读介质。计算机可读介质存储由电子设备的一个或多个处理器执行的指令。计算机可读介质可以使一个或多个处理器：确定从多媒体内容识别的情感水平。计算机可读介质可以使一个或多个处理器：通过基于用户信息调整情感水平来确定多媒体内容的经调整的情感水平。计算机可读介质可以使一个或多个处理器：基于经调整的情感水平大于第一阈值且基于用户的多个图像而确定的用户的反应小于第二阈值，在时间段内捕捉多个图像。计算机可读介质可以使一个或多个处理器：基于多个图像的帧情感水平、多个图像中用户的面部特征或者多个图像中的面部数量中的至少一个对多个图像进行优先级排序。计算机可读介质可以使一个或多个处理器：处理经优先级排序的图像以生成输出。

技术特征：

1.一种用于自动捕捉和处理用户的图像的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，确定所述多媒体内容的情感水平包括：

3.根据权利要求1至2中任一项所述的方法，其中，确定所述经调整的情感水平包括：

4.根据权利要求1至3中任一项所述的方法，其中，所述第一阈值通过从情感阈值表中检索与识别的情感相对应的值而被确定。

5.根据权利要求1至4中任一项所述的方法，其中，所述第一阈值是要被检测的所述情感的静态面部表情和动态面部表情中的至少一个的最小表情强度。

6.根据权利要求1至5中任一项所述的方法，其中，所述第二阈值通过以下而被确定：

7.根据权利要求1至6中任一项所述的方法，其中，对所述多个图像进行优先级排序包括：

8.根据权利要求7所述的方法，其中，帧集合的帧情感水平通过以下来获得：

9.根据权利要求7至8中任一项所述的方法，其中，所述预定函数还包括通过以下来确定面部优先级值：

10.根据权利要求1至9中任一项所述的方法，其中，处理所述经优先级排序的图像包括以下中的至少一个：

11.根据权利要求1至10中任一项所述的方法，其中，所述多媒体内容包括音频和视频内容、文本内容、音频内容或视频内容中的至少一个。

12.根据权利要求1至11中任一项所述的方法，其中，所述多媒体内容包括直播内容或存储内容中的至少一个。

13.一种用于自动捕捉和处理用户的图像的电子设备，所述电子设备包括至少一个处理器，所述至少一个处理器被配置为：

14.根据权利要求13所述的电子设备，其中，所述至少一个处理器还被配置为通过以下来确定所述情感水平：

15.一种存储指令的计算机可读介质，所述指令在由电子设备的一个或多个处理器执行时使得所述一个或多个处理器：

技术总结
一种用于自动捕捉和处理用户的图像的方法。该方法可以包括确定从多媒体内容识别的情感水平；通过基于用户信息调整情感水平来确定多媒体内容的经调整的情感水平；基于经调整的情感水平大于第一阈值且基于用户的多个图像而确定的用户的反应小于第二阈值，在时间段内捕捉多个图像；基于多个图像的帧情感水平、多个图像中用户的面部特征或者多个图像中的面部数量中的至少一个对多个图像进行优先级排序；以及处理经优先级排序的图像以生成输出。

技术研发人员：A·库马尔,N·梅纳
受保护的技术使用者：三星电子株式会社
技术研发日：
技术公布日：2024/3/31