利用补充内容修改视频流以用于视频会议的制作方法

本说明书整体涉及修改视频流，并且更具体地涉及利用补充内容修改图像以用于视频会议。

背景技术：

1、视频会议通过在远程位置之间交换实时视频流而允许远程位置中的人进行交互，就像他们在进行面对面的会议一样。例如，芝加哥会议室中的相机用于捕获并立即传输芝加哥会议室的视频，以在纽约市的远程会议室中显示。纽约市会议室中的电视机显示芝加哥会议室的传入视频，使得纽约市会议室中的人可观看芝加哥会议室中的人的当前动作。类似地，纽约市会议室中的相机用于捕获并立即传输纽约市会议室的视频，以在芝加哥会议室中的电视机上显示，使得芝加哥会议室中的那些人可观看纽约市会议室中的人的当前动作。这样，这两个远程会议室虚拟地加入到单个会议室中。

2、历史上，已在每个会议室中利用专用相机和专用电视来促进视频会议，除了调节相机的位置、变焦和聚焦之外，对传出或传入视频馈送的控制有限。然而，现在通常在单个设备诸如智能电话、平板电脑、膝上型计算机或台式计算机中设置相机和相关联的显示器，该单个设备还包括比历史会议室配置大得多的处理能力。

3、这些设备可具有视频会议应用程序，这些视频会议应用程序从设备的相机发送传出视频并且在同一设备的显示器上显示来自远程设备的相机的传入视频。这些应用程序可促进更便宜且更有效的会议系统，并且可允许在任何位置诸如用户的办公室、家进行视频会议，或者甚至当用户在携带智能电话或平板电脑时从一个位置移动到另一个位置时也可进行视频会议。

技术实现思路

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中所述视频流包括各自具有像素值的图像帧的流，并且其中集成所述视频流与所述自适应面部修改内容包括至少部分地基于从所述本地设备的传感器获得的深度信息将对应于所述自适应面部修改内容的补充内容值集成到所述像素值中。

3.根据权利要求2所述的方法，其中将所述补充内容值集成到所述像素值中包括将用于所述自适应面部修改内容的所述补充内容值添加到所述图像帧中的至少一些图像帧的所述像素值中的至少一些像素值。

4.根据权利要求2所述的方法，其中将所述补充内容值集成到所述像素值中包括用所述补充内容值替换所述图像帧中的至少一些图像帧的所述像素值中的至少一些像素值。

5.根据权利要求1所述的方法，其中还包括：将所述集成的且经修改的视频流从生成所述自适应面部修改内容的视频会议应用程序提供给所述本地设备的编码器，以用于对所述集成的且经修改的视频流进行编码，以传输到所述一个或多个远程设备。

6.根据权利要求1所述的方法，其中集成所述视频流和所述自适应面部修改内容包括向所述本地设备的编码器提供所述视频流和所述自适应面部修改内容以用于集成和编码。

7.根据权利要求1所述的方法，其中发送所述集成的且经修改的视频流包括在所述本地设备与所述一个或多个远程设备之间的所述视频会议会话期间在持续生成所述视频流的附加自适应面部修改内容的同时发送所述集成的且经修改的视频流。

8.根据权利要求1所述的方法，其中发送所集成的且经修改的视频流包括在没有将所述自适应面部修改内容描述为与所述视频流分开的补充内容元数据的情况下发送所述集成的且经修改的视频流。

9.根据权利要求1所述的方法，还包括：在所述一个或多个远程设备处接收所述集成的且经修改的视频流，并且在不进一步修改所述集成的且经修改的视频流的情况下解码并显示所述集成的且经修改的视频流。

10.根据权利要求1所述的方法，还包括：使用所述本地设备的传感器来检测所检测到的面部中的变化。

11.一种存储指令的非暂态计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：

12.根据权利要求11所述的非暂态计算机可读介质，其中所述视频流包括各自具有像素值的图像帧的流，并且其中将所述视频流与所述自适应面部修改内容集成包括将对应于所述自适应面部修改内容的补充内容值集成到所述像素值中。

13.根据权利要求12所述的非暂态计算机可读介质，其中将所述补充内容值集成到所述像素值中包括将用于所述自适应面部修改的所述补充内容值添加到所述图像帧中的至少一些图像帧的所述像素值中的至少一些像素值。

14.根据权利要求12所述的非暂态计算机可读介质，其中将所述补充内容值集成到所述像素值中包括用所述补充内容值替换所述图像帧中的至少一些图像帧的所述像素值中的至少一些像素值。

15.根据权利要求11所述的非暂态计算机可读介质，其中所述指令在由所述一个或多个处理器执行时，还使得所述一个或多个处理器向所述本地设备的编码器提供来自生成所述自适应面部修改内容的视频会议应用程序的所述集成的经修改的视频流，以用于对所述集成的且经修改的视频流进行编码，以传输到所述一个或多个远程设备。

16.根据权利要求11所述的非暂态计算机可读介质，其中将所述视频流和所述自适应面部修改内容集成包括向所述本地设备的编码器提供所述视频流和所述自适应面部修改内容以用于集成和编码。

17.一种设备，包括：

18.根据权利要求17所述的设备，其中所述一个或多个处理器被配置为通过在所述设备与所述一个或多个远程设备之间的所述视频会议会话期间在持续生成所述视频流的附加自适应面部修改内容的同时发送所述集成的且经修改的视频流来发送所述集成的且经修改的视频流。

19.根据权利要求17所述的设备，其中所述一个或多个处理器被配置为通过在没有将所述自适应面部修改内容描述为与所述视频流分开的补充内容元数据的情况下发送所述集成的且经修改的视频流来发送所述集成的且经修改的视频流。

20.根据权利要求17所述的设备，还包括：传感器，被配置为检测所检测到的面部中的变化。

21.根据权利要求1所述的方法，其中所述自适应面部修改内容通过适应于所检测到的面部的面部表情中的变化来适应于所检测到的面部中的变化。

22.根据权利要求1所述的方法，其中所述一个或多个远程设备包括第一远程设备和第二远程设备，并且其中发送所述集成的且经修改的视频流包括在所述视频会议会话期间将所述集成的且经修改的视频流同时发送到所述第一远程设备和所述第二远程设备两者。

23.根据权利要求22所述的方法，其中所述一个或多个远程设备还包括第三远程设备，并且其中所述方法还包括：在所述视频会议会话期间向所述第三远程设备发送所述视频流和所述自适应面部修改内容的补充内容元数据，同时向所述第一远程设备和所述第二远程设备两者发送所述集成的且经修改的视频流，其中所述补充内容元数据包括用于在所述第三远程设备处获得并且渲染所述自适应面部修改的指令。

24.根据权利要求23所述的方法，还包括：

25.根据权利要求24所述的方法，其中所述第一传入视频流包括集成到所述第一传入视频流中的第一附加自适应面部修改内容，并且所述第三传入视频流包括用于与所述第三传入视频流组合显示的第二附加自适应面部修改内容的附加补充内容元数据。

技术总结
本主题技术提供了一种视频会议应用程序，其中可利用来自所述视频会议应用程序内的补充内容诸如贴纸、动画等来补充实时传入或传出视频流。这样，与远程用户一起参与视频会议会话的用户可将贴纸、动画和/或自适应内容添加到由所述用户的设备捕获的传出视频流或来自所述远程用户的设备的传入视频流，而不必在编辑之前本地高速缓存/存储视频剪辑，并且不必离开所述视频会议会话(或所述视频会议应用程序)以访问视频编辑应用程序。

技术研发人员：C·M·加里多,E·L·希恩,A·W·夏禹,金鸣,杨岩,I·J·贝尔德,J·S·阿布安
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/1/16