一种视频处理方法、设备及相关产品与流程

本申请涉及视频图像处理，尤其涉及一种视频处理方法、设备及相关产品。

背景技术：

1、在视频会议、直播或视频通话的场景中，通常有多个终端设备相互对接并进行视频展示。以视频会议场景为例，终端设备a、终端设备b、终端设备c和终端设备d各自通过会议软件的账号接入同一视频会议。由于接入视频会议的终端设备所处的图像采集环境有可能偏暗，进而影响对账号用户的拍摄效果，或者加入会议的账号用户希望以较好的视觉状态展示在参会的其他人员面前，为此，对于视频图像中的人像进行优化处理，成为了当前视频会议、直播或视频通话等场景中用户的一项重要需求。

2、当前，接入到会议的终端设备有可能分别对应不同的平台。例如，终端设备a使用windows平台，终端设备b使用macos平台，终端设备c使用andriod平台，终端设备d使用ios平台。以现有的视频会议场景所使用的视频处理技术为例，针对于来自不同平台的视频数据，采用与平台对应的视频人像处理技术进行处理。这意味着，面对不同平台的数据需要分别开发相应的视频人像处理技术，开发效率低，并产生较高的开发成本。缺少可以跨平台实现视频人像处理的技术方案来满足视频会议、直播或视频通话等场景中的人像美颜需求。

技术实现思路

1、本申请实施例提供了一种视频处理方法、设备及相关产品，旨在提供一种低成本并可跨平台实现人像处理的技术方案来满足视频会议、直播或视频通话等场景中的人像美颜需求，提高视频人像处理技术的开发效率。

2、本申请第一方面提供了一种视频处理方法，应用于具备中央处理器cpu和图形处理器gpu的终端设备，该方法包括：

3、所述cpu通过文件转换工具，将着色器文件转换为格式适用于所述终端设备所使用的平台的着色器文件；

4、所述cpu分别创建多个平台各自对应的开放图形库opengl上下文；所述多个平台包括所述终端设备所使用的平台；

5、所述cpu在所述多个平台各自对应的opengl上下文创建成功后，将转换后的着色器文件进行编译和链接；

6、所述cpu将来自目标平台的包含人像的待处理视频数据上传到初始化后的跨平台opengl环境的opengl纹理中；所述目标平台为所述多个平台之一；

7、所述gpu基于所述opengl纹理，将来自所述目标平台的所述待处理视频数据转换为目标格式的视频数据；

8、所述gpu对所述目标格式的视频数据进行人像处理，获得人像处理后的视频数据。

9、本申请第二方面提供了一种视频处理设备，该所述视频处理设备为具备存储器、中央处理器cpu和图形处理器gpu的终端设备；

10、所述存储器用于存储计算机程序，并将所述计算机程序传输给所述cpu和所述gpu；

11、所述cpu用于根据所述计算机程序中的指令执行第一方面任一实现方式提供的视频处理方法中cpu执行的步骤；

12、所述gpu用于根据所述计算机程序中的指令执行第一方面任一实现方式提供的视频处理方法中gpu执行的步骤。

13、本申请第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被视频处理设备执行时实现第一方面提供的视频处理方法的步骤。

14、本申请第四方面提供了一种计算机程序产品，包括计算机程序，该计算机程序被视频处理设备执行时实现第一方面提供的视频处理方法的步骤。

15、从以上技术方案可以看出，本申请实施例具有以下优点：

16、本申请技术方案中，终端设备的中央处理器cpu将着色器文件转换为格式适用于所述终端设备所使用的平台的着色器文件，并分别创建所述多个平台各自对应的开放图形库opengl上下文，在多个平台各自对应的opengl上下文创建成功后，将转换后的着色器文件进行编译和链接，从而完成跨平台opengl环境的初始化。在完成跨平台opengl环境初始化之后，终端设备便可以在该初始化的跨平台opengl环境中，由gpu采用opengl操作完成人像处理。在gpu真正执行人像处理前，需要由cpu将来自目标平台的包含人像的待处理视频数据上传到opengl纹理中，以便于gpu操作。gpu会基于opengl纹理，将待处理的视频数据转换为目标格式的视频数据，对视频数据的格式转换，目的是实现对视频数据的格式同一，避免差异化的视频数据格式对人像处理的影响。接着，gpu对目标格式的视频数据进行人像处理，获得人像处理后的视频数据。本方案相比于已有技术中单独针对不同平台分别提供对应的视频人像处理技术，以跨平台方式实现人像处理，降低了开发成本，提升了开发效率，具备较强的兼容性能。

技术特征：

1.一种视频处理方法，其特征在于，应用于具备中央处理器cpu和图形处理器gpu的终端设备，所述方法包括：

2.根据权利要求1所述的视频处理方法，其特征在于，所述cpu分别创建所述多个平台各自对应的开放图形库opengl上下文，包括：

3.根据权利要求1所述的视频处理方法，其特征在于，在所述gpu对所述目标格式的视频数据进行人像处理，获得人像处理后的视频数据之后，所述方法还包括：

4.根据权利要求3所述的视频处理方法，其特征在于，所述gpu将所述pbo的内存空间中存储的所述纹理数据拷贝到所述cpu的内存空间之后，所述方法还包括：

5.根据权利要求1所述的视频处理方法，其特征在于，所述gpu对所述目标格式的视频数据进行人像处理，包括：

6.根据权利要求5所述的视频处理方法，其特征在于，在所述完成对所述目标格式的视频数据的第一阶段美颜之后，还包括：

7.根据权利要求6所述的视频处理方法，其特征在于，在所述完成对所述目标格式的视频数据的第二阶段美颜之后，还包括：

8.根据权利要求6所述的视频处理方法，其特征在于，所述gpu基于检测到的人脸位置及关键点坐标，对所述视频帧中的人脸进行局部区域调整，包括：

9.一种视频处理设备，其特征在于，所述视频处理设备为具备存储器、中央处理器cpu和图形处理器gpu的终端设备；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被视频处理设备执行时实现权利要求1-8中任一项所述的视频处理方法的步骤。

11.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被视频处理设备执行时实现权利要求1-8中任一项所述的视频处理方法的步骤。

技术总结
本申请公开一种视频处理方法、设备及相关产品，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。CPU将着色器文件转换为格式适用于所述终端设备所使用的平台的着色器文件，创建所述多个平台各自对应的开放图形库OpenGL上下文，将转换后的着色器文件进行编译和链接。由GPU采用OpenGL操作完成人像处理。CPU将来自目标平台的包含人像的待处理视频数据上传到OpenGL纹理中。GPU基于OpenGL纹理将待处理的视频数据转换为目标格式的视频数据。GPU对目标格式的视频数据进行人像处理，获得人像处理后的视频数据。以跨平台方式实现视频中的人像处理，降低开发成本提升开发效率。

技术研发人员：李斌,陈静聪,高帅
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/2/1