视频通讯方法及装置、电子设备、计算机可读介质与流程

本发明涉及通信技术，尤其涉及一种视频通讯方法、视频通讯装置、电子设备、计算机可读介质。

背景技术：

1、目前，越来越多的用户通过视频通讯进行聊天或会议，越来越多的机构开始采用线上视频通讯的方式为客户提供更优质的服务。现有的视频通讯系统通常包括视频发送端、视频接收端和会议平台，视频发送端采集整幅图像后，对整幅图像进行压缩编码后，发送给会议平台，会议平台再将其转发给视频接收端，视频接收端再对压缩编码后的整幅图像进行解码恢复。而这种视频通讯方式，存在一些问题，一方面，在弱网环境下，需要传输的数据量较大，难以避免视频通讯出现卡顿、模糊等问题，另一方面，若需要进行视频图像的优化，由于视频发送端通常自身的画面渲染能力较弱，因此无法进行复杂的画面优化。

技术实现思路

1、本发明实施例的主要目的在于提出一种视频通讯方法，旨在减少视频通讯所占用的网络宽带，并保证视频通讯的画面质量。

2、第一方面，本发明实施例提供一种视频通讯方法，所述方法包括：

3、获取采集图像并从所述采集图像中提取人像运动特征；

4、向视频服务器发送所述人像运动特征，以使所述视频服务器根据所述人像运动特征，生成与预存的参考人像相对应的显示人像，并将所述显示人像推送给视频接收端。

5、在一些实施例中，所述向视频服务器发送所述人像运动特征包括：

6、将所述人像运动特征进行压缩编码，向所述视频服务器发送压缩编码后的人像运动特征。

7、在一些实施例中，所述将所述人像运动特征进行压缩编码包括：

8、采用半精度浮点数的方式将所述人像运动特征进行压缩编码。

9、在一些实施例中，所述获取采集图像并从所述采集图像中提取人像运动特征包括：

10、采用关键特征提取模型，从所述采集图像中提取人像运动特征；其中，所述关键特征提取模型包括一阶运动提取模型或实用人脸关键点检测模型pfld。

11、在一些实施例中，所述获取采集图像并从所述采集图像中提取人像运动特征之前，所述方法还包括：

12、获取所述参考人像并确定所述参考人像的合法性；

13、将确定合法的所述参考人像发送给所述视频服务器。

14、在一些实施例中，所述获取所述参考人像并确定所述参考人像的合法性包括：

15、确定所述参考人像的人像类型，所述人像类型包括真实人像类型和虚拟人像类型；

16、根据所述人像类型对应的验证方法，确定所述参考人像的合法性。

17、在一些实施例中，所述视频服务器包括会议平台和渲染服务器；所述获取采集图像并从所述采集图像中提取人像运动特征之前，所述方法还包括：

18、向所述会议平台发送建立连接请求，并根据所述会议平台响应于所述建立连接请求所返回的连接确认消息中包含的渲染服务器地址，与所述渲染服务器建立连接。

19、第二方面，本发明实施例提供一种视频通讯方法，所述方法应用在视频服务器中，所述方法包括：

20、接收视频发送端发送的从采集图像中提取的人像运动特征，并根据所述人像运动特征，对预存的参考人像进行处理，得到显示人像；

21、将所述显示人像推送给视频接收端。

22、在一些实施例中，所述视频服务器包括会议平台和渲染服务器；所述接收视频发送端发送的从采集图像中提取的人像运动特征，并根据所述人像运动特征，对预存的参考人像进行处理，得到显示人像包括：

23、通过所述渲染服务器接收所述人像运动特征，并根据所述人像运动特征，对预存的参考人像进行处理，得到显示人像，将所述显示人像发送给所述会议平台；

24、所述将所述显示人像推送给视频接收端包括：

25、通过所述会议平台接收所述显示人像并将所述显示人像推送给视频接收端。

26、在一些实施例中，所述通过所述渲染服务器接收所述人像运动特征包括：

27、通过所述渲染服务器接收所述人像运动特征，并将压缩编码后的人像运动特征解码恢复为原始的人像运动特征。

28、在一些实施例中，所述通过所述渲染服务器接收所述人像运动特征，并将压缩编码后的人像运动特征解码恢复为原始的人像运动特征包括：

29、通过所述渲染服务器采用单精度浮点数的方式将压缩编码后的人像运动特征解码恢复为原始的人像运动特征。

30、在一些实施例中，所述根据所述人像运动特征，对预存的参考人像进行处理，得到显示人像包括：

31、通过所述渲染服务器采用图像生成模型，根据所述人像运动特征，对预存的参考人像进行处理，得到显示人像；其中，所述图像生成模型包括一阶特征运动生成模型或人像动画生成模型nthm。

32、在一些实施例中，所述通过所述渲染服务器接收所述人像运动特征，并根据所述人像运动特征，对预存的参考人像进行处理，得到显示人像，将所述显示人像发送给所述会议平台之前，所述方法还包括：

33、所述会议平台响应于所述视频发送端发送的建立连接请求，向所述视频发送端发送连接确认消息，以使所述视频发送端根据所述连接确认消息中包含的第一配置参数，与所述会议平台建立连接；

34、通过所述会议平台响应于所述视频发送端发送的地址获取请求，向所述视频发送端返回预存的渲染服务器地址，以使所述视频发送端根据所述渲染服务器地址，与所述渲染服务器建立连接。

35、在一些实施例中，所述接收视频发送端发送的从采集图像中提取的人像运动特征，并根据所述人像运动特征，对预存的参考人像进行处理，得到显示人像之前，所述方法还包括：

36、接收并保存所述视频发送端发送的参考人像；其中，所述参考人像为所述视频发送端确定合法后发送的。

37、第三方面，本发明实施例提供一种视频通讯装置，其包括：

38、特征提取模块，其用于获取采集图像并从所述采集图像中提取人像运动特征；

39、发送模块，其用于向视频服务器发送所述人像运动特征，以使所述视频服务器根据所述人像运动特征，生成与预存的参考人像相对应的显示人像，并将所述显示人像推送给视频接收端。

40、第四方面，本发明实施例提供一种视频通讯装置，其包括：

41、显示人像生成模块，其用于接收视频发送端发送的从采集图像中提取的人像运动特征，并根据所述人像运动特征，对预存的参考人像进行处理，得到显示人像；

42、推送模块，其用于将所述显示人像推送给视频接收端。

43、第五方面，本发明实施例提供一种电子设备，包括：

44、一个或多个处理器；

45、存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据上述方法；

46、一个或多个i/o接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

47、第六方面，本发明实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据上述方法。

48、本发明实施例提供的视频通讯方法，通过视频发送端从采集图像中提取人像运动特征并发送给视频服务器，视频服务器再根据人像运动特征，对参考人像进行处理生成显示人像，再将显示人像推送给视频接收端以进行视频通讯，由于视频发送端仅向视频服务器发送人像运动特征而非发送整幅画面，因此能够极大地减少传输的数据量，进而减少所占用的网络宽带，并且，由视频服务器进行画面渲染，能够解决视频发送端画面处理能力较弱的问题，从而能够保证视频通讯的画面质量。