基于神经辐射场的超低带宽视频通话传输系统和方法

文档序号:33781096发布日期:2023-04-19 00:47阅读:来源:国知局

技术特征:

1.一种基于神经辐射场的超低带宽视频通话传输系统,其特征在于,包括:

2.根据权利要求1所述的一种基于神经辐射场的超低带宽视频通话传输系统,其特征在于,所述三维数字人脸重建模块具有将输入的人脸图像与人脸表情特征一一对应的特质,实现人脸表情特征替代人脸图像传输,用于降低带宽;

3.根据权利要求1所述的一种基于神经辐射场的超低带宽视频通话传输系统,其特征在于,所述三维数字人脸重建模型,包括:

4.根据权利要求1所述的一种基于神经辐射场的超低带宽视频通话传输系统,其特征在于,所述动态神经辐射场单元将所述面部追踪单元获得的所述人脸位姿p、人脸表情特征δ以及可学习隐码γ共同作为条件参数进行限制,使用一个多层感知机mlp表示人脸的动态神经辐射场单元dθ;

5.根据权利要求4所述的一种基于神经辐射场的超低带宽视频通话传输系统,其特征在于,所述辐射颜色rgb和体素密度σ为所述动态神经辐射场单元dθ的网络结果,其获取过程,包括:

6.根据权利要求5所述的一种基于神经辐射场的超低带宽视频通话传输系统,其特征在于,所述嵌入网络和注意网络,分别对人脸表情特征进行加窗嵌入和平滑处理;所述可学习隐码γ补偿调和在所述面部追踪单元中人脸表情特征和人脸位姿中的误差。

7.根据权利要求5所述的一种基于神经辐射场的超低带宽视频通话传输系统,其特征在于,所述人脸立体渲染单元模拟相机射线穿过每帧人脸图像的每个像素的采样过程,对经过所述动态神经辐射场单元得到的体素密度σ和辐射颜色rgb进行累积,得到最终图像像素点值c,包括:

8.根据权利要求1所述的一种基于神经辐射场的超低带宽视频通话传输系统,其特征在于,所述的人脸特征聚类分析模块,包括:

9.根据权利要求1所述的一种基于神经辐射场的超低带宽视频通话传输系统,其特征在于,所述的人脸特征压缩模块,包括:

10.一种基于神经辐射场的超低带宽视频通话传输方法,采用权利要求1-9任一项所述的基于神经辐射场的超低带宽视频通话传输系统,其特征在于,包括:


技术总结
本发明提供一种基于神经辐射场的超低带宽视频通话传输系统和方法,包括:三维数字人脸重建模型,其从人脸图像中提取出人脸特征进行超低带宽视频通话传输;并能够以表情特征为输入显示地控制人脸表情,实现三维重建;人脸特征聚类分析模块,其实现人脸特征进行超低带宽视频通话传输的实时性;人脸特征压缩模块,对人脸特征进行压缩;视频通话演示模块,展示实时的超低带宽视频通话传输过程。本发明动态神经辐射场实现人脸重建模型,实现高拟真度无限分辨率的人脸重建,根据模型将人脸表情特征与人脸图像一一对应的特性,由原本的人脸视频的传输转为人脸特征的传输,并通过聚类分析和特征压缩,最终实现超低带宽近乎实时的人脸视频通话传输效果。

技术研发人员:翟广涛,彭乙骢,李一非,王嘉
受保护的技术使用者:上海交通大学
技术研发日:
技术公布日:2024/1/13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1