一种处理视音频的方法、装置、电子设备及存储介质与流程

文档序号:21780541发布日期:2020-08-07 20:01阅读:来源:国知局

技术特征:

1.一种处理视音频的方法,其特征在于,所述方法包括:

web端启动待编辑工程;

所述web端从存储服务器中下载携带有javascript接口的wasm相关文件,并对所述wasm相关文件进行编译,得到wasm处理模块;

在所述待编辑工程中,所述web端通过所述javascript接口,创建视音频编辑界面;

所述wasm处理模块获取待编辑视音频中的m3u8文件切片,并将所述m3u8文件切片添加到所述视音频编辑界面;

所述web端从所述存储服务器中下载特效包;

所述wasm处理模块根据所述特效包,对所述m3u8文件切片进行渲染处理。

2.根据权利要求1所述方法,其特征在于,所述web端与合成服务器连接,所述方法还包括:

所述web端将对所述m3u8文件切片进行渲染处理得到的渲染结果以xml格式进行存储,得到xml格式的处理数据;

所述web端将所述处理数据,发送至所述合成服务器并通过所述web端的canvas预览窗口显示发送给所述合成服务器的所述处理数据;

所述合成服务器对同时接收到的多个所述处理数据进行合成,得到所述待编辑视音频的成片;其中,所述成片携带有合成地址;

根据所述合成地址,将所述待编辑视音频的成片存储在所述存储服务器中,并将所述合成地址返回给所述web端;

所述web端根据所述合成地址,对所述待编辑视音频的成片进行下载和预览。

3.根据权利要求1所述方法,其特征在于,所述web端从存储服务器中下载携带有javascript接口的wasm相关文件,包括:

编辑服务器基于webassembly技术,用c++语言编译得到wasm相关文件,并将所述wasm相关文件存储在所述存储服务器,其中,所述wasm相关文件携带有javascript接口;

所述web端从所述存储服务器中,下载所述携带有javascript接口的wasm相关文件。

4.根据权利要求1所述方法,其特征在于,在所述wasm处理模块获取待编辑视音频中的m3u8文件切片之前,所述方法还包括:

所述web端将所述待编辑视音频上传到转码服务器;

所述转码服务器按照预设的配置规则,对所述待编辑视音频进行转码和分片,生成多个携带有切片信息的低码流的m3u8文件切片,并将生成的所述多个低码流的m3u8文件切片存储在所述存储服务器中;

其中,所述配置规则包括配置切片信息,所述切片信息包括分辨率、码率和时长。

5.根据权利要求4所述方法,其特征在于,所述web端包括fs和indexdb,所述wasm处理模块获取待编辑视音频中的m3u8文件切片,包括:

所述wasm处理模块检测所述fs中,是否存储有所述m3u8文件切片;

若检测到所述fs中存储有所述m3u8文件切片,所述wasm处理模块从所述fs中加载所述m3u8文件切片;

若检测到所述fs中未存储有所述m3u8文件切片,则检测所述indexdb中,是否存储有所述m3u8文件切片;

若检测到所述indexdb存储有所述m3u8文件切片,则将indexdb中的所述m3u8文件切片,从所述indexdb中读取到所述fs中,所述wasm处理模块再从所述fs中加载所述m3u8文件切片;

若检测到所述indexdb未存储有所述m3u8文件切片,则根据所述切片信息,所述wasm处理模块从所述存储服务器中的所述多个m3u8文件切片中,下载所述m3u8文件切片。

6.根据权利要求5所述方法,其特征在于,在所述wasm处理模块从所述存储服务器中的所述多个m3u8文件切片中,下载所述m3u8文件切片之后,所述方法还包括:

根据所述切片信息,所述wasm处理模块将获取的所述m3u8文件切片,存储至所述fs中;

所述fs将所述fs中存储的所述m3u8文件切片,存储至所述indexdb中。

7.根据权利要求1所述方法,其特征在于,所述web端包括fs和indexdb,在所述web端从存储服务器中下载特效包,包括:

所述web端从存储服务器中将所述特效包下载至所述fs中;

所述fs再将所述特效包写入所述indexdb中。

8.根据权利要求7所述方法,其特征在于,所述wasm处理模块根据所述特效包,对所述m3u8文件切片进行渲染处理,包括:

所述wasm处理模块向所述fs发送获取所需特效的获取信息;

所述fs根据所述获取信息从所述indexdb中的特效包中,获取所述所需特效,并将获取的所述所需特效返回给所述wasm处理模块;

所述wasm处理模块将得到的所述所需特效,添加至所述视音频编辑界面中;

在所述视音频编辑界面中,所述wasm处理模块通过添加的所述所需特效,对每个所述m3u8文件切片进行渲染处理。

9.根据权利要求1-8任一项所述方法,其特征在于,所述web端包括indexdb,在对所述m3u8文件切片进行渲染处理的同时,所述方法还包括:

所述web端按照每个m3u8文件切片的所述切片信息,从所述存储服务器中预取下一个m3u8文件切片,并将预取的下一个m3u8文件切片存储至所述indexdb中;所述切片信息包括分辨率、码率和时长;

其中,所述下一个m3u8文件切片,为在处理完所述m3u8文件切片后,待处理的m3u8文件切片。

10.一种处理视音频的装置,其特征在于,所述装置包括:

启动模块,用于web端启动待编辑工程;

获取模块,用于所述web端从存储服务器中加载携带有javascript接口的wasm相关文件,并对所述wasm相关文件进行编译,得到wasm处理模块;

第一添加模块,用于在所述待编辑工程中,所述web端通过所述javascript接口,创建视音频编辑界面;

第二添加模块,用于所述wasm处理模块加载待编辑视音频中的m3u8文件切片,并将所述m3u8文件切片添加到所述视音频编辑界面;

下载模块,用于所述web端从所述存储服务器中下载特效包;

处理模块,用于所述wasm处理模块根据所述特效包,对所述m3u8文件切片进行渲染处理。

11.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9任意一项所述的处理视音频的方法。

12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至9任意一项所述的处理视音频的方法的步骤。


技术总结
本发明公开了一种处理视音频的方法、装置、电子设备及存储介质。所述方法包括:web端启动待编辑工程;web端从存储服务器中下载携带有JavaScript接口的wasm相关文件,并对wasm相关文件进行编译,得到wasm处理模块;在待编辑工程中,wasm处理模块通过JavaScript接口,添加视音频轨道;wasm处理模块获取待编辑视音频中的m3u8文件切片,并将m3u8文件切片添加到视音频轨道;wasm处理模块从存储服务器中加载特效包;wasm处理模块根据加载的特效包,对m3u8文件切片进行渲染处理。采用本发明的技术方案可以在web端实现在对图像的实时渲染,避免了由服务器端处理视音频的过程,解决了过渡依赖网络、实时性较低等问题。

技术研发人员:黄裔
受保护的技术使用者:北京美摄网络科技有限公司
技术研发日:2020.07.01
技术公布日:2020.08.07
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1