用于具有质量输入的环路滤波器的掩蔽神经网络的模型共享的制作方法

文档序号:32478607发布日期:2022-12-09 20:08阅读:来源:国知局

技术特征:
1.一种使用多质量环路滤波器处理视频的方法,其特征在于,所述多质量环路滤波器使用多任务神经网络,所述方法由至少一个处理器执行,所述方法包括:根据输入中的多个量化参数生成多个模型id;选择第一组掩模,所述第一组掩模中的每个掩模与所述生成的多个模型id中的一个相对应;对神经网络的第一组层的多个第一权重和所述选择的第一组掩模执行卷积,以获得第一掩蔽的权重;根据所述多个量化参数从所述神经网络选择第二组层和多个第二权重;根据所述多个量化参数生成量化参数值;以及根据所述第一掩蔽的权重和所述多个第二权重,使用所述生成的量化参数值来计算推理输出。2.根据权利要求1所述的方法,其特征在于,进一步包括:将所述神经网络分割成所述第一组层和所述第二组层,其中,所述第一组层的模型参数是在不同的量化参数之间共享的共享层,所述不同的量化参数对于所述共享层中的每一个具有所述多个第一权重中的对应一个权重,以及所述第二组层的模型参数是对于所述多个量化参数中的每一个都不同的任务特定层,所述多个量化参数对于所述任务特定层中的每一个具有所述多个第二权重中的对应一个权重。3.根据权利要求1所述的方法,其特征在于,所述第一组掩模中的每个掩模是一个二进制值,所述二进制值指示是否使用所述多个第一权重中的对应一个权重来计算相应模型id的量化参数。4.根据权利要求1所述的方法,其特征在于,所述神经网络通过以下方式来训练:更新所述多个第一权重中未被所述第一组掩模分别掩蔽的一个或多个权重,以最小化根据所述输入、所述推理输出和所述相应模型id的相应量化参数确定的失真损失。5.根据权利要求4所述的方法,其特征在于,所述神经网络进一步通过以下方式来训练:修剪所述多个第一权重中的未被所述第一组掩模分别掩蔽的更新的一个或多个权重,以获得二进制修剪掩模,所述二进制修剪掩模指示所述多个第一权重中的哪些权重被修剪;以及更新所述多个第一权重中未被所述第一组掩模分别掩蔽的至少一个权重和所述获得的二进制修剪掩模,以最小化所述失真损失。6.根据权利要求1所述的方法,其特征在于,进一步包括:选择与所述多个第二权重相对应的第二组掩模。7.根据权利要求1所述的方法,其特征在于,进一步包括:将所述多个量化参数分组成多个子群,其中每个子群共享同一神经网络模型实例。8.一种使用多质量环路滤波器处理视频的装置,其特征在于,所述多质量环路滤波器使用多任务神经网络,所述装置包括:至少一个存储器,被配置为存储程序代码;以及至少一个处理器,被配置为读取所述程序代码并按照所述程序代码的指示操作,所述
程序代码包括:模型id代码,被配置为使所述至少一个处理器根据输入中的多个量化参数生成多个模型id;第一选择代码,被配置为使所述至少一个处理器选择第一组掩模,所述第一组掩模中的每个掩模与所述生成的多个模型id中的一个相对应;执行代码,被配置为使所述至少一个处理器对神经网络的第一组层的多个第一权重和所述选择的第一组掩模执行卷积,以获得第一掩蔽的权重;第二选择代码,被配置为使所述至少一个处理器根据所述多个量化参数从所述神经网络选择第二组层和多个第二权重;生成代码,被配置为使所述至少一个处理器根据所述多个量化参数生成量化参数值;以及计算代码,被配置为使所述至少一个处理器根据所述第一掩蔽的权重和所述多个第二权重,使用所述生成的量化参数值来计算推理输出。9.根据权利要求8所述的装置,其特征在于,所述程序代码进一步包括:分割代码,被配置为使所述至少一个处理器将所述多任务神经网络分割成所述第一组神经网络层和所述第二组神经网络层,其中,所述第一组神经网络层的模型参数是在不同的量化参数之间共享的共享层,所述不同的量化参数对于所述共享层中的每一个具有所述多个第一权重中的对应一个权重,以及所述第二组神经网络层的模型参数是对于所述多个量化参数中的每一个都不同的任务特定层,所述多个量化参数对于所述任务特定层中的每一个具有所述多个第二权重中的对应一个权重。10.根据权利要求8所述的装置,其特征在于,所述第一组掩模中的每个掩模是一个二进制值,所述二进制值指示是否使用所述多个第一权重中的对应一个权重来计算相应模型id的量化参数。11.根据权利要求8所述的装置,其特征在于,所述神经网络通过以下方式来训练:更新所述多个第一权重中未被所述第一组掩模分别掩蔽的一个或多个权重,以最小化根据所述输入、所述推理输出和所述相应模型id的相应量化参数确定的失真损失。12.根据权利要求11所述的装置,其特征在于,所述神经网络进一步通过以下方式来训练:修剪所述多个第一权重中的未被所述第一组掩模分别掩蔽的更新的一个或多个权重,以获得二进制修剪掩模,所述二进制修剪掩模指示所述多个第一权重中的哪些权重被修剪;以及更新所述多个第一权重中未被所述第一组掩模分别掩蔽的至少一个权重和所述获得的二进制修剪掩模,以最小化所述失真损失。13.根据权利要求8所述的装置,其特征在于,进一步包括第三选择代码,被配置为使所述至少一个处理器选择与所述多个第二权重相对应的第二组掩模。14.根据权利要求8所述的装置,其特征在于,进一步包括分组代码,被配置为使所述至少一个处理器将所述多个量化参数分组成多个子群,其中每个子群共享同一神经网络模型
实例。15.一种非易失性计算机可读介质,其特征在于,用于存储指令,当所述指令由用于使用多质量环路滤波器处理视频的至少一个处理器执行时,所述多质量环路滤波器使用多任务神经网络,使所述至少一个处理器:根据输入中的多个量化参数生成多个模型id;选择第一组掩模,所述第一组掩模中的每个掩模与所述生成的多个模型id中的一个相对应;对神经网络的第一组层的多个第一权重和所述选择的第一组掩模执行卷积,以获得第一掩蔽的权重;根据所述多个量化参数从所述神经网络选择第二组层和多个第二权重;根据所述多个量化参数生成量化参数值;以及根据所述第一掩蔽的权重和所述多个第二权重,使用所述生成的量化参数值来计算推理输出。16.根据权利要求15所述的非易失性计算机可读介质,其特征在于,当所述指令由所述至少一个处理器执行时,进一步使所述至少一个处理器将所述多任务神经网络分割成所述第一组神经网络层和所述第二组神经网络层,其中,所述第一组神经网络层的模型参数是在不同的量化参数之间共享的共享层,所述不同的量化参数对于所述共享层中的每一个具有所述多个第一权重中的对应一个权重,以及所述第二组神经网络层的模型参数是对于所述多个量化参数中的每一个都不同的任务特定层,所述多个量化参数对于所述任务特定层中的每一个具有所述多个第二权重中的对应一个权重。17.根据权利要求15所述的非易失性计算机可读介质,其特征在于,所述第一组掩模中的每个掩模是一个二进制值,所述二进制值指示是否使用所述多个第一权重中的对应一个权重来计算相应模型id的量化参数。18.根据权利要求15所述的非易失性计算机可读介质,其特征在于,所述神经网络通过以下方式来训练:更新所述多个第一权重中未被所述第一组掩模分别掩蔽的一个或多个权重,以最小化根据所述输入、所述推理输出和所述相应模型id的相应量化参数确定的失真损失;修剪所述多个第一权重中的未被所述第一组掩模分别掩蔽的更新的一个或多个权重,以获得二进制修剪掩模,所述二进制修剪掩模指示所述多个第一权重中的哪些权重被修剪;以及更新所述多个第一权重中未被所述第一组掩模分别掩蔽的至少一个权重和所述获得的二进制修剪掩模,以最小化所述失真损失。19.根据权利要求15所述的非易失性计算机可读介质,其特征在于,当所述指令由所述至少一个处理器执行时,进一步使所述至少一个处理器选择与所述多个第二权重相对应的第二组掩模。20.根据权利要求15所述的非易失性计算机可读介质,其特征在于,当所述指令由所述至少一个处理器执行时,进一步使所述至少一个处理器将所述多个量化参数分组成多个子
群,其中每个子群共享同一神经网络模型实例。

技术总结
使用多质量环路滤波器的视频处理由至少一个处理器执行,所述多质量环路滤波器使用多任务神经网络,所述视频处理包括:根据输入中的多个量化参数生成多个模型ID;选择第一组掩模,所述第一组掩模中的每个掩模与所述生成的多个模型ID中的一个相对应;对第一组神经网络层的多个第一权重和所述选择的第一组掩模的执行卷积,以获得第一掩蔽的权重;根据所述多个量化参数选择第二组神经网络层和多个第二权重;根据所述多个量化参数生成量化参数值;以及根据所述第一掩蔽的权重和所述多个第二权重,使用所述生成的量化参数值来计算推理输出。出。


技术研发人员:蒋薇 王炜 林晟 刘杉
受保护的技术使用者:腾讯美国有限责任公司
技术研发日:2021.09.30
技术公布日:2022/12/8
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1