深度学习模型训练方法、装置、设备及存储介质与流程

文档序号:23897253发布日期:2021-02-09 12:37阅读:来源:国知局

技术特征:
1.一种深度学习模型训练方法,其特征在于,所述方法包括:对深度学习模型的权重矩阵进行奇异值分解,得到压缩后的深度学习模型;获取第一输入数据;对所述第一输入数据进行移位和扩充操作,得到第二输入数据;根据所述第二输入数据、以及所述压缩后的深度学习模型,获取输出数据。2.根据权利要求1所述的方法,其特征在于,所述对深度学习模型的权重矩阵进行奇异值分解,包括:对所述深度学习模型的权重矩阵进行svd分解,将所述权重矩阵表达为第一子矩阵和第二子矩阵的组合,所述第一子矩阵所述第二子矩阵相对所述权重矩阵而言是低维矩阵。3.根据权利要求2所述的方法,其特征在于,所述对所述第一输入数据进行移位和扩充操作,得到第二输入数据,包括:对所述第一输入数据进行洗牌shuffle,得到第二输入数据。4.根据权利要求3所述的方法,其特征在于,所述第一输入数据为矩阵x=[i,b],对所述第一输入数据进行shuffle,得到的所述第二输入数据为:x
s
=[i,b
×
o],5.根据权利要求4所述的方法,其特征在于,所述根据所述第二输入数据、以及所述压缩后的深度学习模型,获取输出数据,包括:根据所述第二输入数据、所述第一子矩阵、以及所述第二子矩阵进行计算,获取所述输出数据。6.根据权利要求5所述的方法,其特征在于,所述根据所述第二输入数据、所述第一子矩阵、以及所述第二子矩阵进行计算,获取所述输出数据,包括:将所述x
s
=[i,b
×
o]与所述第一子矩阵相乘,得到维度为[bo,r]的矩阵;将所述维度为[bo,r]的矩阵与所述第二子矩阵相乘得到维度为[bo,o]的矩阵y;对所述矩阵y只保留b个[o,o]矩阵的对角元素;将所述b个[o,o]矩阵的对角元素组成的矩阵还原为[o,b]维的输出矩阵z,所述输出矩阵z即为所述输出数据。7.一种深度学习模型训练装置,其特征在于,所述装置包括:分解模块,用于对深度学习模型的权重矩阵进行奇异值分解,得到压缩后的深度学习模型;数据处理模块,用于获取第一输入数据;对所述第一输入数据进行移位和扩充操作,得到第二输入数据;计算模块,用于根据所述第二输入数据、以及所述压缩后的深度学习模型,获取输出数
据。8.根据权利要求7所述的装置,其特征在于,所述分解模块,具体用于对所述深度学习模型的权重矩阵进行svd分解,将所述权重矩阵表达为第一子矩阵和第二子矩阵的组合,所述第一子矩阵所述第二子矩阵相对所述权重矩阵而言是低维矩阵。9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行时执行如权利要求1至6任一项所述的方法的步骤。10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的方法的步骤。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1