技术特征:
1.一种模型压缩方法,其特征在于,包含:针对具有深度神经网络架构的原始模型来进行模型剪枝操作,以产生压缩后模型;将同一测试数据分别输入至该原始模型以及该压缩后模型;计算该原始模型处理该测试数据所得到的第一输出数据以及该压缩后模型处理该测试数据所得到的第二输出数据之间的相似度;以及以该相似度作为奖励,通过强化学习来判断如何进一步调整该模型剪枝操作。2.如权利要求1所述的模型压缩方法,其中该测试数据为未标记过的数据。3.如权利要求1所述的模型压缩方法,其中该相似度通过计算该第一输出数据与该第二输出数据的皮尔森相关系数来得到。4.如权利要求1所述的模型压缩方法,其中该相似度通过计算该第一输出数据与该第二输出数据的余弦相似度来得到。5.如权利要求1所述的模型压缩方法,其中该第一输出数据为该原始模型的全连接层的输出,以及该第二输出数据为该压缩后模型的全连接层的输出。6.如权利要求1所述的模型压缩方法,其中该第一输出数据为该原始模型的最后一层的softmax函数输出,以及该第二输出数据为该压缩后模型的最后一层的softmax函数输出。7.一种模型压缩系统,其特征在于,包含:储存装置,用以储存程序码;以及处理器,用以载入并执行该程序码,以执行以下操作:针对具有深度神经网络架构的原始模型来进行模型剪枝操作,以产生压缩后模型;将同一测试数据分别输入至该原始模型以及该压缩后模型;计算该原始模型处理该测试数据所得到的第一输出数据以及该压缩后模型处理该测试数据所得到的第二输出数据之间的相似度;以及以该相似度作为奖励,通过强化学习来判断如何进一步调整该模型剪枝操作。8.如权利要求7所述的模型压缩系统,其中该测试数据为未标记数据。9.如权利要求7所述的模型压缩系统,其中该相似度通过计算该第一输出数据与该第二输出数据的皮尔森相关系数来得到。10.如权利要求7所述的模型压缩系统,其中该相似度通过计算该第一输出数据与该第二输出数据的余弦相似度来得到。11.如权利要求7所述的模型压缩系统,其中该第一输出数据为该原始模型的全连接层的输出,以及该第二输出数据为该压缩后模型的全连接层的输出。12.如权利要求7所述的模型压缩系统,其中该第一输出数据为该原始模型的最后一层的softmax函数输出,以及该第二输出数据为该压缩后模型的最后一层的softmax函数输出。
技术总结
本发明提供一种模型压缩方法以及模型压缩系统,该方法包含:针对具有一深度神经网络架构的一原始模型来进行一模型剪枝操作,以产生一压缩后模型;将同一测试数据分别输入至该原始模型以及该压缩后模型;计算该原始模型处理该测试数据所得到的一第一输出数据以及该压缩后模型处理该测试数据所得到的一第二输出数据之间的相似度;以及以该相似度作为奖励,通过强化学习来判断如何进一步调整该模型剪枝操作。由此,可减少数据标记的成本与时间。可减少数据标记的成本与时间。可减少数据标记的成本与时间。
技术研发人员:郭王鼎志
受保护的技术使用者:威盛电子股份有限公司
技术研发日:2021.08.02
技术公布日:2021/10/28