一种模型推理加速方法、装置、设备及存储介质与流程

文档序号:38746364发布日期:2024-07-24 22:51阅读:来源:国知局

技术特征:

1.一种模型推理加速方法,其特征在于,包括:

2.根据权利要求1所述的模型推理加速方法,其特征在于,所述根据所述模型的当前实例进行模型优化处理,生成多个新实例包括:

3.根据权利要求1所述的模型推理加速方法,其特征在于,所述请求数据由前端获取并传输至负载均衡端,再由所述负载均衡端传输至后端,所述后端部署有所述模型;所述响应于模型推理加速的启动指令,根据所述模型的当前实例进行模型优化处理之前,所述模型推理加速方法还包括:

4.根据权利要求3所述的模型推理加速方法,其特征在于,所述根据所述前端接收到的所述请求数据的第一请求量、所述负载均衡端接收到的所述请求数据的第二请求量和所述后端接收到的所述请求数据的第三请求量判断是否启动所述模型推理加速包括:

5.根据权利要求4所述的模型推理加速方法,其特征在于,所述根据所述第一请求量判断是否启动所述模型推理加速包括:

6.根据权利要求5所述的模型推理加速方法,其特征在于,所述根据所述第二请求量判断是否启动所述模型推理加速包括:

7.根据权利要求6所述的模型推理加速方法,其特征在于,所述根据所述第三请求量判断是否启动所述模型推理加速包括:

8.根据权利要求5至7任一项所述的模型推理加速方法,其特征在于,还包括:

9.根据权利要求7所述的模型推理加速方法,其特征在于,所述根据所述模型的当前实例进行模型优化处理,生成多个新实例包括:

10.根据权利要求1至7任一项所述的模型推理加速方法,其特征在于,所述基于多个所述新实例和所述当前实例对请求数据进行并行处理包括:

11.一种模型推理加速装置,其特征在于,包括:

12.一种电子设备,其特征在于,包括存储器和处理器;

13.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1-10任意一项所述的模型推理加速方法。


技术总结
本发明提供了一种模型推理加速方法、装置、设备及存储介质,涉及人工智能技术领域。本发明所述的模型推理加速方法,包括:响应于模型推理加速的启动指令,根据所述模型的当前实例进行模型优化处理,生成多个新实例,其中,所述模型优化处理包括模型量化、算子融合和模型剪枝中的至少一者;基于多个所述新实例和所述当前实例对请求数据进行并行处理,确定各个所述请求数据对应的推理结果。本发明相比于现有技术中直接从旧实例拷贝构造新实例的方法而言,降低了模型推理时延和模型多线程处理请求数据过程中的资源占用,在提高推理效率的同时降低了成本开销,实现了模型推理过程中提高推理效率和降低成本开销之间的平衡。

技术研发人员:周瀚阁,郑佳斌,郑冬,蒋忠林,陈勇
受保护的技术使用者:浙江吉利控股集团有限公司
技术研发日:
技术公布日:2024/7/23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1