1.一种模型推理加速方法,其特征在于,包括:
2.根据权利要求1所述的模型推理加速方法,其特征在于,所述根据所述模型的当前实例进行模型优化处理,生成多个新实例包括:
3.根据权利要求1所述的模型推理加速方法,其特征在于,所述请求数据由前端获取并传输至负载均衡端,再由所述负载均衡端传输至后端,所述后端部署有所述模型;所述响应于模型推理加速的启动指令,根据所述模型的当前实例进行模型优化处理之前,所述模型推理加速方法还包括:
4.根据权利要求3所述的模型推理加速方法,其特征在于,所述根据所述前端接收到的所述请求数据的第一请求量、所述负载均衡端接收到的所述请求数据的第二请求量和所述后端接收到的所述请求数据的第三请求量判断是否启动所述模型推理加速包括:
5.根据权利要求4所述的模型推理加速方法,其特征在于,所述根据所述第一请求量判断是否启动所述模型推理加速包括:
6.根据权利要求5所述的模型推理加速方法,其特征在于,所述根据所述第二请求量判断是否启动所述模型推理加速包括:
7.根据权利要求6所述的模型推理加速方法,其特征在于,所述根据所述第三请求量判断是否启动所述模型推理加速包括:
8.根据权利要求5至7任一项所述的模型推理加速方法,其特征在于,还包括:
9.根据权利要求7所述的模型推理加速方法,其特征在于,所述根据所述模型的当前实例进行模型优化处理,生成多个新实例包括:
10.根据权利要求1至7任一项所述的模型推理加速方法,其特征在于,所述基于多个所述新实例和所述当前实例对请求数据进行并行处理包括:
11.一种模型推理加速装置,其特征在于,包括:
12.一种电子设备,其特征在于,包括存储器和处理器;
13.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1-10任意一项所述的模型推理加速方法。