模型热启动方法、装置、计算机设备、介质及程序产品与流程

本发明涉及机器学习，具体涉及模型热启动方法、装置、计算机设备、介质及程序产品。

背景技术：

1、模型推理框架是用于执行机器学习模型的推理和预测的工具或库。模型推理框架在运行时，可能需要在多个版本的模型之间进行切换，以验证不同版本模型的性能区别。

2、相关技术中，在进行模型切换时，依赖于对新的模型的读取，例如当服务器正在运行模型时，若切换新的模型，需要读取新模型的权重到内存中，读取后再手动切换到新的模型，并重启服务器以运行新的模型。

3、上述方案，在进行模型切换时，需要手动切换，且频繁停止和重启服务器会造成明显延迟，效率低。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种模型热启动方法、装置、计算机设备、介质及程序产品，以解决进行模型切换效率低的问题。

2、第一方面，本发明提供了一种模型热启动方法，所述方法包括：

3、启动目标服务器；所述目标服务器中运行有目标模型；所述目标模型的路径文件和模型文件位于同一目录；

4、响应于前端的模型切换指令，修改所述路径文件；

5、当检测到所述路径文件发生更新，则根据修改后的路径文件更新所述目标模型；

6、基于更新后的目标模型重启所述目标服务器，以使重启后的目标服务器中运行有更新后的目标模型。

7、在一种可选的实施方式中，所述目标模型中包含选择性加载代码块；所述重启后的目标服务器运行更新后的目标模型的步骤包括：

8、当运行到所述目标模型中的选择性加载代码块时，跳过所述选择性加载代码块，运行所述选择性加载代码块之后的代码。

9、在一种可选的实施方式中，生成所述选择性加载代码块的步骤包括：

10、遍历所述目标模型对应的抽象语法树，调用检查函数对所述抽象语法树中的每个节点进行检查；

11、当所述抽象语法树中的目标节点符合预设检查条件时，将所述目标节点包含的操作语句替换为空操作语句，得到与所述目标节点对应的选择性加载代码块。

12、在一种可选的实施方式中，所述调用检查函数对所述抽象语法树中的每个节点进行检查，包括：

13、调用所述检查函数对所述抽象语法树中的目标节点的抽象语法表达式进行检查；

14、当所述抽象语法表达式为if语句，判定所述目标节点符合预设检查条件，所述检查函数返回true。

15、在一种可选的实施方式中，所述前端的进程与所述目标服务器的进程为异步进程。

16、在一种可选的实施方式中，当基于更新后的目标模型重启所述目标服务器时，所述前端同步进行渲染。

17、第二方面，本发明提供了一种模型热启动装置，所述装置包括：

18、启动模块，用于启动目标服务器；所述目标服务器中运行有目标模型；所述目标模型的路径文件和模型文件位于同一目录；

19、修改模块，用于响应于前端的模型切换指令，修改所述路径文件；

20、更新模块，用于当检测到所述路径文件发生更新，则根据修改后的路径文件更新所述目标模型；

21、重启模块，用于基于更新后的目标模型重启所述目标服务器，以使重启后的目标服务器中运行有更新后的目标模型。

22、第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的模型热启动方法。

23、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的模型热启动方法。

24、第五方面，本发明提供了一种计算机程序产品，包括计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的模型热启动方法。

25、本发明提供的技术方案可以包括以下有益效果：

26、本发明提供的模型热启动方法，首先启动目标服务器运行目标模型，目标模型的路径文件和模型文件位于同一目录。当接收到前端发送的用于指示模型切换的模型切换指令时，基于模型切换指令修改目标模型的路径文件，并自动检测到目标模型的路径文件发生更新，则根据修改后的路径文件更新目标模型，得到更新后的目标模型，再基于更新后的目标模型自动重启目标服务器，使得重启后的目标服务器运行更新后的目标模型，无需停止服务器，实现模型的热启动。上述方案，在检测到目标模型的路径文件发生更新后自动更新目标模型，在目标模型更新后自动重启服务器，无需手动切换，无需停止服务器，方案灵活、延迟小，进行模型切换时效率高。

技术特征：

1.一种模型热启动方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述目标模型中包含选择性加载代码块；所述重启后的目标服务器运行更新后的目标模型的步骤包括：

3.根据权利要求2所述的方法，其特征在于，生成所述选择性加载代码块的步骤包括：

4.根据权利要求3所述的方法，其特征在于，所述调用检查函数对所述抽象语法树中的每个节点进行检查，包括：

5.根据权利要求1所述的方法，其特征在于，所述前端的进程与所述目标服务器的进程为异步进程。

6.根据权利要求5所述的方法，其特征在于，当基于更新后的目标模型重启所述目标服务器时，所述前端同步进行渲染。

7.一种模型热启动装置，其特征在于，所述装置包括：

8.一种计算机设备，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的模型热启动方法。

10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的模型热启动方法。

技术总结
本发明涉及机器学习技术领域，公开了模型热启动方法、装置、计算机设备、介质及程序产品。所述方法包括：启动目标服务器；所述目标服务器中运行有目标模型；所述目标模型的路径文件和模型文件位于同一目录；响应于前端的模型切换指令，修改所述路径文件；当检测到所述路径文件发生更新，则根据修改后的路径文件更新所述目标模型；基于更新后的目标模型重启所述目标服务器，以使重启后的目标服务器中运行有更新后的目标模型。上述方案，在实现模型切换功能时，无需手动切换，无需停止服务器，实现了模型热启动，方案灵活效率高。

技术研发人员：请求不公布姓名,请求不公布姓名
受保护的技术使用者：深存科技（无锡）有限公司
技术研发日：
技术公布日：2025/2/13