本发明涉及计算机技术,尤其是指一种ai推理工作流处理方法和ai推理工作流引擎系统。
背景技术:
1、随着计算机技术的发展,工作流引擎成为了工作流管理系统中重要组成部分,它通过建模工具建立的流程模型推进流程的执行,并根据每一个用户的角色合理地分配任务,提高流程模型进行的速度。
2、深度学习任务主要包括ai模型训练和ai模型推理两个关键阶段,其中模型推理是将模型部署到生产环境中,为实现价值创造的重要环节。传统的推理工作流程通常是固定的,被嵌入到应用系统中。如果有多套应用系,每个应用系统使用多个模型组成推理工作流,就必须为每个应用系统分别开发一套专用的ai推理工作流引擎。这种方式存在开发难度大、周期长、成本高的问题,并且后期维护和业务扩展的成本也较高,难以满足不断增加的多样化和复杂化应用需求。
3、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、为此,本发明所要解决的技术问题在于克服现有技术中开发难度大、周期长、成本高的问题,并且后期维护和业务扩展的成本也较高,难以满足不断增加的多样化和复杂化应用需求的问题。
2、为解决上述技术问题,本发明的第一方面提供了一种ai推理工作流处理方法,所述方法包括:
3、获取ai推理工作流;所述ai推理工作流包括字符串或json文件;
4、解析所述json文件生成推理规则;
5、根据所述推理规则加载对应的ai模型:所述ai模型包括:父级ai模型和子级ai模型:
6、根据所述推理规则对所述ai模型进行推理,生成推理结果:
7、将所述推理结果发送至用户。
8、在本发明的一个实施例中,根据所述推理规则对所述ai模型进行推理,生成推理结果的步骤包括:
9、根据所述推理规则对所述父级ai模型进行推理,生成父级推理结果;
10、判断所述父级推理结果是否满足所述子级ai模型的过滤条件;
11、若所述父级推理结果满足所述子级ai模型的过滤条件,则将所述述父级推理结果输入至所述子级ai模型进行推理,生成子级推理结果;
12、根据所述子级推理结果生成所述推理结果。
13、在本发明的一个实施例中,判断所述父级推理结果是否满足所述子级ai模型的过滤条件的步骤还包括:
14、若所述父级推理结果不满足所述子级ai模型的过滤条件,则根据所述父级推理结果确定所述推理结果。
15、本发明的第二方面提供了一种ai推理工作流引擎系统,应用于上述第一方面中任意一项提出的一种ai推理工作流处理方法,所述系统包括:接口单元、工作流规则引擎、模型推理引擎和输出模块;
16、所述接口单元被配置为:获取ai推理工作流;所述ai推理工作流包括字符串或json文件:
17、所述工作流规则引擎被配置为:解析所述json文件生成推理规则:
18、所述模型推理引擎被配置为:根据所述推理规则加载对应的ai模型;所述ai模型包括:父级ai模型和子级ai模型;根据所述推理规则对所述ai模型进行推理,生成推理结果;
19、所述输出模块被配置为:将所述推理结果发送至用户。
20、在本发明的一个实施例中,所述接口单元包括:api接口、http接口或rpc接口。
21、在本发明的一个实施例中,所述工作流规则引擎包括:
22、规则库,用于存储所述推理规则,且将所述ai模型实例化。
23、在本发明的一个实施例中,所述工作流规则引擎还包括:
24、规则运算器,用于根据所述推理规则对所述规则库中的父级ai模型和子级ai模型进行推理。
25、在本发明的一个实施例中,所述子级ai模型上设有过滤器。
26、本发明的第三方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述第一方面或第一方面中任一种可能的实施方式中所述的方法。
27、本发明的第四方面提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面或第一方面中任一种可能的实施方式中所述的方法。
28、本发明的上述技术方案相比现有技术具有以下优点:
29、本发明所述的一种ai推理工作流处理方法和ai推理工作流引擎系统,通过自定义推理流程的配置接口,用户可以根据不同应用需求组织推理流程,满足特定任务的需求,简化了部署和集成方式,节省开发时间和成本,降低后期维护和升级的难度。通过配置接口方便地添加新的模型、更新推理流程,可适应不断变化的应用环境和业务需求。
1.一种ai推理工作流处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种ai推理工作流处理方法,其特征在于,根据所述推理规则对所述ai模型进行推理,生成推理结果的步骤包括:
3.根据权利要求1所述的一种ai推理工作流处理方法,其特征在于,判断所述父级推理结果是否满足所述子级ai模型的过滤条件的步骤还包括;
4.一种ai推理工作流引擎系统,其特征在于,应用于上述权利要求1至3任一项所述的一种ai推理工作流处理方法,所述系统包括:接口单元、工作流规则引擎、模型推理引擎和输出模块;
5.根据权利要求1所述的一种ai推理工作流引擎系统,其特征在于,所述接口单元包括:api接口、http接口或rpc接口。
6.根据权利要求1所述的一种ai推理工作流引擎系统,其特征在于,所述工作流规则引擎包括:
7.根据权利要求3所述的一种ai推理工作流引擎系统,其特征在于,所述工作流规则引擎还包括:
8.根据权利要求4所述的一种ai推理工作流引擎系统,其特征在于:所述子级ai模型上设有过滤器。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至3任一项所述一种ai推理工作流处理方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至3任一项所述一种ai推理工作流处理方法的步骤。