人工智能路由方法及其系统和计算机设备与流程

本发明涉及人工智能路由领域，尤其涉及一种人工智能路由方法及其系统和计算机设备。

背景技术：

1、现阶段，市场上已出现了各种类型的大规模人工智能(artificialintelligence，ai)模型，包括但不限于视觉、语言、语音以及自然语言处理领域内的大模型，同时也诞生出了数以千计的各类应用程序，这些都是基于上述模型所构建而成的，参考说明书附图之图1。然而，在实际应用过程中，仍存在着一些矛盾和挑战。对于广大用户而言，他们在完成某项特定任务时，往往需要调用多种不同的应用程序或者智能体的功能。

2、这就带来了两个主要的问题：首先是如何进行选择；其次是如何正确地使用这些工具。此外，由于涉及到多个应用程序之间的频繁切换操作，这无疑又增加了用户的使用难度。

技术实现思路

1、本发明实施例提供了一种人工智能路由方法及其系统和计算机设备，其中基于大规模人工智能模型进行构建，通过深入分析用户的真实意图，将其分解为若干个可能可以被解决的子任务，然后根据具体情况，选择最适合的人工智能模型应用程序加以调用，最终生成相应的响应结果。

2、为实现上述目的，本申请提出了一种人工智能路由方法，包括以下步骤：

3、s100)ai路由智能体接收并解析至少一提示信息；

4、s200)所述ai路由智能体根据所述提示信息分析该用户的至少一请求意图，并将所述请求意图分解拆分为多个子任务，并规划各个子任务之间的相互依赖关系，以形成一任务列表；

5、s300)所述ai路由智能体根据人工智能模型的特征，选择注册在ai网关上的ai模型代理接口，以匹配所述任务列表的需求，其中被选择的匹配所述任务列表需求的ai模型为被选择ai模型；

6、s400)调用并执行每个被选择ai模型，并将结果返回给所述ai路由智能体；和

7、s500)ai路由智能体整合所有被选择ai模型的预测结果，并生成响应。在一些实施例中，步骤s300中，所述ai路由智能体从已注册在ai网关上的模型代理接口中对ai模型进行选择，以选取适合所述任务列表的ai模型为被选择ai模型，其中选取ai模型的因素包括模型的可用性、性能、响应速度和成本。

8、在一些实施例中，步骤s400中ai路由智能体通过调用与所述被选择ai模型相应的ai模型接口和后处理相关预测结果，得到各个子任务异步执行的响应结果，其中步骤s500中ai路由智能体总结所有ai模型的预测结果，并生成响应返回给用户。

9、在一些实施例中，步骤s300包括以下步骤：

10、s310)根据任务序列选出多个候选模型；

11、s320)从ai网关中查询ai指标；

12、s330)筛选模型，其中模型的筛选依据因素包括性能、速度和成本；和

13、s340)规范模型代理url和输入参数。

14、在一些实施例中，步骤s200使用交叉熵损失和配对排序损失来评估任务规划的准确性，计算公式如公式下：

15、ltask＝lclass+λ*lrank    (1)

16、

17、

18、其中在公式(1)中，λ代表权重系数，

19、其中在公式(2)中，m为规划任务总数，c为类别的数量，o为序列个数，其中yic表示符号函数，若样本i的真实类别等于c，则yic取1，否则yic取0，其中为观测样本i属于类别c的预测概率，

20、其中在公式(3)中，tij代表样本i在样本j前的真实概率，tij代表样本i在样本j前的预测概率，δ代表sigmoid函数。

21、在一些实施例中，步骤s300综合考虑ai模型的可用性ai、性能、响应时长、成本对ai模型评分，并依据评分结果选择最合适于当前子任务的top-k个ai模型，其中，第i个ai模型评分si，计算公式如下：

22、

23、其中在公式(4)，fi代表性能得分，ti代表响应时长，ci代表调用成本，其中性能、响应时长和调用成本的权重分别为ωf、ωt和ωc；

24、其中，性能得分fi的计算公式如下：

25、

26、其中在公式(5)中，pi代表准确率，ri代表召回率，β代表pi与ri相对重要程度。

27、在一些实施例中，步骤s310对比子任务和ai模型库的文本向量相似度，初步筛选出m个可能的候选模型，

28、其中步骤s320从ai网关中查询各个子任务对应的候选模型的ai指标，

29、其中步骤s330根据步骤s320查询到的ai指标筛选出top-k个ai模型，k取值范围[1,m]，其中，第i个ai模型评分si，计算公式如下：

30、

31、其中在公式(4)，fi代表性能得分，ti代表响应时长，ci代表调用成本，其中性能、响应时长和调用成本的权重分别为ωf、ωt和ωc；

32、其中，性能得分fi的计算公式如下：

33、

34、其中在公式(5)中，pi代表准确率，ri代表召回率，β代表pi与ri相对重要程度，

35、其中步骤s340规划ai模型代理url及其输入参数。

36、在一些实施例中，步骤s500使用大语言模型总结异步执行结果，其中通过合并排名靠前top-k个候选模型的推理结果，其中对于输入x及其对应的子任务ti，和排名最高的候选ai模型或应用mi，产生一个改进的输出作为最终响应计算公式如下：

37、

38、其中在公式(6)中，fsum代表生成融合，n代表所述子任务个数。

39、根据本发明的另一方面，本申请还提供一种应用于上述人工智能路由方法的人工智能路由系统，包括一ai路由和一ai网关，其中所述ai路由从所述ai网关中获取ai指标、统一api接口、上下文、证书和提示模板信息，并综合考虑可用性、性能、响应速度和成本因素筛选出合适的ai模型。

40、根据本发明的另一方面，本申请还提供一种计算机设备，所述设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

41、存储器，用于存放计算机程序；

42、处理器，用于执行存储器上所存放的程序时，实现上述人工智能路由方法的步骤。

技术特征：

1.一种人工智能路由方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述人工智能路由方法，其特征在于，步骤s300中，所述人工智能路由智能体从已注册在人工智能网关上的模型代理接口中对人工智能模型进行选择，以选取适合所述任务列表的人工智能模型为被选择人工智能模型，其中选取人工智能模型的因素包括模型的可用性、性能、响应速度和成本。

3.根据权利要求2所述人工智能路由方法，其特征在于，步骤s400中人工智能路由智能体通过调用与所述被选择人工智能模型相应的人工智能模型接口和后处理相关预测结果，得到各个子任务异步执行的响应结果，其中步骤s500中人工智能路由智能体总结所有人工智能模型的预测结果，并生成响应返回给用户。

4.根据权利要求3所述人工智能路由方法，其特征在于，步骤s300包括以下步骤：

5.根据权利要求4所述人工智能路由方法，其特征在于，步骤s200使用交叉熵损失和配对排序损失来评估任务规划的准确性，计算公式如公式下：

6.根据权利要求5所述人工智能路由方法，其特征在于，步骤s300综合考虑人工智能模型的可用性ai、性能、响应时长、成本对人工智能模型评分，并依据评分结果选择最合适于当前子任务的top-k个人工智能模型，其中，第i个人工智能模型评分si，计算公式如下：

7.根据权利要求5所述人工智能路由方法，其特征在于，步骤s310对比子任务和人工智能模型库的文本向量相似度，初步筛选出m个可能的候

8.根据权利要求7所述人工智能路由方法，其特征在于，步骤s500使用大语言模型总结异步执行结果，其中通过合并排名靠前top-k个候选模型的推理结果，其中对于输入x及其对应的子任务ti，和排名最高的候选人工智能模型或应用mi，产生一个改进的输出作为最终响应计算公式如下：

9.一种应用于权利要求1-8中任一项所述的人工智能路由方法的人工智能路由系统，其特征在于，包括一人工智能路由和一人工智能网关，其中所述人工智能路由从所述人工智能网关中获取人工智能指标、统一api接口、上下文、证书和提示模板信息，并综合考虑可用性、性能、响应速度和成本因素筛选出合适的人工智能模型。

10.一种计算机设备，其特征在于，所述设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

技术总结
本申请提出了一种人工智能路由方法，包括以下步骤：S100)AI路由智能体接收并解析至少一提示信息；S200)所述AI路由智能体根据所述提示信息分析该用户的至少一请求意图，并将所述请求意图分解拆分为多个子任务，并规划各个子任务之间的相互依赖关系，以形成一任务列表；S300)所述AI路由智能体根据人工智能模型的特征，选择注册在AI网关上的AI模型代理接口，以匹配所述任务列表的需求，其中被选择的匹配所述任务列表需求的AI模型为被选择AI模型；S400)调用并执行每个被选择AI模型，并将结果返回给所述AI路由智能体；和S500)AI路由智能体整合所有被选择AI模型的预测结果，并生成响应。

技术研发人员：夏修理,张兴,王伟,姚敏森,林涛,敖海
受保护的技术使用者：华润数字科技有限公司
技术研发日：
技术公布日：2025/4/10