一种任务处理方法和装置与流程

本技术涉及一种任务处理方法和装置。

背景技术：

1、随着大模型的发展，大模型包含的参数量越来越多，例如，llama-13b模型包含130亿参数。这导致使用大模型推理对硬件性能的要求也越来越高，大多数计算机设备的配置难以支持在设备本地使用大模型。

2、针对该问题的一种解决方案是，将大模型部署在服务器上，为用户提供云端服务。

3、由于大模型的推理过程在云端的服务器进行，用于推理的用户数据需要上传到服务器中，给用户造成隐私泄露的风险。

技术实现思路

1、为此，本技术公开如下技术方案：

2、本技术第一方面提供一种任务处理方法，包括：

3、响应于第一电子设备获得需要调用目标大模型处理的目标任务，获得目标网络中的电子设备的资源情况，所述目标网络由包括所述第一电子设备的至少两个电子设备组成；

4、至少基于所述资源情况向所述目标网络中的至少一个第二电子设备分发对应的目标子任务，所述目标子任务是所述目标任务的一部分；以及，

5、基于所述第二电子设备调用所述目标大模型的对应子模型处理所述目标子任务所得到的子处理结果得到目标处理结果。

6、可选的，所述响应于第一电子设备获得需要调用目标大模型处理的目标任务，获得目标网络中的电子设备的资源情况，包括以下至少之一：

7、响应于所述第一电子设备获得来自目标操作者和/或第三电子设备的目标交互输入，确定获得需要调用目标大模型处理的目标任务，以及控制所述目标网络中的电子设备利用广播机制获取彼此的资源配置情况和/或资源使用情况，其中，所述第三电子设备包括或不包括所述第二电子设备；

8、响应于所述第一电子设备获得运行目标大模型的指令，确定获得所述目标任务，以及通过所述目标网络中的连接设备获取各电子设备的资源配置情况和/或资源使用情况，其中，所述连接设备是用于建立所述目标网络中各电子设备之间的通信连接的设备；

9、响应于所述第一电子设备的网关服务获得来自目标操作者和/或第三电子设备的交互输入，确定获得需要调用目标大模型处理的目标任务，将所述第一电子设备确定为所述目标网络的中心节点，以及通过所述网关服务获取所述第二电子设备的资源配置情况和/或资源使用情况，其中，所述第三电子设备包括或不包括所述第二电子设备。

10、可选的，至少基于所述资源情况向所述目标网络中的至少一个第二电子设备分发对应的目标子任务，包括：

11、至少基于所述资源情况从所述目标网络中确定至少一个第二电子设备；

12、建立与所述至少一个第二电子设备之间的目标通信连接，以及通过所述目标通信连接向所述第二电子设备发送对所述目标任务进行分发处理后的目标子任务，或，

13、通过所述目标通信连接将所述目标任务发送给确定的第二电子设备或所述目标网络中的第三电子设备来对所述目标任务进行分发处理，以使所述第二电子设备执行对应部分的目标子任务，所述第三电子设备是所述目标网络中的连接设备，所述连接设备包括或不包括所述第二电子设备。

14、可选的，至少基于所述资源情况从所述目标网络中确定至少一个第二电子设备，包括以下至少之一：

15、基于所述目标大模型的模型参数和所述资源情况从所述目标网络中确定所述第二电子设备；

16、基于所述目标任务的任务参数和所述资源情况从所述目标网络中确定所述第二电子设备；

17、基于所述第一电子设备与所述目标网络中的其他电子设备之间的通信状况和所述资源情况从所述目标网络中确定所述第二电子设备；

18、基于目标历史数据和所述资源情况从所述目标网络中确定所述第二电子设备，所述目标历史数据包括所述目标任务的历史执行数据和/或目标操作者关联的历史习惯数据；

19、基于所述目标网络中的其他电子设备与所述第一电子设备之间的可信度和所述资源情况从所述目标网络中确定所述第二电子设备。

20、可选的，对所述目标任务进行分发处理，包括以下至少之一：

21、获得所述目标任务的任务内容，基于所述任务内容的类型将所述目标任务处理成不同类型的多个子任务；

22、基于所述目标大模型的模型参数将所述目标任务处理成与所述目标大模型的子模型对应的多个子任务；

23、获得所述目标任务的任务内容，基于所述任务内容之间的关联性将所述目标任务处理成不同数量的子任务；

24、获得目标操作者的配置操作，基于所述配置操作将所述目标任务分割成不同数量的子任务。

25、可选的，所述基于所述第二电子设备调用所述目标大模型的对应子模型处理所述目标子任务所得到的子处理结果得到目标处理结果，包括：

26、向所述至少一个第二电子设备发送用于处理对应目标子任务所需的子模型信息，以使所述第二电子设备基于所述子模型信息运行对应的子模型处理分发的目标子任务，所述子模型信息用于从目标大模型中确定对应的子模型；

27、对接收到的所述第二电子设备反馈的所述目标子任务的子处理结果进行相应处理，得到所述目标任务的目标处理结果。

28、可选的，使所述第二电子设备基于所述子模型信息运行对应的子模型处理分发的目标子任务，包括以下至少之一：

29、控制所述第二电子设备基于所述子模型信息从自身预置的目标大模型中拆分出对应子模型，以运行对应子模型处理分发的目标子任务；

30、控制所述第二电子设备基于所述子模型信息从第四电子设备获取目标子模型，以对应目标子模型处理分发的目标子任务，所述第四电子设备属于或不属于所述目标网络；

31、控制所述第二电子设备运行所述子模型信息中携带的子模型处理分发的目标子任务。

32、可选的，对接收到的所述第二电子设备反馈的所述目标子任务的子处理结果进行相应处理，得到所述目标处理结果，包括以下至少之一：

33、基于目标子任务的任务属性对接收到的第二电子设备反馈的目标子任务的子处理结果进行叠加、融合、拼接、识别或生成处理，得到所述目标处理结果；

34、对接收到的第二电子设备反馈的目标子任务的子处理结果进行加权计算，得到所述目标处理结果；

35、对接收到的第二电子设备反馈的目标子任务的子处理结果进行匹配度计算，将匹配度最高的子处理结果作为所述目标处理结果；

36、对第三电子设备转发的所述第二电子设备反馈的目标子任务的子处理结果进行相应处理，得到所述目标处理结果。

37、可选的，还包括：

38、基于所述资源情况变化信息和/或所述目标网络中的电子设备执行的任务更新信息更新所述第二电子设备和/或所述目标大模型的拆分策略。

39、本技术第二方面提供一种任务处理装置，包括：

40、获得单元，用于响应于第一电子设备获得需要调用目标大模型处理的目标任务，获得目标网络中的电子设备的资源情况，所述目标网络由包括所述第一电子设备的至少两个电子设备组成；

41、分发单元，用于至少基于所述资源情况向所述目标网络中的至少一个第二电子设备分发对应的目标子任务，所述目标子任务是所述目标任务的一部分；以及，

42、调用单元，基于所述第二电子设备调用所述目标大模型的对应子模型处理所述目标子任务所得到的子处理结果得到目标处理结果。