通信方法、设备、存储介质和程序产品与流程

本发明涉及人工智能，尤其涉及一种通信方法、设备、存储介质和程序产品。

背景技术：

1、随着人工智能技术的迅猛发展，尤其是大型语言模型（large language model，llm）的兴起，对计算资源的需求呈现出爆炸性增长。这些模型的规模、训练数据的规模以及所需的gpu（graphics processing unit，图形处理器）资源数量都以指数级的速度增长。

2、在某些情况下，为了满足训练需求，甚至需要动用数千甚至数万个gpu。然而，在当前的gpu云服务和资源使用环境中，这些成千上万个gpu可能来自不同制造商或者属于同一制造商的不同产品型号，具有不同的硬件架构，即，是异构的。

3、在这样的背景下，将不同型号、不同厂商的gpu进行混合使用，以支持大规模模型的训练，即为异构混训（也称“异构训练”）。异构混训可以很好的解决目前数据中心gpu的“异构孤岛”问题。

4、不同制造商或者不同型号的gpu之间的通信效率，直接影响着异构混训的整体效率。如何提升异构gpu之间的通信效率，以实现异构gpu之间的高效互联互通，已经成为行业内的一个热点研究话题。

技术实现思路

1、本发明提供一种通信方法、设备、存储介质和程序产品，用以解决相关技术中gpu之间的通信效率低的缺陷。

2、本发明提供一种通信方法，包括：

3、基于在本端人工智能芯片处安装的通用接口，调用与所述本端人工智能芯片相适配的数据传输接口，所述通用接口集成有分别与各类人工智能芯片相适配的数据传输接口；

4、基于与所述本端人工智能芯片相适配的数据传输接口，通过直连传输路径与对端人工智能芯片进行通信，所述对端人工智能芯片处安装有所述通用接口、且通过所述通用接口调用与所述对端人工智能芯片相适配的数据传输接口；

5、所述直连传输路径由所述本端人工智能芯片、与所述本端人工智能芯片连接的本端网卡、与所述对端人工智能芯片连接的对端网卡以及所述对端人工智能芯片构成。

6、根据本发明提供的一种通信方法，所述数据传输接口包括内存拷贝接口；

7、所述基于与所述本端人工智能芯片相适配的数据传输接口，通过直连传输路径与所述对端人工智能芯片进行通信，包括：

8、基于与所述本端人工智能芯片相适配的内存拷贝接口，在所述本端人工智能芯片的目标内存区域进行内存拷贝，并在拷贝完成后通过所述直连传输路径将所述目标内存区域中的数据传输至所述对端人工智能芯片。

9、根据本发明提供的一种通信方法，所述数据传输接口还包括内存注册接口；

10、所述基于与所述本端人工智能芯片相适配的内存拷贝接口，在所述本端人工智能芯片的目标内存区域进行内存拷贝，之前还包括：

11、基于与所述本端人工智能芯片相适配的内存注册接口，在所述本端人工智能芯片进行内存注册，得到所述本端人工智能芯片的内存中的目标内存区域。

12、根据本发明提供的一种通信方法，所述基于在本端人工智能芯片处安装的通用接口，调用与所述本端人工智能芯片相适配的数据传输接口，包括：

13、基于在本端人工智能芯片处安装的通用接口，调用与所述本端人工智能芯片的厂商和产品型号中的至少一种相适配的数据传输接口。

14、根据本发明提供的一种通信方法，所述基于与所述本端人工智能芯片相适配的数据传输接口，通过直连传输路径与对端人工智能芯片进行通信，包括：

15、基于与所述本端人工智能芯片相适配的数据传输接口，通过直连传输路径与对端人工智能芯片传输数据块，所述数据块的尺寸为目标尺寸；

16、所述目标尺寸为多个候选尺寸中的一种。

17、根据本发明提供的一种通信方法，所述基于与所述本端人工智能芯片相适配的数据传输接口，通过直连传输路径与对端人工智能芯片进行通信，之前还包括：

18、将测试数据划分为所述候选尺寸下的多个数据块；

19、基于与所述本端人工智能芯片相适配的数据传输接口，通过直连传输路径向所述对端人工智能芯片发送所述候选尺寸下的多个数据块，得到所述候选尺寸下的数据传输耗时；

20、基于多个所述候选尺寸下的数据传输耗时，确定所述目标尺寸。

21、根据本发明提供的一种通信方法，所述基于在本端人工智能芯片处安装的通用接口，调用与所述本端人工智能芯片相适配的数据传输接口，之前还包括：

22、在确定所述本端人工智能芯片支持芯片间的直接内存访问、且在所述本端人工智能芯片处安装有通用接口的情况下，进行通用接口注册。

23、本发明还提供一种通信装置，包括：

24、调用单元，用于基于在本端人工智能芯片处安装的通用接口，调用与所述本端人工智能芯片相适配的数据传输接口，所述通用接口集成有分别与各类人工智能芯片相适配的数据传输接口；

25、通信单元，用于基于与所述本端人工智能芯片相适配的数据传输接口，通过直连传输路径与对端人工智能芯片进行通信，所述对端人工智能芯片处安装有所述通用接口、且通过所述通用接口调用与所述对端人工智能芯片相适配的数据传输接口；

26、所述直连传输路径由所述本端人工智能芯片、与所述本端人工智能芯片连接的本端网卡、与所述对端人工智能芯片连接的对端网卡以及所述对端人工智能芯片构成。

27、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述通信方法。

28、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述通信方法。

29、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述通信方法。

30、本发明提供的通信方法、设备、存储介质和程序产品，通过集成有分别与各类人工智能芯片相适配的数据传输接口的通用接口，实现了针对各类人工智能芯片的数据传输操作的统一管理，基于此可以调用与各类人工智能芯片相适配的数据传输接口，以实现与各类人工智能芯片之间的直连通信，从而降低异构人工智能芯片之间的通信延迟，提升异构人工智能芯片之间的通信效率。

技术特征：

1.一种通信方法，其特征在于，包括：

2.根据权利要求1所述的通信方法，其特征在于，所述数据传输接口包括内存拷贝接口；

3.根据权利要求2所述的通信方法，其特征在于，所述数据传输接口还包括内存注册接口；

4.根据权利要求1所述的通信方法，其特征在于，所述基于在本端人工智能芯片处安装的通用接口，调用与所述本端人工智能芯片相适配的数据传输接口，包括：

5.根据权利要求1所述的通信方法，其特征在于，所述基于与所述本端人工智能芯片相适配的数据传输接口，通过直连传输路径与对端人工智能芯片进行通信，包括：

6.根据权利要求5所述的通信方法，其特征在于，所述基于与所述本端人工智能芯片相适配的数据传输接口，通过直连传输路径与对端人工智能芯片进行通信，之前还包括：

7.根据权利要求1至6中任一项所述的通信方法，其特征在于，所述基于在本端人工智能芯片处安装的通用接口，调用与所述本端人工智能芯片相适配的数据传输接口，之前还包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述通信方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述通信方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述通信方法。

技术总结
本发明涉及人工智能技术领域，提供一种通信方法、设备、存储介质和程序产品，其中方法包括：基于在本端人工智能芯片处安装的通用接口，调用与本端人工智能芯片相适配的数据传输接口，通用接口集成有分别与各类人工智能芯片相适配的数据传输接口；基于与本端人工智能芯片相适配的数据传输接口，通过直连传输路径与对端人工智能芯片进行通信，对端人工智能芯片处安装有通用接口、且通过通用接口调用与对端人工智能芯片相适配的数据传输接口。本发明提供的方法、设备、存储介质和程序产品，实现与各类人工智能芯片之间的直连通信，从而降低异构人工智能芯片之间的通信延迟，提升异构人工智能芯片之间的通信效率。

技术研发人员：请求不公布姓名,请求不公布姓名
受保护的技术使用者：上海壁仞科技股份有限公司
技术研发日：
技术公布日：2025/1/2