编码方法、装置、电子设备、存储介质和程序产品与流程

本发明涉及模型编码，尤其涉及一种人工智能大模型推理中的编码方法、装置、电子设备、存储介质和程序产品。

背景技术：

1、transformer是一种广泛用于自然语言处理任务的深度学习模型。在transformer中，attention是主要的计算模块之一，其用于进行注意力计算(attention计算)。在attention计算时，会对不同的分词(tokens)进行计算，这些tokens包含有位置信息，即词与词之间是有顺序关系的，但是attention计算是无向的，为了把位置信息传递给模型，需要对输入tokens的位置进行编码，再将位置编码结果输入模型进行后续处理。

2、通常，模型在训练完成后，会对应有一个最大允许推理长度，即模型学习的是最大允许推理长度内的位置编码数据规律和特性，也就是模型对长度小于等于最大允许推理长度的序列有较好的推理效果，但对长度大于最大允许推理长度的序列的推理效果较差。

技术实现思路

1、本发明提供一种编码方法、装置、电子设备、存储介质和程序产品，用以解决现有技术中训练完成的模型对长度大于最大允许推理长度的序列的推理效果较差的缺陷。

2、本发明提供一种编码方法，包括：

3、基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列；

4、对各分组序列进行位置编码，得到所述各分组序列的初始位置编码结果；

5、基于所述各分组序列的初始位置编码结果，对所述各分组序列中的各分词进行位置编码。

6、根据本发明提供的一种编码方法，所述基于所述各分组序列的初始位置编码结果，对所述各分组序列中的各分词进行位置编码，包括：

7、基于当前分组序列的初始位置编码结果，以及下一分组序列的初始位置编码结果，对所述当前分组序列内的各分词进行位置编码。

8、根据本发明提供的一种编码方法，所述基于当前分组序列的初始位置编码结果，以及下一分组序列的初始位置编码结果，对所述当前分组序列内的各分词进行位置编码，包括：

9、基于所述当前分组序列的初始位置编码结果、所述下一分组序列的初始位置编码结果以及所述当前分组序列内各分词在组内的位置，确定所述当前分组序列内各分词的位置变化量；

10、基于所述当前分组序列的初始位置编码结果，以及所述当前分组序列内各分词的位置变化量，对所述当前分组序列内的各分词进行位置编码。

11、根据本发明提供的一种编码方法，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：

12、基于所述最大允许推理长度，确定分组数量；

13、基于所述分组数量，对所述待推理序列进行线性分组，得到所述多个分组序列。

14、根据本发明提供的一种编码方法，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：

15、基于所述最大允许推理长度，确定分组数量；

16、基于所述分组数量，对所述待推理序列进行非线性分组，得到所述多个分组序列。

17、根据本发明提供的一种编码方法，各分组序列中所包含的分词数量随着目标距离的增加而增加，所述目标距离指各分组序列所在位置与当前推理位置之间的距离。

18、本发明还提供一种编码装置，包括：

19、序列分组单元，用于基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列；

20、第一编码单元，用于对各分组序列进行位置编码，得到所述各分组序列的初始位置编码结果；

21、第二编码单元，用于基于所述各分组序列的初始位置编码结果，对所述各分组序列中的各分词进行位置编码。

22、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述编码方法。

23、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述编码方法。

24、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述编码方法。

25、本发明提供的编码方法、装置、电子设备、存储介质和程序产品，基于模型的最大允许推理长度，对待推理序列进行分组，并对各分组序列进行位置编码，从而可以基于各分组序列的初始位置编码结果，对各分组序列中的各分词进行位置编码，使得各分词都有独立的位置编码，实现在对长序列进行推理时，仍能保证模型的推理效果。

技术特征：

1.一种编码方法，其特征在于，包括：

2.根据权利要求1所述的编码方法，其特征在于，所述基于所述各分组序列的初始位置编码结果，对所述各分组序列中的各分词进行位置编码，包括：

3.根据权利要求2所述的编码方法，其特征在于，所述基于当前分组序列的初始位置编码结果，以及下一分组序列的初始位置编码结果，对所述当前分组序列内的各分词进行位置编码，包括：

4.根据权利要求1至3任一项所述的编码方法，其特征在于，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：

5.根据权利要求1至3任一项所述的编码方法，其特征在于，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：

6.根据权利要求5所述的编码方法，其特征在于，各分组序列中所包含的分词数量随着目标距离的增加而增加，所述目标距离指各分组序列所在位置与当前推理位置之间的距离。

7.一种编码装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述编码方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述编码方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述编码方法。

技术总结
本发明提供一种编码方法、装置、电子设备、存储介质和程序产品，所述方法涉及人工智能大模型推理技术领域，包括：基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列；对各分组序列进行位置编码，得到各分组序列的初始位置编码结果；基于各分组序列的初始位置编码结果，对各分组序列中的各分词进行位置编码。本发明提供的编码方法、装置、电子设备、存储介质和程序产品，基于模型的最大允许推理长度，对待推理序列进行分组，并对各分组序列进行位置编码，从而可以基于各分组序列的初始位置编码结果，对各分组序列中的各分词进行位置编码，使得各分词都有独立的位置编码，实现在对长序列进行推理时，仍能保证模型的推理效果。

技术研发人员：请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者：上海壁仞科技股份有限公司
技术研发日：
技术公布日：2024/5/19