文本预测方法及装置、电子设备、存储介质及程序产品与流程

本公开涉及人工智能以及自然语言处理，尤其涉及一种文本预测方法及装置、电子设备、存储介质及程序产品。

背景技术：

1、随着人工智能技术的飞速发展，大型语言模型(large language model，llm)在自然语言处理领域展现出强大的能力。通常情况下，大语言模型的推理过程是一个对输入文本进行迭代解码以生成回答文本的过程，例如，大语言模型基于输入文本，按顺序生成每一解码步的一个预测词(token)，将此预测词拼接到上一解码步的预测文本后面，并将拼接后的预测文本再次输入大语言模型以生成下一解码步的一个预测词，重复执行直到满足解码终止条件，生成回答文本。

2、但大型语言模型在推理过程中，需要将巨量的参数加载到图形处理单元(graphicprocessing unit，gpu)的计算单元中，并从图形处理单元显存(high-bandwidth memory，hbm)迁移到高速缓存(cache)，才可以实现一个解码步中对一个预测词的运算，这就导致了推理过程中存在非常大的访存开销和极其不均衡的计算访存比，从而导致gpu利用率非常低，也限制了大型语言模型推理的实时性以及效率。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供一种文本预测方法及装置、电子设备、存储介质及程序产品，能提升文本预测的速度和效率。

2、根据本公开实施例的第一方面，提供一种文本预测方法，包括：

3、基于输入文本以及预设词对集合，生成词对扩展后的候选词对集合；

4、基于所述输入文本中的词，在所述候选词对集合中确定出多个第一预测词，并基于所述输入文本和所述多个第一预测词生成多个预测文本；其中，所述多个预测文本包括所述输入文本，以及所述输入文本与至少一个第一预测词拼接得到的多个文本；

5、通过大语言模型并行对各预测文本进行预测，得到多个第二预测词；其中，一个第二预测词对应一个预测文本；

6、基于所述多个第一预测词以及所述多个第二预测词，确定所述输入文本的目标预测词。

7、在一些实施例中，所述基于输入文本以及预设词对集合，生成词对扩展后的候选词对集合，包括：

8、将所述输入文本按预定分词长度进行分词处理，得到所述输入文本包括的多个输入词；其中，所述预定分词长度为所述预设词对集合中的词长度；

9、将所述输入文本中相邻的且满足所述预设词对集合中词对所包括词数量的输入词组成输入词对，并将所述输入词对添加至所述预设词对集合，得到所述候选词对集合。

10、在一些实施例中，所述基于所述输入文本中的词，在所述候选词对集合中确定出多个第一预测词，并基于所述输入文本和所述多个第一预测词生成多个预测文本，包括：

11、依次在所述候选词对集合中查询是否存在与当前次查询词对应的目标词；其中，首次查询时的查询词为所述输入文本最末尾的词；

12、响应于存在与所述当前次查询词对应的目标词，将所述当前次查询词对应的目标词确定为一个第一预测词；其中，首次查询之后的当前次查询词为前一次查询得到的第一预测词；

13、将所述输入文本作为一个预测文本，并将所述输入文本与所述多个第一预测词按第一预测词的预测顺序进行多次拼接，得到所述输入文本之外的各预测文本；其中，首次拼接得到的预测文本为所述输入文本与首次预测得到的第一预测词拼接得到，首次拼接之后的每一次拼接得到的预测文本为前一次拼接得到的预测文本与按所述预测顺序确定的待拼接的一个第一预测词拼接得到。

14、在一些实施例中，所述方法还包括：

15、响应于未设置有查询次数阈值，且不存在与所述当前次查询词对应的目标词，基于已查询得到的目标词确定所述多个第一预测词后终止继续确定第一预测词。

16、在一些实施例中，所述方法还包括：

17、响应于设置有所述查询次数阈值，且所述当前次查询未达到所述查询次数阈值，若不存在与所述当前次查询词对应的目标词，随机选择所述候选词对集合中的一个词确定为第一预测词。

18、在一些实施例中，所述多个第一预测词中首次确定的第一预测词为基于所述输入文本在所述候选词对集合中查询得到，所述多个第一预测词中首次之后确定的第一预测词是基于前次确定的第一预测词在所述候选词对集合中查询得到的；所述多个第二预测词中首次确定的第二预测词为基于所述输入文本利用所述大语言模型得到，所述多个第二预测词中首次之后确定的第二预测词为所述输入文本依次累积基于已得到的第二预测词后利用所述大语言模型得到；

19、所述基于所述多个第一预测词以及所述多个第二预测词，确定所述输入文本的目标预测词，包括：

20、按预测词的预测顺序比对每一第一预测词与第二预测词，响应于相同预测批次得到的第一预测词与第二预测词相同，将相同的第一预测词或第二预测词确定为所述输入文本对应的一个目标预测词。

21、在一些实施例中，所述方法还包括：

22、按预测词的预测顺序比对每一第一预测词与第二预测词，响应于相同批次得到的第一预测词与第二预测词不同，将第二预测词与第二预测词对应的预测文本末尾的词组合成预测词对更新至所述候选词对集合。

23、在一些实施例中，所述响应于相同批次得到的第一预测词与第二预测词不同，将第二预测词与第二预测词对应的预测文本末尾的词组合成预测词对更新至所述候选词对集合，包括：

24、响应于相同批次得到的第一预测词与第二预测词不同且满足预设更新条件，将第二预测词与第二预测词对应的预测文本末尾的词组合成预测词对更新至所述候选词对集合；其中，所述满足预设更新条件包括：符合预设的更新频率、或达到预设的更新时间。

25、在一些实施例中，所述方法还包括：

26、基于各目标预测词的确定顺序将各目标预测词依次拼接至所述输入文本的末尾生成回答文本；

27、响应于任一次拼接得到的回答文本的长度大于预设文本长度阈值和/或所述任一次拼接的目标预测词包含终止符，终止继续拼接目标预测词并输出前一次拼接得到的回答文本。

28、根据本公开实施例的第二方面，提供一种文本预测装置，包括：

29、第一生成模块，用于基于输入文本以及预设词对集合，生成词对扩展后的候选词对集合；

30、第二生成模块，用于基于所述输入文本中的词，在所述候选词对集合中确定出多个第一预测词，并基于所述输入文本和所述多个第一预测词生成多个预测文本；其中，所述多个预测文本包括所述输入文本，以及所述输入文本与至少一个第一预测词拼接得到的多个文本；

31、第三生成模块，用于通过大语言模型并行对各预测文本进行预测，得到多个第二预测词；其中，一个第二预测词对应一个预测文本；

32、第一确定模块，用于基于所述多个第一预测词以及所述多个第二预测词，确定所述输入文本的目标预测词。

33、在一些实施例中，所述第一生成模块，还用于将所述输入文本按预定分词长度进行分词处理，得到所述输入文本包括的多个输入词；其中，所述预定分词长度为所述预设词对集合中的词长度；将所述输入文本中相邻的且满足所述预设词对集合中词对所包括词数量的输入词组成输入词对，并将所述输入词对添加至所述预设词对集合，得到所述候选词对集合。

34、在一些实施例中，所述第二生成模块，还用于依次在所述候选词对集合中查询是否存在与当前次查询词对应的目标词；其中，首次查询时的查询词为所述输入文本最末尾的词；响应于存在与所述当前次查询词对应的目标词，将所述当前次查询词对应的目标词确定为一个第一预测词；其中，首次查询之后的当前次查询词为前一次查询得到的第一预测词；将所述输入文本作为一个预测文本，并将所述输入文本与所述多个第一预测词按第一预测词的预测顺序进行多次拼接，得到所述输入文本之外的各预测文本；其中，首次拼接得到的预测文本为所述输入文本与首次预测得到的第一预测词拼接得到，首次拼接之后的每一次拼接得到的预测文本为前一次拼接得到的预测文本与按所述预测顺序确定的待拼接的一个第一预测词拼接得到。

35、在一些实施例中，所述装置还包括：

36、第二确定模块，用于响应于未设置有查询次数阈值，且不存在与所述当前次查询词对应的目标词，基于已查询得到的目标词确定所述多个第一预测词后终止继续确定第一预测词。

37、在一些实施例中，所述装置还包括：

38、第三确定模块，用于响应于设置有所述查询次数阈值，且所述当前次查询未达到所述查询次数阈值，若不存在与所述当前次查询词对应的目标词，随机选择所述候选词对集合中的一个词确定为第一预测词。

39、在一些实施例中，所述多个第一预测词中首次确定的第一预测词为基于所述输入文本在所述候选词对集合中查询得到，所述多个第一预测词中首次之后确定的第一预测词是基于前次确定的第一预测词在所述候选词对集合中查询得到的；所述多个第二预测词中首次确定的第二预测词为基于所述输入文本利用所述大语言模型得到，所述多个第二预测词中首次之后确定的第二预测词为所述输入文本依次累积基于已得到的第二预测词后利用所述大语言模型得到；

40、所述第一确定模块，还用于按预测词的预测顺序比对每一第一预测词与第二预测词，响应于相同预测批次得到的第一预测词与第二预测词相同，将相同的第一预测词或第二预测词确定为所述输入文本对应的一个目标预测词。

41、在一些实施例中，所述装置还包括：

42、比对更新模块，用于按预测词的预测顺序比对每一第一预测词与第二预测词，响应于相同批次得到的第一预测词与第二预测词不同，将第二预测词与第二预测词对应的预测文本末尾的词组合成预测词对更新至所述候选词对集合。

43、在一些实施例中，所述比对更新模块，还用于响应于相同批次得到的第一预测词与第二预测词不同且满足预设更新条件，将第二预测词与第二预测词对应的预测文本末尾的词组合成预测词对更新至所述候选词对集合；其中，所述满足预设更新条件包括：符合预设的更新频率、或达到预设的更新时间。

44、在一些实施例中，所述装置还包括：

45、第四生成模块，用于基于各目标预测词的确定顺序将各目标预测词依次拼接至所述输入文本的末尾生成回答文本；响应于任一次拼接得到的回答文本的长度大于预设文本长度阈值和/或所述任一次拼接的目标预测词包含终止符，终止继续拼接目标预测词并输出前一次拼接得到的回答文本。

46、根据本公开实施例的第三方面，提供一种电子设备，包括：

47、处理器；

48、用于存储计算机程序或指令的存储器；

49、其中，所述处理器执行所述计算机程序或指令，以实现如上述第一方面中所述的方法的步骤。

50、根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，所述存储介质存储有计算机程序或指令，当所述存储介质中的计算机程序或指令由处理器执行时，实现如上述第一方面中所述的方法的步骤。

51、根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序或者指令，所述计算机程序或指令被处理器执行时，实现如上述第一方面所述的方法的步骤。

52、本公开的实施例提供的技术方案可以包括以下有益效果：

53、本公开实施例中，电子设备可以利用候选词对集合直接预测多个第一预测词，一方面，可以在推理过程的一个解码步中预测未来多个可能的第一预测词，以便在一个解码步中对多个可能得预测文本并行预测多个第二预测词，进而在一个解码步中对多个第一预测词的验证，以便在一个解码步中尽可能多的确定出未来多个解码步中的目标预测词，增加了单次解码步的解码步长，降低了解码步数，从而减少对gpu加载或迁移巨量参数的次数，整体上提高了文本预测的速度和效率；另一方面，电子设备采用候选词对集合替代小模型，使得“推测”过程无需引入计算复杂度高的小模型，降低了“推测”的计算复杂度，提升了推理的时效性，且增加了文本预测方法的适用场景(例如，更易适用于分布式部署场景)；再一方面，候选词对集合是采用输入文本以及预设词对集合扩展生成的，候选词对集合的实现方式无需进行复杂的神经网络训练，降低了“推测”的技术复杂性和实现难度，从而也降低了“推测”小模型的获取难度，使得文本预测方法的适用范围增加，利于在精度和部署便捷性之间进行平衡。

54、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。