垂直领域模型推理加速方法、装置与流程

本申请涉及人工智能，尤其涉及一种垂直领域模型推理加速方法、装置、电子设备及可读存储介质。

背景技术：

1、大语言模型(large language model，llm)是一种基于transformer的生成类模型，llm虽然在通识范围内拥有较好的解决问题和对话回复能力，但在特定领域的垂域场景，通常无法通过自身直接获得好的回复效果。现有技术主要分为在垂域上进行进一步的训练以及风格对齐，还有通过给与足够多的示例来让llm能够通过在上下文中学习获取在垂域足够好的表现力。但是在垂域上进行训练所需的数据成本非常高，并且，llm因为其参数量和自回归结构的特点，每个解码步骤都依赖于前面输出的标记(token)，这导致了每步都要等待前面推理的结果，造成推理过程的缓慢。

2、可见，现有技术存在垂直领域模型推理过程的缓慢的问题。

技术实现思路

1、有鉴于此，本申请实施例提供了一种垂直领域模型推理加速方法、装置、电子设备及可读存储介质，以解决现有技术中垂直领域模型推理过程的缓慢的问题。

2、本申请实施例的第一方面，提供了一种垂直领域模型推理加速方法，包括：

3、获取目标文本；

4、获取预先设置的文本库中目标文本对应的资料文本；

5、根据目标文本和资料文本，建立前缀索引库，前缀索引库包括资料文本和目标文本对应的资料片段；

6、通过大语言模型对目标文本和资料文本进行推理，当推理的次数等于预设次数时，根据推理的结果确定匹配前缀，预设次数为正整数，推理的结果为预设次数内输出的全部目标字符；

7、将匹配前缀与前缀索引库进行匹配，若匹配成功，则得到与匹配前缀的前缀一致的资料片段，作为目标资料片段；

8、根据匹配前缀和目标资料片段将资料片段分解为推理序列；

9、对推理序列进行并发推理，得到字符集，字符集包括每个推理序列推理得到的字符；

10、根据字符集，确定当前输出的文本。

11、本申请实施例的第二方面，提供了一种垂直领域模型推理加速装置，包括：

12、第一获取模块，用于获取目标文本；

13、第二获取模块，用于获取预先设置的文本库中目标文本对应的资料文本；

14、确定模块，用于根据目标文本和资料文本，建立前缀索引库；

15、第一推理模块，用于通过大语言模型对目标文本和资料文本进行推理，当推理的次数等于预设次数时，根据推理的结果确定匹配前缀，预设次数为正整数，推理的结果为预设次数内输出的全部目标字符；

16、匹配模块，用于将匹配前缀与前缀索引库进行匹配，若匹配成功，则得到与匹配前缀的前缀一致的资料片段，作为目标资料片段；

17、分解模块，用于根据匹配前缀和目标资料片段将资料片段分解为推理序列；

18、第二推理模块，用于对推理序列进行并发推理，得到字符集，字符集包括每个推理序列推理得到的字符；

19、输出模块，用于根据字符集，确定当前输出的文本。

20、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

21、本申请实施例的第四方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

22、本申请实施例的有益效果至少包括：

23、确保模型根据最新的用户输入进行响应，提供即时的推理结果；利用预先训练好的编码器，快速检索到与用户当前输入高度相关的资料文本，这样可以提升模型回复的相关性和准确性；前缀索引库能够在生成过程中快速检索匹配的资料片段，从而提高推理效率；使用大语言模型进行推理生成可以充分利用其预训练的知识，得到高质量的文本输出；在推理过程达到预设的次数时判断字符串是否与某个资料片段的前缀匹配，可以减少不必要的推理量，快速得到可靠的生成续写；按照资料片段继续生成的方式可以减少每个次数需要生成的文本量，进一步提高推理速度；利用硬件的并发处理能力，可以同时处理多个推理序列集，从而大幅减少整体所需的时间；最终输出的文本是通过综合并发推理结果得到的，这意味着输出的文本可以更快地生成，解决了垂直领域模型推理过程的缓慢的技术问题。

技术特征：

1.一种垂直领域模型推理加速方法，其特征在于，包括：

2.根据权利要求1所述的垂直领域模型推理加速方法，其特征在于，所述获取预先设置的文本库中所述目标文本对应的资料文本之前，还包括：

3.根据权利要求2所述的垂直领域模型推理加速方法，其特征在于，所述获取预先设置的文本库中所述目标文本对应的资料文本的过程，包括：

4.根据权利要求1所述的垂直领域模型推理加速方法，其特征在于，当所述次数等于预设次数时，将推理得到的字符串与所述前缀索引库进行匹配之后，还包括：

5.根据权利要求1所述的垂直领域模型推理加速方法，其特征在于，根据所述匹配前缀和所述目标资料片段将所述资料片段分解为推理序列，包括：

6.根据权利要求1所述的垂直领域模型推理加速方法，其特征在于，所述根据所述字符集，确定当前输出的文本的过程，包括：

7.根据权利要求1至6任一项所述的垂直领域模型推理加速方法，其特征在于，所述根据所述字符集，确定当前输出的文本之后，还包括：

8.一种垂直领域模型推理加速装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。

10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。

技术总结
本申请涉及人工智能技术领域，提供了一种垂直领域模型推理加速方法、装置、电子设备及可读存储介质。该方法包括：获取目标文本；获取预先设置的文本库中目标文本对应的资料文本；根据目标文本和资料文本，建立前缀索引库；通过大语言模型对目标文本和资料文本进行推理，当推理的次数等于预设次数时，根据推理的结果确定匹配前缀；将匹配前缀与前缀索引库进行匹配，若匹配成功，则得到与匹配前缀的前缀一致的资料片段，作为目标资料片段；根据匹配前缀和目标资料片段将资料片段分解为推理序列；对推理序列进行并发推理，得到字符集；根据字符集，确定当前输出的文本。本申请解决了垂直领域模型推理过程的缓慢的技术问题。

技术研发人员：袁子涵,杜梦雪
受保护的技术使用者：深圳须弥云图空间科技有限公司
技术研发日：
技术公布日：2024/6/26