一种NL2SQL系统能力提升方法、装置、设备和介质与流程

本发明涉及nl2sql系统能力感知，尤其涉及一种nl2sql系统能力提升方法、装置、设备和介质。

背景技术：

1、如今，大数据、云计算和物联网等技术的发展带来了数据量的爆发式增长，这些数据通常以结构化的形式存储于数据库中，并使用自然查询语句(structured querylanguage，sql)查询语言进行交互。然而，对于非专业用户来说，学习和理解并用好sql语言是一项具有挑战性的任务。因此，许多研究人员开始探索将自然语言转化为nl2sql(natural language to sql，nl2sql)的方法，以降低用户的学习成本以提高与数据库的交互便捷性。

2、nl2sql系统领域需要的能力非常复杂，当前，对于nl2sql系统通用的提升方法所存在一些问题如下：1)当前提升方法缺少有效的能力度量方法，缺乏有效的精细数据集构建方法，盲目增加数据进行系统能力提升，造成能力提升效率低下；当前方法缺少有效的模型能力度量方法，盲目增加数据进行模型能力提升，其结果就是能力提升的效果不佳，使用的新语料在训练时，可能造成数据优化方向相冲突，降低优化效率；2)其次，当前的大模型能力提升过程中，缺乏一个高效的数据与训练方式的组合调度方法，在现有方法中，数据与训练方式的种类过于复杂，在预训练过程中经常出现loss spike现象，出现这种现象的原因是预训练时，使用平均梯度来共同优化方向，当任务种类过多的时候，数据的共性难以获得，所以loss值很难下降，或者缓慢下降；因此，在具体实施时，有很高复杂度，从效果和效率出发，亟需一种nl2sql系统能力提升方法以解决上述技术问题。

技术实现思路

1、有鉴于此，本发明提供一种nl2sql系统能力提升方法、装置、设备和介质，能够对nl2sql系统进行全面细致的量化度量，度量效率更高，度量结果更为全面，且具有高效的组合调度方式，在提升复杂度低的情况下，实现nl2sql系统能力感知高效率的提升。

2、根据本发明的一方面，本发明实施例提供了一种nl2sql系统能力提升方法，所述方法包括：

3、从预先构建的能力指标库中确定待提升nl2sql系统在目标场景下所需的能力项；

4、根据预设场景测试题库对各所述能力项进行能力等级评估，以得到所述待提升nl2sql系统的能力等级明细；

5、基于所述能力等级明细确定所述能力项对应的能力提升模组矩阵；其中，所述能力提升模组矩阵中的每一个元素表示为对应能力项的能力提升任务；所述能力提升模组矩阵中的横坐标表示为所述待提升nl2sql系统的能力项，纵坐标表示为所述待提升nl2sql系统的能力提升任务类别；

6、基于所述能力提升模组矩阵中各所述能力提升任务所属的任务提升类别选取最佳的目标能力提升任务进行集合分组，得到分组后的目标分组组合，并对所述目标分组组合进行调度，以对所述待提升nl2sql系统进行能力感知提升。

7、根据本发明的另一方面，本发明实施例还提供了一种nl2sql系统能力提升装置，所述装置包括：

8、能力项确定模块，用于从预先构建的能力指标库中确定待提升nl2sql系统在目标场景下所需的能力项；

9、等级明细确定模块，用于根据预设场景测试题库对各所述能力项进行能力等级评估，以得到所述待提升nl2sql系统的能力等级明细；

10、提升矩阵确定模块，用于基于所述能力等级明细确定所述能力项对应的能力提升模组矩阵；其中，所述能力提升模组矩阵中的每一个元素表示为对应能力项的能力提升任务；所述能力提升模组矩阵中的横坐标表示为所述待提升nl2sql系统的能力项，纵坐标表示为所述待提升nl2sql系统的能力提升任务类别；

11、提升模块，用于基于所述能力提升模组矩阵中各所述能力提升任务所属的任务提升类别选取最佳的目标能力提升任务进行集合分组，得到分组后的目标分组组合，并对所述目标分组组合进行调度，以对所述待提升nl2sql系统进行能力感知提升。

12、根据本发明的另一方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的nl2sql系统能力提升方法。

16、根据本发明的另一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的nl2sql系统能力提升方法。

17、本发明实施例的技术方案，通过从能力指标库中确定待提升nl2sql系统在目标场景下所需的能力项，能够缩小后续nl2sql能力感知与提升的能力项的范围，从而快速完成nl2sql系统与特定场景的适配；通过预设场景测试题库对各能力项进行能力等级评估确定待提升nl2sql系统的能力等级明细，能够对nl2sql系统进行全面细致的量化度量，度量效率更高，度量结果更为全面，通过能力等级明细确定能力项对应的能力提升模组矩阵，每个能力提升模组矩阵中包含一个或多个能力提升任务，根据所属的任务提升类别选取最佳的目标能力提升任务进行集合分组，从而基于分组结果进行调度，达到具有高效的组合调度方式，在提升复杂度低的情况下，实现nl2sql系统能力感知高效率、精细化的提升。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种nl2sql系统能力提升方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述对所述待提升nl2sql系统进行能力感知提升之后，还包括：

3.根据权利要求1所述的方法，其特征在于，所述能力指标库中的各所述能力指标对应相应的指标测试用例；

4.根据权利要求1所述的方法，其特征在于，所述从预先构建的能力指标库中确定所述待提升nl2sql系统在目标场景下所需的能力项，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据预设场景测试题库对各所述能力项进行能力等级评估，以得到所述待提升nl2sql系统的能力等级明细，包括：

6.根据权利要求5所述的方法，其特征在于，所述能力等级明细划分的方式，包括：在所述待提升nl2sql系统中所述第一类型测试用例和所述第二类型测试用例都未得分的情况下，确定所述能力等级明细为第一等级；在所述第一类型测试用例的得分达到预设第一得分要求，且，所述第二类型测试用例均未得分的情况下，确定所述能力等级明细为第二等级；在所述第一类型测试用例的得分达到预设第二得分要求，且，所述第二类型测试用例的得分达到所述预设第二得分要求的情况下，确定所述能力等级明细为第三等级；在所述第一类型测试用例的得分达到预设第三得分要求，且，所述第二类型测试用例的得分达到所述预设第三得分要求的情况下，确定所述能力等级明细为第四等级；在所述第一类型测试用例的得分达到预设第四得分要求，且，所述第二类型测试用例的得分达到所述预设第四得分要求的情况下，确定所述能力等级明细为第五等级；

7.根据权利要求1所述的方法，其特征在于，所述基于所述能力等级明细确定所述能力项对应的能力提升模组矩阵，包括：

8.根据权利要求1所述的方法，其特征在于，所述基于所述能力提升模组矩阵中各所述能力提升任务所属的任务提升类别选取最佳的目标能力提升任务进行集合分组，得到分组后的目标分组组合，包括：

9.根据权利要求1所述的方法，其特征在于，所述对所述目标分组组合进行调度，包括：

10.一种nl2sql系统能力提升装置，其特征在于，包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-9中任一项所述的nl2sql系统能力提升方法。

技术总结
本发明公开一种NL2SQL系统能力提升方法、装置、设备和介质。该方法包括：从能力指标库中确定待提升NL2SQL系统在目标场景下所需的能力项；根据预设场景测试题库对各能力项进行能力等级评估确定能力等级明细；基于能力等级明细确定能力项对应的能力提升模组矩阵；基于能力提升模组矩阵中各能力提升任务所属的任务提升类别选取最佳的目标能力提升任务进行集合分组，得到分组后的目标分组组合，并对目标分组组合进行调度，以对待提升NL2SQL系统进行能力感知提升。本发明实施例，通过上述技术方案，能够对NL2SQL系统进行全面细致的量化度量，且具有高效的组合调度方式，在提升复杂度低的情况下，实现NL2SQL系统能力感知高效率、精细化的提升。

技术研发人员：唐剑飞,孙煜华,李斌,夏正勋
受保护的技术使用者：星环信息科技（上海）股份有限公司
技术研发日：
技术公布日：2024/7/15