用于评估模型的方法、电子设备和存储介质与流程

本申请涉及人工智能，尤其涉及一种用于评估模型的方法、电子设备和存储介质。

背景技术：

1、伴随着ai（artificialintelligence）大模型的发展，大模型技术在各个领域都变得越发重要。例如，在芯片的设计和验证领域引入ai大模型辅助对eda工具的使用变得可行。其中一种思路就是使用ai大模型来生成芯片设计和验证相关的代码：例如rtl模块代码、测试平台代码或属性检验断言代码等。芯片设计和验证过程中，ai可以学习优秀工程师的代码数据，在根据普通用户的描述而智能的生成优秀的代码，极大提高芯片研发整体效率。

2、但是，如何评价训练产生的ai模型是否准确依然是一个棘手的问题。在训练ai模型的过程中，我们就需要精确的从ai产生的结果中找出错误的（这种错误可能是语法上的，也可能是逻辑上的）的部分，并根据这种反馈去控制训练模型的过程，提高模型的质量。但这个过程，目前常见的手段主要是繁琐的人工检查和并不够准确的文本向量距离判断，其效率和精确度都不够。

技术实现思路

1、本申请的第一方面提供一种用于评估模型的方法，包括：基于初始训练数据训练所述模型，所述模型用于根据自然语言数据生成计算机代码；向所述模型提供多条自然语言描述作为输入以获取与所述多条自然语言描述对应的多个生成代码；分析所述多个生成代码以确定所述模型的正确率；以及基于所述正确率评估所述模型。

2、本申请的第二方面提供一种电子装置，包括：存储器，用于存储一组指令；以及至少一个处理器，配置为执行所述一组指令以使得所述电子装置执行如第一方面所述的方法。

3、本申请的第三方面提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机的一组指令，该组指令用于在被执行时使所述计算机执行如第一方面所述的方法。

4、本申请提供的一种用于评估模型的方法，解决了现有技术依赖人工或精度不够的问题，可以在确保准确性的情况下对ai模型进行快速校验和评估。

技术特征：

1.一种用于评估模型的方法，包括：

2.根据权利要求1所述的方法，其中，所述多条自然语言描述与多个预设代码对应，所述多条自然语言描述包括第一自然语言描述，所述多个预设代码对应包括与第一自然语言描述对应的第一预设代码，所述多个生成代码包括基于所述第一自然语言描述生成的第一生成代码，分析所述多个第一代码以确定所述模型的正确率进一步包括：

3.根据权利要求2所述的方法，其中，等效验证所述第一生成代码和所述第一预设代码进一步包括：

4.根据权利要求3所述的方法，其中，比较所述第一生成检测输出值和所述第一预设检测点输出值进一步包括：

5.根据权利要求1所述的方法，其中，基于初始训练数据训练所述模型，进一步包括：

6.根据权利要求1所述的方法，进一步包括：

7.根据权利要求1所述的方法，其中，基于所述正确率评估所述模型进一步包括：

8.一种电子设备，包括：

9.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机的一组指令，该组指令用于在被执行时使所述计算机执行权利要求1至7任意一项所述的方法。

技术总结
本申请提供一种用于评估模型的方法，包括：基于初始训练数据训练所述模型，所述模型用于根据自然语言数据生成计算机代码；向所述模型提供多条自然语言描述作为输入以获取与所述多条自然语言描述对应的多个生成代码；分析所述多个生成代码以确定所述模型的正确率；以及基于所述正确率评估所述模型。

技术研发人员：杨思超,杨晔
受保护的技术使用者：芯华章科技（深圳）有限公司
技术研发日：
技术公布日：2024/2/29