技术特征：
1.一种ai决策系统的测试方法，其特征在于，包括以下步骤：s1，构建数据集，所述数据集中的数据记录至少包括数据指针、标注结果、收益和损失，其中，所述数据指针指向事件数据实际存放位置，所述标注结果的内容是所述事件数据正确与否的判断结果，所述收益是当被测ai算法判断结果与所述标注结果的内容相符时，得到的收益值，所述损失是当被测ai算法判断结果与所述标注结果的内容不相符时，得到的损失值；s2，将所述数据集中的数据记录输入被测ai算法，得到ai算法的测试结果，将测试结果与步骤s1中数据集的标注结果的内容进行对比，得到判断结果；s3，根据所述判断结果，对被测ai算法的实际效益进行分析，计算出被测ai算法的效益指数，所述被测ai算法的效益指数用于对被测ai算法的效益进行评估。2.如权利要求1所述的一种ai决策系统的测试方法，其特征在于，步骤s2中所述判断结果包括：判断结果一致的数据记录、判断结果不一致的数据记录以及无法进行判断的数据记录。3.如权利要求1所述的一种ai决策系统的测试方法，其特征在于，所述数据记录中还包括序号和时间，所述序号对数据集中的数据记录进行排序，所述时间是数据记录自然产生的时间。4.如权利要求1所述的一种ai决策系统的测试方法，其特征在于，步骤s2中，所述数据集中的数据记录输入被测ai算法的顺序包括按随机顺序输入和按照数据记录自然产生的时间先后顺序输入。5.如权利要求4所述的一种ai决策系统的测试方法，其特征在于，数据集中的数据记录按随机顺序输入被测ai算法包括但不限于一般伪随机方法、线性同余随机方法和梅森旋转随机方法。6.如权利要求1所述的一种ai决策系统的测试方法，其特征在于，步骤s1中所述收益值和损失值根据实际的收益和损失确定。7.如权利要求1-6任一所述的一种ai决策系统的测试方法，其特征在于，步骤s3具体包括以下步骤：s31，统计所述判断结果一致的数据记录中所有数据记录的收益值之和的平均数，记为w；s32，统计所述判断结果不一致的数据记录中所有数据记录的损失值的绝对值之和的平均数，记为l；s33，用所述判断结果一致的数据记录中数据记录个数之和除以所有数据记录数量，记为r；s34，用效益评价公式b =（w/(w+l) + r）计算被测系统效益指数。8.一种ai决策系统的测试系统，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的一种ai决策系统的测试方法。9.一种计算机可读介质，其特征在于，其上存储有可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行如权利要求1至7中任一项所述的一种ai决策系统的测试
方法。
技术总结
本发明属于AI决策系统的测试领域，特别是涉及一种AI决策系统的测试方法及系统。方法包括以下步骤：S1，构建数据集，所述数据集中的数据记录至少包括数据指针、标注结果、收益和损失；S2，将所述数据集中的数据记录依次输入被测AI算法，得到AI算法测试结果，将测试结果与步骤S1中数据集的标注结果进行对比，得到判断结果；S3，根据所述判断结果，对被测AI算法的实际效益进行分析，计算出被测AI算法的效益指数。通过对测试数据集的组织与运用，避免算法过渡拟合导致泛化误差过大；同时将被测AI算法的实际效益纳入测试评估范围，让其测试结果与实际部署后产生的社会及经济效益更为逼近。实际部署后产生的社会及经济效益更为逼近。实际部署后产生的社会及经济效益更为逼近。
技术研发人员：吴辉 魏波
受保护的技术使用者：成都万创科技股份有限公司
技术研发日：2022.09.29
技术公布日：2022/12/27