任务回报分配方法、装置、电子设备及存储介质与流程

本申请涉及人工智能，具体而言，涉及一种任务回报分配方法、装置、电子设备及存储介质。

背景技术：

1、随着人工智能的不断发展，数据标注成为其发展过程中的重要环节，数据标注的准确与否直接影响到基于人工智能的任务处理结果。数据众包平台为数据标注提供了一个更加经济、高效的解决方案。

2、通常，一个数据标注任务可由多个子任务构成，而现有技术中，一个数据标注任务中的所有子任务平均分配任务回报，这很大程度上会导致任务回报分配不合理，从而导致标注者的积极性降低。

技术实现思路

1、本申请提供一种任务回报分配方法、装置、电子设备及存储介质，以便于进行任务回报的合理分配，提高标注者的积极性。

2、为实现上述目的，本申请实施例采用的技术方案如下：

3、第一方面，本申请实施例提供了一种任务回报分配方法，包括：

4、确定目标标注任务下各子任务的标注相关信息，所述标注相关信息包括：平滑错误率、正确标注者的聚合能力指标以及子任务的标注人数；

5、根据各子任务的标注相关信息，分别确定各子任务的权重信息，所述权重信息用于表征所述子任务在目标标注任务中的难度系数；

6、根据各子任务的权重信息以及所述目标标注任务的任务回报，确定各子任务的任务回报。

7、第二方面，本申请实施例还提供了一种任务回报分配装置，包括：确定模块；

8、确定模块，用于确定目标标注任务下各子任务的标注相关信息，所述标注相关信息包括：平滑错误率、正确标注者的聚合能力指标以及子任务的标注人数；

9、确定模块，用于根据各子任务的标注相关信息，分别确定各子任务的权重信息，所述权重信息用于表征所述子任务在目标标注任务中的难度系数；

10、确定模块，用于根据各子任务的权重信息以及所述目标标注任务的任务回报，确定各子任务的任务回报。

11、第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如第一方面中提供的任务回报分配方法。

12、第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的任务回报分配方法。

13、本申请的有益效果是：

14、本申请提供一种任务回报分配方法、装置、电子设备及存储介质，该方法通过获取标注任务下各子任务的标注相关信息以计算各子任务的权重信息，从而根据子任务的权重信息进行子任务的任务回报分配，由于权重信息表征了子任务的标注难度系数，根据权重信息进行任务回报的分配，实现了基于任务难度系数的任务回报合理分配，避免了任务回报平均分配带来的分配不合理，标注者标注积极性降低的问题。其中，根据子任务的平滑错误率、正确标注者的聚合能力指标以及子任务的标注人数计算子任务的权重信息，由于平滑错误率、正确标注者的聚合能力指标以及子任务的标注人数均与任务的难度系数正相关，从而使得计算得到的权重信息能够用于实现基于任务难度系数的任务回报分配，提升任务回报分配的合理性，提高任务标注者的标注积极性。

技术特征：

1.一种任务回报分配方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定目标标注任务下各子任务的标注相关信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述标注真值信息以及各标注者的标注结果，确定正确标注者以及正确标注者的数量，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据各正确标注者的能力水平信息，确定所述正确标注者的聚合能力指标，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据各正确标注者在历史标注任务中的标注相关参数，确定所述正确标注者的聚合能力指标，包括：

6.根据权利要求1-5任一所述的方法，其特征在于，所述根据各子任务的标注相关信息，分别确定各子任务的权重信息，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据各子任务的权重信息以及所述目标标注任务的任务回报，确定各子任务的任务回报，包括：

8.根据权利要求7所述的方法，其特征在于，所述对各子任务的权重信息进行归一化处理，得到所述各子任务的任务回报比例，包括：

9.根据权利要求8所述的方法，其特征在于，所述根据子任务的权重信息、预设的权重缩放比例以及平移距离，生成所述子任务的缩放后的权重信息之前，包括：

10.根据权利要求8所述的方法，其特征在于，所述根据子任务的权重信息、预设的权重缩放比例以及平移距离，生成所述子任务的缩放后的权重信息，包括：

11.一种任务回报分配装置，其特征在于，包括：确定模块；

12.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求1至10任一所述的任务回报分配方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至10任一所述的任务回报分配方法。

技术总结
本申请提供一种任务回报分配方法、装置、电子设备及存储介质，涉及人工智能技术领域。通过获取标注任务下各子任务的标注相关信息以计算各子任务的权重信息，从而根据子任务的权重信息进行子任务的任务回报分配，由于权重信息表征了子任务的标注难度系数，根据权重信息进行任务回报的分配，实现了基于任务难度系数的任务回报合理分配。其中，根据子任务的平滑错误率、正确标注者的聚合能力指标以及子任务的标注人数计算子任务的权重信息，由于平滑错误率、正确标注者的聚合能力指标以及子任务的标注人数均与任务的难度系数正相关，从而使得计算得到的权重信息能够用于实现基于任务难度系数的任务回报分配，提升任务回报分配的合理性。

技术研发人员：吴润泽,汪飞,刘昊俣,林敏敏,许璐,周红叶,范长杰
受保护的技术使用者：网易（杭州）网络有限公司
技术研发日：
技术公布日：2024/12/26