一种数据标注方法、装置、系统以及存储介质与流程

本发明主要涉及数据标注，具体涉及一种数据标注方法、装置、系统以及存储介质。

背景技术：

1、近年来，人工智能产业在政策与技术双重驱动下呈现高速增长态势，数据流量持续快速增长，催生了大量的高精度、场景化数据的需求，促进了数据标注行业的蓬勃发展。其中文本数据标注广泛应用于新零售、医疗行业、客服行业、广告营销、社会调查与统计分析、居民生活娱乐等方面。

2、随着人工智能往细分领域的进一步发展，算法研究需要各个领域的大量的标注数据用于模型的训练，这在数据采集和人工标注上产生了大量的时间成本和人工成本。因此，降低数据标注的成本是促进人工智能在各行业快速落地的重要措施。降低数据标注成本的一种有效方法就是对数据进行预标注，实现数据标注的半自动化，大大减少人工标注工作量。

3、近年来，很多研究关注到基于深度学习的实体抽取(named entity recognition，简称ner)方向，在文本预标注方面也有了不少研究。但是，目前的研究往往较多是基于通用的场景，这些研究成果中的预测模型存在以下不足：因为面向的场景范围广，预测模型训练需要的未标注数据样本和已标注数据样本的数量大，人力成本高；应用于细分领域时，模型的准确性不够高，预标注的效果不理想；受限于人工标注的数据样本数量，预标注模型的训练效果不理想。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足，提供一种数据标注方法、装置、系统以及存储介质。

2、本发明解决上述技术问题的技术方案如下：一种数据标注方法，包括如下步骤：

3、s1：导入多个原始训练数据以及与各个所述原始训练数据一一对应的已标注数据；

4、s2：构建原始标注模型，根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述原始标注模型进行训练，得到第一标注模型；

5、s3：导入多个未标注训练数据，根据所述第一标注模型对各个所述未标注训练数据进行预测，得到各个所述未标注训练数据的预测数据；

6、s4：根据多个所述未标注训练数据以及多个所述未标注训练数据的预测数据对所述第一标注模型进行分析，得到第二标注模型；

7、s5：根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述第二标注模型进行模型分析，得到第三标注模型；

8、s6：导入待测数据，根据所述第三标注模型对所述待测数据进行标注，得到数据标注结果。

9、本发明解决上述技术问题的另一技术方案如下：一种数据标注装置，包括：

10、数据导入模块，用于导入多个原始训练数据以及与各个所述原始训练数据一一对应的已标注数据；

11、模型训练模块，用于构建原始标注模型，根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述原始标注模型进行训练，得到第一标注模型；

12、预测模块，用于导入多个未标注训练数据，根据所述第一标注模型对各个所述未标注训练数据进行预测，得到各个所述未标注训练数据的预测数据；

13、分析模块，用于根据多个所述未标注训练数据以及多个所述未标注训练数据的预测数据对所述第一标注模型进行分析，得到第二标注模型；

14、模型分析模块，用于根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述第二标注模型进行模型分析，得到第三标注模型；

15、数据标注结果获得模块，用于导入待测数据，根据所述第三标注模型对所述待测数据进行标注，得到数据标注结果。

16、基于上述一种数据标注方法，本发明还提供一种数据标注系统。

17、本发明解决上述技术问题的另一技术方案如下：一种数据标注系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的数据标注方法。

18、基于上述一种数据标注方法，本发明还提供一种计算机可读存储介质。

19、本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的数据标注方法。

20、本发明的有益效果是：通过原始训练数据以及已标注数据对原始标注模型的训练得到第一标注模型，根据第一标注模型对未标注训练数据的预测得到预测数据，根据未标注训练数据以及预测数据对第一标注模型的训练分析得到第二标注模型，根据原始训练数据以及已标注数据对第二标注模型的模型分析得到第三标注模型，根据第三标注模型对待测数据的标注得到数据标注结果，能够在不需要大量的人工标注文本样本的前提下，实现了目标领域的预标注模型的训练，大大降低了人工标注的工作量，节省了数据标注工作的成本，也提高了模型的准确性。

技术特征：

1.一种数据标注方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的数据标注方法，其特征在于，所述s2的过程包括：

3.根据权利要求1所述的数据标注方法，其特征在于，所述s4的过程包括：

4.根据权利要求1所述的数据标注方法，其特征在于，所述s5的过程包括：

5.一种数据标注装置，其特征在于，包括：

6.根据权利要求5所述的数据标注装置，其特征在于，所述模型训练模块具体用于：

7.根据权利要求5所述的数据标注装置，其特征在于，所述分析模块具体用于：

8.根据权利要求6所述的数据标注装置，其特征在于，所述模型分析模块具体用于：

9.一种数据标注系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，实现如权利要求1至4任一项所述的数据标注方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至4任一项所述的数据标注方法。

技术总结
本发明提供一种数据标注方法、装置、系统以及存储介质，属于数据标注领域，方法包括：S1：导入原始训练数据以及已标注数据；S2：构建原始标注模型，根据原始训练数据以及已标注数据对原始标注模型进行训练得到第一标注模型；S3：导入未标注训练数据，根据第一标注模型对未标注训练数据进行预测得到预测数据；S4：根据未标注训练数据以及预测数据对第一标注模型进行分析得到第二标注模型。本发明能够在不需要大量的人工标注文本样本的前提下，实现了目标领域的预标注模型的训练，大大降低了人工标注的工作量，节省了数据标注工作的成本，也提高了模型的准确性。

技术研发人员：陆金龙,陶勇,周金,唐民钦,蒋泰,秦子鑫
受保护的技术使用者：广西瀚特信息产业股份有限公司
技术研发日：
技术公布日：2024/1/12