标注数据的获取方法、装置、计算机设备和存储介质与流程

1.本技术涉及数据交互技术领域，特别是涉及一种标注数据的获取方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.在人工智能领域，会采用各种各样的模型来实现自然语言处理、图像识别、智能推荐等功能。由于模型需要使用由标注数据构建的标注数据集(例如训练集、测试集)进行优化和调整，因此为了提升模型性能，需预先准备好标注数据。在数据标注的过程中，会涉及到标注请求端和数据标注端的交互。标注请求端用于发出标注请求并获得标注数据，数据标注端用于对数据进行标注。
3.在标注请求端中，传统的标注数据的获取方法需人为地将待标注数据发送至数据标注端，且需人为查看数据标注端是否已完成数据标注工作，同时需手动下载数据标注端完成的标注数据。
4.由此可见，传统技术中需耗费较多地人力成本，导致标注请求端针对标注数据的获取效率较低。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高标注请求端针对标注数据的获取效率的标注数据的获取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
6.第一方面，本技术提供了一种标注数据的获取方法。所述方法应用于标注请求端，包括：
7.获取目标模型类的属性信息；
8.根据所述属性信息，构建所述目标模型类的实例；
9.基于所述实例中的标注请求方法，将待标注数据对应的数据标注请求发送至数据标注端，以使所述数据标注端根据所述数据标注请求，将所述待标注数据标注为标注数据；
10.基于所述实例中的结果下载方法，向所述数据标注端发送表示所述标注数据是否存在的结果查询请求，若接收到所述数据标注端响应于所述结果查询请求返回的标注数据存在响应，则向所述数据标注端发送结果下载请求，并接收所述数据标注端响应于所述结果下载请求返回的所述标注数据。
11.在其中一个实施例中，所述方法还包括：
12.基于所述实例中的操作选择方法，向所述标注请求端的标注请求账户发送针对所述标注数据的操作选项信息，并获取所述标注请求账户响应于所述操作选项信息生成的操作指令；
13.若所述操作指令为标注继续指令，则基于所述实例中所述标注继续指令对应的标注请求方法，向所述数据标注端继续发送所述标注继续指令对应的数据标注请求。
14.在其中一个实施例中，所述方法还包括：
15.若所述操作指令为标注结束指令，则基于所述实例中的结果校验方法，校验所述标注数据是否合格，若校验所述标注数据合格，则根据所述标注数据构建标注数据集。
16.在其中一个实施例中，所述方法还包括：
17.将所述数据标注请求对应的标注请求消息发送至所述数据标注端的数据标注账户；
18.和/或，
19.将所述操作选项信息对应的操作选择消息发送至所述标注请求端的标注请求账户。
20.在其中一个实施例中，所述方法还包括：
21.基于所述实例中的数据拆分方法，根据标注类型对初始待标注数据进行拆分，得到待标注数据；
22.所述基于所述实例中的标注请求方法，将待标注数据对应的数据标注请求发送至数据标注端，以使所述数据标注端根据所述数据标注请求，将所述待标注数据标注为标注数据，包括：
23.基于所述实例中的标注请求方法，根据待标注数据和标注需求信息生成标注任务，将携带有所述标注任务的数据标注请求发送至数据标注端，以使所述数据标注端根据所述数据标注请求中的标注任务，将所述待标注数据标注为标注数据。
24.在其中一个实施例中，所述获取目标模型类的属性信息，包括：
25.获取标注请求账户通过所述标注请求端输入的目标模型类的特定属性值；
26.读取预存的基础模型类的基础属性、基础属性值和特定属性；
27.将所述特定属性值赋值给所述基础模型类的特定属性，以使所述基础模型类转化为目标模型类；
28.将所述目标模型类中的基础属性、基础属性值、特定属性和特定属性值，确定为所述目标模型类的属性信息。
29.第二方面，本技术还提供了一种标注数据的获取装置。所述装置用于标注请求端，包括：
30.信息获取模块，用于获取目标模型类的属性信息；
31.实例构建模块，用于根据所述属性信息，构建所述目标模型类的实例；
32.标注请求模块，用于基于所述实例中的标注请求方法，将待标注数据对应的数据标注请求发送至数据标注端，以使所述数据标注端根据所述数据标注请求，将所述待标注数据标注为标注数据；
33.结果下载模块，用于基于所述实例中的结果下载方法，向所述数据标注端发送表示所述标注数据是否存在的结果查询请求，若接收到所述数据标注端响应于所述结果查询请求返回的标注数据存在响应，则向所述数据标注端发送结果下载请求，并接收所述数据标注端响应于所述结果下载请求返回的所述标注数据。
34.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
35.获取目标模型类的属性信息；
36.根据所述属性信息，构建所述目标模型类的实例；
37.基于所述实例中的标注请求方法，将待标注数据对应的数据标注请求发送至数据标注端，以使所述数据标注端根据所述数据标注请求，将所述待标注数据标注为标注数据；
38.基于所述实例中的结果下载方法，向所述数据标注端发送表示所述标注数据是否存在的结果查询请求，若接收到所述数据标注端响应于所述结果查询请求返回的标注数据存在响应，则向所述数据标注端发送结果下载请求，并接收所述数据标注端响应于所述结果下载请求返回的所述标注数据。
39.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
40.获取目标模型类的属性信息；
41.根据所述属性信息，构建所述目标模型类的实例；
42.基于所述实例中的标注请求方法，将待标注数据对应的数据标注请求发送至数据标注端，以使所述数据标注端根据所述数据标注请求，将所述待标注数据标注为标注数据；
43.基于所述实例中的结果下载方法，向所述数据标注端发送表示所述标注数据是否存在的结果查询请求，若接收到所述数据标注端响应于所述结果查询请求返回的标注数据存在响应，则向所述数据标注端发送结果下载请求，并接收所述数据标注端响应于所述结果下载请求返回的所述标注数据。
44.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
45.获取目标模型类的属性信息；
46.根据所述属性信息，构建所述目标模型类的实例；
47.基于所述实例中的标注请求方法，将待标注数据对应的数据标注请求发送至数据标注端，以使所述数据标注端根据所述数据标注请求，将所述待标注数据标注为标注数据；
48.基于所述实例中的结果下载方法，向所述数据标注端发送表示所述标注数据是否存在的结果查询请求，若接收到所述数据标注端响应于所述结果查询请求返回的标注数据存在响应，则向所述数据标注端发送结果下载请求，并接收所述数据标注端响应于所述结果下载请求返回的所述标注数据。
49.上述标注数据的获取方法、装置、计算机设备、存储介质和计算机程序产品，通过目标模型类的属性信息构建实例，基于实例中标注请求方法自动生成数据标注请求并发送给数据标注端，且基于实例中的结果下载方法，自动向数据标注端发送结果查询请求，并在得到标注数据存在响应时，自动触发结果下载请求，从而获得数据标注端的标注数据。可以理解，本技术通过构建目标模型类的实例并调用实例中的方法，可将标注请求端的标注数据的获取方法以流水线的方式自动执行，减少了用户操作，有利于提高注请求端针对标注数据的获取效率。
附图说明
50.图1为一个实施例中标注数据的获取方法的应用环境图；
51.图2为一个实施例中标注数据的获取方法的流程示意图；
52.图3为一个实施例中标注数据的获取装置的结构框图；
53.图4为一个实施例中计算机设备的内部结构图。
具体实施方式
54.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
55.本技术实施例提供的标注数据的获取方法，可以应用于如图1所示的应用环境中。其中，标注请求端102通过网络与数据标注端104进行通信。具体地，标注请求端102获取目标模型类的属性信息，并根据该属性信息，构建目标模型类的实例。标注请求端102基于实例中的标注请求方法，将待标注数据对应的数据标注请求发送至数据标注端104。数据标注端104根据该数据标注请求，将待标注数据标注为标注数据。标注请求端102基于实例中的结果下载方法，向数据标注端104发送表示标注数据是否存在的结果查询请求。若数据标注端104响应于该结果查询请求返回标注数据存在响应至标注请求端102，则标注请求端102向数据标注端104发送结果下载请求。数据标注端104响应于该结果下载请求向标注请求端102返回标注数据。
56.其中，标注请求端102和数据标注端104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。标注请求端102和数据标注端104也可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
57.在一个实施例中，如图2所示，提供了一种标注数据的获取方法，以该方法应用于图1中的标注请求端102为例进行说明，包括以下步骤：
58.步骤s202，获取目标模型类的属性信息。
59.其中，模型类是指针对模型的类。在本实施例中，类用于描述模型中具有相同的属性和方法的对象的集合。类定义了该集合中每个对象所共有的属性和方法。在面向对象的编程软件(例如python)中，可通过class语句创建模型类。
60.具体地，标注请求端获取目标模型类的属性信息。
61.步骤s204，根据属性信息，构建目标模型类的实例。
62.具体地，标注请求端根据属性信息，对目标模型类进行实例化，得到目标模型类的实例。其中，该实例中配置有用于实现标注数据获取的标注请求方法、结果下载方法、操作选择方法等抽象方法。
63.步骤s206，基于实例中的标注请求方法，将待标注数据对应的数据标注请求发送至数据标注端，以使数据标注端根据数据标注请求，将待标注数据标注为标注数据。
64.其中，待标注数据可以是待标注图像、待标注文本等。
65.具体地，标注请求端调用实例中的标注请求方法，基于该标注请求方法，将待标注数据对应的数据标注请求发送至数据标注端。可选地，标注请求端根据待标注数据生成数据标注请求，如此数据标注请求中携带有待标注数据。可选地，标注请求端根据待标注数据对应的存储目录生成数据标注请求，如此数据标注请求中携带有存储目录，进而数据标注端可基于该存储目录加载待标注数据。数据标注端接收到该数据标注请求并解析，从而将
待标注数据标注为标注数据。
66.步骤s208，基于实例中的结果下载方法，向数据标注端发送表示标注数据是否存在的结果查询请求，若接收到数据标注端响应于结果查询请求返回的标注数据存在响应，则向数据标注端发送结果下载请求，并接收数据标注端响应于结果下载请求返回的标注数据。
67.其中，标注数据可看作待标注数据经标注后得到的结果。结果查询请求用于查询标注数据是否存在。标注数据存在响应表示标注数据是存在的。
68.具体地，在标注请求端发出数据标注请求后，标注请求端调用实例中的结果下载方法，基于该结果下载方法，以预设时间间隔(例如10分钟)向数据标注端发送表示标注数据是否存在的结果查询请求。若数据标注端响应于该结果查询请求返回标注数据不存在响应，表明标注未完成，等待预设时间间隔后继续向数据标注端发送表示标注数据是否存在的结果查询请求。若数据标注端响应于该结果查询请求返回标注数据存在响应，表明标注已完成，则标注请求端向数据标注端发送结果下载请求。数据标注端根据该结果下载请求，将标注完成的标注数据返回至标注请求端。标注请求端将该标注数据下载至预设路径。
69.上述标注数据的获取方法中，通过目标模型类的属性信息构建实例，基于实例中标注请求方法自动生成数据标注请求并发送给数据标注端，且基于实例中的结果下载方法，自动向数据标注端发送结果查询请求，并在得到标注数据存在响应时，自动触发结果下载请求，从而获得数据标注端的标注数据。可以理解，本方法通过构建目标模型类的实例并调用实例中的方法，可将标注请求端的标注数据的获取方法以流水线的方式自动执行，减少了用户操作，有利于提高注请求端针对标注数据的获取效率。
70.在一个实施例中，涉及针对数据标注端返回的标注数据是否需继续标注的操作选择过程。在上述实施例的基础上，该方法还包括以下步骤：
71.步骤s212，基于实例中的操作选择方法，向标注请求端的标注请求账户发送针对标注数据的操作选项信息，并获取标注请求账户响应于操作选项信息生成的操作指令；
72.步骤s214，若操作指令为标注继续指令，则基于实例中标注继续指令对应的标注请求方法，向数据标注端继续发送标注继续指令对应的数据标注请求。
73.具体地，标注请求端在获得数据标注端返回的标注数据后，调用实例中的操作选择方法，并基于该操作选择方法，向标注请求端的标注请求账户发送针对标注数据的操作选项信息。标注请求账户选定目标操作选项后，标注请求端获取该目标操作选项对应的操作指令。若操作指令为标注继续指令，则标注请求端基于实例中标注继续指令对应的标注请求方法，向数据标注端继续发送标注继续指令对应的数据标注请求，以使数据标注端继续根据该数据标注请求完成数据标注工作。
74.在一具体示例中，在标注请求端获得标注数据后，向标注请求端的标注请求账户发送针对标注数据的操作选项信息，该操作选项信息包括标注继续操作(例如再次标注操作(标注轮次加1)，重新处理操作(处理轮次加1，标注轮次加1)，最后一轮操作(进行最后一轮的数据标注)和标注结束操作(标注停止操作(调用实例中后续的数据处理方法))。其中，处理轮次可理解为第几轮数据处理，其目的是初步将待标注数据处理为可进行模型处理(例如验证)的数据集。处理轮次可包含多个标注轮次。标注轮次可理解为第几轮数据标注。标注请求端根据选定的标注继续操作可生成标注继续指令。标注请求端根据选定的标注结
束操作可生成标注结束指令。
75.本实施例中，通过向标注请求账户发送操作选项信息，并基于标注请求账户选定的标注继续操作，实现了数据标注的可循环处理，使数据标注流程能够被灵活控制。
76.在一个实施例中，结合上一实施例，该方法还包括以下步骤：
77.步骤s222，若操作指令为标注结束指令，则基于实例中的结果校验方法，校验标注数据是否合格，若校验标注数据合格，则根据标注数据构建标注数据集。
78.具体地，若操作指令为标注结束指令，即标注请求账户选择了标注结束操作，则标注请求端调用实例中的结果校验方法，基于该结果校验方法，校验标注数据是否合格。若校验标注数据合格，则根据标注数据构建标注数据集。若校验标注数据不合格，则返回执行步骤s206。
79.本实施例中，基于标注请求账户选定的标注继续操作或标注结束操作，标注可重复也可中端，实现数据标注流程的灵活控制。
80.在一个实施例中，涉及向数据标注账户和标注请求账户发送交互消息，来通知对应用户及时处理的过程。在上述实施例的基础上，该方法还包括以下步骤：
81.步骤s232，将数据标注请求对应的标注请求消息发送至数据标注端的数据标注账户；
82.和/或，
83.步骤s234，将操作选项信息对应的操作选择消息发送至标注请求端的标注请求账户。
84.具体地，标注请求端可在数据标注请求生成时，将对应的标注请求消息发送至数据标注端的数据标注账户。标注请求端也可在数据标注请求发出时，将对应的标注请求消息发送至数据标注端的数据标注账户。标注请求端还可在数据标注请求发出后，将对应的标注请求消息发送至数据标注端的数据标注账户。从而通知数据标注账户及时完成数据标注工作。例如，将标注请求消息发送至数据标注端的飞书群，并@相应的数据标注账户，从而达到通知标注人员的目的。可以理解，本实施例并不限定标注请求消息的发送时机。
85.标注请求端向标注请求端的标注请求账户发送针对标注数据的操作选项信息时，将操作选项信息对应的操作选择消息发送至该标注请求账户。标注请求端向标注请求端的标注请求账户发送针对标注数据的操作选项信息后，将操作选项信息对应的操作选择消息发送至该标注请求账户。例如，将操作选择消息发送至标注请求端的飞书群，并@相应的标注请求账户，从而通知标注请求人员及时完成操作选择工作。可以理解，本实施例并不限定操作选择消息的发送时机。
86.本实施例中，以消息通知方式及时与相关人员形成交互，例如通过飞书机器人提供的api(application programming interface,应用程序接口)与airflow建立通信连接，以便于airflow及时将通知消息传达给用户，提醒用户尽快处理相关任务，有利于提高处理效率。并且，飞书是新一代企业办公软件，不仅能够满足同事间的信息交流，相比其他竞品，其提供的飞书机器人可方便地实现软件系统与人的信息交流。
87.在一个实施例中，该方法还包括以下步骤：
88.步骤s242，基于实例中的数据拆分方法，根据标注类型对初始待标注数据进行拆分，得到待标注数据。
89.其中，以待标注图像为例，标注类型可以是标注检测框，例如人体框、人脸框、车身框等，也可以是标注图像标签，例如图像是否模糊、是否有人脸、是否有车等，还可以是图像对比，例如一张有人脸的主图，多张有人脸的副图，标注出哪些副图与主图是一个人。
90.具体地，标注请求端先将初始待标注数据拷贝到预设的服务器路径。然后，标注请求端调用实例中的数据拆分方法，基于该数据拆分方法，根据标注类型对初始待标注数据进行拆分，得到拆分后的待标注数据。可以理解，本实施例中待标注数据的数量为多个。举例而言，标注请求端根据初始待标注图像中的检测框类型对初始待标注图像进行拆分，将包含人体框的图像整合在一起，将包含人脸框的图像整合在一起，将包含车身框的图像整合在一起，得到三种类型的待标注数据。
91.可选地，数据拆分后，将待标注数据整理成标注所需的数据格式。
92.本实施例中，由于较大的数据量极易影响数据标注端的稳定，因此在发送待标注数据前，通过对大数据量的初始待标注数据按照标注类型进行拆分，构建不同标注类型的小数据量的待标注数据，有利于后续标注人员的导入和标注。
93.进一步地，在一个实施例中，步骤s206具体可以通过以下步骤实现：
94.步骤s2062，基于实例中的标注请求方法，根据待标注数据和标注需求信息生成标注任务，将携带有标注任务的数据标注请求发送至数据标注端，以使数据标注端根据数据标注请求中的标注任务，将待标注数据标注为标注数据。
95.其中，标注需求信息可包括标注类型、标注人员信息等等。
96.具体地，标注请求端调用实例中的标注请求方法，基于该标注请求方法中的预设标注规则，采用送标工具根据待标注数据和标注需求信息生成标注任务，基于该标注任务生成数据标注请求，将携带有标注任务的数据标注请求发送至数据标注端。另外，标注任务创建成功后，将携带有标注任务的数据标注请求对应的标注请求消息发送至数据标注端的数据标注账户。例如，将标注请求消息发送至飞书群，并@相应的数据标注账户(该数据标注账户与标注类型预先建立了关联关系)，从而达到通知标注人员的目的。数据标注端接收到该数据标注请求并解析得到标注任务，从而根据该标注任务将待标注数据标注为标注数据。
97.在一个实施例中，步骤s202具体可以通过以下步骤实现：
98.步骤s2022，获取标注请求账户通过标注请求端输入的目标模型类的特定属性值；
99.步骤s2024，读取预存的基础模型类的基础属性、基础属性值和特定属性；
100.步骤s2026，将特定属性值赋值给基础模型类的特定属性，以使基础模型类转化为目标模型类；
101.步骤s2028，将目标模型类中的基础属性、基础属性值、特定属性和特定属性值，确定为目标模型类的属性信息。
102.其中，基础模型类的基础属性和基础属性对应的基础属性值可继承给目标模型类。基础模型类中还包括抽象的标注请求方法、结果下载方法等等。特定属性和特定属性值为目标模型类特有的属性信息。
103.具体地，标注请求端预先存储有基础模型类。该基础模型类配置有基础属性、基础属性对应的基础属性值和特定属性。标注请求账户可以通过标注请求端的显示界面输入目标模型类的特定属性值，进而将该特定属性值赋值给基础模型类的特定属性，如此使得基
础模型类转化为目标模型类。标注请求端将目标模型类中的基础属性、基础属性值、特定属性和特定属性值，确定为目标模型类的属性信息。
104.可选地，该标注数据的获取方法可运行在airflow中。airflow是一个通过编程实现任务的创建、调度和监控的开发平台。通过airflow触发有向无环图(directed acyclic graph,dag)的外部传参机制，获取标注请求账户通过标注请求端的airflow的前端页面填写的目标模型类的特定属性值。可选地，特定属性包括目标模型类类型、处理轮次、标注轮次等等。根据处理轮次和标注轮次可确定实例中不同的数据拆分方法和标注请求方法。
105.本实施例中，通过预先设置基础模型类，可在构建目标模型类时，快速继承基础模型类的属性信息，并赋值特定属性值给基础模型类来得到目标模型类，从而快速确定目标模型类的属性信息。
106.下面结合一个具体的应用场景来介绍本技术的一个实施例。
107.以行人重识别(reid)模型举例。
108.数据拆分方法包括将线上回流的初始待标注图像下载，该初始待标注图像可能有视频和pb(protocol buffers)格式的图像，再根据特定的文件对初始待标注图像进行解析和分类处理，使初始待标注图像能够根据唯一的pid(personid)进行拆分分类。由于该分类结果是业务线算法工程逻辑的产出，所以会存在误差，因此需要继续进行后续的清理流程。
109.第一轮清洗：为了确保一个pid文件夹下只有一个人的待标注图像，因此需要对每个pid下的待标注图像进行清理。清理方式为先找出pid文件夹下质量最好的待标注图像作为主图，即作为该pid的代表，然后查看pid下其他的待标注图像和主图是否是同一个人。将处理好的待标注图像整理成符合标注要求格式的数据，进行人工标注，最后根据人工标注的标注图像，把每个pid下和主图不同的标注图像进行清理。
110.第二轮合并：由于根据算法工程逻辑进行的分类可能会存在把同一个人分配给不同pid的情况，因此需要对所有的pid根据预设合并条件进行合并。具体为利用reid算法模型提取所有待标注图像的特征，然后根据pid分类计算出每个pid的平均特征，最后计算每个pid和其他pid的特征距离(特征距离可以表征两个特征矩阵的非相似度，距离越大，表示两个人越不像)。根据特征距离，可得到和每个pid比较相似的pid的信息，将这些pid的主图聚类在一起，即可形成最终的待标注图像。根据人工标注的标注图像把可以合并的pid连同标注图像合并在一起。
111.第三轮清洗：和第一轮清洗类似，主要是为了排除第二轮合并结果导致产生的误差，也可以二次确认数据的干净程度。
112.第四轮数据验证：数据处理完前三轮后，可认为这个标注图像是符合要求的数据，将这些标注图像通过reid模型进行推理和评估，查看reid模型在这个数据集上的指标情况，以及一些错误用例的情况，如果符合预期要求，则将其整理后上传到数据集平台；如果还存在偏差，则从第一轮开始重新循环处理。
113.本技术实施例为了解决数据集构建周期长，人力工时耗费大的问题，设计了一个流程化数据集建设流水线系统。基于开放平台airflow提供的调度方法，将各个不同算法模型数据集构建的流程进行总结和优化，按照处理流程要求设计成不同的工作流，从而进行处理流程的调度，并将人工标注介入相关的送标和标注结果处理流程自动化，形成一套完整的自动化数据集建设流水线处理系统，使算法人员和测试人员的数据集构建工作可控
制，但也更简单，更高效。
114.本技术实施例中，标注数据集的构建完全自动化，极大地提升工作效率。突破了airflow无循环的约束，使流程能够被灵活控制，可重复可中断。每个数据集的构建都可以使用系统启动一个流水线(pipeline)，每个流水线之间是完全独立的，就像是启动了一个个进程一样，所以多个数据集就可以同时跑pipeline，也就实现了并发。通过设计了多轮处理，多轮标注，如果标注人员标注1轮后标的不准确，就可以继续送标第二轮，第三轮，直到标注结果符合准确率要求了，就可以停止了。因此可以并发执行不同算法类型数据建设的多个任务，系统数据标注的容错能力强。采用airflow作为流水线的基础工具，由于airflow本身支持分布式部署，因此可分布式部署工作节点，极大可能地实现了负载均衡。系统兼容性较强，接口设计开放，可以满足不同算法模型的数据集构建需求。统一管理相关数据，能够保证数据处理的准确性和安全性。
115.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
116.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的标注数据的获取方法的标注数据的获取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个标注数据的获取装置实施例中的具体限定可以参见上文中对于标注数据的获取方法的限定，在此不再赘述。
117.在一个实施例中，如图3所示，提供了一种标注数据的获取装置，包括：信息获取模块302、实例构建模块304、标注请求模块306和结果下载模块308，其中：
118.信息获取模块302，用于获取目标模型类的属性信息；
119.实例构建模块304，用于根据属性信息，构建目标模型类的实例；
120.标注请求模块306，用于基于实例中的标注请求方法，将待标注数据对应的数据标注请求发送至数据标注端，以使数据标注端根据数据标注请求，将待标注数据标注为标注数据；
121.结果下载模块308，用于基于实例中的结果下载方法，向数据标注端发送表示标注数据是否存在的结果查询请求，若接收到数据标注端响应于结果查询请求返回的标注数据存在响应，则向数据标注端发送结果下载请求，并接收数据标注端响应于结果下载请求返回的标注数据。
122.上述标注数据的获取装置中，通过目标模型类的属性信息构建实例，基于实例中标注请求方法自动生成数据标注请求并发送给数据标注端，且基于实例中的结果下载方法，自动向数据标注端发送结果查询请求，并在得到标注数据存在响应时，自动触发结果下载请求，从而获得数据标注端的标注数据。可以理解，本装置通过构建目标模型类的实例并调用实例中的方法，可将标注请求端的标注数据的获取方法以流水线的方式自动执行，减少了用户操作，有利于提高注请求端针对标注数据的获取效率。
123.在一个实施例中，该装置还包括：
124.操作选择模块，用于基于实例中的操作选择方法，向标注请求端的标注请求账户发送针对标注数据的操作选项信息，并获取标注请求账户响应于操作选项信息生成的操作指令；
125.标注继续模块，用于若操作指令为标注继续指令，则基于实例中标注继续指令对应的标注请求方法，向数据标注端继续发送标注继续指令对应的数据标注请求。
126.在一个实施例中，该装置还包括：
127.标注结束模块，用于若操作指令为标注结束指令，则基于实例中的结果校验方法，校验标注数据是否合格；若校验标注数据合格，则根据标注数据构建标注数据集。
128.在一个实施例中，该装置还包括：
129.数据拆分模块，用于基于实例中的数据拆分方法，根据标注类型对初始待标注数据进行拆分，得到待标注数据；
130.标注请求模块306具体用于基于实例中的标注请求方法，根据待标注数据和标注需求信息生成标注任务，将携带有标注任务的数据标注请求发送至数据标注端，以使数据标注端根据数据标注请求中的标注任务，将待标注数据标注为标注数据。
131.在一个实施例中，信息获取模块302具体用于获取标注请求账户通过标注请求端输入的目标模型类的特定属性值；读取预存的基础模型类的基础属性、基础属性值和特定属性；将特定属性值赋值给基础模型类的特定属性，以使基础模型类转化为目标模型类；将目标模型类中的基础属性、基础属性值、特定属性和特定属性值，确定为目标模型类的属性信息。
132.上述标注数据的获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
133.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种标注数据的获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
134.本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
135.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
136.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计
算机程序被处理器执行时实现上述各方法实施例中的步骤。
137.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
138.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
139.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
140.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
141.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。