一种数据标注的方法以及相关设备与流程

本技术实施例涉及人工智能(artificial intelligence，ai)领域，尤其是一种数据标注的方法以及相关设备。

背景技术：

1、人工智能领域中，计算机设备如何准确识别视频帧中出现的对象是一种重要的技术，对象可以是指视频帧中出现的人物、宠物、车辆、飞行器等。计算机设备识别视频帧中出现的对象后，可以为不同的对象提供差异化的服务。

2、在识别对象的过程中，需要计算机设备采集视频数据，然后对部分视频数据中的对象进行手动标注，计算机设备可以提取出已标注好的对象的属性特征，进一步根据已标注好的对象的特征识别其他视频数据中出现的对象，确定其余视频数据中对象的属性特征。

3、目前这种方式确定的视频数据中对象的属性特征的准确度较低。

技术实现思路

1、本技术提供了一种数据标注的方法，用于得到能够更准确地描述视频帧中对象的属性特征。本技术还提供了相应设备、计算机可读存储介质以及计算机程序产品等。

2、本技术第一方面提供了一种数据标注的方法，该方法包括：获取多个视频帧中至少一个对象的多个第一属性特征，所述至少一个对象中同一对象的多个第一属性特征分别用于描述不同视频帧中的所述同一对象；根据所述同一对象的多个第一属性特征确定所述同一对象的第二属性特征，所述第二属性特征对所述同一对象描述的准确度优于所述同一个对象的第一属性特征。

3、本技术中，对象可以是视频帧中出现的人物、宠物、车辆或飞行器等。第一属性特征可以是用于描述对象的多维向量，其中某一部分维度可以表示对象的某些特征，例如身高、体重等特征。第二属性特征可以是由第一属性特征经过优化后得到的属性特征，其中，优化的方式可以是加权求平均，可以是聚类，还可以是其他优化方式。

4、本技术提供的数据标注的方法可以应用于终端设备、云设备，或者，终端设备与云设备配合来完成相应的数据标注的过程。

5、本技术中，获取到对象的第一属性特征后，对第一属性特征通过加权平均、聚类等方式优化后得到准确度更高的第二属性特征，能够根据第二属性特征更加准确的描述对象，此外，还可以根据第二属性特征更准确的从视频数据中识别对象，从而提升识别对象的准确度。

6、在第一方面的一种可能的实现方式中，同一对象的第一属性特征为同一对象的特征向量。

7、该种可能的实现方式中，终端设备或云设备可以采用数字化的方式对对象进行描述，即设备可以采用特征向量的形式来描述对象，属性特征便是对象的特征向量。该种可能的实现方式提供了一种第一属性特征的实现形式，提升了方案的可实现性。

8、在第一方面的一种可能的实现方式中，上述步骤：获取多个视频帧中至少一个对象的多个第一属性特征，包括：根据识别模型确定每个视频帧中每个对象的第一属性特征，识别模型是以视频帧为输入，以视频帧中每个对象的第一属性特征为输出的模型。

9、该种可能的实现方式中，识别模型输入视频帧，对视频帧中的数据进行处理后，可以输出视频帧中出现的对象的属性特征。该种可能的实现方式中，提供了一种获取第一属性特征的具体的实现方式，提升了方案的可实现性。

10、在第一方面的一种可能的实现方式中，上述步骤：根据同一对象的多个第一属性特征确定同一对象的第二属性特征，包括：根据评估模型和同一对象的多个第一属性特征确定同一对象的第二属性特征，评估模型是以同一对象的第一属性特征为输入，以同一对象的第二属性特征为输出的模型。

11、该种可能的实现方式中，评估模型输入第一属性特征，对第一属性特征进行优化后，可以输出第二属性特征，第二属性特征可以更加准确地表征对象。该种可能的实现方式中，提供了一种获取第二属性特征的具体的实现方式，提升了方案的可实现性。

12、在第一方面的一种可能的实现方式中，多个视频帧中包括至少一个视频帧，至少一个视频帧中的每个视频帧均包含两个对象，该方法还包括：若至少一个视频帧中包含的两个对象的第一属性特征相同，则确定两个对象的第一属性特征的准确度不符合要求；调整用于确定第一属性特征的识别模型中的参数。

13、该种可能的实现方式中，终端设备或云设备获取到的多个视频帧由一个摄像头采集得到。一个摄像头采集得到的一个视频帧中包括两个对象，这两个对象一定是两个不同的对象。两个不同的对象却具有相同的第一属性特征，则说明了第一属性特征的准确度不符合要求。两个对象的第一属性特征相同，可能是这两个对象的身材、样貌等参数过于接近，以至于生成的第一属性特征过于接近。由此可以调整识别模型中函数的权重，以便增大根据两个对象生成的第一属性特征的差异度。

14、在第一方面的一种可能的实现方式中，多个视频帧中包括至少两个视频帧，至少两个视频帧中的每个视频帧均包含一个对象，至少两个视频帧采集的时间相同，且空间不同，该方法还包括：若至少两个视频帧中包含的一个对象的第一属性特征相同，则确定一个对象的第一属性特征的准确度不符合要求；调整用于确定第一属性特征的识别模型中的参数。

15、该种可能的实现方式中，终端设备或云设备获取到的多个视频帧由多个摄像头采集得到。若两个摄像头采集不同空间中的数据，同一时刻两个摄像头采集得到的两个视频帧中包括两个对象，由于同一个对象不可能在一个时刻出现在两个空间内，则说明这两个对象一定是两个不同的对象。两个不同的对象却具有相同的第一属性特征，则说明了第一属性特征的准确度不符合要求。两个对象的第一属性特征相同，可能是这两个对象的身材、样貌等参数过于接近，以至于生成的第一属性特征过于接近。由此可以调整识别模型中函数的权重，以便增大根据两个对象生成的第一属性特征的差异度。

16、在第一方面的一种可能的实现方式中，多个视频帧中包括至少两个连续的视频帧，至少两个连续的视频帧中包含一个对象；该方法还包括：若至少两个连续的视频帧中包含的一个对象具有至少两个第一属性特征，则确定一个对象的第一属性特征的准确度不符合要求；调整用于确定第一属性特征的识别模型中的参数。

17、该种可能的实现方式中，终端设备或云设备获取到的多个视频帧中包括至少两个连续的视频帧，至少两个连续的视频帧中包含一个对象，由于短期内对象的空间位置不可能发生跳变，则说明视频帧中包括的对象一定是同一个对象。同一个对象却具有不同的两类第一属性特征，则说明了第一属性特征的准确度不符合要求。由此可知，识别模型已经无法给同一个对象正常地生成第一属性特征，即识别模型为一个对象生成了两类第一属性特征。由此可以调整识别模型中函数的权重，避免出现针对一个对象生成多类第一属性特征的状况，以便增加识别模型的可靠性。

18、在第一方面的一种可能的实现方式中，所述多个视频帧中包括至少一个视频帧，所述至少一个视频帧中的每个视频帧均包含两个对象；所述方法还包括：若所述至少一个视频帧中包含的两个对象的第二属性特征相同，则确定所述两个对象的第二属性特征的准确度不符合要求；调整用于确定所述第二属性特征的所述评估模型中的参数。

19、该种可能的实现方式中，终端设备或云设备获取到的多个视频帧由一个摄像头采集得到。一个摄像头采集得到的一个视频帧中包括两个对象，这两个对象一定是两个不同的对象。两个不同的对象却具有相同的第二属性特征，则说明了第二属性特征的准确度不符合要求。由此可以调整评估模型中函数的权重，以便增大评估模型根据第一属性特征生成的第二属性特征的准确度。

20、在第一方面的一种可能的实现方式中，多个视频帧中包括至少两个视频帧，至少两个视频帧中的每个视频帧均包含一个对象，至少两个视频帧采集的时间相同，且空间不同；方法还包括：若至少两个视频帧中包含的一个对象的第二属性特征相同，则确定一个对象的第二属性特征的准确度不符合要求；调整用于确定第二属性特征的评估模型中的参数。

21、该种可能的实现方式中，该种可能的实现方式中，终端设备或云设备获取到的多个视频帧由多个摄像头采集得到。若两个摄像头采集不同空间中的数据，同一时刻两个摄像头采集得到的两个视频帧中包括两个对象，由于同一个对象不可能在一个时刻出现在两个空间内，则说明这两个对象一定是两个不同的对象。两个不同的对象却具有相同的第二属性特征，则说明了第二属性特征的准确度不符合要求。由此可以调整评估模型中函数的权重，以便增大评估模型根据第一属性特征生成的第二属性特征的准确度。

22、在第一方面的一种可能的实现方式中，多个视频帧中包括至少两个连续的视频帧，至少两个连续的视频帧中包含一个对象；方法还包括：若至少两个连续的视频帧中包含的一个对象具有至少两个第二属性特征，则确定一个对象的第二属性特征的准确度不符合要求；调整用于确定第二属性特征的评估模型中的参数。

23、该种可能的实现方式中，终端设备或云设备获取到的多个视频帧中包括至少两个连续的视频帧，至少两个连续的视频帧中包含一个对象，由于短期内对象的空间位置不可能发生跳变，则说明视频帧中包括的对象一定是同一个对象。同一个对象却具有不同的两类第二属性特征，则说明了第二属性特征的准确度不符合要求。由此可以调整评估模型中函数的权重，以便增大评估模型根据第一属性特征生成的第二属性特征的准确度。

24、在第一方面的一种可能的实现方式中，上述步骤：根据识别模型确定每个视频帧中每个对象的第一属性特征，包括：根据识别模型为视频帧集合中每个视频帧中的对象确定第一属性特征；从视频集合中选择完整度和差异度都满足条件的多个视频帧，完整度为视频帧中对象的特征的完整程度，差异度为视频帧中不同对象的特征的差异程度。

25、该种可能的实现方式中，识别模型获取多个视频帧后，可以为视频帧集合中的每个对象都生成第一属性特征。然而，视频帧的采集过程中，有些对象在采集时完整程度不高，比如某个用户在采集时只采集到了上半身，则导致该用户的特征并未采集完整。则识别模型根据完整程度不高的对象生成的第一属性特征的准确度较差。此外，视频帧的采集过程中，多个对象在采集时差异度不高，比如某两个用户身材相近。在采集时只采集到了两个用户的背影，则导致采集到的两个用户的特征的差异程度较小。则识别模型根据差异程度较小的对象生成的两个第一属性特征的差异度较差。由此，识别模型输出结果时，可以选择性的输出完整度和差异度都满足条件的视频帧，以便增加输出结果的准确度。

26、在第一方面的一种可能的实现方式中，上述步骤：根据识别模型为视频帧集合中每个视频帧中的对象确定第一属性特征，包括：获取视频帧集合中每个视频帧的前景数据，前景数据为视频帧中除背景数据之外的数据，背景数据为在不同时刻的视频帧中位置不发生变动的数据；根据识别模型确定每个视频帧的前景数据中的对象的第一属性特征。

27、该种可能的实现方式中，识别模型对多个视频帧中的数据进行滤波降噪，在不同时刻的视频帧中位置不发生变动的数据会逐渐建模形成背景数据，若视频帧中的某个区域发生改变，识别模型会自动获取这部分发生改变的数据，将这部分发生改变的数据滤波后作为前景数据。进而获取前景数据中包括的对象的第一属性特征。该种可能的实现方式中，识别模型对数据进行滤波降噪时剔除了数据量较大的背景数据，只对前景数据中的对象确定第一属性特征，提升了数据处理效率。

28、在第一方面的一种可能的实现方式中，根据评估模型和同一对象的多个第一属性特征确定同一对象的第二属性特征之前，该方法还包括：根据评估模型对不同对象的第一属性特征进行分类；根据评估模型和同一对象的多个第一属性特征确定同一对象的第二属性特征，包括：根据评估模型对同一对象的多个第一属性特征进行聚类，以得到同一对象的第二属性特征。

29、该种可能的实现方式中，评估模型先对不同对象的第一属性特征进行分类，即将不同对象的第一属性特征分开。分类后，对每个对象的第一属性特征进行聚类，便可以得到每个对象的第二属性特征。聚类的过程可以对同一对象的多个第一属性特征做加权平均，聚类的过程也可以对同一对象的多个第一属性特征做特征聚合，还可以对多个第一属性特征做其他处理。该种可能的实现方式提供了一种获取第二属性特征的具体的实现方式，提升了方案的可实现性。

30、在第一方面的一种可能的实现方式中，该方法还包括：根据多个视频帧中同一对象的第二属性特征，为同一对象确定标识信息，标识信息用于在不同视频帧中标记同一对象。

31、该种可能的实现方式中，终端设备或云设备可以根据第二属性特征为对象确定标识信息，同一对象在不同的视频帧中具有同样的标识信息。标识信息可以表示对象的身份。例如，若一个家庭中包括的成员有父亲、母亲、儿子。设备的图像采集装置安装于家庭室内的客厅当中，采集到的多帧图像中包括的对象的标识信息便可以是001、002、003。其中，001映射至家庭成员的身份是父亲、002映射至家庭成员的身份是母亲、003映射至家庭成员的身份是儿子。该种可能的实现方式中，相比于设备根据第一属性特征生成标识信息，设备根据针对第一属性特征优化后得到的第二属性特征生成标识信息更加准确，提升了方案的准确度。

32、在第一方面的一种可能的实现方式中，其特征在于，该方法应用于智能家居、无人超市或智能车的场景中。

33、该种可能的实现方式中，提供了一种数据标注方法的应用场景，提升了方案的可实现性。

34、本技术第二方面，提供了一种数据标注设备，该数据标注设备可以是终端设备或云设备，用于执行上述第一方面或第一方面的任意可能的实现方式中的方法。具体地，该数据标注设备包括用于执行上述第一方面或第一方面的任意可能的实现方式中的方法的模块或单元，如：获取单元和确认单元。

35、本技术第三方面提供了一种终端设备，包括收发器、处理器和存储器，收发器和处理器与存储器耦合，存储器用于存储程序或指令，当程序或指令被处理器执行时，使得终端设备执行前述第一方面或第一方面的任意可能的实现方式中的方法。

36、本技术第四方面，提供了一种云设备。该云设备可以包括至少一个处理器、存储器和通信接口。处理器与存储器和通信接口耦合。存储器用于存储指令，处理器用于执行该指令，通信接口用于在处理器的控制下与其他网元进行通信。该指令在被处理器执行时，使处理器执行第一方面或第一方面的任意可能的实现方式中的方法。

37、本技术第五方面提供了一种芯片系统，该芯片系统包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；接口电路用于从终端设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，数据标注设备执行前述第一方面或第一方面的任意可能的实现方式中的方法。

38、本技术第六方面提供了一种计算机可读存储介质，其上存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行前述第一方面或第一方面的任意可能的实现方式中的方法。

39、本技术第七方面提供了一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上执行时，使得计算机执行前述第一方面或第一方面的任意可能的实现方式中的方法。

40、本技术第八方面提供一种数据标注系统，该数据标注系统包括终端设备和/或云设备，该终端设备用于执行前述第一方面或第一方面的任意可能的实现方式中的方法，或者，该云设备用于执行前述第一方面或第一方面的任意可能的实现方式中的方法。

41、其中，第二方面至第八方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果，此处不再赘述。